Aşağıda, bir web sitesinin robots.txt dosyasının basit bir örneği bulunmaktadır. Bu örnek, arama motorlarının web sitesinin belirli kısımlarına erişimini kısıtlar:
Kod:
User-agent: *
Disallow: /gizli-kisim/
Disallow: /bu-da-kapali/
Allow: /acik-kisim/
Bu örnekte User-agent birçok farklı arama motorunu temsil eden bir yıldız (*) ile belirtilmiştir. Bu, tüm arama motorlarının bu kuralı takip etmeleri gerektiği anlamına gelir. Eğer belirli bir arama motoruna özel kısıtlamalar yapmak isterseniz, o arama motorunun "User-agent" değerini kullanabilirsiniz.
/gizli-kisim/ ve /bu-da-kapali/ dizinleri "Disallow" komutu ile belirtilmiş, yani bu kısımlara erişim engellenmiştir. Arama motorları bu dizinlere girmemelidir.
/acik-kisim/ ise "Allow" komutu ile belirtilmiş, bu kısma erişim izinlidir.
Robots.txt dosyası, web sitenizin kök dizinine (örneğin:
https://www.siteadi.com/robots.txt) yerleştirilir ve arama motorları, bu dosyayı kullanarak sitenizin hangi kısımlarına erişebileceklerini belirlerler. Bu örnekteki gibi basit kurallar oluşturabilir veya daha karmaşık kısıtlamalar ekleyebilirsiniz. Bu dosyanın içeriği, web sitenizin özel gereksinimlerine ve tasarımına bağlı olarak değişebilir.
