Forum Gündemi:

Konu Başlığı : örnek robots.txt dosyası

*
Bu konu; tarihinde açılmış olup, 0 defa yorumlanmıştır.
Konu Sahibi : OKYANUSKURDU
Konuyu Oyla:
  • Derecelendirme: 0/5 - 0 oy
  • 1
  • 2
  • 3
  • 4
  • 5
Çevrimdışı
Yönetici
*******
86
mesajlar
82
konular
2
REP PUANI
Yönetici
Sep 2023
(Kayıt Tarihi)
Erkek
(Cinsiyet)
#1
10-16-2023, 08:42 PM
Aşağıda, bir web sitesinin robots.txt dosyasının basit bir örneği bulunmaktadır. Bu örnek, arama motorlarının web sitesinin belirli kısımlarına erişimini kısıtlar:


Kod:
User-agent: *
Disallow: /gizli-kisim/
Disallow: /bu-da-kapali/
Allow: /acik-kisim/

Bu örnekte User-agent birçok farklı arama motorunu temsil eden bir yıldız (*) ile belirtilmiştir. Bu, tüm arama motorlarının bu kuralı takip etmeleri gerektiği anlamına gelir. Eğer belirli bir arama motoruna özel kısıtlamalar yapmak isterseniz, o arama motorunun "User-agent" değerini kullanabilirsiniz.

/gizli-kisim/ ve /bu-da-kapali/ dizinleri "Disallow" komutu ile belirtilmiş, yani bu kısımlara erişim engellenmiştir. Arama motorları bu dizinlere girmemelidir.

/acik-kisim/ ise "Allow" komutu ile belirtilmiş, bu kısma erişim izinlidir.

Robots.txt dosyası, web sitenizin kök dizinine (örneğin: https://www.siteadi.com/robots.txt) yerleştirilir ve arama motorları, bu dosyayı kullanarak sitenizin hangi kısımlarına erişebileceklerini belirlerler. Bu örnekteki gibi basit kurallar oluşturabilir veya daha karmaşık kısıtlamalar ekleyebilirsiniz. Bu dosyanın içeriği, web sitenizin özel gereksinimlerine ve tasarımına bağlı olarak değişebilir.


Hızlı Menü:


Görüntüleyenler: 1 Ziyaretçi