Robots.txt Dosyası

Robots.txt Nedir?

Sitenizin ana dizininde yer alan Robots.txt dosyası, sitenizde yer alan ama arama motorlarının erişmesini istemediğiniz sayfaları belirtmenizi sağlayan bir dosyadır. Bu dosyada yapılacak düzenlemeler ile içeriklerine erişilmesini istemediğiniz sayfaları arama motorlarının erişimine kapatabilirsiniz.

Robots.txt Kodları Nelerdir?

User-agent: (Yapısı standart alan)

Disallow: (Botun erişmesini istemediğimiz sayfaların belirtildiği alan)

Robots.txt URL Engelleme Kullanım Komutları

Sitenin tamamı; düz eğik çizgi ile (/): Disallow: /
Bir dizin ve içeriği; dizin adından sonra düz eğik çizgi ekleyerek: Disallow: /sample-directory/
Bir web sayfası; eğik çizgiden sonra sayfayı listeleyerek: Disallow: /private_file.html
Google Görseller’den belirli bir resim: User-agent: Googlebot-Image

Disallow: /images/dogs.jpg

Google Görseller’den sitenizdeki tüm resimler: User-agent: Googlebot-Image

Disallow: /

Belirli türdeki dosyalar (örneğin, .gif): User-agent: Googlebot

Disallow: /*.gif$

Robots.txt Dizin URL Engelleme Kullanım Komutları,

Bir karakter dizisini engellemek için yıldız karakteri (*) kullanın. Örneğin, bu örnek kod “private” kelimesi ile başlayan tüm alt dizinleri engeller.

User-agent: Googlebot

Disallow: /private*/

Soru işareti (?) içeren tüm URL’lere erişimi engelleme. Örneğin, burada verilen örnek kod, alan adınızla başlayan, ardından bir karakter dizisi, bir soru işareti gelen ve yine herhangi bir karakter dizisi ile biten URL’leri engeller:

User-agent: Googlebot

Disallow: /*?

Belirli bir biçimde biten URL’leri engellemek için $ işaretini kullanın. Örneğin, bu örnek kod .xls ile biten tüm URL’leri engeller:

User-agent: Googlebot

Disallow: /*.xls$

 

Yazar:admin 16:00 'de yayinlandi.

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir