Birçok web sitesinin, ve web programcısının yardımcısı olan Robots.txt, arama motorları ve örümceklere sitenizdeki dosya ve klasörlerin hangisini gezip ve hangisini de bu işlem dışında bırakıp içeriğine girmeyerek onlardan uzak tutan dosyadır.
Dosya temelinde basit bir txt dosyasından olusur ve ismi "Robots.txt" şeklindedir. Ve bu dosya kullanılacak ise, tüm web sayfanızın bulundugu ana dizinde bulunmalıdır.
(Örnek: Şuanda bulundugunuz blog'umun adresi; blogs.datasenkron.com/engintopcuoglu oldugundan ve site klasorum engintopcuoglu oldugundan robots.txt bu klasorun icinde olmalı ve blogs.datasenkron.com/engintopcuoglu/robots.txt olarak ulaşılabilmelidir.)
Peki Ama, Neden Robots.txt dosyasına ihtiyaç duyarız?
Birçok Arama Motoruna Ait Örümcekler, Web Sitenizi Ziyaret Ettiği İlk Anda Hemen Robots.txt 'yi ararlar ve web sitenizin herhangi bir bölümüne girilmesini istiyor yada istemiyorsanız bu dosyadan veri alırlar ve bu dosyadaki izinler dahilinde sitenizi dolaşırlar.
Aslında diğer bir değişle bu dosyalar sitenizin arama motorlarında indeksleyicisi, yani görünmesini istediğimiz verilerin neler olduğunu tanımlayan karşılama dosyalarıdır.
Robots.txt 'nin Genel İçeriği
İlk önce, robots.txt 'yi oluşturmak için notepad uygulamasını (Not Defteri : Başlat > Programlar > Donatılar > Not Defteri) çalıştıralım.
İçerisine,
User-agent: *
Disallow:
yazalım. Biz bu şekilde, sayfamız için oluşturacak olduğumuz robots.txt ile "bana ait web sayfasının tüm dosyalarını internet üzerinde arama sonuçlarında görüntüleyebilirsin" dedik ve tamamen tüm dosyalara izin verdik.
Fakat, diyelim ki bizim web sitemizde "veritabanlari" adinda bir klasor olsun ve bunun icindeki hicbir verinin dolayli yada dolaysiz bir sekilde google, yahoo, msn gibi arama motorlarında cıkmasını istemiyorsak, üstteki tanımlamada yer alan "disallow" satırını,
Disallow: /images/
seklinde tanımlamamız gerekmektedir. Fakat, yine bu klasorumuz bir tane degil, birden fazla ise, disallow satırını cogaltmamız gerekmektedir.
Örnek:
Disallow: /klasor1/
Disallow: /klasor2/ gibi..
|
