* Sitenin tamamını engellemek için düz eğik çizgi kullanın.
Disallow: /
* Bir dizini ve o dizinin içinde bulunan tüm öğeleri engellemek için dizin adının sonuna bir düz eğik çizgi koyun.
Disallow: /onemsiz-dizin/
* Bir sayfayı engellemek için o sayfayı listeleyin.
Disallow: /ozel_dosya.html
* Belirli bir görseli Google görsel aramasından kaldırmak için şunları ekleyin:
User-agent: Googlebot-Image
Disallow: /gorseller/kopekler.jpg
* Sitenizdeki görsellerin tümünü Google görsel aramasından kaldırmak için:
User-agent: Googlebot-Image
Disallow: /
* Belirli bir dosya türündeki dosyaları (örneğin, .gif) engellemek için şunları kullanın:
User-agent: Googlebot
Disallow: /*.gif$
* Sitenizdeki sayfalarda AdSense reklamları görüntülemeye devam ederken bu sayfaların taranmasını engellemek için Mediapartners-Google dışındaki tüm botları engelleyin. Bu, sayfaların arama sonuçlarında görünmesini engellemekle birlikte Mediapartners-Google robotunun gösterilecek reklamları belirlemek üzere sayfaları analiz etmesine olanak sağlar. Mediapartners-Google robotu, sayfaları diğer Google user-agent'ları ile paylaşmaz. Örneğin:
User-agent: *
Disallow: /
User-agent: Mediapartners-Google
Allow: /
|
