Google için en faydalı robots.txt kodları, arama motorlarının web sitenizdeki belirli dosya ve dizinlere erişimini engellemenizi sağlar. Aşağıda Google için en faydalı olarak kabul edilen robots.txt kodlarının bazılarını listeleyebilirim:
1. Tüm arama motorlarının web sitenizin tüm sayfalarına erişimini engellemek için:
User-agent: *
Disallow: /2. Belirli bir arama motorunun belirli bir dizine erişimini engellemek için:
User-agent: Googlebot
Disallow: /private-directory/3. Tüm arama motorlarının belirli bir dosyaya erişimini engellemek için:
User-agent: *
Disallow: /secret-file.html4. Tüm arama motorlarının belirli bir dosya türüne erişimini engellemek için:
User-agent: *
Disallow: /*.pdf$5. Arama motorlarının belirli bir dizindeki tüm dosyalara erişimini engellemek için:
User-agent: *
Disallow: /private-directory/*
Lütfen unutmayın ki, robots.txt dosyası sadece arama motorlarının erişimini engellemek için kullanılır. Eğer bir dosya veya dizinin gerçekten gizli olması gerekiyorsa, kullanıcı erişimini kontrol etmek için güvenlik önlemleri almanız gerekir.
Bu içerik faydalı mı?
EvetHayır
