DELTAWEB
Web sitenizin robots.txt dosyasını analiz edin, kurallara göre URL erişimini test edin. Googlebot ve tüm botlar için ayrı ayrı sonuç — kayıt gerektirmez.
Alan adınızı girin, optiyonel olarak test etmek istediğiniz URL'yi de ekleyin. Hangi botların nereye erişebildiğini anında görün.
robots.txt, web sitenizin kök dizininde (/robots.txt) yer alan ve arama motoru tarayıcılarına (botlara) hangi sayfaların taranabileceğini veya taranamayacağını bildiren düz metin dosyasıdır.
Robots Exclusion Protocololarak da bilinen standart, 1994 yılından bu yana kullanılmaktadır. Googlebot, Bingbot, Yandexbot gibi uyumlu botlar bir siteyi taramaya başlamadan önce /robots.txt adresini kontrol eder ve kurallara uymayı taahhüt eder. Protokol, teknik bir zorunluluk değil bir “centilmenlik anlaşması”dır.
Doğru yapılandırılmış bir robots.txt; sunucu kaynaklarını korur, crawl bütçesini kritik sayfalar için saklar ve hassas içeriklerin arama sonuçlarında görünmesini engeller. Yanlış yapılandırma ise tüm sitenin indeksden çıkarılması gibi ciddi SEO felaketlerine yol açabilir.
Her direktifin işlevi, doğru sözdizimi ve önemli notlar.
User-agent: GooglebotKuralların hangi bot(lar) için geçerli olduğunu belirtir. Wildcard (*) tüm botlara uygulanır. Birden fazla User-agent satırı art arda yazılarak aynı kurallar birden fazla bota atanabilir.
Disallow: /admin/Belirtilen yolun (ve alt yollarının) botlar tarafından taranmasını engeller. Boş Disallow değeri tüm sayfaların taranmasına izin anlamına gelir. Daha uzun eşleşen kural her zaman önceliklidir.
Allow: /admin/public/Disallow kuralıyla engellenmiş bir üst dizinin alt yollarına erişime izin vermek için kullanılır. Aynı uzunlukta Disallow/Allow çakışmasında Allow kazanır.
Crawl-delay: 10Bot istekleri arasındaki minimum bekleme süresini saniye cinsinden belirtir. Google bu direktifi resmi olarak desteklemez; Bing ve Yandex destekler. Yüksek trafikli sitelerde sunucu yükünü düşürmeye yardımcı olur.
Sitemap: https://example.com/sitemap.xmlXML sitemap dosyanızın tam URL'sini bildirir. Birden fazla Sitemap satırı kullanılabilir. Google, Bing ve Yandex bu direktifi destekler; botların içeriği daha verimli keşfetmesini sağlar.
Yanlış yapılandırılmış bir robots.txt, tüm sitenin arama motorlarından kaybolmasına neden olabilir. Bu hataları tanıyın ve önleyin.
Tüm Siteyi Engellemek
Disallow: /Test ortamları için sık yapılan bir hatadır. Canlı siteye uygulandığında tüm sayfaların arama motoru indeksinden çıkarılmasına neden olur.
CSS ve JS Dosyalarını Engellemek
Disallow: /*.js$Google, JavaScript ve CSS dosyalarını taramadan sayfaları doğru şekilde render edemez. Bu durum sıralama kaybına yol açar.
Noindex'i Yanlış Anlama
Disallow: /gizli/Disallow, sayfanın taranmamasını sağlar ama indekslenmemesini garanti etmez. Dışarıdan gelen backlinkler nedeniyle sayfa indekslenebilir. Bunun için <meta name='robots' content='noindex'> gereklidir.
Hassas Veriler İçin Güvenmek
Disallow: /kullanici-verileri/robots.txt herkese açık bir dosyadır. Gizli tutmak istediğiniz URL yapılarını buraya yazmayın — kötü niyetli kişiler bu bilgiyi kullanabilir.
SEO açısından güvenli ve etkili bir robots.txt dosyası için temel prensipler.
Genel kuralları User-agent: * ile tanımlayın, ardından Googlebot veya Bingbot için özel overrideler ekleyin. Özel kurallar wildcard kuralları geçersiz kılar.
Her zaman robots.txt dosyanıza Sitemap satırı ekleyin. Bu, Google Search Console'a sitemap göndermeden bağımsız çalışır ve botların içerik keşfini hızlandırır.
Disallow: /admin ile Disallow: /admin/ farklı davranır. Önceki /administrator gibi benzer yolları da engeller; son eğik çizgi tam olarak /admin/ dizinini hedefler.
Her robots.txt değişikliğinden sonra Google Search Console'daki robots.txt Test aracını veya bu aracı kullanarak önemli URL'lerinizin yanlışlıkla engellenmediğini doğrulayın.
robots.txt dosyası ve arama motoru botları hakkında merak edilenleri yanıtlıyoruz.
robots.txt, web sunucunuzun kök dizininde (/robots.txt) bulunan ve arama motoru botlarına (Googlebot, Bingbot vb.) hangi sayfaların taranabileceğini bildiren düz metin dosyasıdır. Robots Exclusion Protocol standardına dayanır ve 1994'ten bu yana kullanılmaktadır. Crawl bütçesini yönetmek, yinelenen içerikleri taramadan dışlamak ve yönetim paneli gibi hassas bölümleri botlardan gizlemek için kullanılır.
robots.txt dosyası bulunamadığında (HTTP 404) arama motoru botları tüm sayfaları taramaya yetkili olduğunu varsayar. Küçük ve düzenli içerikli siteler için bu genellikle sorun teşkil etmez. Ancak büyük sitelerde gereksiz sayfa taranması crawl bütçesini tüketebilir. Yönetim panelleriniz, test ortamlarınız veya kopyalanmış içerik sayfalarınız varsa bir robots.txt oluşturmanız önerilir.
Evet, önemli ölçüde. Arama motorları, büyük siteler için günlük tarayabileceği sayfa sayısını sınırlandıran 'crawl bütçesi' kavramını kullanır. Gereksiz sayfaları (filtre URL'leri, kopya içerikler, yönetim arayüzleri) robots.txt ile taramadan çıkarmak, bütçenin değerli sayfalara ayrılmasını sağlar ve dolaylı olarak sıralama sürecini hızlandırır. Öte yandan kritik sayfaların yanlışlıkla engellenmesi tam bir SEO felaketine dönüşebilir.
Hayır — bu kritik bir yanılgıdır. Disallow, botların sayfayı taramasını engeller ama indekslenmesini garanti etmez. Başka sitelerden gelen backlinkler sayesinde Google sayfanın varlığından haberdar olabilir ve URL'yi indeksleyebilir (içeriğini bilmese bile). Bir sayfanın arama sonuçlarında hiç görünmemesini istiyorsanız <meta name='robots' content='noindex'> kullanın veya HTTP yanıt başlığına X-Robots-Tag: noindex ekleyin.
Google'ın algoritmasına göre daha uzun eşleşen kural her zaman önceliklidir. Örneğin Disallow: /admin/ ve Allow: /admin/public/ kuralları varken /admin/public/index.html isteğinde Allow kazanır çünkü daha uzun bir yolu kapsar. Eşit uzunlukta kural çakışmasında Allow önceliklidir. Bu araç da bu algoritmayı kullanarak URL test sonuçlarını hesaplar.
robots.txt teknik bir kısıtlama değil, uyumu gönüllü bir 'centilmenlik anlaşması'dır. Google, Bing, Yandex gibi köklü arama motorları Robots Exclusion Protocol'e uyar. Ancak kötü niyetli botlar bu kuralları tamamen görmezden gelebilir. Dolayısıyla robots.txt hassas verileri korumak için yeterli bir güvenlik mekanizması değildir; gerçek koruma için kimlik doğrulama veya IP kısıtlaması gerekir.
* (yıldız işareti) herhangi bir karakter dizisiyle eşleşir. Örneğin Disallow: /*.pdf$ tüm .pdf uzantılı URL'leri engeller. $ ise URL'nin sonunu işaret eder; Disallow: /admin$ yalnızca /admin URL'sini engeller, /admin/panel gibi alt yolları engellemez. Karmaşık örüntüler oluştururken bu iki karakteri birleştirebilirsiniz.
Hayır, Google Crawl-delay direktifini resmi olarak desteklemez ve görmezden gelir. Googlebot'un tarama hızını kontrol etmek için Google Search Console'daki 'Tarama Hızı' ayarını kullanmalısınız. Bing ve Yandex Crawl-delay'i destekler. Sunucu yükünü azaltmak istiyorsanız Search Console'da Googlebot için tarama hızını manuel olarak sınırlayabilirsiniz.
Evet. Her User-agent bloğu bağımsız çalışır. Önce User-agent: * ile genel kurallarınızı tanımlayın, ardından User-agent: Googlebot gibi özel bloklarla belirli botlara farklı kurallar uygulayabilirsiniz. Belirli bir bot için tanımlanmış kural varsa Google o botu için özel kuralı, bulamazsa wildcard (*) kuralını uygular — ikisini birleştirmez.
Evet, tamamen ücretsizdir ve kayıt gerektirmez. Araç, hedef sitenin /robots.txt adresini sunucu tarafında gerçek zamanlı olarak getirir, Google'ın robots.txt spesifikasyonundaki en uzun eşleşme algoritmasıyla kuralları ayrıştırır ve URL test sonuçlarını hesaplar. Yaptığınız sorgular sunucularımızda saklanmaz.