404 Hataları Tarama Bütçesini Tüketir mi?

"404 hataları tarama bütçesini tüketir" en çok tekrarlanan SEO iddialarından biri. Kısmen doğru, çoğunlukla yanlış anlaşılıyor ve her eksik URL'yi ana sayfaya yönlendirmek gibi kötü kararlara yol açıyor.

Tarama bütçesi nedir?

Tarama bütçesi, bir arama motorunun belirli bir sürede sitenizde taramaya istekli ve muktedir olduğu URL sayısıdır. Sunucunuzun ne kadar hızlı yanıt verdiğine ve arama motorunun içeriğinizi ne kadar taramak istediğine bağlıdır.

Google'ın dokümantasyonuna göre tarama bütçesi esas olarak çok büyük siteler (yüz binlerce ila milyonlarca sayfa) veya içeriği çok sık değişen siteler için önemlidir. Tipik bir kurumsal site, blog veya küçük mağazanın tarama bütçesi sorunu nadiren olur.

Arama motorları gerçek 404'lere nasıl davranır?

Doğru dönen bir 404 veya 410, sayfanın olmadığına dair net bir sinyaldir. Google bu URL'leri ara sıra kontrol etmeye devam eder ama zamanla tarama sıklığını azaltır. 404 ayrıca diğer sayfalarınızın sıralamasını düşürmez.

Yani doğru dönen 404'ler ucuzdur. Tarama israfının ana kaynağı değildir.

Tarama bütçesini asıl tüketenler

Soft 404'ler. "Bulunamadı" diyen ama 200 dönen sayfalar gerçek sayfa gibi göründüğü için taranmaya devam eder. Bkz. 404, Soft 404 ve 410 Arasındaki Farklar.

Yönlendirme zincirleri. Her adım ekstra bir istektir. Uzun zincirler taramayı yavaşlatır ve son sayfaya ulaşılmadan bırakılabilir.

Sonsuz URL alanları. Filtreli navigasyon, takvim sayfaları, oturum ID'leri ve bitmeyen parametre kombinasyonları, az özgün içerikli sayısız URL üretir.

Kopya URL varyasyonları. Büyük harf, sondaki slash ve protokol farkları aynı içeriği çoğaltır; bkz. URL normalizasyonu yazımız.

Yavaş sunucu yanıtları. Sunucunuz yavaş yanıt veriyor veya 5xx hataları dönüyorsa arama motorları daha az tarar.

Tarama bütçesi adına yapılan yaygın hatalar

• Tüm 404'leri ana sayfaya yönlendirmek. Gerçek 404'leri soft 404'e çevirir ve daha fazla karışıklık yaratır. Bkz. 404 Sayfalarını Ana Sayfaya Yönlendirmek Neden Yanlış.
• 404 URL'leri robots.txt ile engellemek. Tarayıcı URL'ye erişemezse 404 döndüğünü de göremez; URL raporlarda daha uzun süre kalabilir.
• "Hata olmasın" diye boş sayfayla 200 döndürmek.

404'ler ne zaman dikkat gerektirir?

404'ler, kendi sitenizden veya değerli kaynaklardan geliyorsa önemlidir:

• ölü URL'lere giden iç linkler ve menüler,
• kaldırılmış sayfaları listeleyen sitemap'ler,
• backlink veya gerçek ziyaretçi trafiği alan URL'ler,
• yanlışlıkla 404 veren önemli sayfalar.

Bunlar önce kullanıcı ve link değeri, sonra tarama verimliliği sorunudur. Kırık Linkler Nasıl Bulunur ve Önceliklendirilir yazısındaki gibi önceliklendirin.

Özet

Çoğu site için gerçek 404'ler kayda değer tarama bütçesi harcamaz. Soft 404'ler, yönlendirme zincirleri, sonsuz parametreler ve kopya URL'ler harcar. Dürüst durum kodları döndürün, iç kaynakları düzeltin ve sadece gerçek değeri olan URL'leri yönlendirin. no404 hangi 404'lerin gerçek trafik aldığını göstererek emeğinizi doğru yere harcamanızı sağlar.