Geçen hafta bir e-ticaret müşterimiz panikle aradı. Yeni ekledikleri yüzlerce ürünün hiçbiri bir türlü indekslenmiyordu. SEO eklentisini güncellemekten tutun da meta açıklamaları tekrar yazmaya kadar akla gelen her şeyi denemişlerdi. Yardım talebiyle bize geldiklerinde yaptığımız ilk iş, sayfa hızı testi ya da schema kontrolü olmadı. Direkt sunucu loglarına bağlandık. Yarım saatlik log incelemesi sonunda gördüğümüz manzara şuydu (rakamlar temsili bir örnektir): Googlebot, sitenin tamamına yaptığı isteklerin büyük çoğunluğunu, "filtrele" parametreleriyle şişmiş, aynı ürünün onlarca farklı varyasyonuna ve bir yıl önce kaldırılmış sayfalara yönelmişti. Yeni ürün sayfalarına ise parmakla sayılacak kadar az uğramıştı. Sorun sitenin SEO'sunda değil, Googlebot'la kurduğu ilişkideydi.
Biz Kobimedya olarak yıllardır şunu söylüyoruz: Görünmez olanı görmeden, görünür olma problemini çözemezsiniz. Kurumsal web projelerinde işin mutfağına inmek tam olarak budur. İyi bir web sitesi yapmak, taş duvarla otel inşa etmek gibidir; binayı dikersiniz ama içerideki tesisatı, suyun nereden gelip nereye gittiğini anlamazsanız, ilk patlakta bütün yapı zarar görür. Googlebot trafiğini anlamak da işte o tesisatı okumaktır. Ve bu okumayı yapmanın en saf, en filtresiz, en yalansız yöntemi log dosyası analizidir.
Log dosyası nedir, içindeki googlebot satırları nasıl ayıklanır
Sunucu log dosyaları, sitenize gelen her ziyaretçinin bıraktığı ham ayak izleridir. Kim gelmiş, hangi sayfayı istemiş, ne kadar sürede cevap almış, hangi tarayıcıyı veya botu kullanmış... Hepsi kayıt altındadır. Google Analytics size bot trafiğini göstermez; Search Console "taranan sayfalar" raporu verir ama hangi botun hangi sıklıkla, hangi öncelikle geldiğini anlamlandırmaz. Log dosyası ise hiç yorum katmaz, sadece gerçeği yansıtır. Kirli, düzensiz, devasa ama bir o kadar da dürüsttür.
Bu dosyaları analiz edebilmek için önce Googlebot'u tanımak gerekir. Google'ın resmî bot kullanıcı ajanları bellidir: "Googlebot", "Googlebot-Image", "Googlebot-Video" gibi ajanlar log satırlarında kendini belli eder. İşin püf noktası, bu satırları gelişigüzel değil, sistematik bir şekilde ayıklamaktan geçer. cPanel sunucularda ham ".gz" uzantılı log dosyalarını indirip Screaming Frog Log File Analyser, Botify ya da OnCrawl gibi araçlarla işleyebilirsiniz. Daha küçük ölçekli işler için terminal üzerinde grep komutlarıyla Googlebot'a ait satırları çekmek bile başlangıç için yeterlidir. Önemli olan, bu satırları anlamlandırmaya başlamaktır. Bot bir sayfaya 200 durum koduyla mı ulaşmış, yoksa 301 yönlendirmesiyle karşılaşıp peş peşe üç sayfa mı gezdirilmiş? Saniyeler içinde cevap alabilmiş mi, yoksa 2 saniyenin üzerinde yanıt süresiyle mi karşılaşmış? İşte bu soruların cevabı, botla siteniz arasındaki güven ilişkisinin temelini oluşturur.
Kobimedya'da yaptığımız log analizi çalışmalarında sık karşılaştığımız şeylerden biri, bot trafiğinin neredeyse yarısının hiç de indekslenmesini istemediğimiz sayfalara gitmesidir. Bunlar genelde robots.txt veya meta robots etiketiyle engellenmemiş, fakat içerik olarak tamamen gereksiz olan URL'lerdir. Log dosyasında bunları tespit etmeden, Search Console'da "taranan ama indekslenmeyen" sayfalarınıza bakıp hayıflanmaya devam edersiniz.
Tarama bütçesini boşa harcayan sessiz katiller
Tarama bütçesi dediğimiz kavram, Googlebot'un sitenize belirli bir zaman diliminde yapacağı istek sayısının sınırıdır. Daha doğrusu, Google'ın sitenize ayırmaya değer gördüğü kaynaktır. Büyük ölçekli e-ticaret sitelerinde bu sınırın ne kadar kıymetli olduğunu anlatmaya gerek bile yok. Fakat işin asıl can sıkıcı tarafı, orta ve hatta küçük ölçekli sitelerde dahi bu bütçenin sessiz sedasız heba ediliyor olmasıdır. Log dosyasına baktığınızda bu israfı net bir şekilde görürsünüz.
En büyük suçlu genellikle parametreli URL'lerdir. Ürün filtreleme, sıralama, renk veya beden seçimi gibi işlevlerle çoğalan "?sort=price", "?color=red&size=42" benzeri uzantılar, yüzlerce hatta binlerce farklı URL üretir. E-ticaret altyapınız canonical etiketini doğru kullanıyor olsa bile, bot bu varyasyonların peşine düşmekten ana ürün sayfalarına sıra getiremez. Hele bir de bu parametrelerin her biri ayrı bir iç link zincirine sahipse, botun sitenizde kaybolması an meselesidir. Log analizinde bu tür URL'lere yapılan isteklerin yüksekliğini gördüğünüzde, sorunun SEO metninizde değil, teknik altyapınızdaki bu sızıntıda olduğunu anlarsınız.
Bir diğer kronik sorun, geçmişte var olup şimdi 404 hata kodu döndüren sayfaların hâlâ iç linklerde veya eski site haritalarında yer almasıdır. Bot, sizden kalan bir ekmek kırıntısını takip ederek var olmayan bir sayfaya ulaşır, sonra bir başkasına, sonra bir diğerine... Her 404 yanıtı, aslında değerli bir sayfanın taranması için harcanabilecek bir istek hakkının çöpe gitmesidir. Yıllar içinde biriken bu ölü bağlantılar, sitenizin Google katındaki güvenilirliğini de sessizce aşındırır.
Bot'un hiç uğramadığı stratejik sayfaları tespit etmek
Log dosyası analizinin belki de en öğretici kısmı, sadece çok tarananları değil, hiç taranmayanları da gün yüzüne çıkarmasıdır. Çoğu zaman müşterimiz "en önemli kategorim bu" diyerek içerik stratejisini şekillendirir. Biz log'a baktığımızda görürüz ki, Googlebot o kategoriye son iki haftada sadece bir kere uğramış. Oysa ana sayfadan sadece iki tık uzaklıkta, içerik olarak dolu ve harici bağlantıları da olan bir sayfadır. Peki bot niye gelmemiştir?
Bunun birkaç yaygın sebebi vardır. En sık gördüğümüz durum, iç linkleme hiyerarşisindeki kopukluktur. Site içi bağlantılarınız, botun sayfalar arasında nasıl dolaşacağını belirleyen bir yol haritasıdır. Eğer ana sayfanızdan ürün sayfanıza giden yol üç seviyeden daha derinse, hele bir de mobil menüde bu bağlantı JavaScript ile yükleniyorsa, Googlebot'un o sayfayı keşfetmesi neredeyse imkânsız hale gelir. Log analizi sırasında, Googlebot'un belirli bir derinlikten sonraki sayfalara adeta bir görünmez duvara çarpar gibi ilerleyemediğini somut olarak tespit edersiniz. Site haritasında listelenmiş olması bu durumu garanti altına almaz; çünkü botun site haritasından keşfettiği bir sayfaya verdiği öncelik ile iç linklerden doğal akışla ulaştığı sayfaya verdiği öncelik aynı değildir.
Kobimedya Vizyonu
Sektörde 20. Yılımız
Bazen de sorun sunucu tarafındadır. Önemli bir sayfanız, belirli bir saat diliminde yavaş yanıt veriyordur. Googlebot ilk denemesinde bu yavaşlıkla karşılaşınca, sayfayı "zor" kategorisine alıp ziyaret sıklığını düşürür. Siz sunucunun o anki yoğunluğundan habersiz, "içerik harika ama sıralamaya girmiyor" diye düşünürsünüz. Log, bu kopukluğun tamir edilebileceği yegane yerdir.
Düzeltme adımları ve önceliklendirme stratejisi
Log analizi yapmadan önce atılan her SEO adımı, gözleri kapalı ok atmaya benzer. Analiz bittikten sonra ise yapılacak işlerin listesi çok daha net ve öncelik sıralaması bellidir. İlk müdahale alanı, robots.txt dosyasıdır. Botun vaktini çalan parametreli URL'leri, filtreleme sayfalarını, ajax çağrılarını bu dosya aracılığıyla devre dışı bırakmak en hızlı kazanımdır. Ancak burada kritik bir detay var: Sadece "Disallow" yazıp geçmek yetmez. Google'ın bu talimatı ne zaman işleyeceği, mevcut indekslenmiş URL'leri ne kadar sürede temizleyeceği değişkendir. O yüzden robots.txt düzenlemesini, URL parametre yönetimini Search Console'dan da destekleyerek yapmak gerekir.
İkinci ve daha zahmetli ama kalıcı çözüm alanı iç linkleme mimarisidir. Log size nerede kopukluk olduğunu gösterir; sizin yapmanız gereken, o kopukluğu giderecek bağlantıları stratejik olarak yerleştirmektir. Örneğin, botun hiç uğramadığı bir içerik sayfasının bağlantısını, taranma sıklığı yüksek olan bir kategori sayfasından doğal bir akışla vermek. Yönlendirme zincirlerini temizlemek de bu aşamanın önemli bir parçasıdır. 301 yönlendirmelerinin peş peşe sıralandığı zincirler, botun hem vaktini alır hem de link değerini azaltır. Log, bu zincirlerin adeta röntgenini çekmenizi sağlar.
Site haritası optimizasyonu da genellikle göz ardı edilen bir başka noktadır. Çoğu site haritası, eklenti ne ürettiyse onu aynen sunar. Hâlbuki log analizi sonrası, taranmasını istemediğiniz ya da zaten botsuz da taranabilen düşük değerli sayfaları site haritasından çıkarmak, Googlebot'un dikkatini asıl sayfalara yönlendirmenin etkili bir yoludur. Önceliklendirme tam da burada devreye girer; log verisiyle desteklenmiş bir site haritası, bot için bir temenni listesi olmaktan çıkar, stratejik bir navigasyon aracına dönüşür.
Küçük işletmeler için gerçekçi bir değerlendirme
Bütün bu anlattıklarımızdan sonra akla şu soru geliyor: Her işletme log analizi yaptırmalı mı? Cevap, işletmenin büyüklüğünden çok URL sayısına ve dinamikliğine bağlıdır. Eğer 10 sayfalık kurumsal bir tanıtım siteniz varsa ve ayda bir içerik giriyorsanız, log analizi sizin için hayati bir öncelik olmayabilir. Zaten 11'den fazla URL yoksa Googlebot'un işi de oldukça basittir. Ancak 500'ün üzerinde URL'ye sahipseniz, hele bir de bu URL'lerden önemli bir kısmı filtreleme, sıralama veya kullanıcı etkileşimiyle oluşuyorsa, log analizi sizin için artık "olsa iyi olur" değil, "olmazsa eksik kalır" seviyesindedir.
Küçük işletmelerin yaptığı en büyük hata, bu işi aşırı mühendislik sanıp görmezden gelmek, sonra da dönüp "Google beni sevmiyor" diye isyan etmektir. Oysa sınırlı kaynakla bile belirli periyotlarda log analizi yapmak ve kritik sorunları ayıklamak mümkündür. Asıl bedel ödeten şey, log analizini hiç yapmayıp arama trafiğinin sinsice düşüşünü izlemektir. Kapsam, site büyüklüğüne ve URL envanterine göre şekillenir; bu yüzden her sitenin ihtiyacı kendine özgüdür. Önemli olan, bu analizin bir kere yapılıp bırakılacak bir iş olmadığını bilmektir. Site büyüdükçe, yeni içerik eklendikçe, altyapı güncellendikçe log dosyası da yeniden okunmayı bekler.
Dijital dünyada bazen en karmaşık sorunun cevabı en temel yerde saklıdır. Googlebot'un sitenizde gerçekte ne yaptığını bilmeden, "acaba meta açıklamam yeterince iyi mi" diye düşünmek, arabanın motoru yanarken iç döşemenin rengini beğenmemeye benzer. Siz döşemeyle uğraşırken motor, yani tarama bütçesi ve indeksleme mekanizmanız, çoktan ciddi hasar almış olabilir.
Kobimedya olarak yirmi yılı aşkın süredir dijital projelerin mutfağında, o tesisatın içinde çalışıyoruz. Müşterilerimizin sitelerini büyüten şey, yüzeydeki ciladan çok, perde arkasında yaptığımız teknik tespitler ve bu tespitlere dayanan stratejik müdahaleler oluyor. Arama motorlarına sadece sitenizin ne söylediğini değil, aynı zamanda onların sitenizde ne gördüğünü gösteren aynayı tutabiliyoruz. Eğer sitenizdeki trafik düşüşünün ya da indekslenmeme sorununun altındaki gerçek sebebi merak ediyorsanız, Googlebot'un izini sürmeye log dosyalarınızdan başlamanın tam zamanıdır.
Web Sitesi: kobimedya.com
