Anasayfa › Teknik SEO
Teknik Seo
Teknik SEO, Google’ın sayfaları nasıl taradığını ve dizine aldığını düzenler: Dizine Ekleme API’sinin hangi sayfa türlerinde kullanılabildiği, robots.txt ile engellenen bir sayfadaki noindex etiketinin neden okunamadığı, PDF ve görsel dosyaların HTTP başlığıyla dizin dışında tutulması ve Googlebot’un çerez ile oturum bilgisini saklayıp saklamadığı.
Teknik SEO Google’ın Dizine Ekleme API’sini Hangi Sayfalarda Kullanır?
Dizine Ekleme API’si, bir sitenin Google’a doğrudan bildirim göndermesini sağlayan bir arayüzdür. API, iki yazılımın belirli kurallarla veri alışverişi yaptığı bağlantı noktası demektir. Site bu yolla bir adresin eklendiğini, güncellendiğini ya da kaldırıldığını Google’a iletir. Teknik SEO çalışmasında bu arayüz her sayfa için kullanılmaz. Google, arayüzün yalnızca iki tür sayfa için desteklendiğini belgelerinde açıkça yazar.
Bu türlerden ilki iş ilanı sayfalarıdır. Bir sayfanın iş ilanı sayılması için üzerinde iş ilanı yapılandırılmış verisi bulunmalıdır. Yapılandırılmış veri, sayfanın içeriğini Google’ın okuyacağı düzenli bir biçimde ayrıca tanımlayan koddur. İkinci tür, canlı yayın içeren video sayfalarıdır. Bu sayfalarda video işaretlemesinin içinde yayın etkinliği bilgisi yer alır. İki türün ortak yanı, içeriğin kısa sürede eskimesidir; ilan kapanır, yayın biter.
Hizmet sayfaları, blog yazıları, kategori ve iletişim sayfaları bu iki türün dışında kalır. Google, arayüzün başka sayfa türleri için kullanılamayacağını belirtir. Gönderilen her bildirimin istenmeyen içerik denetiminden geçtiğini de yazar. Birden çok hesapla kotayı aşma girişimlerinde erişimin kaldırılabileceğini ekler. Kota, arayüz üzerinden bir günde gönderilebilecek bildirim sayısının sınırıdır. Bu yüzden diğer sayfalar için başka yollar kullanılır.
Uygun sayfası olan sitede kurulum Google Cloud üzerinde başlar. Orada bir proje açılır ve Dizine Ekleme API’si bu projede etkinleştirilir. Ardından bir hizmet hesabı oluşturulur; bu, bir kişiye değil yazılıma ait olan Google hesabıdır. Hizmet hesabı, Search Console’da sitenin sahibi olarak eklenir. Site, bildirimleri bu hesabın anahtarıyla imzalayarak gönderir. Anahtar dosyası sunucuda gizli tutulur ve başkasıyla paylaşılmaz.
Bildirim iki türdür. Güncelleme bildirimi, sayfanın eklendiğini ya da içeriğinin değiştiğini söyler; Google adresi yeniden taramak üzere sıraya alır. Kaldırma bildirimi ise sayfanın artık yayında olmadığını söyler. Bu bildirimden önce sayfa sunucudan silinmiş ya da noindex ile işaretlenmiş olmalıdır. Noindex, Google’dan sayfayı arama sonuçlarında göstermemesini isteyen yönergedir. Bildirim gönderilmiş olsa da dizine alma kararını Google verir.
Diğer sayfalarda teknik SEO şu yolu izler. Yeni ya da değişen sayfa XML site haritasına girer; bu harita, dizinde yer alması gereken adresleri sıralayan dosyadır. Haritadaki değişiklik tarihi doğru tutulur. Sayfaya sitenin ilgili bölümlerinden iç bağlantı verilir. Search Console’un URL Denetimi aracında tek bir adres sorgulanıp dizine eklenmesi talep edilebilir. Ön raporda sitenin arayüze desteklenmeyen sayfa gönderip göndermediğine de bakarız.
Robots.txt ile Engellenen Sayfadaki Noindex Etiketi Neden Görülmez?
Robots.txt, alan adının ana dizininde duran ve tarama yazılımlarına hangi adresleri açmamaları gerektiğini bildiren metin dosyasıdır. Googlebot, Google’ın sayfaları indiren tarama yazılımıdır. Noindex yönergesi ise sayfanın kendi kodunun içinde durur. Bir yönergenin uygulanması için önce okunması gerekir. Robots.txt bir adresi engellediğinde Googlebot o sayfayı indirmez. İndirilmeyen sayfanın içindeki noindex de hiç okunmaz.
Bu durumda sayfa dizinden çıkmayabilir. Google, taramadığı bir sayfayı başka sitelerden ya da site içinden gelen bağlantılar yoluyla tanıyabilir. Böyle bir adres, içeriği okunmadan yalnızca adresiyle sonuçlarda görünebilir. Sonuçta açıklama yerine sayfa hakkında bilgi bulunmadığını belirten kısa bir not çıkar. Search Console bu adresleri, robots.txt engeline karşın dizine alınmış sayfalar için ayrılan durumda listeler.
Çözüm, işlemleri doğru sırayla yapmaktır. Önce robots.txt dosyasındaki engel kaldırılır ve sayfanın noindex taşıdığı kontrol edilir. Googlebot sayfayı yeniden indirir, yönergeyi okur ve adresi dizinden çıkarır. Bu, sayfanın bir sonraki taranmasını bekler. Süreyi kısaltmak için URL Denetimi aracında yeniden tarama istenir. Engel daha sonra geri konursa adres, dış bağlantılar yoluyla dizine yeniden girebilir.
İki ayar farklı işler görür. Robots.txt taramayı yönetir; sunucuya gereksiz istek gitmesini önler. Noindex ise dizine eklemeyi yönetir; sayfa taranır ama sonuçlarda gösterilmez. Teknik SEO denetiminde her engelli adres için hangisinin gerektiğine bakılır. Arama sonuçlarından çıkması istenen sayfa robots.txt ile kapatılmaz. Taranması gereksiz olan ve dizinde zaten bulunmayan adresler robots.txt ile kapatılır.
Hiç kimsenin görmemesi gereken sayfalar için iki ayar da yeterli değildir. Robots.txt herkese açık bir dosyadır; içine yazılan adresleri herkes okuyabilir. Bu sayfalar parola ile korunur ya da sunucudan kaldırılır. Bir sayfanın sonuçlardan hemen gizlenmesi gerekiyorsa Search Console’daki Kaldırmalar aracı kullanılır. Bu araç gizlemeyi geçici olarak yapar; kalıcı çözüm yine noindex ya da sayfanın silinmesidir.
Kontrol üç yerden yapılır. Search Console’daki robots.txt raporu, Google’ın dosyanın hangi sürümünü okuduğunu ve okurken hata alıp almadığını gösterir. URL Denetimi aracında tarama izni ile noindex bilgisi ayrı satırlarda yer alır; her adres tek tek sorgulanır. Engelli ya da noindex taşıyan adreslerin toplu listesi Sayfa Dizine Ekleme raporundadır; adresler nedenlerine göre gruplanır.
PDF ve Görsel Dosyalar HTTP Başlığıyla Dizin Dışında Nasıl Tutulur?
Noindex yönergesi çoğunlukla sayfa kodunun üst bölümüne yazılır. PDF, görsel ve video dosyalarında böyle bir bölüm yoktur; bu dosyalar sayfa kodu taşımaz. Bu dosyalarda yönerge HTTP yanıt başlığına eklenir. HTTP yanıt başlığı, sunucunun bir dosyayı gönderirken önüne eklediği kısa bilgi satırlarıdır. Google, robot yönergelerini bu başlıkta da okuduğunu belgelerinde belirtir.
Başlık, sunucu ayarlarıyla eklenir. Ayar tek bir dosya için yazılabilir. Çoğunlukla bir kural kurulur: belirli bir klasördeki ya da belirli uzantıdaki bütün dosyalar aynı yönergeyle gönderilir. Uzantı, dosya adının sonunda türünü gösteren bölümdür. Kural kurulmadan önce hangi dosyaların dizinde kalacağı listelenir. Aramada bulunması istenen belgeler kuralın dışında bırakılır ve ayrı bir klasörde tutulur.
Görsellerde iki yol vardır. Başlıktaki noindex yönergesi, görselin Google Görseller’de gösterilmemesini sağlar. Diğer yol, robots.txt dosyasında yalnızca Google’ın görsel tarayıcısına görsellerin bulunduğu klasörü kapatmaktır. Görsel tarayıcısı, Google’ın görselleri indiren ayrı tarama yazılımıdır. Bu ikinci yol yalnızca Google Görseller’de yapılan aramayı etkiler. Görselin yer aldığı sayfa normal web aramasında görünmeye devam eder.
Yönerge, dosya yeniden tarandığında geçerli olur. Dosyanın robots.txt ile engellenmemiş olması gerekir; engelli dosyanın başlığı okunmaz. Dizinde bulunan bir PDF, başlık eklendikten sonraki taramada sonuçlardan çıkarılır. PDF dosyalarının taranma sıklığı sayfalarınkinden düşük olabilir. Önemli dosyaların adresi bu nedenle URL Denetimi aracına tek tek girilir ve yeniden taranması istenir. Teknik SEO çalışmasında bu adresler aylık iş listesine yazılır.
Başlıkta noindex dışında başka yönergeler de kullanılabilir. Sonuçta önizleme metni gösterilmemesini isteyen yönerge bunlardan biridir. Belirli bir tarihten sonra dosyanın sonuçlardan çıkarılmasını isteyen yönerge de vardır. Yönergeler tüm tarayıcılara ya da yalnızca Googlebot’a yönelik yazılabilir. Bir sayfaya hem başlıkta hem sayfa kodunda çelişen yönergeler verilirse Google ikisinden kısıtlayıcı olanı esas alır.
Kontrol için dosyanın adresi tarayıcıda açılır. Geliştirici araçlarında Ağ sekmesi seçilir ve dosyanın yanıt başlıkları okunur; noindex yönergesi orada görünmelidir. Site bir içerik dağıtım ağı kullanıyorsa başlığın oradan da aynı biçimde geldiği denetlenir. Bu ağ, dosyaların kopyalarını farklı sunuculardan veren hizmettir. URL Denetimi aracı da yönergenin başlıkta algılandığını ayrıca yazar.
Googlebot Sayfaları Tararken Çerez ve Oturum Bilgisi Saklar mı?
Çerez, bir sitenin tarayıcıya bıraktığı ve sonraki ziyarette geri okuduğu küçük veri parçasıdır. Oturum bilgisi ise ziyaretçinin girişini, seçimlerini ve sepetini sayfalar arasında taşır. Google, Googlebot’un sayfaları durum bilgisi tutmadan taradığını belirtir. İki sayfa yüklemesi arasında çerezler silinir. Tarayıcının yerel depolama ve oturum depolama alanları da temizlenir. Her sayfa, ilk kez gelen bir ziyaretçiye açılır.
Bir seçim ya da onaydan sonra görünen içerik bu nedenle Googlebot’a ulaşmaz. Googlebot düğmelere tıklamaz, form doldurmaz ve tarayıcının izin isteklerini reddeder. Kullanıcı girişinden sonra açılan sayfalar taranmaz. Çerez onayı verilmeden içeriği yüklemeyen sayfa Googlebot’a boş gelir. Dizine girmesi istenen metin, sayfa ilk açıldığında kodun içinde bulunmalıdır. Betikle sonradan getirilen metin de onaya bağlı olmamalıdır.
Çerez onay penceresi bu açıdan ayrıca incelenir. Pencere içeriğin üstüne binen bir katman olarak açılıyorsa metin kodda durur ve Google onu okur. Google, yasal zorunluluk nedeniyle gösterilen çerez pencerelerini rahatsız edici ara pencere saymadığını belirtir. Sorun, içeriğin onaydan sonra yüklendiği kurulumlarda çıkar. Teknik SEO incelemesinde pencere kapatılmadan ana metnin kodda bulunup bulunmadığına bakılır.
Dil ve bölge seçimi çerezde tutuluyorsa Googlebot her seferinde varsayılan sürümü görür. Seçime göre değişen içerik yalnızca seçimi yapan ziyaretçiye açılır. Google, içeriği ziyaretçinin konumuna ya da diline göre değiştiren kurulumlarda her sürüm için ayrı adres kullanılmasını önerir. Her dil sürümü kendi adresinde durur. Sürümler, bir sayfanın diğer dil sürümlerini Google’a bildiren hreflang işaretiyle birbirine bağlanır.
Bazı sistemler oturum bilgisini çerez yerine adresin sonuna ekler. Bu durumda her tarama yeni bir oturum açar ve aynı sayfa farklı adreslerle görünür. Google aynı içeriği taşıyan bu adresleri ayrı ayrı tarar. Çözüm, oturum bilgisinin adrese yazılmamasıdır. Bu mümkün değilse kanonik etikete başvurulur. Bu etiket, birden çok adresi olan bir sayfanın asıl adresini Google’a bildirir.
URL Denetimi aracındaki canlı test, adresi o anda tarar ve Googlebot’un gördüğü sayfayı gösterir. Test sonucunda işlenmiş kod ve sayfanın ekran görüntüsü yer alır. Ana metin orada görünmüyorsa içerik bir seçime, onaya ya da girişe bağlıdır. Tarayıcının gizli penceresi de çerezsiz bir açılış verir. Gizli pencere Googlebot’un yerini tutmaz; yalnızca ilk kontrol için kullanılır ve sonuç canlı testle doğrulanır.
WordPress sitemde Dizine Ekleme API’sini bir eklentiyle kullanabilir miyim?
Kullanabilirsiniz, ama yalnızca iş ilanı ve canlı yayın sayfaları için. Bazı eklentiler her yeni yazıyı kendiliğinden bildirir; bu ayarı kapatın. Eklentinin bildirim göndereceği içerik türünü bu iki türle sınırlayın. Hizmet hesabının anahtar dosyasını yalnızca eklentinin ayar alanına yükleyin ve kimseyle paylaşmayın.
Robots.txt dosyamda yaptığım değişikliği Google ne zaman okur?
Dosya bir süre Google’ın önbelleğinde tutulur; değişiklik bu süre dolunca okunur. Search Console’daki robots.txt raporunda Google’ın son okuduğu sürümü ve okuma zamanını görürsünüz. Acil bir düzeltmede aynı rapordan yeniden tarama isteyebilirsiniz. Dosyanın tarayıcıda hata vermeden açıldığını da kontrol edin.
PDF dosyamın arama sonucunda görünen başlığını nasıl değiştiririm?
Google, PDF dosyalarında başlığı çoğunlukla belgenin özelliklerindeki başlık bilgisinden ya da ilk sayfadaki belirgin metinden alır. Belgeyi hazırladığınız programda belge özelliklerini açın ve başlığı düzeltin. Yeni dosyayı aynı adla, aynı adrese yükleyin. Değişiklik, Google dosyayı yeniden taradığında sonuçlara yansır.
Üyelere özel yazılarımı Google’ın dizine eklemesi mümkün mü?
Googlebot giriş yapmadığı için giriş arkasındaki metni okumaz. Google, ücretli ya da üyelikli içerik için ayrı bir yapılandırılmış veri tanımlar. Bu işaretleme, metnin Googlebot’a tam, ziyaretçiye kısmen gösterildiği kurulumu Google’ın gizlemeden ayırt etmesine yardım eder. Gizleme, arama motoruna ziyaretçiden farklı içerik gösterme uygulamasıdır. İşaretleme yoksa yalnızca herkese açık bölümün dizine girmesi beklenir.