Google’da İndekslenmiş Bir Sayfayı Nasıl Kaldırırım?

SEO başarısını etkileyen en önemli faktörlerden bir tanesi de “Tarama Bütçesi (Crawl Budget)” kavramını web sitemizde verimli bir şekilde kullanmaktır. Bu yüzden yazımızda bahsedeceğimiz tüm yöntemler temelde iki ortak amacı hedefliyor;

* Google’da bulunmasını istemediği spesifik bir sayfasını Google’dan kaldırmak isteyenleri.

* SEO performansını düşünerek sitesindeki değersiz/gereksiz sayfaların indekslerde bulunmamasını sağlayıp tarama bütçesini verimli kullanmak isteyenleri.

İndeksten Sitemi Nasıl Silerim?

Öncelikle yapılması gereken hangi sayfamızı ya da sayfa gruplarımızı Google indeksinden silmek istediğimizi tespit etmek olmalıdır. Buradaki ilk aşama olan tespit etme aşaması aslında oldukça önemli. Çünkü birazdan yapacağımız geliştirmeleri bizler için gerçekten SEO tarafında değerli bir sayfa ya da sayfa grubuna uygularsak, istemediğimiz bir trafik düşüşü ile karşılaşabiliriz.

Bu aşamada bizlere yol gösterici en önemli referans noktalarından birisi Google Analytics aracı olacaktır. Sitemizin son bir senelik geçmiş trafik verilerini incelediğimizde, bizlere hiç trafik getirmemiş sayfa grupları var ise bu sayfaları indekslerden sildirip, taramaya kapatmamız bir sorun yaratmayacaktır.

Genelleme yapacak olursak; blog sitelerinde bu tip gereksiz sayfaları “etiket (tag)” ve “yazar arşiv (author)” sayfaları, e-ticaret sitelerinde ise “sepet”, “kayıt ol”, “giriş” şeklindeki kullanıcı sayfaları ve “filtre (filter)” sayfaları oluşturmaktadır.

Öncelikle videoda da bahsettiğimiz üzere bu sayfalar için ortak bir desen (pattern) bulmamız gerekli. Desenden kastımız, URL’lerde ortak bir parametre ya da ortak bir klasörleme yapısı (subfolder) olabilir. Örneğin:

https://www.example.com/en/men-shorts?filter=66

https://www.example.com/en/women-shorts?filter=blue

Yukarıdaki URL’lerin ortak deseni “?filter=” parametresidir.

https://www.example.com/blog/tag/italian-foods

https://www.example.com/blog/tag/italian-nights

Yukarıdaki URL’lerin ortak deseni de “/tag/” alt klasörüdür.

Sonrasında indeksten sildirmek için yapacağımız adım önce indekste olup olmadığını kontrol etmek olmalı. Spesifik tek bir sayfayı ya da desenini yakaladığımız bir sayfa grubunun indekste bulunup bulunmadığını kontrol etmek için ise yapmanız gereken Google’da aşağıdaki şekillerde arama sorguları gerçekleştirmek:

site:https://www.example.com/blog/tag/italian-foods

ya da

site:https://www.example.com/blog inurl:/tag/

Başka bir örnek:

site:https://www.example.com/en/women-shorts?filter=blue

ya da

site:https://www.example.com/en inurl:?filter=

Yukarıdaki görsele ait canlı örnek üzerinde de göreceğiniz üzere, filtre sayfaları Google’da neredeyse 9k indekslenmiş durumdadır. Üstelik bu filtre sayfalarının siteye trafik olarak getirisi son bir senede yok denecek kadar az:

Tespit aşamasını tamamladıysak, bu durumda bir sayfa grubunu ya da tek bir sayfayı Google’dan nasıl kaldırabiliriz kısmına geçelim.

Sayfayı İndekse Nasıl Kapatabilirim?

Öncelikle, ilgili sayfa grubuna ait desenin (parametre ya da alt klasör vs.) Robots.txt dosyasından taramaya açık olup olmadığını kontrol etmemiz gerekli. Yani Robots.txt dosyasında bu sayfaya ait bir element ile ilgili herhangi bir “Disallow: ...” satırı bulunmaması gereklidir.

Bunun nedeni, sayfamızın Google indekslerinden tamamen silinmesi için botlara sayfamız üzerinden ileteceğimiz silme talebini botların görebilmesi ve bunun için de sayfayı rahatça tarayabiliyor olmaları gerekli.

Sonrasında, indekse kapatmak istediğimiz her bir sayfada kaynak kodu içerisine aşağıdaki etiket satırını eklememiz gerekli:

<meta name="robots" content="noindex, follow">

Bu sayede sayfaya giren arama motoru örümcekleri (botlar) bu sayfanın indekslenmemesi gerektiğini, eğer indekste hali hazırda mevcutsa da indeksten silinmesi gerektiğini anlayacaktır.

Kaynak koda ilgili etiketi ekledikten sonra botların bu sayfaya daha hızlı gelerek bu etiketi görmesini sağlamak adına videoda bahsettiğimiz aşağıdaki adımları uygulayabilirsiniz:

Sitemize ait Google Search Console hesabımıza giriş yapıyoruz. Sonrasında;

1) Soldaki menüden “Google Gibi Getir” adımına giriş yapıyoruz:

2) Botların sayfamıza girmesini istediğimiz URL’in devamını yazıyoruz. Örneğin, sayfa adresi “https://www.example.com/en/women-shorts?filter=blue” ise “en/women-shorts?filter=blue” yazıyoruz.

3) “GETİR VE OLUŞTUR” butonuna basarak bir süre bekliyoruz.

Yukarıdaki adımlar sayesinde, botu sayfamıza manuel olarak çağırmış ve kaynak kod içerisine eklediğimiz “noindex” etiketini daha çabuk görmesini sağlamış oluyoruz.

İndeksten silinme işlemlerinin süresi sitelerin büyüklüğüne ya da silmek istediğimiz sayfa grubunun yoğunluğuna göre değişebilir. Bu konuda net bir süre vermek doğru olmaz ancak bir süre sonra “noindex” ile işaretlediğimiz tüm sayfaların Google indekslerinden tamamen silindiklerini göreceğiz.

Sayfam İndeksten Silindikten Sonra Tekrar İndekslenmemesi İçin Ne Yapmalıyım?

Yazımızın en başında bahsettiğimiz tarama bütçesini verimli kullanmak adına ilgili sayfalarımız indeksten kalktıktan sonra tekrar bu sayfaların botlar tarafından taranmamasını sağlamalıyız.

Bu sayede artık indekste de olmayan bu sayfaları taramaya kapatarak hem tekrar olası bir indekslenme ihtimalinin önüne geçebilir hem de botların artık bu sayfalarımız yerine sitemizde önem verdiğimiz diğer sayfalara daha çok vakit ayırmalarını sağlayabiliriz.

Bunun için indeksten sildirdiğimiz sayfa gruplarımıza ait deseni Robots.txt dosyasından tek satırla engellememiz gerekli. https://www.example.com/en/women-shorts?filter=blue örneğindeki gibi filtre sayfalarımızın bir daha taranmamasını istiyorsak, Robots.txt dosyamıza aşağıdaki gibi bir satır ekleyebiliriz:

Disallow: *filter=*

(*) işaretleri “filter=” parametremizden önce ve sonra gelen tüm kısımların dahil edilmesi amacı ile yazılmış regex işaretlemeleridir.

Bazı e-ticaret altyapılarında kaynak kod içerisine sayfa özelinde “noindex” etiketi eklemek mümkün olmayabiliyor ne yazık ki. Bu durumda %100 garanti olmasa da sayfalarımızı sadece Robots.txt üzerinden indekslerden kaldırmanın da yolu mevcut. Kişisel olarak yaptığım testlerde bu konuda başarılı neticeler aldım diyebilirim, son çare olarak bu yöntemi uygulayabilirsiniz. Bunun için yine yukarıdaki örnek için Robots.txt dosyanıza eklemeniz gereken satır “Disallow” yerine:

Noindex: *filter=*

(*) işaretleri “filter=” parametremizden önce ve sonra gelen tüm kısımların dahil edilmesi amacı ile yazılmış regex işaretlemeleridir.

Yazımızın sonuna geldik. Umarız sizler için sayfalarınızı indeksten sildirmek konusunda açıklayıcı bir rehber oluşturabilmişizdir. Sorularınızı bizlere yorum alanından iletmeniz halinde elimizden geldiğince yanıtlamak isteriz.