Screaming Frog Aracının Merak Edilen 12 Püf Noktası

Arama motoru optimizasyonu ile uğraşan kişilerin temelde gerçekleştirmiş olduğu teknik taramalarda Deepcrawl, Screaming Frog, Oncrawl, Ahrefs gibi araçlar bulunmaktadır. Bu araçların ise tercih edilmesini sağlayan, her bireyi büyüleyen bazı özellikleri bulunuyor. Screaming Frog tam olarak SEO uzmanlarını büyüleyen teknik crawl araçlarının başında gelmekte. Bu yazımda Screaming Frog ile crawl öncesinde alınabilecek aksiyonlar sonucu taleplerimizi karşılayacak yapıda tarama gerçekleştirebilmek adına püf noktalarını inceleyeceğiz.

İlk olarak bilmeyenler için Screaming Frog aracından ve bu aracın özelliklerinden bahsederek başlayalım.

Screaming Frog, dijital pazarlama sektörü temelinde internet sitelerinin teknik açıdan taranmasını sağlayan ve internet sitesi sahiplerinin isteklerine yanıt vermeyi amaçlayan bir araçtır. 

Masaüstü uygulama olarak sunulan Screaming Frog, internet sitelerini 500 URL’e kadar ücretsiz taranmasına olanak sağlayıp kullanıcılara bazı özelliklerini sunmaktadır. Crawler’lar aracılığıyla birçok hususta veri sunan Screaming Frog, temelden ileri düzeye kadar analiz edilebilecek bilgileri-verileri bünyesinde barındırıp uzmanların stratejilerinde önemli rol oynamaktadır.

Site Haritası veya URL Listesi Kontrolleri

Site haritası, sitenizdeki sayfalar, videolar ve diğer dosyalar ve bunlar arasındaki ilişkilerle ilgili bilgi sağladığınız dosyadır. Bu dosya sayesinde botların hangi sayfaları taraması gerektiğini dair bilgi verebiliriz. Screaming Frog tarama türleri arasında bir listeye dair crawl gerçekleştirebilmektedir. Bu sayede site haritasını kolaylıklar tarayabilir ve çıktıları analiz edebiliriz. Özellikle bir URL listesi içinde benzer aksiyonu kolaylıkla alabiliriz. Bunun için öncelikle Screaming Frog’un list modunu seçmeliyiz.

Bu işlem sonrasında bir dosya, URL listesi girişi, kopyalamış olduğunuz URL’lerin incelenmesi veya bir site haritası URL’ini belirtip içerisinde barınan sayfaları kolaylıkla tespit edebiliriz.

Burada seçiminiz sonrasında aşağıdaki gibi bir ekran görüntüsü ile karşılaşıyoruz. Bu ekranda ok butonu crawl işlemini başlatıyor.

Özellikle bir URL listesi özelinde tarama gerçekleştirmek istiyorsak Screaming Frog’un bu özelliğinden faydalanabiliriz.

Kopya İçerik Kontrolü

İnternet sitelerinde aynı içeriğe sahip birden fazla URL sorunu sıklıkla karşılaşılan teknik hususların başında gelmektedir. Aynı içeriğin farklı URL’lerde sunulması kopya durumuna neden olmaktadır. Bu yüzden internet sitemizdeki sayfaları kontrol etmeliyiz. Bunun için Configuration > Content > Duplicates seçeneklerine sırasıyla tıklamalıyız. Açılan pencerede içeriklerin hangi orada benzer olması gerektiğine dair bilgiyi ekleyebiliriz. Örneğin aşağıda %90 oranda birbiri ile benzer olan sayfaları tespit etmiş olacağız. 

Bu işlemler sonrasında tekrar sitemizi tarayabiliriz. Tarama işlemi tamamlandıktan sonra Crawl Analysis > Start seçeneklerine tıklayalım.

Tarama analizi tamamlandıktan sonra content sekmesinde internet sitemize dair %90 ve üzeri benzerliğe sahip sayfalarımızı görüyoruz. İnternet sitemizdeki kopya sayfaları bu işlem ile bulabilir ve aksiyon alarak sorunu çözümleyebiliriz.

Zayıf İçerikli Sayfaların Tespiti

Yeterince uzunluğa ve özgünlüğe sahip olmayan sayfalar arama motorları tarafından katma değeri olmayan thin page yani zayıf içerikli sayfa olarak kabul edilmektedir. Bu sayfalarımızın zayıf içerikli sayfa olarak kabul edilmesi indekslenme ve sıralanma performansımızı etkileyebilir. Bu yüzden zayıf veya niteliksiz içeriğe sahip sayfaların kontrolü oldukça önemlidir.

Content sekmesinde low content pages kısmında ise sayfalarımız arasında zayıf içeriğe sahip olanları görebiliriz. 

Bu sayfalar bizler için kıymetli ise kullanıcılara faydalı yapıda sunmak için aksiyon alabiliriz. Daha fazla bilgi almak için zayıf içerik optimizasyonuna dair kapsamlı içeriğimize buradan erişebilirsiniz.

Yapısal Verilerin İncelenmesi

İnternet sitesinde bulunan sayfalar ve içeriklerimizin crawler’lar tarafından anlamlandırılabilmesi için sunulan özelliklerden birisi yapısal veri işaretlemeleridir. Yapısal veri işaretlemeleri, sayfalarımızda yer alan içeriklerin bazı kısımlarını kod yapımız içerisinde işaretleyip sunma işlemi olarak özetleyebiliriz. Bu sayede arama motorlarına sayfamız hakkında ipuçları verebilir ve sayfamızın ne hakkında olduğunu daha iyi aktarabiliriz. Screaming Frog ise yapısal verilerin analizi için bizlere kolaylık sağlamaktadır. 

İnternet sitemizde yer alan yapısal veri işaretlemelerini incelemek amacıyla tarama öncesinde Configuration > Spider > Extraction seçeneklerine tıklamalıyız. 

Açılan pencerede Structured Data sekmesinden hangi formatta yapısal verileri incelemek istediğimizi seçiyoruz. Özellikle sitemizin hangi formatta yapısal veri işaretlemesine sahip olduğunu biliyorsak seçimi o doğrultuda yaparsak tarama daha hızlı tamamlanacaktır. 

Bu işlem sonrasında tarama başlatabiliriz. Tarama sonucuna göre Screaming Frog’un sunmuş olduğu modüller arasında Structured Data sekmesinden çıktıları inceleyebiliriz.

İlgili sekmede sayfalarımızda yer alan yapısal veri işaretlemelerine dair tüm bilgilere ulaşabiliyoruz. Aynı zamanda birçok farklı seçenekte sonuçları listeleyebilirsiniz. Örneğin, yapısal veri bulunmayanlar, yapısal veri içerenler, hata verenler, uyarıya sahip sayfalar, json-ld, microdata veya rdfa formatlara sahip olanlar gibi özelliklere göre çıktıyı gruplayabiliyoruz. 

Tarama Derinliği Kontrolleri

Tarama derinliği, internet sitemizde yer alan bir URL’e ana sayfamızdan kaç adım ile ulaşıldığı bilgisini sunmaktadır. Bu bilgi sayesinde crawl derinliğine dair bazı çıktıları inceleyip, analiz gerçekleştirebiliriz. Crawl derinliği alanında yer alan sayının mümkün olduğunca küçük olması kullanıcıların daha rahat erişebilmesini ifade etmektedir.

Herhangi bir kategori veya alt kategori sayfalarının tarama derinliği bilisinin farklı olduğunu görebiliriz. Bu farklılık ilgili URL’in hangi alanda konumlandırıldığı ile alakalıdır. Eğer tarama derinliği yüksek düzeyde ve sayfa bizler için kıymetli ise, konumlandırmış olduğumuz yapının gözden geçirilmesinde fayda bulunmaktadır. Her sitenin ve sayfaların tarama derinliği birbirinden farklıdır. Bu yüzden oldukça kıymetli olarak nitelendirilen sayfaların performansını artırmak için tarama derinliğinin 1’e yakın olmasına dikkat etmeliyiz.

Tarama derinliğine dair bilgiye Screaming Frog ile tarama işlemi sonrasında karşınıza gelen ekranda site içi linkler için internal panelinde ilgili kısmı sağa doğru kaydırıp erişebiliriz.

URL Yapısı Kontrolleri

Ziyaretçiler tarafından okunabilen yapıdaki doğru ve anlamlı bir URL, ilgili sayfanın neyi ifade ettiğini anlamlandırmakta kolaylık sağlarken hedef kitlemizin ilgili sayfaya tıklamasına da katkı sağlamaktadır. URL yapısının anlamlı, sade ve domaine yakın bir konumda oluşturulup anahtar kelimeye yer vermek ise olması gereken URL yapısına katkı sağlamaktadır. Bu nedenle URL yapısının mümkün olduğunca basit yapıda oluşturulması gerekmektedir. Google Arama Merkezi’nde özellikle URL yapısı hakkında içerik sunmaktadır. 

İnternet sitemizin URL yapısına dair kontrolleri Screaming Frog çıktısına göre yapabiliriz. Bunun için crawl işlemi sonrasında üst menüde yer alan URL sekmesini kullanabiliriz.

Burada açılan panelde birçok farklı gruplama özelliği ile URL yapımızı kontrol edebiliriz. Örneğin multiple sekmesinde birden fazla slash’a sahip URL’ler yer almaktadır. Bu URL’lerin hangi sayfamızda konumlandığı bilgisine ise alt kısımdaki inlinks sekmesinden erişebiliyoruz:

HTTP Durum Kodları Kontrolü

Durum kodları, kısaca tarayıcı ve sunucu özelinde sayfanın açılmasına olanak sağlayan yanıt kodlarını içermektedir. Screaming Frog ise tarama sonucunda Response Codes kısmında internet sitemizde yer alan URL’lerin hangi durum kodu ile açıldığını listelemektedir.  

Sayfalarımızın durum kodlarını incelemek amacıyla tarama sonrasında üst menüde yer alan Response Codes sekmesini kullanabiliriz. Aynı zamanda Internal ve External sekmelerinde yer alan URL’lere dair Status Code kısmında sayfanın durum kodu bilgisi yer almaktadır.

Burada yer alan URL’lere dair durum kodları sitemizdeki ve sitemizden farklı bir domaine çıkan linklerde aksiyon alınması hususlarında katkı sağlamaktadır. Örneğin 404 yanıt koduna sahip siteden çıkan linklerin 200 yanıt kodu karşılığı ile değiştirilmesi anlamlı bir çalışma olacaktır. Sayfaların sahip olabileceği HTTP durum kodlarına dair tüm detaylara rehber içeriğimizden ulaşabilirsiniz.

AMP Sayfaların Tespiti

AMP sayfalar, 2015 yılında Google’ın duyurduğu ve kısa süre içerisinde internet sitesi sahiplerinin benimsediği hızlandırılmış mobil sayfa deneyimi sağlayan teknolojidir. Bu teknoloji sayesinde sayfaların daha hızlı açılması amaçlanmıştır. Screaming Frog, AMP sayfaların taranması hususunda bizlere kolaylık sağlamaktadır. Aynı zamanda SEO Spider özelliği sayesinde AMP URL’leri keşfedip, sorunlar özelinde raporları da sunmaktadır.

İnternet sitemizde yer alan AMP sayfaları Spider modda incelemek için tarama öncesinde Configuration > Spider seçeneklerine tıklamalıyız. Açılan pencere Page Links kısmındaki AMP özelliğinin seçili olması gerekmektedir.

Bu işlem sonrasında tarama başlatabiliriz. Tarama sonucuna göre Screaming Frog’un sunmuş olduğu modüller arasında AMP sekmesinden çıktıları inceleyip birçok hususta sayfalarımıza dair bilgiye ulaşmaktayız. Eğer AMP hakkında daha fazla bilgiye erişmek istiyorsak güncel rehber içeriğimize buradan erişebilirsiniz. 

Custom Search ve Extraction Kullanımı

Screaming Frog aracının en önemli özelliklerinden birisi de standart bir crawl aracının dışına çıkıp, custom search ve extraction bileşenlerini de bizlere sunmasıdır. Bu bileşenlerin işlevi ciddi ihtiyaca ve kullanıma göre değişmektedir. Öncelikle bu bileşenlere Configuration > Custom altında Search or Extraction seçenekleri yardımıyla ulaşabiliyoruz.

Custom Search, bir metin veya URL özelinde arama yaparak mevcut sayfalarımızda ilgili kriterlere uygun URL’lere erişebiliriz. Örneğin Analytics, Facebook Piksel gibi izleme kodunun yer aldığı sayfalarımızı bulmak için kullanabiliriz. Burada ilgili izleme kodunu içeren veya içermeyen sayfalara erişebilmek mümkündür. Bunun için Configuration > Custom> Search seçenekleri yardımıyla ilgili panele ulaşabiliyoruz. Örneğin zeo.org internet sitemizde yer alan sayfalarda GTM izleme kodu bulunmayan URL’lere erişebiliriz. Bunun için kaynak kodda yer alan GTM kodunu text olarak ekleyip kodun hangi kısımda yer aldığını seçebiliriz.

Bu işlem sonrasında üst menüde yer alan custom search kısmında GTM izleme kodu bulunmayan URL’ler listelenecektir. 

Custom Extraction, CSSPath, XPath ve regex kullanarak internet sitemizdeki HTML öğelerden veriye erişebilmemize olanak sağlamaktadır. 2021 Kasım ayında gerçekleşen Digitalzone Meetups'ta XPath’e dair kapsamlı bilgiler yer alıyor, buradan izleyebilirsiniz. Screaming Frog aracında Custom Extraction için Configuration > Custom> Extraction seçenekleri yardımıyla ilgili panele ulaşabiliyoruz. Örneğin zeo.org internet sitemizde yer alan sayfalardaki h3 tag’lere erişebiliriz. Bunun için ilgili h3 tag’lerin XPath yapısını eklememiz yeterli olacaktır.

İlgili ayarların yapılması sonrası tarama işlemi tamamlandıktan sonra üst menüde yer alan custom extraction kısmında sayfalarımızdaki h3 tag bilgilerine erişebildik.

Custom extraction alanında Xpath kullanıma dair detaylı bilgiye ve örneklere buradan erişebilirsiniz. 

URL Path Tarama İşlemi

Screaming Frog’un include özelliği, hem regex yapısı hem de bir URL path’ini taramamıza olanak sağlar. Özellikle büyük sitelerde veya belirli bir dizine dair aksiyon almak istediğimiz takdirde include işlemi sayesinde işlemlerimizi kolaylıkla gerçekleştirebiliriz. Örneğin çok fazla kategorisi bulunan e-ticaret sitesinde sadece /category path’ine dair verileri inceleyebiliriz. 

Screaming Frog include özelliğini sunarken kullanımı hususunda sadece ilgili regex kodunu kabul etmemekle birlikte test kısmında ilgili kuralın doğruluğu bulunuyorsa çıktıyı sunmaktadır. Örneğin internet sitemizde “seo-araclari" pathinde bulunan sayfaları tarayabiliriz.

Bu işlem sonrasında ilgili URL path’ini test kısmında paylaşıp test işlemini tamamlamalıyız.

Son aksiyon olarak ise Screaming Frog tarama işlemini başlatıp alakalı URL path’lerine dair çıktıları inceleyebiliriz.

Screaming Frog’da API Bağlantısı

API temelde iki uygulama veya platformun birbiri ile entegre olarak çalışmasına olanak sağlamaktadır. Screaming Frog’da Google Analytics, Google Search Console, PageSpeed Insights, Majestic, Ahrefs ve Moz araçlarını API ile kullanılmasına olanak sağlamaktadır. Bunun için Configuration > API Access seçeneklerinden seçim yaparak ilgili panele ulaşabiliyoruz. 

Örneğin internet sitemizde yer alan sayfalara Analytics’ten ne kadar trafik geldiği verisini Screaming Frog’a aktarabiliriz. Bunun için ilgili alanda internet sitemizin Analytics hesabı hangi mail adresinde bulunuyorsa bağlantı sağlamalıyız. 

İlgili mail adresi işlemleri tamamlandıktan sonra hangi tarih aralığında, hangi metrikleri veya bu metriklere boyut ataması gerçekleştirip tam olarak hangi veriye erişmek istiyorsak seçimlerimizi yapmalıyız. Buradaki işlemler sonrasında tarama tamamlanınca tüm kısımlarda Analytics verilerinin Screaming Frog’a geldiğini görüyoruz.

Bonus: Screaming Frog İngilizce Dil Seçeneği Nasıl Yapılır?

Screaming Frog’u kullanırken uygulamanın sıklıkla güncelleme bildirimini görebiliyoruz. Bu durumda en güncel versiyonu kullanmak isterken bazen beklenmeyen durumlar ile karşılaşabiliyoruz. Beklenmeyen durumların başında genellikle güncelleme sonrasında değişen uygulama dili sorunu ile uygulama açılıyor.

Bu sorun ile karşılaştığımızda endişelenmeden çözümleyebiliyoruz. Bunun için ilk adım olarak üst menüden Configuration > System > Language seçeneklerine sırasıyla tıklamalıyız.

Buraya kadar aslında her şey olması gerektiği gibi İngilizce dil yapısında yer alırken, açılan pencerenin farklı bir dilde bizleri karşılıyor olması hangisinin tercih edilmesi gerektiği hususunda merak uyandırmaktadır.

Bunun için de system tercihi yerine English (UK) dili, yani üstten 3. sıradaki seçeneği işaretlemeliyiz.

Bu aksiyonlar sonrasında Screaming Frog’da yer alan tüm bilgiler İngilizce dil yapısında karşımıza gelecektir.

Özetle, yukarıda yer alan hususların tamamını güncel olarak Screaming Frog kullanan bireylerin ihtiyaçlarına göre temelden ileri düzeye göre listelemek istedik. Bu sayede hem sorunlarımıza dair çözümlere, hem de ihtiyaçlarımızı şekillendirirken Screaming Frog’dan etkili bir şekilde yararlanmış olacağız.