Kısa süre önce okuyucularımızdan biri bizden SEO’yu iyileştirmek için robots.txt dosyasını nasıl optimize edeceğimiz konusunda ipuçları istedi. Robots.txt dosyası, arama motorlarına web sitenizi nasıl tarayacağını söyler ve bu da onu inanılmaz derecede güçlü bir SEO aracı yapar. Bu yazıda, SEO için mükemmel bir robots.txt dosyasını nasıl oluşturacağınızı göstereceğiz.
Robots.txt dosyası nedir?
Robots.txt, web sitesi sahiplerinin arama motoru botlarına sitelerindeki sayfaları nasıl tarayıp dizine ekleyeceklerini söylemek için oluşturabilecekleri bir metin dosyasıdır.
Genellikle, web sitenizin ana klasörü olarak da bilinen kök dizinde depolanır. Bir robots.txt dosyasının temel biçimi şuna benzer:
User-agent: [user-agent name] Disallow: [URL string not to be crawled] User-agent: [user-agent name] Allow: [URL string to be crawled] Sitemap: [URL of your XML Sitemap]
Belirli URL’lere izin vermek veya vermemek ve birden çok site haritası eklemek için birden fazla talimat satırınız olabilir. Bir URL’ye izin vermezseniz, arama motoru botları onu taramalarına izin verildiğini varsayarlar.
Robots.txt örnek dosyası şöyle görünebilir:
User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /wp-admin/ Sitemap: https://example.com/sitemap_index.xml
Yukarıdaki robots.txt örneğinde, arama motorlarının WordPress yüklemeler klasörümüzdeki dosyaları taramasına ve dizine eklemesine izin verdik.
Bundan sonra, arama botlarının eklentileri ve WordPress yönetici klasörlerini taramasına ve dizine eklemesine izin vermedik.
Son olarak, XML site haritamızın URL’sini sağladık.
WordPress Siteniz için Robots.txt Dosyasına İhtiyacınız Var mı?
Bir robots.txt dosyanız yoksa, arama motorları yine de web sitenizi tarar ve dizine ekler. Ancak, arama motorlarına hangi sayfaları veya klasörleri taramamaları gerektiğini söyleyemezsiniz.
Bir bloga ilk başladığınızda ve çok fazla içeriğiniz olmadığında bunun pek bir etkisi olmayacaktır.
Bununla birlikte, web siteniz büyüdükçe ve çok fazla içeriğiniz olduğu için, web sitenizin nasıl taranacağı ve dizine eklendiği üzerinde daha iyi bir kontrole sahip olmak isteyebilirsiniz.
İşte nedeni.
Arama botlarının her web sitesi için bir tarama kotası vardır.
Bu, bir tarama oturumu sırasında belirli sayıda sayfayı taradıkları anlamına gelir. Sitenizdeki tüm sayfaları taramayı bitirmezlerse, bir sonraki oturumda geri gelecek ve taramaya devam edeceklerdir.
Bu, web sitenizin indeksleme oranını yavaşlatabilir.
Arama botlarının WordPress yönetici sayfalarınız, eklenti dosyalarınız ve temalar klasörünüz gibi gereksiz sayfaları taramasına izin vermeyerek bunu düzeltebilirsiniz.
Gereksiz sayfalara izin vermeyerek, tarama kotanızı kaydedersiniz. Bu, arama motorlarının sitenizdeki daha fazla sayfayı taramasına ve bunları olabildiğince hızlı bir şekilde dizine eklemesine yardımcı olur.
Robots.txt dosyasını kullanmanın bir başka iyi nedeni, arama motorlarının web sitenizdeki bir gönderiyi veya sayfayı dizine eklemesini durdurmak istemenizdir.
İçeriği genel halktan gizlemenin en güvenli yolu değildir, ancak bunların arama sonuçlarında görünmesini önlemenize yardımcı olur.
İdeal Bir Robots.txt Dosyası Nasıl Görünmeli?
Birçok popüler blog çok basit bir robots.txt dosyası kullanır. İçeriği, belirli sitenin ihtiyaçlarına bağlı olarak değişebilir:
User-agent: * Disallow: Sitemap: http://www.example.com/post-sitemap.xml Sitemap: http://www.example.com/page-sitemap.xml
Bu robots.txt dosyası, tüm botların tüm içeriği dizine eklemesine izin verir ve onlara web sitesinin XML site haritalarına bir bağlantı sağlar.
WordPress siteleri için robots.txt dosyasında aşağıdaki kuralları öneriyoruz:
User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /wp-admin/ Disallow: /readme.html Disallow: /refer/ Sitemap: http://www.example.com/post-sitemap.xml Sitemap: http://www.example.com/page-sitemap.xml
Bu, arama botlarına tüm WordPress resimlerini ve dosyalarını dizine eklemesini söyler. Arama botlarının WordPress eklenti dosyalarını, WordPress yönetici alanını, WordPress benioku dosyasını ve bağlı kuruluş bağlantılarını endekslemesine izin vermez.
Robots.txt dosyasına site haritaları ekleyerek, Google botlarının sitenizdeki tüm sayfaları bulmasını kolaylaştırırsınız.
Artık ideal bir robots.txt dosyasının neye benzediğini bildiğinize göre, WordPress’te robots.txt dosyasını nasıl oluşturabileceğinize bir göz atalım.
WordPress’te Robots.txt Dosyası Nasıl Oluşturulur?
WordPress’te robots.txt dosyası oluşturmanın iki yolu vardır. Size en uygun yöntemi seçebilirsiniz.
Yöntem 1: Yoast SEO Kullanarak Robots.txt Dosyasını Düzenleme
Yoast SEO eklentisini kullanıyorsanız, bir robots.txt dosya oluşturucu ile birlikte gelir.
Doğrudan WordPress yönetici alanınızdan bir robots.txt dosyası oluşturmak ve düzenlemek için kullanabilirsiniz.
WordPress yöneticinizde SEO »Araçlar sayfasına gidin ve Dosya Düzenleyici bağlantısını tıklayın.
Sonraki sayfada, Yoast SEO sayfası mevcut robots.txt dosyanızı gösterecektir.
Bir robots.txt dosyanız yoksa, Yoast SEO sizin için bir robots.txt dosyası oluşturacaktır.
Varsayılan olarak, Yoast SEO’nun robots.txt dosya oluşturucusu robots.txt dosyanıza aşağıdaki kuralları ekleyecektir:
User-agent: * Disallow: /
Tüm arama motorlarının web sitenizi taramasını engellediği için bu metni silmeniz önemlidir.
Varsayılan metni sildikten sonra devam edebilir ve kendi robots.txt kurallarınızı ekleyebilirsiniz. Yukarıda paylaştığımız ideal robots.txt biçimini kullanmanızı öneririz.
Bitirdiğinizde, değişikliklerinizi kaydetmek için ‘robots.txt dosyasını kaydet’ düğmesini tıklamayı unutmayın.
Yöntem 2. Robots.txt dosyasını FTP Kullanarak Manuel Olarak Düzenleyin
Bu yöntem için, robots.txt dosyasını düzenlemek için bir FTP istemcisi kullanmanız gerekecektir.
Bir FTP istemcisi kullanarak WordPress barındırma hesabınıza bağlanmanız yeterlidir.
İçeri girdikten sonra, robots.txt dosyasını web sitenizin kök klasöründe görebileceksiniz.
Bir tane görmüyorsanız, muhtemelen bir robots.txt dosyanız yoktur. Bu durumda, devam edip bir tane yaratabilirsiniz.
Robots.txt düz bir metin dosyasıdır, yani onu bilgisayarınıza indirebilir ve Not Defteri veya TextEdit gibi herhangi bir düz metin düzenleyiciyi kullanarak düzenleyebilirsiniz.
Değişikliklerinizi kaydettikten sonra, web sitenizin kök klasörüne geri yükleyebilirsiniz.
Robots.txt Dosyanız Nasıl Test Edilir?
Robots.txt dosyanızı oluşturduktan sonra, bir robots.txt test aracı kullanarak test etmek her zaman iyi bir fikirdir.
Piyasada pek çok robots.txt test aracı var, ancak Google Arama Konsolu içindeki aracı kullanmanızı öneririz.
Google Arama Konsolu hesabınıza giriş yapın ve ardından eski Google arama konsolu web sitesine geçin.
Bu sizi eski Google Arama Konsolu arayüzüne götürecektir. Buradan, ‘Tarama’ menüsünün altında bulunan robots.txt test aracını başlatmanız gerekir.
Araç, web sitenizin robots.txt dosyasını otomatik olarak alır ve varsa hataları ve uyarıları vurgular.
Son düşünceler
Robots.txt dosyanızı optimize etmenin amacı, arama motorlarının herkese açık olmayan sayfaları taramasını önlemektir. Örneğin, wp-eklentiler klasörünüzdeki sayfalar veya WordPress yönetici klasörünüzdeki sayfalar.
SEO uzmanları arasında yaygın bir efsane, WordPress kategorisini, etiketlerini ve arşiv sayfalarını engellemenin tarama oranını artıracağı ve daha hızlı indeksleme ve daha yüksek sıralamalarla sonuçlanacağıdır.
Bu doğru değil. Ayrıca Google’ın web yöneticisi kurallarına da aykırıdır.
Web siteniz için bir robots.txt dosyası oluşturmak için yukarıdaki robots.txt biçimini izlemenizi öneririz.
Bu makalenin, WordPress robots.txt dosyanızı SEO için nasıl optimize edeceğinizi öğrenmenize yardımcı olacağını umuyoruz. Web sitenizi büyütmek için nihai WordPress SEO rehberimizi ve en iyi WordPress SEO araçlarını da görmek isteyebilirsiniz.
