WordPress Robots.txt Dosyası Nasıl Olmalı?

Robots.txt hakkında bilgiler

Giriş seviyesi kullanıcıların hakkında pek bir bilgi sahibi olmadığı robots.txt dosyası, sitenize gelen arama motoru örümceklerine hangi sayfalarınızın dizinlere eklenmesini veya eklenmemesini belirtmenizi sağlayan küçük bir metin dosyasıdır.

Web sitenizin önemli bilgiler içeren bazı bölümlerini arama motoru botlarının erişimine kapatmak isteyenler robots.txt dosyalarından faydalanır. Yanlış kullanımı sıralamanıza ve SEO çalışmalarına zarar verecektir.

Her web sitesinin kök dizininde mutlaka olması gereken bu komut dosyacık sayesinde; bir anlamda “bu sayfaları arşivle ya da arşivleme” deriz. Web sitenizi sıfırdan oluşturuyor ya da var olan temanızı değiştirmek istiyorsanız, sitenizin ilk ihtiyacı olan şey, sağlıklı ve doğru komutlarla oluşturulan bir robots.txt dosyasıdır.

Robots.txt Nedir?

WordPress ana dosyalarınızın yer aldığı public_html, www veya httpdocs dizininin içine Filezilla programı ile kolayca yükleyebilirsiniz. Tüm dosyalar, Robotları Engelleme Standardını kullanmaktadır.

WordPress Robots.txt Dosyası Nasıl Olmalı?

WordPress’in otomatik olarak oluşturulmuş; bir iki kısa kurala sahip robots.txt dosyası aşağıdaki şekilde gelir ve standart yapının ihtiyaçlara göre güncellenmesi şarttır.

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

Yukarıdaki kısa ifadeyle şunu söylüyoruz, sitem tüm botlarca istisnasız indekslensin, Disallow komutu ile şu iki klasör indekslenmesin. Atlamadan ifade edelim; küçük ve büyük harflere duyarlı olduğu için büyük Robots.txt yazmanız ya da robot.txt yazmanız hatalı işe yaramaz bir davranış olacaktır.

Bilgisayarınızda yeni bir metin belgesi oluşturarak adını robots.txt olarak değiştirebilir ve kendi dosyanızı oluşturabilirsiniz. Girişte de ifade ettiğimiz gibi site/robots.txt yolu ile bir çok web sitesinin robots.txt dosyasını görüntülemek mümkündür.

SEO NEDİR’in, UTF-8 karakter kodlamasına uygun şekilde hazırlanmış robots.txt dosyasına yukarıda belirttiğim şekilde ulaşabilir ve kendinize göre güncelleyebilirsiniz.

WordPress’in en popüler SEO eklentisi Yoast SEO sayesinde; SEO > Araçlar bölümüne ulaşabilir ve Dosya Düzenleyicisi seçeneğine tıklayarak dosyanızı oluşturabilirsiniz.

Şunu asla aklınızdan çıkarmamalısınız, sitenize bir robots.txt dosyası koymanız, web sitenizin güvenliğini garanti altına almaz. Detaylı bir anlatım için resmi Google sayfasını ziyaret edebilir, wordPress robots.txt ayarları konusunda herhangi sorunuz varsa aşağıdaki yorumlar bölümünü kullanarak bize ulaşabilirsiniz.

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir