Robots.txt Nedir? WordPress Robots.txt Örneği

Robots.txt dosyası, arama motoru botlarına web sitenizin hangi bölümlerini tarayabileceklerini ve hangi bölümlerden uzak durmaları gerektiğini bildiren metin tabanlı bir dosyadır. Doğru yapılandırılmış bir Robots.txt dosyası, tarama sürecini düzenler ve teknik SEO çalışmalarını destekler. Ancak yanlış kurallar eklemek, önemli sayfaların taranmasını engelleyebilir ve organik görünürlüğü olumsuz etkileyebilir.

Birçok web sitesi sahibi Robots.txt dosyasını yalnızca bir kez oluşturur ve uzun yıllar boyunca kontrol etmez. Oysa WordPress eklentileri, yeni dizinler veya teknik değişiklikler sonrasında bu dosyanın güncellenmesi gerekebilir.

Bu rehberde Robots.txt dosyasının ne olduğunu, nasıl çalıştığını, WordPress sitelerinde nasıl düzenleneceğini, en doğru Robots.txt örneklerini ve en sık yapılan hataları adım adım inceleyeceğiz.

Robots.txt Nedir?

Robots.txt, web sitenizin kök dizininde yer alan ve arama motoru botlarına tarama kurallarını bildiren metin dosyasıdır. Botlar bir siteyi ziyaret ettiğinde ilk olarak bu dosyayı kontrol eder. Ardından hangi klasörleri tarayacaklarına karar verir.

Dosyanın adresi her zaman aşağıdaki yapıyı kullanır.

https://example.com/robots.txt

Bu dosya yalnızca botlara yol gösterir. Başka bir ifadeyle sayfaları gizlemez, şifrelemez veya indekslenmesini kesin olarak durdurmaz. Asıl görevi tarama davranışını yönlendirmektir.

Robots.txt Dosyası Nasıl Çalışır?

Googlebot veya başka bir arama motoru botu sitenize ulaştığında önce Robots.txt dosyasını okur. Daha sonra dosyada yer alan kuralları değerlendirir ve tarama işlemine başlar.

Bot

↓

robots.txt

↓

Kurallar

↓

Tarama

↓

İndeksleme Değerlendirmesi

Bu süreç birkaç milisaniye içinde tamamlanır. Ancak dosyada yer alan tek bir satır bile sitenizin tamamını etkileyebilir.

Robots.txt Neden Önemlidir?

Doğru yapılandırıldığında arama motorlarının sitenizi daha verimli taramasına yardımcı olur. Ayrıca gereksiz klasörleri tarama dışında bırakarak teknik düzeni korur.

Örneğin aşağıdaki alanları taramaya açmak çoğu zaman fayda sağlamaz.

• Yönetim paneli
• Eklenti klasörleri
• Geçici sistem dosyaları
• Cache dizinleri

Buna karşılık içerik sayfaları, kategori sayfaları ve medya dosyaları arama motorlarının erişimine açık kalmalıdır.

Robots.txt ile Noindex Aynı Şey mi?

Hayır.

Bu iki yapı farklı görev üstlenir.

Dolayısıyla Robots.txt dosyasını Noindex yerine kullanmayın. Her iki yapı farklı amaç taşır.

Robots.txt ile XML Sitemap Arasındaki İlişki

Birçok web sitesi Robots.txt dosyasının sonunda XML Sitemap adresini paylaşır.

Örneğin;

Sitemap: https://example.com/sitemap_index.xml

Bu satır arama motorlarına sitemap dosyanızın yerini gösterir. Böylece yeni içerikler daha kolay keşfedilir.

Robots.txt Dosyasında Kullanılan Temel Komutlar

Bu dört komut günlük kullanım için çoğu zaman yeterlidir.

Arama motoru botlarına sitenizin hangi bölümlerini tarayacaklarını gösterir. Ancak bu dosya indeksleme aracı değildir. Doğru kurallar sayesinde tarama süreci düzenlenir, teknik SEO güçlenir ve gereksiz sistem klasörleri arama motorlarının dışında kalır.

Robots.txt Nasıl Yazılır?

Robots.txt dosyasını yazmak zor görünse de temel kuralları öğrendikten sonra yönetmek oldukça kolaydır. Üstelik çoğu web sitesi yalnızca birkaç komut kullanır. Önemli olan, doğru klasörleri engellemek ve arama motorlarının değerli içeriklere ulaşmasını sağlamaktır.

User-agent Komutu

Her Robots.txt dosyası User-agent komutuyla başlar. Bu satır, yazacağınız kuralların hangi arama motoru botu için geçerli olduğunu belirtir.

Örneğin tüm botları hedeflemek için aşağıdaki satırı kullanın.

User-agent: *

Yalnızca Googlebot için kural yazmak isterseniz şu yapıyı tercih edin.

User-agent: Googlebot

Çoğu web sitesi tüm arama motorlarını kapsayan ilk yöntemi kullanır.

Disallow Komutu

Disallow komutu, botların taramasını istemediğiniz dizinleri veya sayfaları belirtir.

Örneğin WordPress yönetim panelini tarama dışında bırakmak için şu satırı ekleyin.

User-agent: *

Disallow: /wp-admin/

Böylece arama motorları yönetim panelini taramaz. Bunun yanında içerik sayfaları normal şekilde taranmaya devam eder.

Allow Komutu

Bazı durumlarda bir klasörü engellerken belirli dosyalara erişim izni vermek istersiniz. İşte bu noktada Allow komutu devreye girer.

Örneğin;

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Bu yapı WordPress sitelerinde sık kullanılır. Çünkü birçok tema ve eklenti admin-ajax.php dosyasına ihtiyaç duyar.

Standart WordPress Robots.txt Örneği

Aşağıdaki yapı güncel WordPress siteleri için güvenli bir başlangıç noktası sunar.

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/sitemap_index.xml

Bu örnek, gereksiz sistem klasörlerini tarama dışında bırakırken içeriklerin arama motorlarına ulaşmasını sağlar.

WordPress’te Robots.txt Dosyası Nerede Bulunur?

Birkaç farklı yöntemle yönetebilirsiniz.

• Hosting dosya yöneticisi
• FTP istemcisi
• Yoast SEO
• Rank Math SEO
• cPanel File Manager

Önce mevcut dosyayı yedekleyin. Daha sonra değişiklik yapın ve son olarak Google Search Console üzerinden dosyayı yeniden kontrol edin.

WordPress’te Sanal Robots.txt

WordPress, fiziksel bir dosya bulunmadığı zaman sanal bir dosya üretir.

Ancak kendi Robots.txt dosyanızı oluşturduğunuz anda WordPress bu sanal sürüm yerine sizin hazırladığınız dosyayı kullanır.

Bu nedenle manuel düzenleme yaptıktan sonra dosyanın doğru çalıştığını mutlaka test edin.

Robots.txt Yazarken Dikkat Edilmesi Gerekenler

Bu kontrol listesi, temel dosyanızın yapılandırmasının doğru ilerlediğini hızlıca doğrulamanıza yardımcı olur.

Gerçek Bir Kullanım Senaryosu

Diyelim ki WordPress tabanlı bir blog yönetiyorsunuz. Ayrıca Yoast SEO kullanıyor ve XML Sitemap dosyanızı otomatik oluşturuyorsunuz.

Bu durumda hedefiniz oldukça nettir.

• Yönetim panelini tarama dışında bırakın.
• İçerik sayfalarını açık tutun.
• XML Sitemap adresini Robots.txt dosyasına ekleyin.
• Google Search Console üzerinden dosyayı doğrulayın.

Bu dört adım çoğu WordPress sitesi için güvenli ve temiz bir başlangıç sağlar.

Dört temel komut üzerine kurulur: User-agent, Disallow, Allow ve Sitemap. Bu komutları doğru kullandığınız zaman arama motorları sitenizi daha düzenli tarar ve gereksiz sistem klasörleriyle zaman kaybetmez. Özellikle WordPress kullanıcıları, yönetim panelini engelleyip XML Sitemap adresini ekleyerek güçlü bir başlangıç yapar.

WordPress Robots.txt Örnekleri

Robots.txt dosyası her web sitesi için aynı yapıyı kullanmaz. Çünkü bloglar, kurumsal siteler ve e-ticaret projeleri farklı ihtiyaçlara sahiptir. Bu nedenle hazır bir Robots.txt dosyasını olduğu gibi kopyalamak yerine sitenizin yapısına uygun kuralları oluşturmanız gerekir.

Bu bölümde WordPress, WooCommerce ve farklı proje türleri için güvenli Robots.txt örneklerini inceleyeceğiz. Ayrıca hangi satırın ne işe yaradığını da tek tek açıklayacağız.

Standart WordPress Robots.txt

Çoğu WordPress sitesi aşağıdaki yapı ile sorunsuz çalışır.

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/sitemap_index.xml

Bu yapı yönetim panelini tarama dışında bırakır. Bunun yanında içerik sayfaları ve XML Sitemap arama motorlarının erişimine açık kalır.

Kurumsal Web Siteleri İçin Örnek

Kurumsal sitelerde URL yapısı genellikle daha sade olur. Bu yüzden Robots.txt dosyası da kısa kalır.

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/sitemap_index.xml

Önce gereksiz sistem klasörlerini engelleyin. Ardından hizmet sayfalarını, blog yazılarını ve iletişim sayfasını taramaya açık bırakın.

Blog Siteleri İçin Örnek

Blog sitelerinde asıl hedef içeriklerin hızlı şekilde keşfedilmesidir.

Bu nedenle kategori sayfaları, yazılar ve medya dosyaları erişime açık kalmalıdır.

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/sitemap_index.xml

Bunun yanında etiket arşivlerini Noindex ile yönetmek çoğu zaman daha doğru sonuç verir. Robots.txt dosyasına gereksiz engeller eklemeyin.

WooCommerce Robots.txt Örneği

E-ticaret sitelerinde gereksiz URL sayısı hızla artar. Özellikle sepet, ödeme ve kullanıcı hesabı sayfaları arama sonuçlarında yer almamalıdır.

Aşağıdaki örnek temel bir başlangıç sunar.

User-agent: *

Disallow: /wp-admin/

Disallow: /cart/

Disallow: /checkout/

Disallow: /my-account/

Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/sitemap_index.xml

Önce kullanıcıya özel sayfaları tarama dışında bırakın. Buna karşılık kategori ve ürün sayfalarını açık tutun.

WooCommerce Filtre Sayfaları

Birçok WooCommerce teması filtreleme sırasında parametreli URL oluşturur.

Örneğin;

/urunler?renk=siyah

/urunler?beden=m

/urunler?marka=abc

İlk olarak bu URL’lerin gerçekten indekslenmesi gerekip gerekmediğini değerlendirin.

Eğer filtre sayfaları özgün arama niyeti taşımıyorsa Robots.txt yerine Canonical veya Noindex yaklaşımı daha doğru sonuç verir.

Hangi Klasörleri Engellemeyin?

Dosyaya gereksiz engeller eklemek önemli içeriklerin keşfedilmesini zorlaştırır.

Bu nedenle aşağıdaki alanları çoğu durumda açık bırakın.

• Blog yazıları
• Kategori sayfaları
• Ürün sayfaları
• Medya dosyaları
• Etiket sayfaları (stratejinize göre)

Önce sitenizin bilgi mimarisini planlayın. Ardından gerçekten ihtiyaç duyduğunuz klasörleri engelleyin.

Hangi Klasörleri Engelleyin?

Buna karşılık bazı sistem dizinleri arama motorları için değer üretmez.

• /wp-admin/
• /cart/
• /checkout/
• /my-account/
• Geçici sistem klasörleri

Bu sayfalar kullanıcı işlemleri için önem taşır. Ancak organik arama sonuçlarında yer almaları gerekmez.

Google Search Console ile Kontrol

Robots.txt dosyasını güncelledikten sonra Google Search Console üzerinden doğrulama yapın.

Özellikle şu kontrolleri tamamlayın.

• Robots.txt dosyası erişilebilir mi?
• XML Sitemap okunuyor mu?
• Önemli sayfalar taranıyor mu?
• Yanlış engellenen URL var mı?

Böylece teknik sorunları erken aşamada fark edebilirsiniz.

Robots.txt Güncelleme Kontrol Listesi

Gerçek Bir Senaryo

Diyelim ki WordPress tabanlı bir dijital pazarlama blogu yönetiyorsunuz.

İlk olarak yönetim panelini Robots.txt ile engellersiniz. Ardından XML Sitemap adresini dosyanın sonuna eklersiniz. Daha sonra Google Search Console üzerinden tarama raporlarını incelersiniz. Son olarak gereksiz URL üretip üretmediğini görmek için SEO eklentinizi kontrol edersiniz.

Bu yaklaşım hem sade hem de uzun vadede yönetimi kolay bir yapı oluşturur.

WordPress ve WooCommerce sitelerinde Robots.txt dosyası birkaç temel kuraldan oluşur. Yönetim panelini engellemek, XML Sitemap adresini eklemek ve önemli içerikleri taramaya açık bırakmak çoğu proje için güçlü bir başlangıç sağlar. Bunun yanında filtreleme URL’lerini ve kullanıcıya özel sayfaları farklı SEO yöntemleriyle yönetmek daha doğru sonuç verir.

En Sık Yapılan Robots.txt Hataları

Robots.txt dosyası yalnızca birkaç satırdan oluşur. Buna rağmen yapılan küçük bir hata, arama motorlarının sitenizi eksik taramasına veya önemli içeriklerin keşfedilmesini geciktirmesine yol açar. Bu yüzden dosyayı hazırladıktan sonra düzenli olarak kontrol etmek büyük önem taşır.

Şimdi en sık karşılaşılan hataları ve doğru yaklaşımı birlikte inceleyelim.

1. Tüm Siteyi Yanlışlıkla Engellemek

En kritik hata aşağıdaki kuralı canlı sitede kullanmaktır.

User-agent: *

Disallow: /

Bu satır bütün web sitesini tarama dışında bırakır.

Geliştirme ortamında bu yapı işinizi kolaylaştırır. Ancak canlı sunucuya taşıdıktan sonra bu satırı mutlaka kaldırın.

Birçok site sahibi test sürecinden sonra bu adımı unutur ve organik görünürlüğünü ciddi şekilde kaybeder.

2. CSS ve JavaScript Dosyalarını Engellemek

Google sayfaları yalnızca HTML olarak incelemez. Ayrıca CSS ve JavaScript dosyalarını da analiz eder.

Örneğin aşağıdaki yapı sorun oluşturur.

Disallow: /wp-content/

Bu kural tema dosyalarını ve görsel bileşenleri de engeller.

Sonuç olarak Google sayfanın gerçek görünümünü değerlendiremez.

Önce hangi klasörleri engellediğinizi kontrol edin. Ardından tema ve gerekli sistem dosyalarının erişime açık kaldığından emin olun.

3. Robots.txt ile İndekslemeyi Durdurmaya Çalışmak

Birçok kişi dosyanın sayfaları Google’dan kaldıracağını düşünür.

Oysa yalnızca tarama davranışını yönetir.

Eğer bir sayfanın arama sonuçlarında yer almamasını istiyorsanız Meta Robots etiketi veya HTTP başlığı üzerinden Noindex kullanın.

4. XML Sitemap Adresini Eklememek

Birçok web sitesi dosyayı oluşturur. Buna karşılık Sitemap satırını eklemeyi unutur.

Oysa işlem yalnızca tek satır sürer.

Sitemap: https://example.com/sitemap_index.xml

Bu satır sayesinde arama motorları yeni içeriklerinizi daha hızlı keşfeder.

5. Hazır Robots.txt Dosyasını Kopyalamak

İnternette binlerce hazır Robots.txt örneği bulunur.

Ancak başka bir site için hazırlanan dosya sizin projenize uyum sağlamaz.

Örneğin büyük bir haber sitesi ile küçük bir kurumsal web sitesi aynı Robots.txt kurallarını kullanmaz.

Bu yüzden önce sitenizin yapısını analiz edin. Ardından gerçekten ihtiyaç duyduğunuz kuralları ekleyin.

6. Gereğinden Fazla Kural Yazmak

Bazı Robots.txt dosyaları onlarca satır içerir.

Üstelik bu kuralların önemli bölümü hiçbir fayda üretmez.

Kısa ve sade bir dosya hem yönetimi kolaylaştırır hem de hata riskini azaltır.

Çoğu WordPress sitesi aşağıdaki dört satırla sorunsuz çalışır.

User-agent: *

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/sitemap_index.xml

7. Search Console Kontrolü Yapmamak

Dosyayı oluşturduktan sonra işiniz bitmez.

Daha sonra Google Search Console üzerinden tarama raporlarını inceleyin.

Özellikle aşağıdaki soruların cevabını kontrol edin.

• Robots.txt dosyası okunuyor mu?
• Önemli URL’ler taranıyor mu?
• Yanlış engellenen klasör var mı?
• XML Sitemap erişilebilir durumda mı?

Düzenli kontrol sayesinde teknik sorunları erken aşamada fark edersiniz.

8. Geliştirme Ortamı Dosyasını Canlı Siteye Taşımak

Yazılım ekipleri geliştirme ortamında arama motorlarını engellemek ister.

Bu nedenle aşağıdaki kuralı sık kullanırlar.

Disallow: /

Ancak aynı dosya yanlışlıkla canlı sunucuya taşınırsa Google sitenizi taramaz.

Site yayına çıktıktan sonra Robots.txt dosyasını mutlaka yeniden kontrol edin.

Robots.txt Kontrol Listesi

Gerçek Bir Senaryo

Diyelim ki yeni bir WordPress sitesi hazırladınız.

İlk olarak geliştirme ortamında arama motorlarını engellediniz. Daha sonra siteyi canlı sunucuya taşıdınız. Ancak Robots.txt dosyasını kontrol etmediniz.

Birkaç hafta sonra Search Console raporlarını incelediğinizde sayfaların taranmadığını fark ettiniz.

Dosyadaki tek satırı düzelttikten sonra Google sitenizi yeniden taramaya başladı.

Bu örnek, küçük bir Robots.txt hatasının büyük sonuçlar doğurabileceğini açık şekilde gösterir.

Robots.txt dosyasında yapılan hataların büyük bölümü yanlış engelleme kurallarından kaynaklanır. Canlı siteyi tamamen kapatmak, CSS dosyalarını engellemek, XML Sitemap satırını unutmak ve hazır dosyaları olduğu gibi kopyalamak en sık karşılaşılan sorunlar arasında yer alır. Düzenli teknik denetim ve Search Console kontrolleri sayesinde bu hataları erken aşamada düzeltmek çok daha kolay olur.

Sık Sorulan Sorular ve Sonuç

Robots.txt dosyası teknik SEO çalışmalarının temel bileşenlerinden biridir. Dosya küçük görünür; ancak doğru yapı kurulduğu zaman arama motorları sitenizi daha verimli tarar. Bunun yanında yanlış kurallar önemli sayfaların keşfedilmesini geciktirebilir.

Bu bölümde en sık sorulan soruları cevaplayacağız. Ardından rehber boyunca öğrendiğimiz temel noktaları özetleyeceğiz.

Sık Sorulan Sorular

Robots.txt dosyası tam olarak ne işe yarar?

Robots.txt dosyası, arama motoru botlarına sitenizin hangi klasörlerini tarayacaklarını gösterir.

Böylece gereksiz sistem dizinleri tarama dışında kalır. Bunun yanında önemli içerikler arama motorlarının erişimine açık olur.

Robots.txt dosyası sayfaları Google’dan kaldırır mı?

Hayır.

Robots.txt yalnızca tarama davranışını yönetir.

Eğer bir sayfanın arama sonuçlarında yer almamasını istiyorsanız Meta Robots etiketi veya HTTP başlığı üzerinden Noindex kullanın.

Her web sitesinde Robots.txt dosyası bulunmalı mı?

Evet.

Küçük web siteleri bile Robots.txt dosyası kullanmalıdır. Böylece arama motorları sitenizi ziyaret ettiğinde tarama kurallarını doğrudan öğrenir.

WordPress Robots.txt dosyasını otomatik oluşturur mu?

Evet.

WordPress fiziksel bir Robots.txt dosyası bulunmadığı zaman sanal bir Robots.txt üretir.

Buna karşılık kendi Robots.txt dosyanızı oluşturduğunuz anda WordPress sizin hazırladığınız dosyayı kullanır.

Robots.txt dosyasında XML Sitemap yer almalı mı?

Evet.

Robots.txt dosyasının sonunda XML Sitemap adresini paylaşmak iyi bir uygulamadır.

Örnek kullanım aşağıdaki gibidir.

Sitemap: https://example.com/sitemap_index.xml

Böylece arama motorları yeni içeriklerinizi daha hızlı keşfeder.

Robots.txt ile Canonical aynı görevi mi üstlenir?

Hayır.

Bu iki yapı farklı amaç taşır.

Robots.txt ile Noindex arasında nasıl seçim yaparım?

Önce hedefinizi belirleyin.

Eğer botların belirli klasörleri taramamasını istiyorsanız Robots.txt kullanın.

Buna karşılık sayfa taransın fakat arama sonuçlarında görünmesin istiyorsanız Noindex tercih edin.

Google Robots.txt dosyasını ne zaman kontrol eder?

Googlebot sitenizi ziyaret ettiğinde ilk olarak dosyanızı inceler.

Daha sonra dosyada yer alan kuralları değerlendirir ve tarama işlemine başlar.

Bu nedenle yaptığınız değişikliklerin ardından Google Search Console raporlarını takip etmek fayda sağlar.

Nasıl test ederim?

İlk olarak dosyanızın tarayıcı üzerinden açıldığını kontrol edin.

Ardından aşağıdaki araçlardan yararlanın.

• Google Search Console
• Screaming Frog SEO Spider
• Sitebulb
• Ahrefs Site Audit
• Semrush Site Audit

Düzenli teknik denetim sayesinde olası hataları erken aşamada tespit edebilirsiniz.

Kontrol Özeti

Robots.txt Yönetim Süreci

Site Yapısını Analiz Et

↓

Robots.txt Dosyasını Oluştur

↓

XML Sitemap Adresini Ekle

↓

Google Search Console ile Kontrol Et

↓

Teknik SEO Denetimi Yap

↓

Düzenli Güncelle

Bu adımları düzenli olarak uyguladığınız zaman Robots.txt dosyanız güncel kalır ve arama motorları sitenizi daha verimli tarar.

İleri Okuma Rehberleri

Robots.txt dosyası teknik SEO’nun yalnızca bir parçasıdır. Konuyu daha ayrıntılı öğrenmek için aşağıdaki rehberleri de inceleyebilirsiniz.

• • SEO Rehberi
  • Teknik SEO Rehberi
  • Canonical Tag Nedir?

Sonuç

Robots.txt dosyası, arama motorlarına sitenizi nasıl tarayacaklarını gösteren ilk rehberdir. Doğru kurallar sayesinde botlar değerli içeriklere odaklanır ve gereksiz sistem dizinleriyle zaman kaybetmez.

Bunun yanında başarılı bir Robots.txt stratejisi tek başına yeterli olmaz. XML Sitemap, Canonical etiketleri, Meta Robots, iç bağlantılar ve bilgi mimarisi aynı hedef doğrultusunda çalışmalıdır.

Önce temiz bir site yapısı oluşturun. Ardından dosyasınızı bu yapıyı destekleyen teknik bir araç olarak kullanın. Böylece hem kullanıcılar hem de arama motorları sitenizi daha verimli keşfeder.

Son Güncelleme: Temmuz 2026

Yazar: Serdar Bağtır

Bu rehber, Google’ın teknik SEO önerileri, WordPress uygulamaları ve güncel tarama prensipleri doğrultusunda düzenli olarak güncellenecektir.