Robot Hariç Tutma Standardı Nedir ve Nasıl Uygulanır?

Robot Hariç Tutma Standardı (REP), web yöneticilerinin arama motoru botlarının site üzerindeki tarama ve dizine ekleme davranışlarını kontrol etmesine olanak tanıyan bir dizi kural ve yönergedir. SEO çalışmalarında sıklıkla robots.txt dosyası ile özdeşleştirilse de REP; meta robots etiketi, X-Robots-Tag HTTP başlığı ve bazı rel öznitelikleri gibi farklı bileşenleri de kapsar. Bu standart sayesinde web siteleri, hangi içeriklerin taranacağını, hangilerinin dizine eklenmeyeceğini ve botların hangi alanlara erişebileceğini belirleyebilir.

Arama motoru optimizasyonunda REP’in doğru uygulanması, tarama bütçesinin verimli kullanılması, yinelenen içerik sorunlarının önlenmesi ve özel sayfaların arama sonuçlarından gizlenmesi açısından kritik öneme sahiptir. Ancak unutmamak gerekir ki REP bir güvenlik duvarı değildir; yalnızca iş birliği yapan botlara yönelik bir yönergedir. Kötü niyetli botlar bu kuralları dikkate almayabilir.

Bu rehberde Robot Hariç Tutma Standardı’nın ne olduğunu, hangi bileşenlerden oluştuğunu, robots.txt dosyasının nasıl yapılandırılacağını ve meta robots etiketinin nasıl kullanılacağını ayrıntılı biçimde ele alacağız. Ayrıca SEO açısından sık yapılan hatalara ve doğru uygulama ipuçlarına değineceğiz.

Hızlı Cevap

Robot Hariç Tutma Standardı, arama motoru botlarına hangi URL’lerin taranabileceğini ve dizine eklenebileceğini bildiren bir yönergeler bütünüdür. Temel uygulama alanları robots.txt dosyası, meta robots etiketi ve X-Robots-Tag başlığıdır. Doğru kullanıldığında tarama bütçesini korur ve istenmeyen sayfaların dizine girmesini engeller.

Robot Hariç Tutma Standardı Nedir?

Robot Hariç Tutma Standardı, web sunucularının arama motoru tarayıcılarına (bot, spider veya crawler olarak da adlandırılır) belirli kaynaklara erişip erişemeyeceklerini bildirmek için kullanılan bir dizi metin tabanlı kuralı ifade eder. Bu standardın temel amacı, web sitesi sahiplerine içeriklerinin hangi bölümlerinin taranacağı ve dizine eklenebileceği konusunda kontrol sağlamaktır. REP, ilk kez web’in erken dönemlerinde ortaya çıkmış ve zaman içinde arama motorları tarafından benimsenerek fiili bir standart hâline gelmiştir.

Standardın en bilinen uygulaması, site kök dizinine yerleştirilen robots.txt dosyasıdır. Bu dosya, arama motoru botları tarafından siteye erişilmeden önce okunur ve botların hangi yolları tarayabileceği veya tarayamayacağı hakkında talimatlar içerir. Bununla birlikte REP yalnızca robots.txt ile sınırlı değildir; HTML sayfalarının baş bölümüne eklenen meta robots etiketi ve sunucu yanıtına eklenen X-Robots-Tag HTTP başlığı da aynı standardın parçasıdır. Bu bileşenler, sayfa bazında daha ayrıntılı kontrol sağlar.

REP’in resmi olmayan doğası, geçmişte farklı arama motorlarının farklı yorumlarına yol açmış olsa da günümüzde büyük arama motorları büyük ölçüde ortak bir anlayış benimsemiştir. Google, Bing, Yandex gibi büyük arama motorları robots.txt ve meta robots yönergelerini destekler. Yine de bazı küçük botlar veya kötü amaçlı yazılımlar bu kuralları yok sayabilir; bu nedenle REP bir güvenlik önlemi olarak görülmemelidir.

REP’in Temel Bileşenleri

Robot Hariç Tutma Standardı’nı doğru uygulamak için öncelikle temel bileşenlerini ve bunların birbirinden farkını anlamak gerekir. Aşağıda bu bileşenler kısaca açıklanmıştır.

Robots.txt Dosyası

Robots.txt, bir web sitesinin kök dizininde bulunan düz metin biçimli bir dosyadır. Kullanıcı aracılarına (user-agent) hangi dizinlerin veya dosyaların taranmaması gerektiğini söyler. Örneğin, site içi arama sonuçları sayfaları veya yönetim paneli gibi bölümler genellikle robots.txt ile engellenir. Bu dosya, sayfa bazında değil, site genelinde veya belirli dizinler için kurallar tanımlar.

Meta Robots Etiketi

Meta robots etiketi, tekil bir HTML sayfasının baş bölümüne (head) eklenir ve o sayfa için arama motoru botlarına talimat verir. En yaygın kullanılan değerler arasında noindex (sayfayı dizine ekleme), nofollow (sayfadaki bağlantıları takip etme), noarchive (önbelleğe alma) ve nosnippet (arama sonuçlarında özet gösterme) bulunur. Bu etiket, robots.txt dosyasından farklı olarak sayfanın taranmasını değil, dizine eklenmesini ve bağlantıların izlenmesini kontrol eder.

X-Robots-Tag HTTP Başlığı

X-Robots-Tag, meta robots etiketi ile aynı işlevi görür ancak HTML dosyası yerine HTTP yanıt başlığı üzerinden gönderilir. Bu yöntem, PDF dosyaları, resimler veya video dosyaları gibi HTML olmayan içerikler için de kullanılabilir. Örneğin, bir PDF dosyasının arama sonuçlarında görünmesini istemiyorsanız, sunucu yapılandırmasına X-Robots-Tag: noindex başlığını ekleyebilirsiniz.

Diğer Yönergeler

REP kapsamında değerlendirilen ancak daha az bilinen bazı yönergeler de vardır. Örneğin, rel=”nofollow” bağlantı özniteliği, bir bağlantının takip edilmemesi gerektiğini belirtir. Ayrıca rel=”noindex” veya rel=”sponsored” gibi değerler de belirli bağlantı türlerini işaretlemek için kullanılır. Bu yönergeler, arama motorlarının site içi ve site dışı bağlantı ilişkilerini nasıl yorumlayacağını etkileyebilir.

Robots.txt Dosyasının Doğru Yapılandırılması

Robots.txt dosyasını yapılandırırken dikkat edilmesi gereken birkaç temel kural vardır. Dosya, site kök dizininde bulunmalı ve UTF-8 kodlamasıyla kaydedilmelidir. Her satırda bir yönerge bulunur ve yönergeler büyük/küçük harfe duyarlı değildir ancak yaygın olarak büyük harfle başlar. Aşağıda temel sözdizimi örneklenmiştir:

User-agent: *
Disallow: /private/
Allow: /public/
Sitemap: https://www.ornekalanadi.com/sitemap.xml

Bu örnekte User-agent: * satırı tüm botları hedefler. Disallow: /private/ satırı, /private/ dizini altındaki tüm URL’lerin taranmamasını ister. Allow: /public/ ise /public/ dizinine izin verir. Sitemap: satırı ise arama motorlarına site haritasının konumunu bildirir.

Wildcard karakterleri de kullanılabilir. Örneğin, Disallow: /*?s= gibi bir kural, sorgu parametresi içeren arama sonuçları sayfalarını engelleyebilir. Ayrıca $ işareti ile URL sonu eşleştirmesi yapılabilir. Örneğin, Disallow: /*.pdf$ tüm PDF dosyalarının taranmasını engeller. Bu tür kurallar, tarama bütçesini korumak açısından yararlıdır.

User-agent satırı büyük/küçük harfe duyarlı değildir ancak bot adları genellikle büyük harfle yazılır. Disallow ve Allow satırlarında birden fazla alt dizin belirtmek için her satırda bir yönerge kullanılmalıdır. Boş satırlar kural bloklarını ayırmak için kullanılabilir; # işareti ile başlayan satırlar yorum olarak kabul edilir ve botlar tarafından dikkate alınmaz.

Her bot için ayrı bir kural bloğu oluşturulabilir. Örneğin, Googlebot için farklı, Bingbot için farklı kurallar tanımlanabilir. Birden fazla kural bloğu olduğunda her bot yalnızca kendisine en uygun bloğu dikkate alır. Bu nedenle dosyayı düzenlerken blokların doğru sıralandığından ve çakışma olmadığından emin olmak gerekir.

Meta Robots Etiketi ve X-Robots-Tag Kullanımı

Sayfa bazında kontrol sağlamak için meta robots etiketi kullanılır. Bu etiket, HTML sayfasının <head> bölümüne eklenir. Aşağıda örnek bir kullanım gösterilmiştir:

<meta name="robots" content="noindex, nofollow">

Bu etiket, arama motoru botlarına sayfayı dizine eklememesini ve sayfadaki bağlantıları takip etmemesini söyler. Yalnızca noindex kullanıldığında bağlantılar takip edilebilir; yalnızca nofollow kullanıldığında sayfa dizine eklenebilir. Bu kombinasyonlar, ihtiyaca göre ayarlanabilir.

Meta robots etiketinde virgülle ayrılmış birden fazla değer kullanılabilir. En yaygın değerler şunlardır: index, noindex, follow, nofollow, noarchive, nosnippet, noimageindex ve unavailable_after. Bu değerlerin her biri farklı bir davranışı kontrol eder. Örneğin noarchive sayfanın önbelleğe alınmasını engellerken nosnippet arama sonuçlarında özet metin gösterilmesini kaldırır.

X-Robots-Tag HTTP başlığı ise aynı kuralların sunucu yanıtında gönderilmesini sağlar. Bu yöntem, özellikle HTML olmayan içerikler için kullanışlıdır. Örneğin, sunucu yapılandırma dosyasına eklenen aşağıdaki satır, tüm PDF dosyalarının dizine eklenmesini engelleyebilir:

X-Robots-Tag: noindex

Bu başlık, meta robots etiketinden daha esnektir çünkü sunucu düzeyinde uygulanabilir ve birden çok dosya türünü kapsayabilir. Örneğin, bir web sitesindeki tüm görsel dosyaları için noindex kuralı eklemek mümkündür.

X-Robots-Tag başlığı, meta robots etiketine göre daha fazla esneklik sağlar çünkü birden çok değer tek bir başlıkta virgülle ayrılarak gönderilebilir. Örneğin, X-Robots-Tag: noindex, nofollow şeklinde bir başlık, hem dizine eklenmemeyi hem de bağlantıların izlenmemesini belirtir. Ayrıca bu başlık, sunucu yapılandırması aracılığıyla belirli dosya türlerine veya dizinlere toplu olarak uygulanabilir.

REP’in Arama Motoru Botları Üzerindeki Etkisi

Robot Hariç Tutma Standardı, arama motoru botlarının siteyi tarama ve dizine ekleme davranışını doğrudan etkiler. Bir bot siteye geldiğinde önce robots.txt dosyasını kontrol eder. Eğer dosyada botun kullanıcı aracısına uygun bir kural varsa, bot bu kurala uyarak ilgili dizinleri atlar. Eğer dosya yoksa veya erişilemezse, bot siteyi normal şekilde taramaya devam eder.

Ancak REP’in her zaman mutlak bir engelleme sağlamadığını bilmek önemlidir. Örneğin, robots.txt ile engellenen bir sayfa başka bir kaynak üzerinden bağlantı alıyorsa, arama motoru bu sayfanın URL’sini dizine ekleyebilir; yalnızca içeriği taramaz ve sayfa hakkında sınırlı bilgi gösterir. Bu nedenle bir sayfanın arama sonuçlarında hiç görünmemesini istiyorsanız, robots.txt yerine meta robots etiketi veya X-Robots-Tag ile noindex kuralı uygulamanız daha güvenilirdir.

Tarama bütçesi açısından da REP kritik bir rol oynar. Arama motorları her siteye sınırlı bir tarama kaynağı ayırır. Gereksiz sayfaların taranmasını engelleyerek, önemli sayfaların daha sık taranmasını sağlayabilirsiniz. Özellikle büyük e-ticaret sitelerinde filtreleme sonuçları, oturum kimlikli URL’ler veya site içi arama sayfaları gibi bölümlerin engellenmesi, tarama bütçesini verimli kullanmanın etkili bir yoludur.

Büyük arama motorları, robots.txt dosyasında belirtilen kuralları yorumlarken bazen küçük farklılıklar gösterebilir. Örneğin, bazı botlar Allow direktifini desteklerken bazıları yalnızca Disallow satırlarını tanır. Bu nedenle, site genelinde kritik kurallar oluştururken mümkünse en yaygın desteklenen sözdizimini kullanmak ve kuralları test araçlarıyla doğrulamak önemlidir.

Sık Yapılan Hatalar ve Doğru Uygulama İpuçları

REP uygulanırken yapılan hatalar, sitenin arama motorlarındaki görünürlüğünü olumsuz etkileyebilir. Aşağıda en yaygın hatalar ve bunlardan kaçınmak için ipuçları listelenmiştir.

• Tüm siteyi yanlışlıkla engellemek: Disallow: / kuralı tüm siteyi taramayı durdurur. Bu kural yalnızca test ortamlarında veya geçici olarak kullanılmalıdır.
• Robots.txt dosyasını güvenlik amacıyla kullanmak: Hassas verilerin korunması için robots.txt tek başına yeterli değildir. Bu tür içerikler parola koruması veya erişim kontrolü ile korunmalıdır.
• CSS ve JavaScript dosyalarını engellemek: Modern arama motorları sayfaları render etmek için bu kaynaklara ihtiyaç duyar. Önemli stil ve betik dosyalarının engellenmesi, sayfanın doğru anlaşılmasını engelleyebilir.
• Yanlış sözdizimi kullanmak: Örneğin, Disallow: private gibi önde eğik çizgi olmayan bir kural beklenen dizini engellemeyebilir. Her yol eğik çizgi ile başlamalıdır.
• Site haritası bildirimini unutmak: Robots.txt dosyasına sitemap satırı eklemek, arama motorlarının site haritasını daha kolay bulmasını sağlar.

Doğru uygulama için şu ipuçlarını dikkate alabilirsiniz: Öncelikle hangi bölümlerin gerçekten engellenmesi gerektiğini belirleyin ve yalnızca gerekli dizinleri engelleyin. Robots.txt dosyanızı düzenledikten sonra arama motorlarının sağladığı test araçlarıyla doğrulayın. Meta robots etiketini yalnızca noindex veya nofollow gerektiren sayfalarda kullanın; normal sayfalarda bu etiketi eklemeye gerek yoktur. X-Robots-Tag başlığını sunucu düzeyinde uygularken aşırı geniş kurallardan kaçının.

Sonuç

Robot Hariç Tutma Standardı, SEO çalışmalarının temel yapı taşlarından biridir. Robots.txt dosyası, meta robots etiketi ve X-Robots-Tag başlığı birlikte kullanıldığında, arama motoru botlarının siteyi nasıl tarayacağını ve hangi sayfaların dizine eklenmeyeceğini hassas biçimde kontrol edebilirsiniz. Doğru yapılandırılmış bir REP, tarama bütçesini korur, yinelenen içerik sorunlarını azaltır ve sitenizin genel SEO performansını iyileştirir.

Uygulama sırasında hatalardan kaçınmak için kuralları dikkatli yazmak, test araçlarını kullanmak ve REP’in bir güvenlik önlemi olmadığını unutmamak gerekir. SEO ajansları ve web yöneticileri, bu standardı site mimarisinin bir parçası olarak düzenli biçimde gözden geçirmelidir.

Sıkça Sorulan Sorular

Robot Hariç Tutma Standardı yasal bir zorunluluk mu?

Hayır, Robot Hariç Tutma Standardı yasal bir zorunluluk değildir. Ancak arama motorları tarafından yaygın olarak desteklenen gönüllü bir standarttır ve SEO açısından önerilir.

Robots.txt dosyası bir sayfayı tamamen gizler mi?

Hayır, robots.txt dosyası bir sayfanın taranmasını engelleyebilir ancak sayfa başka bir kaynaktan bağlantı alıyorsa URL’si arama sonuçlarında görünebilir. Tam gizleme için meta robots noindex kullanılmalıdır.

Meta robots etiketi robots.txt kurallarını geçersiz kılar mı?

Hayır, iki yönerge farklı düzeylerde çalışır. Robots.txt sayfanın taranmasını engelliyorsa bot meta robots etiketini okuyamaz. Bu nedenle meta robots, robots.txt ile erişilebilir sayfalarda etkilidir.

Tüm arama motoru botları REP’i destekler mi?

Büyük arama motorları REP’i destekler ancak bazı küçük veya kötü amaçlı botlar bu kuralları yok sayabilir. Bu nedenle REP bir güvenlik önlemi olarak düşünülmemelidir.

Robots.txt dosyasında sitemap satırı zorunlu mu?

Zorunlu değildir ancak arama motorlarının site haritasını keşfetmesini kolaylaştırdığı için önerilir. Site haritası ayrıca arama motoru konsolları üzerinden de gönderilebilir.

REP uygulamak SEO’yu olumsuz etkiler mi?

Doğru uygulandığında olumsuz etkilenmez; aksine tarama bütçesini verimli kullanarak SEO’ya katkı sağlar. Yanlış kurallar ise önemli sayfaların taranmasını engelleyerek zarar verebilir.