Robots.txt Oluşturucu - Robots.txt Generator

Arama Motoru Optimizasyonu

Robots.txt Oluşturucu


Varsayılan - Tüm Robotlar:  
    
Tarama-Gecikme:
    
Sitemap: (Eğer yoksa boş bırakın) 
     
Arama botları: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Kısıtlı Dizinler: Kök dizine yol içermektedir. "/"
 
 
 
 
 
 
   



Şimdi, kök dizininde 'robots.txt' dosyası oluşturun. metin üzerinde kopyala ve metin dosyasına yapıştırın.


Şuanki Araç - Robots.txt Oluşturucu

Kaynak - Resource : Google
robots.txt
 
dosyası, arama motoru tarayıcılarının sitenizde erişmesini istemediğiniz yerleri gösteren ve sitenizin kök dizininde bulunan bir dosyadır. Dosya, küçük bir komut setine sahip bir protokol olan Robotları Engelleme Standardı'nı kullanır. Bu komutlar, sitenize erişimi bölüm bazında ve belirli web tarayıcısı türüne göre (örneğin mobil tarayıcılar ve masaüstü tarayıcılar gibi) göstermek için kullanılabilir.

robots.txt ne için kullanılır?

Resim olmayan dosyalar

Genellikle Google tarayıcısının sunucunuzu çok fazla meşgul etmesini veya tarama bütçesinin, sitenizdeki önemsiz ya da birbirine benzeyen sayfaları taramak için harcanması istemezsiniz. Bu yüzden, resim olmayan dosyalar (yani web sayfaları) için robots.txt yalnızca tarama trafiğini kontrol etmek amacıyla kullanılmalıdır. robots.txt dosyasını, web sayfalarınızı Google Arama sonuçlarından gizlemenizi sağlayan bir araç olarak kullanmamalısınız. Çünkü sayfanıza bağlantı veren başka sayfalar olabilir. Bu durumda sayfanız, robots.txt dosyasına rağmen dizine eklenebilir. Sayfanızın arama sonuçlarında görünmesini engellemek isterseniz şifre koruması veya no index etiketleri ya da yönergeler gibi başka bir yöntem kullanın.

Resim dosyaları

robots.txt, resim dosyalarının Google arama sonuçlarında görünmesini engeller. (Ancak, bu yöntem, diğer sayfaların veya kullanıcıların resminize bağlantı vermesini engellemez.)

Kaynak dosyaları

Önemli olmayan resim, komut dosyası veya stil dosyaları gibi kaynakları engellemek için robots.txt dosyasını kullanabilirsiniz. Bu yöntemi, engellenen kaynaklar olmadan yüklenen sayfaların bu kayıptan önemli ölçüde etkilenmeyeceğini düşünüyorsanız uygulayın. Ancak, bu kaynakların eksikliği Google tarayıcısının sayfayı anlamasını zorlaştıracaksa bunları engellememelisiniz. Aksi halde Google, bu kaynaklara dayanan sayfalarınızı iyi bir şekilde analiz edemez.

robots.txt ile ilgili sınırlamaları anlama

robots.txt dosyanızı oluşturmadan önce, bu URL engelleme yönteminin risklerini bilmeniz gerekir. Bazı zamanlarda URL'lerinizin web üzerinde bulunmasını önlemek için başka mekanizmaları değerlendirmek isteyebilirsiniz.

  • robots.txt talimatları yalnızca yönergelerdir

    robots.txt dosyasındaki talimatlar, tarayıcının web sitenizde nasıl davranacağına ilişkin zorunluluk getiremez. Bunun yerine, bu talimatlar, tarayıcının sitenize erişmesine ilişkin yönergeler olarak görev yapar. Googlebot ve diğer tanınmış web tarayıcıları bir robots.txt dosyasındaki talimatlara uysalar da diğer tarayıcılar uymayabilir. Bu nedenle, bilgileri web tarayıcılarının erişemeyeceği şekilde güvende tutmak istiyorsanız sunucunuzdaki gizli dosyaları şifreyle korumagibi farklı yöntemlerin kullanılması daha iyidir.
  • Farklı tarayıcılar sözdizimini farklı yorumlayabilir

    Tanınmış web tarayıcıları bir robots.txt dosyasındaki yönergeleri uygulasalar da her bir tarayıcı, yönergeleri farklı şekilde yorumlayabilir. Bazıları belirli talimatları anlayamayabileceğinden, farklı web tarayıcılarına hitap etmek üzere doğru söz dizimini bilmeniz gerekir.
  • robots.txt yönergeleriniz, diğer sitelerden URL'lerinize sağlanan referansları önleyemez

    Google, robots.txt tarafından engellenen içeriği taramayacak veya dizine eklemeyecek olsa da, izin verilmeyen bir URL'yi web'de diğer yerlerde bulup dizine ekleyebiliriz. Bunun sonucunda URL adresi ve muhtemelen siteye verilen bağlantılardaki metinler gibi diğer genel kullanıma açık bilgiler Google arama sonuçlarında çıkmaya devam edebilir.Sunucunuzdaki dosyaları şifreyle koruma veya noindex meta etiketi ya da yanıt üst bilgisi kullanma gibi URL engellemeye yönelik farklı yöntemler kullanarak URL'nizin Google Arama sonuçlarında görünmesini tamamen durdurabilirsiniz.




WebSiteKaydet