Robots.Txt Nedir?

0 23

Robots.Txt nedir; Hangi sayfalara erişildiğine dair bir kontrol aracı görevi görür. Ayrıca web sitesine ait olan sayfaların hangilerinin ve bu sayfaların ne şekilde taranacağına ilişkin yönlendirmeler txt içine yazılır. Böylece web sitesinde karşılaşılabilecek olan sorunlar doğrudan tespit edilmesine yardımcı olmaktadır.

Robots.Txt Dosyası Nasıl Olmalıdır?

Oluşturulan dosyanın robots.txt dosyası olabilmesi için öncelikle dosyanın adının doğrudan “robots.txt” şeklinde olması gerekmektedir. Önemli olan nokta tırnak içinde belirtilen ifadesinin tamamının küçük harfle yazılmasıdır. Olması gereken diğer özellikler şu şekildedir:

  • Oluşturulan dosya web sitesinin sadece kök dizinine yerleştirilir,
  • Dosya UTF-8 karakter kodlamasına sahip olmalı,
  • Basit seviyede olan anahtar kelimeleri yerleştirilir,
  • Anahtar kelimeler; User-agent ve Disallow şeklindedir.

Robots.Txt Nedir ve Nasıl Oluşturulur?

Robots.Txt nedir; herhangi bir metin oluşturma editörü hazırlanırken kolaylık sağlayıcıdır.

Robots.Txt oluşturulurken dikkat edilmesi gerekenler şunlardır:

  • Herhangi bir metin oluşturma editörüyle hazırlanabilir
  • Açık bilginin olması gerekir.

Robots.Txt İçeriği Nedir?

Komut dosyası özelliği olan Robots.Txt içeriğinde şunlar bulunmaktadır;

  • Arama motoru yazılımlarına web sitesinin hangi sayfaları ya da bölümlerinin dizine eklenebileceği,
  • Arama motorlarının web sitesindeki hangi dizini taraması gerektiği,
  • Hangi arama motorunun yazılımının giriş izninin olduğu,
  • Hangi arama motorunun yazılımının giriş izninin olmadığı gibi basit olan komutlar Robots.Txt içeriğinde yer almaktır.

Robots.Txt Nereye Yüklenir?

Robots.Txt dosyası site için sadece bir tane hazırlanabilir. Bu yüzden olması gereken yer de sitenin ana makinesinin kök dizinidir.

Cevap bırakın

E-posta hesabınız yayımlanmayacak.