Robots.txt nedir? Ne İşe Yarar?

Herkes internette bir şeyler paylaşıyor Bir web sitesi açıyor. Bunlar arasından aradığımızı bulabilmek için arama motorları var. İşte bu arama motorları bu kadar derya deniz bir mecrada size bir şeyler sunabilmek için web site sahiplerinden robots.txt isimli bir dosya talep eder.

Bu dosyada arama motorlarına web sitemiz tarif edilir. şuramızda bu var bu aramızda şu var şeklinde adresler verilerek rahat bir tarama yapmaları imkanı sağlanır.

Bunu yapmak zorunda mısınız? Tabii ki hayır. Ama yapmazsanız arama sonuçlarında çıkma olasılığınız düşer. Çünkü arama motorları kendi çabalarıyla sizin sitenize ulaşmaya çalışır. Burada da ufak tefek yanlışlar olabileceğinden arama sonuçlarında çok çok gerilerde yer alabilirsiniz. Çok değerli bir isteğiniz düzgün tarif edilmediğinden gerilerde kalabilir.

Yani en temel olarak ifade edecek olursak web sitelerle arama motorlarının arasında bağ kuran bir dosyadır. İçeriğinde temel olarak web sitesinin haritası bulunur. Arama motorları da bu haritaya bakarak sitenizi tararlar ve sonuçlara çıkarmaya çalışırlar.