Cara Membuat File Robots.txt untuk SEO

Dengan membikin file robots.txt dan memposisikan di website saudara, maka indeks konten lebih efektif dan tetap terkontrol. Contoh, jika saudara tidak ingin halaman tertentu terindeks search engine dan kemudian dimunculkan mesin pencari, maka saudara dapat membloknya dengan file robots.txt. Penerapannya dapat untuk memblok indeks rujukan halaman yang telah dihapus, melarang halaman yang sensitif dianggap duplikasi konten (contoh tag atau kategori), dan lain sebagainya. Saudara juga dapat melarang robot dari web tertentu yang tidak diketahui gunanya tetapi menghabiskan jumlah bandwidth hosting saudara. [view]

Robots.txt adalah sebuah file teks yang secara de-facto dijadikan sebagai rujukan awal oleh program penelusur milik mesin pencari (search engine) atau layanan internet sejenis. Program penelusur yang lazim disebut sebagai web robot, web crawler, atau web spider, akan memeriksa apakah sebuah situs memiliki file robots.txt dan kemudian memeriksa instruksi yang diberikan di dalamnya. Baca Selengkapnya ...