pengertian robot txt

Robots.txt adalah Sebuah file dengan fungsi untuk membatasi akses robot mesin pencari yang sedang menjelajahi situs web . Sebelum mereka mengakses halaman web, mereka memeriksa untuk melihat apakah sebuah file robots.txt ada / tidak , dan di dalam robots.txt ada perintah yang mencegah mereka mengakses halaman tertentu.

Kita memerlukan robots.txt agar robot-robot itu tidak mengindex halaman yang tidak kita inginkan , wah bisa kacau kalau sampai ada sesuatu yang rahasia ke index di mesin pencari dan di temukan orang lain. Dan jika kita ingin semua content di web kita di index oleh mesin pencari kita tidak membutuhkan robots.txt .

Meskipun Google / Mesin pencari lainnya tidak akan meng-crawl atau mengindeks konten halaman yang diblokir oleh robots.txt, masih mungkin URL kita di index , hal ini terjadi karena URL kita di temukan di situs lain. Akibatnya, URL kita berpotensi menjadi informasi publik & dapat muncul dalam hasil pencarian.