Namun, sebelum anda masuk ke tutorial cara memperbaiki robots.txt di blogger. Saya ingin menjelaskan pengertian dari robots.txt dan fungsinya.
Pengertian Robots.txt
Robots.txt adalah sebuah file teks sederhana yang berfungsi sebagai filter atau kontrol terhadap cara mesin pencari bekerja menjelajah di website kita.
Secara keseluruhan, website kita memiliki banyak file, dan dengan robots.txt ini maka kita bisa memerintahkan robots mesin pencari untuk menentukan mana yang boleh diindeks dan mana yang tidak boleh diindeks.
Pada dasarnya, sebuah robot search engine dirancang untuk mengindeks informasi dari sebuah website sebanyak yang mereka bisa. Dengan membuat perintah teks ini, maka website kita akan aman dari file- file yang seharusnya tidak boleh diindeks oleh robots.txt. Jadi bisa dibilang fungsi robots.txt ini adalah membatasi kebebasan menjelajah robot crawler dan juga melindungi file tertentu website kita yang memang tidak boleh diakses oleh robot penjelajah.
Mengapa Robots.txt Penting ?
Menurut saya pribadi, ada beberapa alasan tapi yang paling menonjol adalah 2 alasan tersebut, yaitu 1.keamanan & 2.akses.
1.Keamanan
Banyak yang belum mengetahui, bahwa robots.txt ini sangat berpengaruh terhadap keamanan sebuah website. Jika anda membuka semua data di mesin pencari, maka semua data tersebut akan tersebar dan dampaknya adalah keamanan website tersebut menjadi rentan. untuk itulah robots.txt ini sangat penting digunakan, agar mesin pencari tidak mengcrawl semua data pada website tersebut.
2.Akses
Mengapa saya beranggapan begitu ? Karena menurut saya pribadi, jika anda tidak memasang robots.txt pada blog atau website maka secara tidak langsung anda mengijinkan mesin pencari untuk mengakses situs anda tanpa batasan, dan dampaknya performa website atau blog anda akan menjadi lambat. Untuk itulah robots.txt ini sangat diperlukan agar tidak terjadi hal yang diinginkan.
Nah, jika anda sudah paham mengenai penjelasan dan fungsi robots.txt, maka langkah selanjutnya adalah anda memperbaiki robots.txt tersebut.
Untuk memperbaiki robots.txt tersebut, bisa lihat dibawah ini.
