Disadari atau tidak, inilah yang terjadi. Ternyata jumlah pengakses internet di seluruh dunia lebih banyak adalah robot ketimbang manusia. Saya juga sering kali bertanya-tanya saat memposting tulisan di weblog pribadi, belum memakan waktu berapa lama, sudah ada saja yang mengakses, ternyata itu adalah robot.

Jika kita memposting tulisan di Blogger, ini adalah hal yang biasa kita temukan, karena memang Blogger adalah bagian dari Google yang memiliki robot untuk menjelajahi website diseluruh dunia. Di luar sana, ternayata robot-robot pengakses internet ini cukup banyak, tak heran jika beberapa situs mengharuskan kita mengisi keyword acak untuk membedakan mana pengakses robot mana manusia.

Cnet baru-baru ini melansir data soal pengakses internet di seluruh dunia, dan hasilnya lebih dari setengah jumlah pengakses internet di dunia ternyata adalah robot crawler. Sementara sisanya adalah manusia. Robot crawler umumnya berbentuk web yang banyak tersebar di Internet.

Web crawler adalah suatu program atau script otomat yang relatif simple, yang dengan metode tertentu melakukan scan atau “crawl” ke semua halaman-halaman Internet untuk membuat index dari data yang dicarinya. Nama lain untuk web crawl adalah web spider, web robot, bot, crawl dan automatic indexer.

Web crawl dapat digunakan untuk beragam tujuan. Penggunaan yang paling umum adalah yang terkait dengan search engine. Search engine menggunakan web crawl untuk mengumpulkan informasi mengenai apa yang ada di halaman-halaman web publik.

Tujuan utamanya adalah mengumpukan data sehingga ketika pengguna Internet mengetikkan kata pencarian di komputernya, search engine dapat dengan segera menampilkan web site yang relevan. Inipulalah yang digunakan Google untuk mengindex pencariannya.

Masih berdasarkan data Cnet, angka pasti pengguna internet adalah 61,5 persen merupakan bot sementara sisanya baru manusia. Hal ini meningkat dari tahun lalu di mana bot hanya berjumlah 51 persen sementara manusia hanya 49 persen. Angka ini pun diperkirakan akan semakin banyak dimasa mendatang, dibarengi dengan semakin banyaknya jumlah website diseluruh dunia.

Temuan akan jumlah robot yang paling banyak mengakses internet ini dilaporkan oleh Incapsula yang menghitung trafik web dari seluruh dunia. Ternyata, memang benar bahwa lebih banyak robot yang akses internet ketimbang manusia.

Kebanyakan bot yang akses internet ini adalah bot baik yang menyisir internet dari konten buruk seperti malware dan pornografi, dan juga bot pengukur kemampuan situs. Bot baik ini tercatat jumlahnya sekitar 31 persen pada 2013.

Sementara, bot lainnya yang bersifat jahat dan merusak seperti alat hacking, spammer, dan sejenisnya jumlahnya memang masih sedikit. Namun hal ini tentu makin jadi ancaman karena jumlahnya juga tidak menurun signifikan dari tahun sebelumnya. Patut diwaspadai.

Secara umum ada tiga cara yang digunakan bot saat bekerja, yakni :

Mesin pencari web bekerja dengan cara menyimpan informasi tentang banyak halaman web, yang diambil langsung dari WWW. Halaman-halaman ini diambil dengan web crawler — browser web otomatis yang mengikuti setiap pranala yang dilihatnya.Isi setiap halaman lalu dianalisis untuk menentukan cara mengindeksnya (misalnya, kata-kata diambil dari judul, subjudul, atau field khusus yang disebut meta tag). Data tentang halaman web disimpan dalam sebuah database indeks untuk digunakan dalam pencarian selanjutnya.
Mesin pencari juga menyimpan dan memberikan informasi hasil pencarian berupa pranala yang merujuk pada file, seperti file audio, file video, gambar, foto dan sebagainya.
Ketika seorang pengguna mengunjungi mesin pencari dan memasukkan query, biasanya dengan memasukkan kata kunci, mesin mencari indeks dan memberikan daftar halaman web yang paling sesuai dengan kriterianya.