Pengertian Web Crawler / Web Spider
Web Crawler atau biasa juga disebut web spider
memiliki tugas untuk meng-crawl (merayapi) seluruh
informasi dari suatu website. Spider akan menggali
seluruh data dari suatu website termasuk didalamnya
komponen website seperti : meta data, keywords dan
lain sebagainya. Kemudian web spider akan
mengumpulkan atau mengindeks seluruh website ke
dalam data base search engine. Sampai pada akhirnya
halaman website akan di tampilkan pada Search Engine
Result Page (SERP).
Sederhananya seperti ini : Ketika Anda mengetikkan
query atau kata kunci pada search engine, mesin akan
mencari database index dan memberikan daftar
halaman web yang sesuai dengan kriteria yang Anda
cari.
Proses web crawler dalam mengunjungi setiap dokumen
web disebut web crawling atau spidering.
Nah, jadi kalo blog Anda telah dipasang Meta Tag SEO
Friendly, judul artikel yang mengandung sebagian dari
keywords (kata kunci) dan memiliki konten yang
berkualitas, maka tidak tertutup kemungkinan, artikel
Anda akan mejeng di halaman pertama Search Engine
Result Page (SERP).
Fungsi Web Crawler / Web Spider
1. Web crawler biasa digunakan untuk membuat salinan
sebahagian atau keseluruhan halaman web yang telah
dikunjunginya agar dapat diproses lebih lanjut oleh
system pengindeksan.
2. Web crawler dapat digunakan untuk proses
pemeliharaan sebuah website, seperti memvalidasi kode
html sebuah web.
3. Web crawler juga digunakan untuk memperoleh data
yang khusus, seperti mengumpulkan alamat email.
Kalau kita bisa memaksimalkan ini , kaya nya bisa berguna juga. sekian penjelasan singkat tentang WebCrawler Search Engine ini.