Bagi banyak orang, Google adalah internet. Ini adalah titik awal untuk menemukan situs baru, dan bisa dibilang penemuan paling penting sejak internet itu sendiri. Tanpa mesin pencari, konten web baru tidak akan dapat diakses oleh massa. Tapi tahukah kalian cara kerja mesin pencari? Setiap mesin pencari memiliki tiga fungsi utama: crawling (untuk menemukan konten), mengindeks (untuk melacak dan menyimpan konten), dan retrieval(untuk mengambil konten yang relevan ketika pengguna meminta mesin pencari).

Crawling 
Crwaling adalah awal dari semuanya, perolehan data tentang situs web. Ini melibatkan pemindaian situs dan mengumpulkan detail tentang setiap halaman sperti judul, gambar, kata kunci, halaman terkait lainnya, dll. Crawler yang berbeda juga dapat mencari detail yang berbeda, seperti tata letak halaman, tempat iklan ditempatkan, apakah tautan dijejalkan, dll. 

Tapi bagaimana situs web dirayapi? Bot otomatis (disebut “spider”) mengunjungi halaman demi halaman secepat mungkin, menggunakan tautan halaman untuk menemukan tujuan selanjutnya. Bahkan di hari-hari awal, Google spider bisa membaca beberapa ratus halaman per detik. Saat ini, jumlahnya ribuan. Ketika web crawler mengunjungi halaman, ia mengumpulkan setiap tautan pada halaman dan menambahkannya ke daftar halaman berikutnya yang akan dikunjungi. Ini pergi ke halaman berikutnya dalam daftar, mengumpulkan link pada halaman, dan mengulangi. 

Web Crawler juga mengunjungi kembali halaman sebelumnya sesekali untuk melihat apakah ada perubahan yang terjadi. Ini berarti situs apa pun yang ditautkan dari situs yang diindeks pada akhirnya akan dirayapi. Beberapa situs dirayapi lebih sering, dan beberapa dirayapi ke kedalaman yang lebih besar, tetapi terkadang crawler dapat menyerah jika hierarki halaman situs terlalu kompleks. Salah satu cara untuk memahami cara kerja web crawler adalah dengan membuatnya sendiri. Perhatikan bahwa halaman dapat ditandai sebagai “noindex,” yang seperti meminta mesin pencari untuk melewatkan pengindeksannya.

Indexing 
Setelah bot merayapi data, saatnya untuk pengindeksan. Indeks ini pada dasarnya adalah perpustakaan online situs web. Situs web kalian harus diindeks agar dapat ditampilkan di halaman hasil mesin pencari. Perlu diingat bahwa pengindeksan adalah proses yang konstan. Crawler kembali ke setiap situs web untuk mendeteksi data baru.  Conthnya ketika kalian membuat daftar semua buku yang kalian miliki, penerbitnya, penulisnya, genre mereka, jumlah halaman mereka, dll. 

Crawler adalah ketika kalian menyisir setiap buku sementara pengindeksan adalah saat kalian memasukkannya ke daftar kalian. Itu adalah versi skala kecil dari apa yang dilakukan Google, yang menyimpan semua data ini di pusat data yang luas dengan ribuan petabytes hard drive. Search Engines Crawling Indexing Results

Retrieval Dan Ranking 
Retrieval adalah ketika mesin pencari memproses permintaan pencarian kalian dan mengembalikan halaman yang paling relevan yang cocok dengan permintaan kalian. Sebagian besar mesin pencari membedakan diri mereka melalui metode pencarian mereka menggunakan kriteria yang berbeda untuk memilih dan memilah halaman mana yang paling cocok dengan apa yang ingin kalian temukan. Itu sebabnya hasil pencarian bervariasi antara Google dan Bing. Algoritme peringkat memeriksa permintaan pencarian kalian terhadap miliaran halaman untuk menentukan relevansi masing-masing. 

Perusahaan menjaga algoritma peringkat mereka sebagai rahasia industri yang dipatenkan karena kompleksitasnya. Algoritma yang lebih baik diterjemahkan menjadi pengalaman pencarian yang lebih baik. Mereka juga tidak ingin pembuat web menggunakan sistem permainan dan naik secara tidak adil ke puncak hasil pencarian. Jika metodologi internal mesin pencari keluar, semua jenis orang pasti akan mengeksploitasi pengetahuan itu sehingga merugikan pencari seperti pengguna. Eksploitasi mesin pencari itu mungkin, tentu saja, tetapi tidak lagi mudah. Awalnya, cara kerja mesin pencari memberi peringkat situs berdasarkan seberapa sering kata kunci muncul pada halaman, yang mengarah pada “keyword stuffing” mengisi halaman dengan keyword-heavy nonsense. 

Kemudian muncul konsep pentingnya link: mesin pencari menilai situs dengan banyak tautan masuk karena mereka mengartikan popularitas situs sebagai relevansi. Tapi ini mengarah ke link spamming di seluruh web. Saat ini, bobot tautan mesin pencari bergantung pada “authority” situs penghubung. Mesin pencari memberi nilai lebih pada tautan dari agen pemerintah daripada tautan dari direktori tautan. Hari ini, algoritma peringkat diselimuti lebih banyak misteri daripada sebelumnya, dan “optimasi mesin pencari” tidak begitu penting. Peringkat mesin pencari yang baik sekarang berasal dari konten berkualitas tinggi dan pengalaman pengguna yang luar biasa.

Sumur: