alexa-tracking
Selamat Guest, Agan dapat mencoba tampilan baru KASKUS Masih Kangen Tampilan Sebelumnya
Kategori
Kategori
Home / FORUM / All / News / Bisnis /
Robots.txt WordPress, Bagaimana Mengoptimalkannya Untuk SEO Anda?
1024
1024
KASKUS
51
244
https://www.kaskus.co.id/thread/5bbeca6b1a9975ee6a8b4572/robotstxt-wordpress-bagaimana-mengoptimalkannya-untuk-seo-anda

Robots.txt WordPress, Bagaimana Mengoptimalkannya Untuk SEO Anda?

Robots.txt WordPress, Bagaimana Mengoptimalkannya Untuk SEO Anda?
Apakah Anda ingin mengoptimalkan file robots.txt WordPress Anda? Tidak yakin mengapa dan bagaimana file robots.txt penting untuk SEO Anda? Dalam artikel ini, kami akan menunjukkan kepada Anda cara mengoptimalkannya dan membantu Anda memahami pentingnya file robots.txt. File robots.txt situs Anda memainkan peran penting dalam kinerja SEO situs Anda secara keseluruhan. Pada dasarnya, Anda dapat berkomunikasi dengan mesin pencari dan memberi tahu mereka bagian mana dari situs Anda yang harus mereka indeks.
Apa itu Robots.txt WordPress?
Sebelum kita dapat berbicara tentang WordPress robots.txt, penting untuk menentukan apa yang dimaksud dengan “robot” dalam kasus ini. Robot adalah jenis “bot” yang mengunjungi situs web di Internet. Contoh paling umum adalah perayap mesin telusur. Bot ini “merayap” di seluruh web untuk membantu mesin telusur seperti indeks Google dan memberi peringkat miliaran laman di Internet. Jadi, bot adalah hal yang dibutuhkan untuk menunjang teknik SEO. robots.txt WordPress dapat dikontrol untuk berinteraksi dengan situs dan Anda dapat memblokir bot sepenuhnya, membatasi akses mereka ke area tertentu di situs.
Mengapa Anda Harus Merawat File Robots.txt ?
Bagi sebagian besar webmaster, manfaat dari file robots.txt yang terstruktur dengan baik terbagi menjadi dua kategori, diantaranya:

  • Mengoptimalkan sumber daya perayapan mesin telusur dengan memberi tahu mereka agar tidak membuang waktu pada halaman yang tidak ingin Anda indeks. Hal ini membantu memastikan bahwa mesin pencari fokus pada perayapan halaman yang paling Anda sukai.
  • Mengoptimalkan penggunaan riset Anda dengan memblokir bot yang membuang-buang sumber daya server.


Dimana file Robots.txt? Bagaimana Cara Membuat File Robots.txt?

File Robots.txt biasanya berada di folder root situs Anda. Anda harus terhubung ke situs Anda menggunakan klien FTP atau dengan menggunakan manajer file cPanel untuk melihatnya. Ini sama seperti file teks biasa, dan Anda dapat membukanya dengan editor teks biasa seperti Notepad. Jika Anda tidak memiliki file robots.txt di direktori root situs Anda, maka Anda selalu dapat membuatnya. Yang perlu Anda lakukan adalah membuat file teks baru di komputer Anda dan simpan sebagai robots.txt. Selanjutnya, cukup unggah ke folder akar situs Anda.
Cara Menggunakan File Robots.txt
Format untuk file robots.txt sebenarnya cukup sederhana. Baris pertama biasanya menamai agen pengguna. Agen pengguna sebenarnya adalah nama bot pencarian yang Anda coba komunikasikan. Misalnya, Googlebot atau Bingbot. Anda dapat menggunakan tanda bintang * untuk menginstruksikan semua bot. Baris berikutnya mengikuti dengan petunjuk Allow atau Disallow untuk mesin pencari, sehingga mereka tahu bagian mana yang Anda ingin mereka indeks, dan mana yang tidak ingin Anda indeks.
Lihat file contoh robots.txt:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html

Dalam contoh file robots.txt ini untuk WordPress, saya telah menginstruksikan semua bot untuk mengindeks direktori pengunggahan gambar. Dalam dua baris berikutnya saya telah melarang mereka untuk mengindeks direktori plugin WordPress dan file readme.html.
Mengoptimalkan File Robots.txt WordPress Anda untuk SEO
Dalam pedoman untuk webmaster, Google menyarankan webmaster agar tidak menggunakan file robot.txt untuk menyembunyikan konten berkualitas rendah. Jika Anda berpikir tentang menggunakan file robots.txt untuk menghentikan Google mengindeks kategori, tanggal, dan halaman arsip lainnya, maka itu mungkin bukan pilihan yang bijaksana. Ingat, tujuan robots.txt adalah menginstruksikan bot apa yang harus dilakukan dengan konten yang mereka rayapi di situs Anda. Itu tidak menghentikan bot dari merayapi situs web Anda.
Ada plugin WordPress lain yang memungkinkan Anda untuk menambahkan tag meta seperti nofollow dan noindex di halaman arsip Anda. Saya tidak mewajibkan Anda harus memiliki halaman arsip Anda deindexed, tetapi jika Anda ingin melakukannya, maka itulah cara yang tepat. Anda tidak perlu menambahkan halaman login WordPress, direktori admin, atau halaman registrasi ke robots.txt karena halaman login dan registrasi memiliki tag noindex yang ditambahkan sebagai meta tag oleh WordPress.
Sebaiknya jangan larang file readme.html di file robots.txt WordPress Anda. File readme ini dapat digunakan oleh seseorang yang mencoba mencari tahu versi WordPress yang Anda gunakan. Jika ini adalah seorang individu, maka mereka dapat dengan mudah mengakses file hanya dengan menjelajahinya. Di sisi lain jika seseorang menjalankan kueri jahat untuk mencari situs WordPress menggunakan versi tertentu, maka tag pelarangan ini dapat melindungi Anda dari serangan massal tersebut. Anda juga dapat melarang direktori plugin WordPress Anda. Ini akan memperkuat keamanan situs Anda jika seseorang mencari plugin rentan tertentu untuk dieksploitasi untuk serangan massal.
Cara Membuat Dan Mengedit File Robots.txt Dengan Yoast SEO
Jika Anda menggunakan plugin Yoast SEO populer, Anda dapat membuat (dan kemudian mengedit) file robots.txt Anda langsung dari antarmuka Yoast. Namun, sebelum Anda dapat mengaksesnya, Anda harus mengaktifkan fitur lanjutan Yoast SEO dengan masuk ke SEO → Dashboard → Features dan beralih pada halaman setelan Lanjutan :
 
Robots.txt WordPress, Bagaimana Mengoptimalkannya Untuk SEO Anda?Cara mengaktifkan fitur Yoast lanjutan

Setelah diaktifkan, Anda dapat pergi ke SEO → Tools dan klik pada editor File:
Robots.txt WordPress, Bagaimana Mengoptimalkannya Untuk SEO Anda?Cara mengakses editor file Yoast

Dengan asumsi Anda belum memiliki file Robots.txt fisik, Yoast akan memberi opsi untuk membuat file robots.txt:
Robots.txt WordPress, Bagaimana Mengoptimalkannya Untuk SEO Anda?Cara mengedit Robots.txt di Yoast

Menambahkan XML Sitemap Anda ke File Robots.txt
Jika Anda menggunakan plugin WordPress SEO Yoast atau beberapa plugin lain untuk menghasilkan peta situs XML Anda, maka plugin Anda akan mencoba menambahkan peta situs Anda secara otomatis ke dalam file robots.txt. Namun jika gagal, maka plugin Anda akan menunjukkan tautan ke XML Sitemaps yang dapat Anda tambahkan ke file robots.txt Anda secara manual seperti ini:
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

Bagaimana File Robots.txt Yang Ideal?
Jujur, banyak blog populer menggunakan file robots.txt yang sangat sederhana. Isinya bervariasi, tergantung pada kebutuhan situs tertentu:
User-agent: *
Disallow:

Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

File robots.txt ini hanya memberi tahu semua bot untuk mengindeks semua konten dan menyediakan tautan ke peta situs XML situs. Berikut ini contoh lain dari file robots.txt :
User-Agent: *
Allow: /?display=wide
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html
Disallow: /refer/

Sitemap: https://www.wpbeginner.com/post-sitemap.xml
Sitemap: https://www.wpbeginner.com/page-sitemap.xml
Sitemap: https://www.wpbeginner.com/deals-sitemap.xml
Sitemap: https://www.wpbeginner.com/hosting-sitemap.xml

Bagaimana Menggunakan Robots.txt Untuk Menghentikan Bot Dari Merambah Hasil Pencarian WordPress
Mungkin Anda ingin menghentikan perayap penelusuran merayapi halaman hasil pencarian Anda. Secara default, WordPress menggunakan parameter kueri “? S =”. Jadi untuk memblokir akses, yang perlu Anda lakukan adalah menambahkan kode berikut:
User-agent: *
Disallow: /?s=
Disallow: /search/

Saya harap Anda menikmati panduan ini dan pastikan untuk meninggalkan komentar jika Anda memiliki pertanyaan lebih lanjut tentang menggunakan file robots.txt WordPress. Jika Anda menikmati artikel ini, maka Anda akan menyukai platform hosting WordPress IDwebhost. Baik itu mempercepat situs web atau mendapatkan dukungan 24×7 dari tim WordPress yang berpengalaman untuk membantu bisnis Anda sukses. Infrastruktur bertenaga Google Cloud kami berfokus pada pengoptimalan kinerja dan keamanan. Mari saya tunjukkan pada Anda perbedaan IDwebhost! Lihat fiturnya di sini!
Urutan Terlama


×
GDP Network
Copyright © 2018, Kaskus Networks, PT Darta Media Indonesia.
Ikuti KASKUS di