 |
| Robot.txt |
Sebuah website bisa saja memiliki ratusan bahkan ribuan konten. Lalu, apakah semua konten tersebut akan masuk ke search engine seperti Google secara otomatis?
Google akan secara otomatis mengindeks semua konten yang ada di website kita, termasuk konten dan laman yang mungkin tidak perlu diakses. Untuk membatasi Google mengakses semua informasi yang ada di website, kita akan membutuhkan Robots.txt. Yah, kira-kira begitulah fungsi dasar dari robots.txt ini.
Pada artikel kali ini, kita akan membahas secara sederhana apa yang dimaksud dengan robots.txt dan cara kerjanya untuk meningkatkan SEO.
Apa itu Robots.txt?
Sederhananya, robots.txt adalah instruksi yang diberikan pada bot dari search engine seperti Google untuk meng-crawl website kita agar muncul di hasil pencarian. Instruksi yang ada di robots.txt sebenarnya cukup sederhana, hanya memperbolehkan (allow) dan melarang (disallow). Intinya, robots.txt akan membatasi pergerakan dari bot search engine agar tidak mengindeks hal-hal yang tidak diperlukan.
Robots.txt ini saling berkaitan dengan Sitemap. Jika sitemap digunakan untuk memperkenalkan website pada Google, maka robots.txt yang memberikan arahan agar website bisa di-indeks oleh Google.
Baca juga: Apa itu Sitemap?
Fungsi dari Robots.txt
Mungkin saja kamu sedang bertanya-tanya, mengapa kita "membatasi" akses dari Google bot untuk mengindeks website kita? Bukankah kita ingin website kita terindeks di Google?
Ayo kita bahas secara sederhana.
Sebutlah toko baju, misalnya Matahari dan Ramayana, akan memberikan akses penuh kepada pelanggannya untuk keluar masuk toko. Pelanggan juga bisa memegang semua produk yang dipajang bahkan mencobanya di fitting room. Pelanggan benar-benar seperti seorang raja, tapi pelanggan tahu bahwa ada ruangan-ruangan yang tidak boleh dimasuki, misalnya ruangan kasir, ruangan admin, ruangan kepala toko, dll.
Nah, bot dari search engine kita ibaratkan sebagai pelanggan, mereka akan mengakses semua ruangan yang ada di website kita. Tapi tentu kita tidak ingin bot tersebut mengakses ruang-ruang tertentu, misalnya /wp-admin/. Sebenarnya boleh-boleh saja, tapi pasti agak aneh jika kita menemukan laman admin dipencarian Google. Disinilah peran Robots.txt diperlukan, dia akan memberikan instruksi kepada bot dari search engine untuk tidak mengakses atau mengindeks bagian yang tidak diperlukan.
Lebih jelasnya, berikut ini beberapa fungsi dari robots.txt yaitu:
- Mengontrol kegiatan dan akses dari spider bot
- Membatasi kegiatan dan akses dari robot bot
- Memblokir halaman konten tertentu
- Mengatur mesin pencari seperti Google ketika memasuki website
Plugins WordPress untuk Robots.txt
Kita bisa mengedit secara manual dengan menggunakan Notepad di laptop, kemudian menguploadnya ke database website. Tapi jika tidak mau repot, ada juga plugin yang disediakan oleh WordPress untuk mengelola robots.txt seperti Yoast SEO dan ALL in One SEO Pack.
Yoast SEO menyajikan fitur-fitur yang cukup sederhana, bahkan cukup mudah bagi para pemula. Selain untuk pengaturan robots,txt, Yoast SEO juga memiliki banyak sekali fitur yang akan membantu kita untuk mengingkatkan SEO. Bagi seorang blogger pemula, plugin seperti Yoast ini memang sangat dianjurkan.
All in One SEO Pack sebenarnya sangat mirip dengan Yoast SEO, hanya saja untuk mengedit robots.txt Yoast terkesan lebih mudah dan sederhana.
Sekian dulu artikel kali ini, semoga bermanfaat. Baca juga artikel lainnya:
Baca juga:
Susahnya menghasilkan uang dari Blogging
Mengapa pakai WordPress self-hosting? Ini alasannya
Panduan membuat blog WordPress
0 Comments