Memiliki blog dengan lalu lintas pengunjung harian yang tinggi adalah impian setiap blogger. Untuk mendapatkannya, maka seorang blogger perlu melakukan Search Engine Optimization atau SEO pada blog-nya. Ada banyak cara untuk SEO pada blog anda, salah satunya adalah setting robots.txt dengan benar pada blog anda.
Ada banyak manfaat yang dapat anda peroleh ketika anda sudah setting robots.txt pada blogger (blogspot) anda dengan benar. Setting robots.txt dengan benar pada blog anda akan membuat mesin pencari lebih mudah dalam merayapi blog atau website anda. Setting robots.txt pada blogger dengan benar juga mencegah mesin pencari untuk merayapi hal-hal yang tidak anda inginkan untuk dirayapi, sehingga mesin pencari hanya fokus untuk merayapi halaman-halaman yang diizinkan dari blog anda. Dampaknya adalah halaman-halaman yang ada dalam blog anda mudah terindeks pada mesin pencari seperti google search engine.
Pada artikel ini penulis akan berbagi tips setting robots.txt pada blogger (blogspot) anda agar blog anda lebih SEO friendly. Anda dapat mengikuti langkah-langkah berikut ini.
- 1. Klik Settings / Pengaturan pada menu blog anda
- 2. Gulir ke bawah hingga di bagian Crawlers and Indexing (Perayapan dan Pengindeksan), lalu aktifkan Enable custom robots.txt (Lihat no. 2 pada gambar di atas)
- 3. Klik pada Custom robots.txt (Lihat no. 3 pada gambar di atas)
- 4. Akan muncul pop up untuk setting robots.txt
- 5. Anda dapat memasukkan kode berikut dan klik Save / Simpan
Isi robots.txt dengan code seperti ini:
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /feeds
Disallow: /p/daftar-isi.html
Allow: /
Sitemap: https://www.sebatangkaktus.com/sitemap.xml
Sitemap: https://www.sebatangkaktus.com/sitemap-pages.xml
Keterangan:
1. User-agent: Nama robot mesin pencari (web crawler software)
Isi dengan Mediapartners-Google untuk bagian atas, dan * pada bagian bawah.
2. Disallow: Direktori atau halaman yang tidak diizinkan dirayapi oleh user-agent
/search : tidak mengizinkan google untuk merayapi semua halaman pada blog saya yang mengandung url /search setelah domain blog.
Contoh: https://www.sebatangkaktus.com/search/label/Ekonomi
Kenapa disarankan untuk tidak mengizinkan /search untuk dirayapi:
- Agar mesin pencari google lebih fokus untuk merayapi pada halaman-halaman utama blog anda.
- Halaman /search bisa berubah sewaktu-waktu ketika anda menambah atau menghapus konten atau tag, sehingga bisa saja hasil perayapan menuju ke halaman kosong.
- Agar kuota perayapan dari mesin pencari google tidak habis pada halaman-halaman /search, sehingga kuota perayapan yang ada dimaksimalkan pada halaman-halaman utama blog anda
/feeds: tidak mengizinkan google untuk merayapi semua halaman pada blog saya yang mengandung url /feedssetelah domain blog.
/p/daftar-isi.html: tidak mengizinkan google untuk merayapi halaman daftar isi dari blog saya.