LATEST POST
latest
Showing posts with label SEO. Show all posts
Showing posts with label SEO. Show all posts

Cara Setting Robots.txt di Blogger agar SEO Friendly

Memiliki blog dengan lalu lintas pengunjung harian yang tinggi adalah impian setiap blogger. Untuk mendapatkannya, maka seorang blogger perlu melakukan Search Engine Optimization atau SEO pada blog-nya. Ada banyak cara untuk SEO pada blog anda, salah satunya adalah setting robots.txt dengan benar pada blog anda. 

Ada banyak manfaat yang dapat anda peroleh ketika anda sudah setting robots.txt pada blogger (blogspot) anda dengan benar. Setting robots.txt dengan benar pada blog anda akan membuat mesin pencari lebih mudah dalam merayapi blog atau website anda. Setting robots.txt pada blogger dengan benar juga mencegah mesin pencari untuk merayapi hal-hal yang tidak anda inginkan untuk dirayapi, sehingga mesin pencari hanya fokus untuk merayapi halaman-halaman yang diizinkan dari blog anda. Dampaknya adalah halaman-halaman yang ada dalam blog anda mudah terindeks pada mesin pencari seperti google search engine. 

Pada artikel ini penulis akan berbagi tips setting robots.txt pada blogger (blogspot) anda agar blog anda lebih SEO friendly. Anda dapat mengikuti langkah-langkah berikut ini.


  1. 1. Klik Settings / Pengaturan pada menu blog anda
  2. 2. Gulir ke bawah hingga di bagian Crawlers and Indexing (Perayapan dan Pengindeksan), lalu aktifkan Enable custom robots.txt (Lihat no. 2 pada gambar di atas)
  3. 3. Klik pada Custom robots.txt (Lihat no. 3 pada gambar di atas)
  4. 4. Akan muncul pop up untuk setting robots.txt
  5. 5. Anda dapat memasukkan kode berikut dan klik Save / Simpan


Isi robots.txt dengan code seperti ini:

User-agent: Mediapartners-Google

Disallow: 


User-agent: *

Disallow: /search

Disallow: /feeds

Disallow: /p/daftar-isi.html

Allow: /


Sitemap: https://www.sebatangkaktus.com/sitemap.xml

Sitemap: https://www.sebatangkaktus.com/sitemap-pages.xml


Keterangan:

1. User-agent: Nama robot mesin pencari (web crawler software)

Isi dengan Mediapartners-Google untuk bagian atas, dan * pada bagian bawah.

2. Disallow: Direktori atau halaman yang tidak diizinkan dirayapi oleh user-agent

/search : tidak mengizinkan google untuk merayapi semua halaman pada blog saya yang mengandung url /search setelah domain blog.

Contoh: https://www.sebatangkaktus.com/search/label/Ekonomi

Kenapa disarankan untuk tidak mengizinkan /search untuk dirayapi:

  • Agar mesin pencari google lebih fokus untuk merayapi pada halaman-halaman utama blog anda.
  • Halaman /search bisa berubah sewaktu-waktu ketika anda menambah atau menghapus konten atau tag, sehingga bisa saja hasil perayapan menuju ke halaman kosong.
  • Agar kuota perayapan dari mesin pencari google tidak habis pada halaman-halaman /search, sehingga kuota perayapan yang ada dimaksimalkan pada halaman-halaman utama blog anda

/feeds: tidak mengizinkan google untuk merayapi semua halaman pada blog saya yang mengandung url /feedssetelah domain blog.

/p/daftar-isi.html: tidak mengizinkan google untuk merayapi halaman daftar isi dari blog saya.

3. Allow: Direktori atau halaman yang diizinkan dirayapi oleh user-agent

Isi dengan "/", artinya anda mengizinkan semua halaman kecuali yang di-Disallow.

4. Sitemap: Peta situs dari web atau blog anda

Ganti www.sebatangkaktus.com dengan alamat blog anda.


Itulah cara setting robots.txt pada blogger untuk optimasi mesin pencari (SEO) dalam merayapi blog anda.