GrandeMedia

Optimasi SEO Blogger Dengan Custom Robots.txt

optimasi-seo-blogger-custom-robotstxt
Cara setting custom robots.txt Blogger hampir seperti pada blog atau website yang menggunakan self hosting sendiri, misalkan Wordpress. Blogger sudah mulai memaksimalkan SEO OnPage untuk menyaingi kompetitornya di dunia blogging. Tujuan dari mengatur robots. txt adalah untuk mempercepat kerja robot search engine dengan membatasi beberapa konten yang tidak perlu di-index dan melengkapi informasi data sitemap konten untuk optimasi SEO blog atau website.

Sebenarnya robots.txt blogger hanyalah berupa virtual file yang dapat diatur melalui pengaturan secara OnPage, karena kita tidak diberikan akses ke root direktory seperti pada blog atau website yang menggunakan self hosting. File robots.txt memungkinkan kita untuk mengontrol dan memberikan izin bagi crawler search engine, mana konten blog yang boleh diakses dan konten blog yang tidak boleh diakses. Pada pengaturan file robots.txt ini hanya dikenal dua macam perintah, yaitu DISALLOW untuk perintah larangan peng-indexan dan ALLOW untuk perintah mengizinkan peng-indexan.

Sebelum Blogger mengaktifkan fitur custom robot.txt ini, pengaturan meta index (noindex dan nofollow) untuk optimasi SEO Blogger dilakukan melalui update meta tag pada dokumen HTML template. Dengan adanya fitur ini, pengaturannya menjadi semakin mudah sekarang. Secara default robots.txt memiliki dua baris perintah seperti di bawah ini :

User-agent: *
Disallow:

Perintah pada User-agent: * di atas adalah identifikasi user-agent atau crawler search engine, agregator maupun robot peng-index lainnya seperti googlebot dan lain-lain. Sedangkan perintah pada Disallow: adalah perintah larangan bagi robot peng-index untuk meng-index konten blog.

Jika diterjemahkan :

User-agent: * = Seluruh robot peng-index diizinkan untuk meng-index blog atau situs
Disallow: = Seluruh konten blog atau situs dari root directory sampai ke sub directory termasuk archive dan halaman statis, diizinkan untuk di-index. Jika ingin melakukan pelarangan anda tinggal menambahkan karakter slash (/), sehingga akan menjadi seperti ini :

User-agent: *
Disallow: /

Perintah ini akan melarang seluruh robot peng-index dari search engine, agregator, dan lain-lain untuk meng-index seluruh konten blog atau website.

Untuk melakukan pengaturan pada file robots.txt, silahkan login ke blogger anda. Selanjutnya di halaman dashboard pilih menu Settings >> Search Preferences >> Crawlers and indexing. Pada bagian 'Enable Custom robots.txt content?', pilih Yes, kemudian klik link Edit pada bagian 'Custom robots.txt' seperti gambar di bawah :


optimasi-seo-blogger-custom-robotstxt


Secara default, Blogger telah menambahkan file robots.txt ini pada blog yang dibangun dengan platform Blogger. Cara melihatnya ketik url blog anda pada address bar browser dan tambahkan robots.txt di belakangnya. Contoh seperti ini http://grandemedia.blogspot.com/robots.txt. Jika anda telah memahami pengaturan file robots.txt ini, anda dapat mengaturnya agar SEO blog bisa menjadi lebih optimal. Berikut ini adalah dafault baris perintah robots.txt dan penjelasannya.

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://grandemedia.blogspot.com/feeds/posts/default?orderby=updated

Jika diterjemahkan adalah sebagai berikut :

User-agent: Mediapartners-Google
Disallow:

Maksud perintah ini adalah memberikan izin kepada user-agent google adsense untuk meng-crawl seluruh konten blog agar dapat menampilkan iklan yang relevan. Jika blog anda menggunakan google adsense, perintah ini sangat penting dan jangan dihapus agar iklan yang ditampilkan relevan dan tepat pada sasaran.

User-agent: *
Disallow: /search
Allow: /

Perintah ini akan mengizinkan seluruh user-agent search engine dan agregator, termasuk robot autobloging untuk meng-crawl seluruh konten blog, kecuali directory yang berisi label blog. Karena di situ ada perintah Disallow: /search yang melarang robot search engine untuk meng-crawl directory ini. Sebaiknya memang directory label tidak perlu di-index, karena label tidak menunjukkan halaman riil.

Sitemap: http://grandemedia.blogspot.com/feeds/posts/default?orderby=updated

Perintah ini adalah perintah menambahkan sitemap dimana pada feeds ditambah perintah orderby, berisi list dari update terbaru. Perintah ini akan membantu mempercepat pengindexan pada search engine.

Akan tetapi, list dari update terbaru hanya menginformasikan sebanyak 26 blog post atau 26 konten yang baru diedit. Lantas bagaimana jika anda telah mempunyai 300 konten atau lebih?

Jadi, atur perintahnya menjadi seperti ini :

Sitemap: http://grandemedia.blogspot.com/feeds/posts/default?orderby=updated&max-results=500


Itulah beberapa pengaturan dasar custom robots.txt Blogger. Anda dapat mengaturnya kembali apabila anda paham dan yakin mampu meningkatkan SEO blog atau website anda. Kritik dan saran yang membangun selalu terbuka di bawah halaman ini.

Get free daily email updates now !

Follow us on :

Ditulis oleh : GrandeMedia | 09 September 2012

5 komentar untuk "Optimasi SEO Blogger Dengan Custom Robots.txt"

  1. terima kasih sob tutorialnya,,,
    jangan lupa mampir ya

    ReplyDelete
  2. sama2 gan ...
    insyaAllah mampir ...

    ReplyDelete
  3. Admin mau nanya.
    Kalau tidak menggunakan allow berpengaruh tidak?

    ReplyDelete
  4. terimakasih atas informasinya ,,sangat membantu saya sebagai blogger pemula

    ReplyDelete
  5. thanks gan . mampir ya http://playergoogle.blogspot.com

    ReplyDelete