Cara membuat robots.txt untuk mengatasi duplicate content pada wordpress

Berdasarkan pengalaman saya sendiri,blog wordpress sangat rentan sekali untuk  timbul duplicat content.Duplicate content yang saya maksud adalah seperti duplicat metatag atau duplicate titletag.Hal ini hanya bisa diketahui jika kita mengecek  di www.google.com/webmaster > Optimization >HTML Improvements.
Jika memang ada terjadi duplicat content,maka akan dilaporkan secara mendetail disana.Dan jika tidak ada masalah dengan duplicate content,akan ada pesan seperti ini:

Last updated May 28, 2012
We didn’t detect any content issues with your site. As we crawl your site, we check it to detect any potential issues with content on your pages, including duplicate, missing, or problematic title tags or meta descriptions. These issues won’t prevent your site from appearing in Google search results, but paying attention to them can provide Google with more information and even help drive traffic to your site. For example, title and meta description text can appear in search results, and useful, descriptive text is more likely to be clicked on by users.

Duplicate content terjadi karena ada satu halaman blog dengan dua alamat URL yang berbeda.Atau banyak halaman yang berbeda,tetapi memilkiki title yang sama.
Saran saya supaya Selalu rajin memantau kesehatan  blog kamu diwebmaster tool agar segera bisa tertangani dan tidak sampai menumpuk hingga puluhan bahkan ratusan.
Banyaknya duplicate content pada blog akan menjadi kurang baik blog dimata mesin pencari google ,karena kontent blog akan dianggap tidak berkualitas dan bahkan menyesatkan pembaca.
Tentu hal Ini tidak baik bagi pemeringkatan blog di result mesing pencari google,karena algoritma mesin pencari google lebih menyukai kontent yang unik untuk menempati urutan result atas.
Kesimpulan saya, hindari terjadinya duplikat content ini seminimal mungkin.Seperti yang saya katakan diawal paragraf ini bahwa wordpress(self hosting) lebih rentan terjadi duplicate content,namun jangan khawatir,karena ada masalah pasti ada jalan keluar.
Untuk mengatasi agar tidak terjadi duplicate content diblog  WP,kamu bisa memasang plugin gratis yang bernama All in One SEO Pack , atau sekaligus juga memasang file robots.txt.
Dalam postingan ini ,saya akan share pengalaman saya yaitu bagaimana cara membuat  robot.txt.

Cara mengatasi duplicate content dengan membatasi halaman dengan robots.txt pada blog wordpress.

Pada intinya ,file robots.txt ini berisi perintah khusus untuk membatasi crawl mesin pencari agar mengindex ataupun tidak kepada dokumen html tertentu .
Pada saat crawl mengunjungi sebuah situs/blog,maka yang dicari pertamakali adalah file robots.txt sebelum mengcrawl dokumen index/halaman index blog.

Contoh penulisan perintah robots.txt
Perintah Disallow adalah perintah untuk tidak mengindex page tersebut

Perintah Allow adalah untuk memerintahkan mengindex page tersebut

Cara pemasangan file robots.txt dan isi perintahnya secara umum jika untuk blog wordpress.
(berikut ini bukan sekedar contoh,namun ini juga yang saat ini saya pakai di blog WP saya)

User-agent: Googlebot
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /info/
Disallow: /author/admin/page/*/
Disallow: /*/page/
Disallow: /page/*/
Disallow: /*/*/page/*/
Disallow: /wp-includes/
Disallow: /wp-
Disallow: /*/feed/
Disallow: /trackback/
Disallow: /plugins/
Disallow: /cgi-bin/
Disallow: /?random/
Disallow: /author/
Disallow: /tv/
Disallow: /css/
Disallow: /img/
Disallow: /*/comment-page-*
Allow: /wp-content/uploads/

User-agent: *
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-
Disallow: /*/feed/
Disallow: /trackback/
Disallow: /plugins/
Disallow: /adlogger/
Disallow: /cgi-bin/
Disallow: /?random/
Disallow: /author/
Disallow: /author/admin/page/*/
Disallow: /*/page/
Disallow: /page/*/
Disallow: /*/*/page/*/
Disallow: /tv/
Disallow: /css/
Disallow: /img/
Disallow: /*/comment-page-*

# Google Image
User-agent: Googlebot-Image
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# digg mirror
User-agent: duggmirror
Disallow: /

Sitemap: http://www.namablogmu.com/sitemap.xml
Copy dan paste code robots.txt diatas kedalam notepad dengan nama robots.txt lalu upload kedalam direktori hosting dimana CMS wordpress kamu terinstall.Sehingga nantinya file robots.txt itu berada sama sama didalam folder www bersama dengan file file wordpress lainnya.
Cara lain untuk membuat file robots.txt bisa juga langsung melalui c-Panel hosting, direktori > created new file > kasih nama dengan robots.txt > edit > masukkan code diatas > Save.
Untuk memastikan apakah robots.txt sudah terpasang dengan baik atau tidak,cobalah dipastikan dengan cara mengakses alamat  URLnya yaitu http://www.namablogmu.com/robots.txt.Jika memang sudah benar maka code robots.txt diatas akan tampil di browser kamu.

Hanya Untuk melengkapi biar afdol (jika belum),install lah plugin google sitemap xml ,cari saja melalui add new plugin di admin area wp kamu.Plugin ini berguna untuk membuat file sitemap.xml secara otomatis.Jangan lupa jika sudah selesai menginstal plugin ini untuk meng add sitemap blog kedalam www.google.com/webmaster.