Home » Internet Tips » Trik membuat file robots.txt untuk optimasi seo

Trik membuat file robots.txt untuk optimasi seo

May 18th, 2013 Internet Tips

Salah satu cara agar website an blog kita cepat di inex adalah dengan membuat file robots.txt. Trik membuat file robots.txt untuk optimasi seo merupakan panduan sederhana bagi para blogger dan pemilik web untuk membuat file robots.txt.

Apa itu file Robots.txt?

File Robots.txt yaitu file text yang dijadikan rujukan oleh program penelusur milik mesin pencari (search engine) seperti google, yahoo dan bing. Mesin pencari atau sering dikenal sebagai web robot, web spider, web crawler, bertugas memeriksa apakah sebuah website atau blog memiliki file robots.txt, kemudian melihat instruksi apa yang ada di dalamnya. Robot mesin pencari lalu akan mengindeks halaman web berdasarkan isntruksi yang ada di file robots.txt. maka file robot menjadi sangat penting untuk dipasang dalam website maupun blog guna memaksimalkan perambaan mesin pencari pada blog kita.

cata membuat file robots-txt

Pembuatan file robots.txt untuk optimasi seo

Sebelum membuat file robots.txt, perlu diketahui dua bagian perintah utama yang biasanya digunakan di file robots.txt, yaitu :
– User-agent: untuk menetapkan pengaturan pada robot yang tercantum di bagian ini. Jika pengaturan diberlakukan untuk semua robot, maka gunakan simbol bintang *.
– Disallow: untuk menetapkan halaman yang tidak boleh diindeks oleh robot yang disebutkan di bagian User-agent. Perintah pelarangan diawali dengan simbol garis miring /.

Berikut ini beberapa contoh penulisan perintah di dalam file robots.txt:

Untuk mempersilakan semua program robot untuk mengindeks situs Anda, maka cukup tuliskan baris berikut:
User-agent: *
Disallow:
Penjelasan: semua robot tidak ada yang dilarang alias bebas mengindeks. Perintah ini paling lazim digunakan para pemilik situs.

Sebaliknya, jika ingin melarang robot manapun untuk mengindeks situs Anda, maka tuliskan baris berikut:
User-agent: *
Disallow: /
Penjelasan: semua robot dilarang mengindeks (misalnya dipakai di situs underground)

Untuk melarang para robot mengakses halaman tertentu, tuliskan baris berikut:
User-agent: *
Disallow: /login.html
Disallow: /cadangan/
Disallow: /member/info.php
Penjelasan: robot tidak boleh mengindeks file login.html, folder cadangan, dan halaman info.php di folder member.

Untuk melarang sebuah program robot tertentu namun mengijinkan robot-robot lainnya, tuliskan baris berikut:
User-agent: NamaRobot
Disallow: /
Penjelasan: robot bernama NamaRobot tidak boleh mengindeks, yang lain boleh (baca catatan di bagian akhir untuk mengenal nama robot).

Untuk mengijinkan sebuah robot tertentu dan melarang robot-robot lainnya, tuliskan baris berikut:
User-agent: Google
Disallow:

User-agent: *
Disallow: /
Penjelasan: robot Google boleh mangeindeks, lainnya tidak boleh.

Sebagai tip, Anda juga dapat menuliskan lokasi file sitemap.xml situs Anda di baris terakhir:
User-agent: *
Disallow:

Sitemap: http://e-technie.com/feeds/posts/default?orderby=updated
Penjelasan: tambahkan url lengkap alamat file sitemap situs Anda. Jika punya beberapa sitemap, tuliskan di baris berikutnya.

Beberapa robot mesin pencari juga bisa memahami penggunaan wildcard untuk melarang beberapa lokasi dengan satu atau dua baris perintah:
User-agent: *
Disallow: /*.pdf$
Disallow: /arsip*/
Penjelasan: baris kedua melarang semua robot mengindeks semua file pdf. Baris ketiga melarang pengindeksan pada folder-folder yang diawali dengan kata arsip (misalnya /arsip-2010, /arsip-2011, /arsiplama, dan sebagainya).

Catatan penting dalam membuat file Robots.txt:


– Hati-hati dalam menyusun perintah di robots.txt, kesalahan perintah bisa berakibat situs Anda tidak diindeks oleh mesin pencari.
– File robots.txt harus diberi nama persis: robots.txt dan bukan dengan nama lain (pastikan huruf kecil semua).
– File robots.txt harus diletakkan di direktori utama (root). Contoh: http://e-technie.com/robots.txt .
– Khusus pengguna Blogger, Anda dapat membuat file robots.txt untuk blog Anda via fitur yang telah tersedia di bagian: Setelan > Preferensi penelusuran > Perayap dan pengindeksan.
– Jika Anda ingin melarang program robot tertentu namun tidak mengetahui nama User-agent-nya, maka periksa log atau analisis statistik situs Anda, atau temukan daftarnya di situs http://www.user-agents.org.
– Jika Anda ingin agar sebuah halaman atau folder rahasia di situs Anda tidak diindeks program robot, sebaiknya jangan menggunakan robots.txt untuk melarangnya. Hal ini disebabkan file robots.txt dapat diakses dan dilihat oleh siapapun, sehingga justru akan menjadi bumerang. Gunakan file .htaccess atau metode pengaman lainnya jika memang Anda ingin benar-benar merahasiakan lokasi tertentu.

 sumber rujukan

Comment for Trik membuat file robots.txt untuk optimasi seo

  1. perkofashion // February 6th, 2014 at 9:44 am

    Mantap sekali artikelnya. makasihhh

  2. lowongan kerja 2014 // February 6th, 2014 at 9:47 am

    Makasih infonya ya mas.





Related Post to Trik membuat file robots.txt untuk optimasi seo

Shortcut Ms Excel yang Sering Digunakan

January 20, 2017
Bekerja menggunakan Ms Excel akan lebih mudah dengan Shortcut Ms Excel yang Sering Digunakan. Ulasan ini akan menerangkan dan menjelaskan apa saja, shortcut excel...

10 Hal yang perlu diketahui tentang Google Panda dan Google Penguin

October 10, 2012
Google Penguin terbaru dan update algoritma Panda adalah berita besar, dan itu secara luas disepakati bahwa mereka telah meningkatkan kualitas hasil pencarian secara substansial....

Trik Mengumpulkan Hadiah Game Facebook secara Massal

December 11, 2011
Trik Rahasia dan Legal Mengumpulkan hadiah Game Facebook Halo teman-teman. Ada kabar bagus nih bagi para gamers fesbuk eh facebook. Kali ini ane akan...

Perbedaan Kecepatan Akses Internet GPRS, 3G, 3,5G UMTS dan HSDPA

November 9, 2012
e-technie.com – sebagian orang belum tahu Perbedaan Kecepatan Akses Internet GPRS, 3G, 3,5G UMTS dan HSDPA. biasanya kode atau simbol-simbol tadi muncul ketika kita...