Robots.txt adalah file yang buat untuk menginstruksikan web robots, crawlers, atau spider yang masuk kedalam web atau blog Anda. File robots.txt mengontrol masuknya web robots yang biasanya datang dari situs search engine. Dengan adanya robots.txt, Anda bisa memberikan restriksi (semacam filter) terhadap file atau direktori tertentu dalam web, agar web robot tidak begitu saja mengcrawl semua isi dari web Anda.
Berikut beberapa format dan fungsi Robots.txt:
- User-agent: * artinya semua jenis robots yang diperintahkan menuruti protokol robots.txt, Anda bisa mengganti tan (*) dengan user agent yang lain. Contoh user-agent:
- Disallow: / dan Allow: / adalah protokol per-izinan apakah suatu file/direktori mau direstriksi atau tidak.
- Cara pengisian form protokol robots.txt Anda cukup mengetikkan form protokol secara line by line. Berikut beberapa contoh kasus file atau direktori yang akan di isi dalam form protokol robots.txt:
- Jika sudah yakin dengan semua protokol robots.txt yang Anda buat, Anda bisa kopas di notepad dan disimpan dengan nama robots.txt (semua lowercase) bukan Robots.txt.
- Masukkan file tersebut ke direktori utama domain kamu dan cek dengan melihat alamat url http://yourdomain.com/robots.txt
User-agent: ia_archiver
User-agent: Scooter
User-agent: ArchitextSpider
User-agent: fast
User-agent: Googlebot
User-agent: Googlebot-Images
User-agent: Mediapartners-Google
User-agent: Sidewinder
User-agent: Slurp
User-agent: Lycos_Spider_(T-Rex)
User-agent: Gulliver
User-agent: WebCrawler
A. Jika Anda tidak ingin semua user-agent/robots masuk ke dalam direktori blog Anda cukup mengisi form sbb:
User-agent: * Disallow: /Contoh: www.yourdomain.com/search/cara+membuat+blog
Direktori "/search/" akan direstriksi, beserta direktori/file setelahnya.User-agent: *
Disallow: /search/
Contoh: www.yourdomain.com/foo/poster-artis.jpg
File poster-artis.jpg akan kita direstriksi.User-agent: *
Disallow: /foo/poster-artis.jpg
Contoh www.yourdomain.com/search/cara+membuat+blog
Kata "blog" dalam direktori "search" akan direstriksi.User-agent: *
Disallow: /search/*blog
Contoh : www.yourdomain.com/search/cara+membuat+blog
Setiap url yang mengandung spesial karakter (+) akan direstriksiUser-agent: *
Disallow: /search/*+
Contoh www.yourdomain.com/search/cara+membuat+blog+
Setiap url yang berakhiran spesial karakter (+) akan direstriksi.User-agent: *
Disallow: /search/*+$
Contoh www.yourdomain.com/search/cara+membuat+blog
Setiap url yag ada kata "cara" dalam direktori "search" akan diblok.User-agent: *
Disallow: /search/cara
Contoh : www.yourdomain.com/search/cara+membuat+blog.html
Setiap url dalam direktori "search" yang mengandung ekstension ".html" akan di blok.User-agent: *
Disallow: /search/*.html$
Contoh :
www.yourdomain.com/search/cara+membuat+blog
www.yourdomain.com/search/cara+membuat+blogs
Url dalam direktori "search" yang mengandung kata "blog" akan disallow tapi kata "blogs" tetap allow.User-agent: *
Disallow: /search/*blog
Allow: /search/*blogs
User-Agent: MediaPartners-Google
Allow: /
Contoh :
www.yourdomain.com/search/cara+membuat+blog
www.yourdomain.com/search/cari+duit+lewat+situs
www.yourdomain.com/search/tutorial+bikin+web
www.yourdomain.com/search/tutorial+bikin+weblog
Setiap url dalam direktori "search" yang mengandung kata "blog","duit",dan "web" akan disallow, tapi kata "weblog" akan allow, dan Google Ads tetap bisa dipantau oleh user agent Google Ads.User-agent: *
Disallow: /search/*blog
Disallow: /search/*blog
Disallow: /search/*blog
Allow: /search/*weblog
User-Agent: MediaPartners-Google
Allow: /
The articles in this blog is usefull for you ? Click HERE for free Subscription.
Ingin artikel seperti ini langsung ke Email anda? Silahkan masukan alamat email anda untuk berlangganan.
25 Your Comment:
thanks infonya gan :)
very nice..............
Keren juga. Selama ini gak pernah sampai tahap ini
Simbah lagi banyak tingkah sekarang...klo bangun website atau blog sebaiknya pahamin dulu webmaster tools :D
aduh yang gini2 saya nga mudeng..hehe maklum newbe
trims bose
wah, saya belajar banyak disini om!!!
rak mudeng
nah klo yg kaya gini aku masi lum paham nih gan,,,!!!
apa lg webmaster aku bxk yg error...!!
pusing jdinya gan, ^_^Newbie^_^
^_^ http://isalgames.blogspot.com/ ^_^
bisa gak yah edit robot.txt di blogspot...???
http://allfilecollection.blogspot.com/
infonya detail banget mas, soalnya saya masih pemula. thanks
infonya sangat bermanfaat sekali nih.. makasih ya..! tapi saya ada pertanyaan sedikit, bila tidak keberatan mohon bantuannya..
saya menggunakan daftar isi menggunakan archive blog.. bagaimana caranya supaya archive tersebut tidak di indek oleh mesin pencari apabila menggunakan tips seperti diatas (robot.txt)?
terimakasih sebelumnya
www.mis-sidamulya.tk
Gini mas.. ada terjadi galat pada blog saya, karena saya telah mengutak-atik crawl dan robot.txt jadinya tiap posting saya yang baru tidak bisa ditelusuri di google. Bagaimana cara mengatasinya,,? Mohon sedikit bantuan dan infonya
Terimakasih..
Blog yang bermasalah.. www.viruscerdaz.blogspot.com
wah masih sedikit bingung tp mkasih gan udah dijelasin,hehe,,,
saya pake opsi:
User-agent: *
Disallow: /search/
Disallow: /tags/
wah sip infonya thaks ya mas
saya udah coba blok dan udah masuk ke dalam filter google webmaster, tapi masih juga ada yang terdetek. kenapa ya?
@Fashion : udah berapa lama mas pasang robots.txt nya itu tidak instan mas butuh waktu lumayan lama :D
hmmmm, saya ngelu dengan backlink blog saya yang diakui google webmaster kog turun juauhhh ya? Padahal blog saya yang lain baik-baik saja. Kira-kira kenapa ya mas? Mohon pencerahannya...
Thanks buat infonya masbro..
jadi tau skrng :D
Restricted by Robot.txt pada Blogspot gimana cara mengatasinya...
mohon bantuany ,, dan untuk blogger upload robot.txt dimana ya saya mash baru ni...
Nggk paham ane brother.... itu dikopy di pas mananya,.. diletakkan dimananya???
kalo di blogspot gimana ya buat robots.txtnya tks...
thanks ya gan tas bantuannya...:)
ia niih gan banyak yang error..jadinya mesti gimana..
http://inetyumaga.blogspot.com
Poskan Komentar