Cara Setting Custom Robots.txt Yang Benar

Cara Setting Custom Robots.txt Yang Benar. Sobat Blogger, Robots.txt adalah berisi pedoman atau pengaturan untuk Robot-crawler tentang bagaimana mereka akan meng-crawler dan mengindexs situs web atau blog anda, maka dari itu, blogger menyediakan pengaturan khusus untuk mengatur beberapa pengaturan SEO yang sangat dasar dan sangat mudah dari dashboard blog anda. Salah satunya adalah menetapkan custom  robots.txt untuk blog anda sesuai kebutuhan sobat.

Ketika robot crawler search engine mengunjungi halaman atau situs web dan blog, maka hal pertama yang terlihat adalah file robots.txt. bagi pemakai platform  Blogger, sekarang anda bisa atau mempunyai pilihan untuk mengontrol bot crawler search engine dan menentukan mana yang harus di rayapi dan di indexs dari situs web atau blog sobat.

Pada dasarnya setiap blog dari platfrom blogger memiliki robots.txt setelan default, namun dengan perubahan baru di blogger ini, anda dapat mengubahnya sesuai dengan kebutuhan, nah..untuk itu dalam posting kali ini, anda akan tahu tentang bagaimana stelan robots.txt default blogger dan cara menambahkan atau mengedit robots.txt custom untuk blog anda.
Cara Setting Kustom Robots.txt Yang Benar

Di Bawah Ini Adalah Custom Robots.txt Standar Default Blogger
User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.madamvia.web.id/feeds/posts/default?orderby=UPDATED

Settingan Robot.txt default di atas ini sama untuk setiap blog. tapi jika anda merasa settingan ini sudah mampu memenuhi kebutuhan SEO untuk blog anda dan blog sudah memiliki banyak visitor, maka anda tidak perlu menggantinya jika ini memang tidak perlu,karena stelan robots.txt ini akan sangat berpengaruh terhadap blog anda,tapi tentu anda juga harus tau jika dalam settingan ini, mungkin ada yang anda butuhkan dan ini penting untuk blog anda.

Untuk mengecek kustom Robots.txt blog, anda cukup menambahkan robots.txt di belakang url blog anda di browser dan klik enter.
contoh :

http://NamaBlogAnda.blogspot.com/robots.txt


Cara Setting Atau Menggunakan Kustom Robots.txt Khusus Dalam Penambahan-nya


1. Buka Dashboard > Setting > Preferensi Penelusuran > Perayapan Dan Pengindeksan.
2. Klik 'Custom robots.txt'> Klik 'Ya'.
3. Paste kustom robots.txt yang sudah anda tentukan. (Lihat Contoh Gambar Di bawah)
4. Klik 'Simpan perubahan' untuk menyimpan robots.txt kustom.

Cara Setting Kustom Robots.txt Yang Benar

Itulah cara untuk memasukkan atau meng-edit custom robots.txt di dashboar. Sekarang mari kita lihat bagaimana menulis custom robots.txt untuk blogger yang baik namun ini juga harus di sesuaikan dengan kebutuhan anda. pada poin-poin ini anda hanya harus memasang kode sesuai yang anda butuhkan saja.

Custom robots.txt yang tepat dalam Blog dengan kebutuhan-nya.

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Disallow: /p/*
Disallow: /view/*
Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0
Allow: /
Sitemap: http://www.madamvia.web.id/feeds/posts/default?orderby=UPDATED

Contoh di atas ini adalah custom robots.txt untuk blog sesuai kebutuhannya, bagaimana untuk yang tidak penting dan yang penting harus di indexs dan di blok. Sekarang saya akan menjelaskan apa arti dari setiap baris di atas dari setiap kode-kode yang di terapkan dan arti tambahan yang di berikan di kostum ini.

User-agent: Mediapartners-Google
Disallow: Garis ini menunjukan bahawa bot crawler di perintah untuk merayapi atau meng-crawler adsense. jika anda sudah mempunyai iklan Adsense; baris ini sangat bagus untuk ,meng-crawler adsense dan untuk mengunjungi semua halaman situs anda sesuai dengan pedoman adsense, untuk garis ini lebih baik di biarkan.

User-agent: * Baris ini digunakan untuk bot meng-crawler semua situs halaman blog anda (kecuali untuk pengaturan yang terpisah di bawahnya, apakah harus di indexs atau di blok dalam penambahan kode di bawah-nya. yang di maksud dibawahnya ini adalah kode-kode yang anda terapkan.

Disallow: /search Baris ini menunjukkan bahwa setiap halaman / pencarian dalam bentuk URL tidak akan dijelajahi dan diindeks oleh bot crawler. Baris ini sangat penting untuk membuat SEO blog anda, seperti tidak akan merayapi atau tidak akan mengindeks halaman Label dan Arsip. Karena halaman tersebut bukan halaman unik atau URL yang bisa di indexs dan juga untuk menghindari duplikat konten pada blog anda.

Disallow: /p/* Garis ini berfungsi untuk memblokir robot  menjelajah halaman untuk blog anda. Tetapi jika anda ingin halaman anda tetap di indeks oleh crawler , silahkan hapus baris ini.

Disallow: / view / * Garis ini berfungsi untuk menghentikan robot merayapi halaman blogger dengan tampilan link dinamis. Jika anda menggunakan tampilan dinamis di blog anda, maka anda bisa menghapus garis ini tapi jika anda tidak menggunakannya silahkan di biarkan saja.

Disallow: /?m=1
Disallow: /?m=0
Disallow: /*?m=1
Disallow: /*?m=0 Garis-garis ini berfungsi untuk menghentikan robot merayapi halaman redirect ke mobile phone atau tampilan handphone. Jika anda tidak menggunakannya, maka anda mungkin akan melihat blog dengan link dalam hasil pencarian tampilan mobile phone *?M = 1 atau *?M = 0 garis ini diperlukan untuk menghindari masalah duplikat halaman. Jika anda tidak mempunyai masalah ini atau jika anda tidak membutuhkannya, anda bisa menghapusnya.

 Baca : Dampak Menggunakan Robots.txt Disallow M=1 & M=0

Sitemap: http://www.madamvia.web.id/feeds/posts/default?orderby=UPDATED
garis ini pada dasarnya menunjukkan link ke sitemap blog anda.
silahkan ganti  http://www.madamvia.web.id/  menjadi URL blog anda.

Periksa dan Menganalisis Robot.txt anda
Ada banyak alat yang tersedia di web untuk memeriksa robots.txt anda. Tapi untuk memeriksa bagaimana robot google (ie.Adsbot-Google, Mediapartners-Google, Googlebot) akan merayapi di blog anda, anda harus menggunakan alat google-webmaster. silahkan buka webmaster dashboard > Crawler > URL di blokir. Anda bisa melihat bagaimana robot ini bekerja di blog anda sesuai dengan robots.txt yang anda tentukan.

Catatan : dalam penggunaan robots.txt ini,anda harus benar-benar menggunakan kode yang anda butuhkan saja, karena dalam penerapan robots.txt ini jika anda hanya asal saja menerapkan tanpa tahu fungsi-fungsi dari setiap kode tersebut,akan berakibat fatal ,bahkan dampak parahnya bot crwaler tidak akan mengindex blog anda, jadi lebih baik pelajari terlebih dahulu dari setiap kode dan fungsi-fungsinya. 

Jika ada ide yang lain yang menurut anda lebih bagus atau ada yang di pertanyakan silahkan diskusi di kolom komentar. oke sobat blogger saya rasa cukup sekian dulu di tutorial Cara Setting Custom Robots.txt Yang Benar menurut saya :). lebih dan kurangnya saya mohon maaf. semoga sukses


57 Responses to "Cara Setting Custom Robots.txt Yang Benar"

  1. waah keren banget nih, saya baru tau nih tante, oke deh saya coba dulu saja, moga berhasil, sekalian cek disini ya, http://ariefdwim.blogspot.com

    ReplyDelete
    Replies
    1. sejak kapan saya jadi tante mu :D

      Delete
    2. untuk tag tajuk robot khusus bagaimana ya settingnya?

      Delete
    3. untuk tag tajuk robot, beri centang noindex, nofollow, noarchive pada penelusuran archive, untuk menghindari duplikat..

      Delete
    4. terima kasih atas artikelnya, salam kenal
      http://blogvideos7.blogspot.co.id/

      Delete
  2. mantap sekali info nya, saya terapkan di blog saya ya

    ReplyDelete
  3. untuk tag tajuk robot khusus settingan nya gimana aja mbak?ini kan ada tiga kolom yaitu Beranda , Laman Arsip dan penelusuran , sama default untuk pos dan laman ? itu setinggan tag tajuk nya gmana aja mbak??

    Sebelumnya terimakasihh

    backlink : www.newbietechnoo.blogspot.com

    ReplyDelete
  4. mbak via , kallo boleh tau tag tajuk robot khusus yang mbak gunakan apa ajaa?kalo bisa di update dong postingan lengkap tentang tag tajuk robot khusus secara lengkap , ini rekomendasi saya , terima kasih banyak mbak :)

    ReplyDelete
  5. mbak oktavia,
    untuk setting "tag tajuk robot khusus" nya ada contohnya mbak?
    aku dulu pernah terapkan mirip seperti yg mbak contohkan itu tapi di webmasternya malah banyak laman yg dicekal terutama yg m=1 dan m=0
    akhirnya aku balikin lagi ke yg standard
    thanks :)

    ReplyDelete
  6. sekarang sudah tidak efektif lagi menggunakan cara setting custom robot txt seperti itu mba , Google lebih suka blog yang Mobile Friendly :)

    ReplyDelete
  7. bukannya meletakkan Disallow: /?m=1 di artikel agan sebelumnya gak bagus yah ?

    kunjungan balik gan http://prayogoyogi21.blogspot.com

    ReplyDelete
  8. anjir sangir nih om,bisa dicoba boleh???

    ReplyDelete
  9. Mau donk seo juga bro http://www.life4cit.co.vu

    ReplyDelete
  10. Thanks.. membantu blogger pemula kaya gw :D

    ReplyDelete
  11. Dapatkan Berbagai Informasi Menarik di >>http://shabrimassar68.blogspot.co.id/

    ReplyDelete
  12. Sangat Bermanfaat
    Sukses Selalu
    "Sejak Kapan saya jadi tante mu" wkwkwkwkwkwk
    Lucu Habiss

    ReplyDelete
  13. Terimakasih mba.. artikelnya bermanfa'at buat blog saya.

    ReplyDelete
  14. lengkap sekali dan bisa dipahami, thanks infonya gan

    http://www.cpns.news

    ReplyDelete
  15. terima kasih mbak atas informasinya,,,,saya mau terapin di blog saya..moga ilmunya bisa bermanfaat dengan baik terutama bagi saya yang mengikuti.....tapi sebelum saya terapkan saya minta masukakan dari mbak ,mengenai robot txt ini.....dari kesemua sub yang ada dalam bagian robot txt khusus tersebut manakah yang harus diterapkan dan mana saja yang dilarang untuk siterpakan?
    terima kasih sekali lagi....blog saya http://thungchaniago.blogspot.co.id/
    sya sangat menunggu saran dan masukannya.

    ReplyDelete
  16. This comment has been removed by the author.

    ReplyDelete
  17. terima kasih madam atas petunjuknya, sangat membantu

    ReplyDelete
  18. kalau biar sumber daya ga diblok gmn carasettingnya?

    ReplyDelete
  19. artikel nya lengkap mba,dan mudah di pahami.
    makasih banyak ya, kalo ada waktu maen maen ke blog saya http://juraganmumut.com/

    ReplyDelete
  20. Makasih gan udah share ilmunya, moga berkah
    Bermanfaat banget bagi newbie seperti saya. hehe
    infosekolahdasar.com

    ReplyDelete
  21. terima kasih sangat bermanfaat artikelnya
    http://www.sedotwcjakartaputrarubiah.com/

    ReplyDelete
  22. Cara agar url yang di cekal robot pulih bagaimana, apa ini berpengaruh pada seo dan adsense bila tidak di perbaiki ? saya sudah menghilangkan search pada dissalownya tapi url di cekal malah makin bertambah dan tidak bisa di perbaiki, bagaimana solusinya

    ReplyDelete
  23. Terima Kasih atas informasi nya. sangat membantu !!

    http://alfiananhari.blogspot.co.id/

    ReplyDelete
  24. mau tanya donng boleh egak, sebenernya robot txt dan tag tajug robot itu wajib di aktifkn egak sih, kalau wajib apaka yang dia atas itu beenar dan anda juga apa sudah menerapkan nya di blog anda, maaf nih saya masih newbi, jwbanya kirim ke alamat email saya aja ya (ilmumatri.46@gmail.com) mohon di bantu.
    terimakasih pastinya bantuan anda akan memuaskan saya.

    ReplyDelete
  25. thanks gan info nya, berguna bnget ni

    ReplyDelete
  26. thanks gan info nya, berguna bnget ni

    ReplyDelete
  27. jika mau yang gratisan dan ada jasa webhosting yang bagi bagi cPanel dengan domain gratis .bos.la, seperti di microcyber.net dan webhosting.web.id, namedomain.id dan webdomain.id namun disana TOS nya sangat ketat sekali. selamat mencoba

    ReplyDelete
  28. jika mau yang gratisan dan ada jasa webhosting yang bagi bagi cPanel dengan domain gratis .bos.la, seperti di microcyber.net dan webhosting.web.id, namedomain.id dan webdomain.id namun disana TOS nya sangat ketat sekali. selamat mencoba

    ReplyDelete
  29. madam mastah mohon pencerahannya dong, kalau maus etting robot.txt di platform selain blogspot such as Yola, Jimdo atau Webs caranya gimana yah, trims madam

    ReplyDelete
  30. terima kasih mas jadi sudah saya terapkan di blog katatausyiah.blogspot.co.id belajar memeberikan nasehat sesama saudara

    ReplyDelete
  31. Masih bingung gan tolong bimbingannya http://inirajawali.blogspot.co.id/

    ReplyDelete
  32. Keren gan !! semoga infonya bisa dicerna baik !! kunbal gan https://casteloteamls.blogspot.co.id

    ReplyDelete
  33. This comment has been removed by the author.

    ReplyDelete
  34. wah bagus ini artikelnya

    makasih ce jadi tau bagaimana supaya bs diindex dan dirayapi dgn baik oleh google

    ada 1 hal yg mau saya tanyakan ce

    pengaturan mengenai campaign ini baiknya gimana ya?
    berkaitan dengan biaya jg ini, berhubung google ngasi voucher 150 rb dengan syarat harus habis dlm 30 hari baru dapet tmbahan 450 rb ini kudu gimana?

    makasih admin
    ijin blog walking ya, mohon maaf kl di blog saya ada adsnya

    faucetfordumb.blogspot.co.id

    ReplyDelete
  35. gan, kalau untuk blog berita gimana ya seting yang bagus,,,,bkemarin saya malah kena penalty dr google,,, www.kotareyognews.net

    ReplyDelete
  36. thnks infonya, sekarang sitemap saya masih error, hanya beberapa yang terindex mungkin kerusakan pada Robot.txt ini ahmdjazuli.blogspot.com

    ReplyDelete
  37. Keren, lengkap dan jelas banget infonya.. saya mau coba terapkan custom robots pada blog, tapi bingung juga kalo nantinya malah jadi error... www.butikgadgets.com

    ReplyDelete
  38. apa ini bener2 berpegaruh sama seo blog kita ?

    ReplyDelete
  39. robot txt saya di bloger dan di webmaster berbeda?
    apa perlu disamakan?
    (yang saya edit yang di bloger dan yg di webmaster masih asli)

    ReplyDelete
  40. bermanfaat..thank
    www.musik1satunya.blogspot.com

    ReplyDelete
  41. This comment has been removed by the author.

    ReplyDelete
  42. coba gan liat di sini UG Library ada cara lebih mudah

    ReplyDelete
  43. Thanks ,http://www.elifexpert.com/search

    ReplyDelete
  44. This comment has been removed by the author.

    ReplyDelete
  45. ada nya malah tambah gak diindek mas

    ReplyDelete
  46. mantep informasi nya visit http://www.alvia-danis.com

    ReplyDelete
  47. tapi kenapa ya saya menggunakan robot.txt ini console saya mengirim pesan kesalahan?
    http://gamedlay.blogspot.com/

    ReplyDelete
    Replies
    1. saya harap, baca dahulu sebelum memasang robots.txt.. harus sesuai dengan kebutuhannya

      Delete