Cara Menggunakan Robots.txt pada Blog
Penggunaan robots.txt biasa dilakukan para pakar SEO dalam mengoptimalkan pencarian situs mereka pada penelusuran Google. Pada praktiknya robot ini adalah perintah dalam bentuk txt yang diaktifkan untuk tujuan perayapan atau pengindeksan dan terpasang pada pengaturan situs terutama platform blogger.
Setting Standart Robot.txt
Pengaturan pada robots.txt bisa dikonfigurasikan sebagai perintah bahkan juga larangan pada googlebot. Googlebot sendiri adalah program perayapan (crawler) dan pengindeksan (index) milik google yang bertugas mengumpulkan segala informasi yang ada pada situs.
Settingan robots.txt yang standart berikut akan memerintahkan googlebot merayapi dan mengindeksi seluruh konten pada situs web atau blog juga akan membantu mempercepat konten tersebut tayang pada sitemap Anda.
User-agent: Mediapartners-Google
Allow: /
User-agent: *
Allow: /
Sitemap: http://www.example.com/sitemap.xml
Ganti www.example.com dengan alamat situs Anda, namun sebelumnya pasang terlebih dahulu sitemap pada webmaster tools atau search console milik Anda.
baca:cara menambahkan sitemap pada google search consoleJika situs Anda mengaktifkan fitur robots.txt ini maka googlebot akan merayapi dan mengindeks sesuai konfigurasi atau permintaan dan tercantum pada sitemap. Bagi Anda yang masih pemula harap untuk memahami fungsi terpenting dari robots.txt ini agar tidak salah langkah dalam penggunaanya karena bisa berakibat situs Anda diabaikan oleh mesin penelusuran Google.
Fungsi Robots.txt pada halaman situs
1. Memblokir Postingan
Penggunaan robots.txt untuk menyembunyikan halaman situs dari penelusuran google dikarenakan suatu sebab. Googlebot akan merayapi bagian terpenting dari sebuah halaman situs Anda terutama yang mengarah (direct) langsung pada konten bukan dari label atau kategori. Misal seperti http://namablog.blogspot.com/search/label/Android?&max-results=8 dan Anda inginkan agar konten langsungnya dapat dirayapi dan diindeks tanpa perantara subdirektori (search label) seperti http://namablog.blogspot.com/2019/31/cara-flashing-android.html. dengan mencegah /search berikut.
User-agent: Googlebot
Disallow: /search
Dengan demikian googlebot tidak merayapi susunan (direktori) dari label dan mengindeksi langsung ke judul. Googlebot tetap akan memilah situs mana yang lebih relevan dengan kata kunci pada penelusuran dan memiliki trafik yang baik. Cara lainnya menggunakan tag <meta name="robots" content="noindex" /> yang diletakkan setelah tag <head> pada susunan html template untuk mencegah googlebot merayapi seluruh pencarian arsip (archieve) dalam situs karena membebani antrian crawl (rayapan). Kemudian cara yang lain lagi adalah menggunakan tajuk robot khusus.
Menggunakan robots.txt untuk melarang googlebot merayapi sebuah halaman situs web atau blog dikarenakan sebab judul yang sudah tidak ada (dihapus) dari postingan dan mengabaikannya dari indeksi pencarian google. Misal https://namablog.blogspot.com/2019/31/cara-flashing-android.html sudah dihapus dari postingan maka Anda mengecualikannya.
User-agent: Mediapartners-Google
Allow: /
User-agent: *
Allow: /
User-agent: Googlebot
Disallow : /cara-flashing-android.html
Allow: /
Sitemap: http://namablog.blogspot.com/sitemap.xml
Contoh yang lainnya penggunaan pada halaman ststis /p/about.html yang tidak perlu ada perayapan atau pengindeksan karena halaman tersebut hanya difungsikan sebagai form (furmulir) atau informasi legasitas situs milik Anda seperti terms of service, disclaimer, dan lain-lain.
User-agent: Mediapartners-Google
Allow: /
User-agent: *
Allow: /
User-agent: Googlebot
Disallow : /p/
Allow: /
Sitemap: http://namablog.blogspot.com/sitemap.xml
2. Pemblokir Gambar
Anda bisa menyembunyikan salah satu konten khusus gambar tertentu yang tidak ingin tersebar di penelusuran karena takut copyrights dan mengecualikan artikel (tulisan). menggunakan perintah disallow dan diiringi dengan garis miring (/).
User-agent: Googlebot-image
Disallow: /foto-tahun-baru.jpg
User-Agent: Googlebot-image
Disallow: /*.jpg$
Sedangkan untuk memblokir seluruh atau semua konten gambar berformat (.png) dari penelusuran menggunakan perintah bintang (*) diawal dan string ($) diakhir berikut.
User-agent: Googlebot-image
Disallow: /*.png$
Demikianlah cara penggunaan yang tepat pada robot.txt, semoga bermanfaat.