Diindeks, meski diblokir oleh robots.txt di gsc, Apa Penyebabnya?


Diindeks, meski diblokir oleh robots.txt di gsc, Apa Penyebabnya? masalah ini menunjukkan bahwa Google mengindeks URL meskipun diblokir oleh file robots.txt Anda.

Google telah menandai URL ini sebagai “Valid with a warning” karena mereka tidak yakin apakah Anda ingin URL ini diindeks. Pada artikel ini Anda akan belajar cara memperbaiki masalah ini.

Postingan ini saya buat untuk mengatasi masalah notifikasi dengan beberapa peringatan, yaitu terkait masalah notifikasi Diindeks, meski diblokir oleh robots.txt di Google Search Console.


Penyebab Peringatan dari Google Search Console


Biasanya, Google tidak akan mengindeks URL ini tetapi tampaknya mereka menemukan tautan ke sana dan menganggapnya cukup penting untuk diindeks.

Bagi anda yang masih belum mengetahui mengapa hal ini bisa terjadi, hal itu dikarenakan mesin pencari Google sudah mengabaikan perintah noindex dengan menggunakan file robots.txt.

Namun hingga saat ini platform blogger masih menggunakan file robots.txt yang berfungsi untuk mencegah halaman tertentu agar tidak terindeks di mesin pencari Google.

Halaman yang saya maksud adalah halaman pencarian dan label yaitu halaman File robots.txt default blogger seperti berikut ini.

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://www.samuelpasaribu.com/sitemap.xml

Bisa kita lihat pada file robots.txt di atas tertulis perintah:

Disallow: /search

Jadi fungsi dari perintah ini adalah untuk memberitahu mesin pencari agar tidak mengindeks URL halaman yang diawali dengan kode /search setelah alamat blog.

Contoh dari URL halaman label = https://www.samuelpasaribu.com/search/label/Produk

Contoh dari URL halaman pencarian = https://www.samuelpasaribu.com/search?q=mantabbbbb

Selain untuk halaman label dan pencarian, URL yang diawali dengan kode /search juga digunakan untuk menampilkan daftar postingan = https://www.samuelpasaribu.com/search?updated-max=2020-01-05T22:22:00-08:00&max-results=7.

Setelah Anda mengetahui Penyebab peringatan “Diindeks meski diblokir oleh robots.txt” sekarang saat untuk mengetahui cara memperbaikinya.


Cara Memperbaiki “Diindeks, meski diblokir oleh robots.txt”


Google menemukan tautan ke halaman yang tidak dapat diakses karena perintah robots.txt melarangnya. Ketika Google menganggap halaman ini cukup penting, mereka mengindeksnya.

Ada dua cara dan metode yang tepat yang dapat digunakan untuk mengatasi masalah seperti ini. Berikut ini Cara Memperbaiki “Diindeks, meski diblokir oleh robots.txt”.

1. Cara Pertama


Untuk cara pertama, cara ini cukup mudah! Anda hanya perlu menghapus kode Disallow: /search pada file robots.txt dengan menggunakan fitur custom robots.txt di pengaturan blogger.

Dengan melakukan ini, Anda dapat menghilangkan peringatan yang diindeks meskipun diblokir oleh robots.txt di gsc (google search console).

Selain itu, hal ini juga dapat berdampak buruk pada label dan halaman pencarian, yang masih dapat mengindeks halaman pencarian.

Secara umum, kita tentu tidak ingin halaman pencarian dan label terindeks di halaman pencarian. Karena halaman tersebut merupakan halaman yang kualitasnya rendah.


2. Cara Kedua


Pada sesi ini kita dapat menggunakan tag header robot yang digunakan untuk memberitahu mesin pencari Google agar tidak mengindeks halaman dan label pencarian.

Hingga saat ini, Google masih mendukung penggunaan tag header robot, sehingga tag header robot tidak diabaikan seperti pada file robots.txt.

Jadi dengan memasang tag header robot ini kita bisa melakukannya secara otomatis dengan memanfaatkan fitur “Tag tajuk robot khusus” di blogger.

Setelah kami melakukan penelitian, ternyata ketika kami memeriksa fitur "tag header robot khusus" di blogger, itu tidak lagi berfungsi sebagaimana mestinya. Jadi sekarang tag header robot noindex tidak lagi muncul secara otomatis di halaman arsip, label, dan pencarian.

Karena cara tersebut sudah tidak mau lagi, solusinya kita bisa menggunakan alternatif dengan memasang meta tag robot yang langsung kita kaitkan di template blog.

Berikut ini cara memasang tag meta robot di template blog:

Pertama Anda bisa salin kode Meta Robot di bawah ini

<!--Meta Robot-->
<b:if cond="data:view.isSearch or data:view.isArchive">
    <meta content="noindex, noarchive" name="robots"></meta>
</b:if>

Setelah itu pastekan kode tersebut tepat di bawah kode <head> pada template yang Anda gunakan.

Kemudian Save (simpan) template terlebih dahulu.

Langkah Kedua Sekarang Anda bisa menghapus kode perintah Disallow: /search pada file robots.txt.

Perintah Disallow: /search tidak dihapus, robot Google tidak bisa membaca perintah dari tag meta robot yang sudah terpasang sebelumnya.

Untuk cara menghapusnya silahkan masuk ke dashboard Blogger > Setelan > Crawler dan pengindeksan > Aktifkan fitur robots.txt kustom.

Klik pada robots.txt kustom, lalu masukkan kode ini:

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Allow: /

Sitemap: https://alamat-blog/sitemap.xml

Setelah semuanya selesai klik Simpan.

Jika sudah melakukan perubahan, jangan lupa klik tombol “Validasi Perbaikan” di dashboard Google Search Console. Setelah itu tunggu hingga notifikasi “Diindeks, meski diblokir oleh robots.txt” benar-benar hilang.


Kesimpulan


Kami telah melihat 'Peringatan yang diindeks, meskipun diblokir oleh robots.txt', artinya, cara mengidentifikasi laman atau URL yang terpengaruh, dan alasan di balik peringatan tersebut. Kami juga telah melihat cara memperbaikinya. Perhatikan bahwa peringatan tidak sama dengan kesalahan di situs Anda. Namun, kegagalan untuk memperbaikinya dapat mengakibatkan halaman terpenting Anda tidak diindeks yang tidak baik untuk pengalaman pengguna.

Masih banyak notifikasi lain yang muncul di Google Search Console. Namun, sebagian besar notifikasi ini bukan peringatan. Selama notifikasi tersebut bukan peringatan atau warning, maka Anda tidak perlu terlalu khawatir. Biarkan saja apa adanya. Untuk proses perbaikan Diindeks, meski diblokir oleh robots.txt di gsc memerlukan waktu yang lumayan lama dan tidak langsung instan.

Demikian posting kali tentang Diindeks, meski diblokir oleh robots.txt. Semoga artikel ini bermanfaat dan dapat membantu Anda. Yuk share artikel ini untuk membantu teman-teman yang lain. Terima kasih!
Next Post Previous Post
3 Comments
  • Kakadel
    Kakadel April 1, 2022 at 1:19 PM

    Terima kasih atas tipsnya itu bekerja dengan baik. Hanya saja perlu bersabar menunggu proses validasi secara bertahap dari GSC. Makasih mas, sehat selalu 🙂

    • Admin
      Admin April 1, 2022 at 1:47 PM

      Amin 🙏

  • Tikseo
    Tikseo April 1, 2022 at 1:23 PM

    Mantap 👍

Add Comment
comment url