Diindeks, meski diblokir oleh robots.txt di gsc, Apa Penyebabnya?


Diindeks, meski diblokir oleh robots.txt di gsc, Apa Penyebabnya? masalah ini menunjukkan bahwa Google mengindeks URL meskipun diblokir oleh file robots.txt Anda.

Google telah menandai URL ini sebagai “Valid with a warning” karena mereka tidak yakin apakah Anda ingin URL ini diindeks. Pada artikel ini Anda akan belajar cara memperbaiki masalah ini.

Postingan ini saya buat untuk mengatasi masalah notifikasi dengan beberapa peringatan, yaitu terkait masalah notifikasi Diindeks, meski diblokir oleh robots.txt di Google Search Console.


Penyebab Peringatan dari Google Search Console


Biasanya, Google tidak akan mengindeks URL ini tetapi tampaknya mereka menemukan tautan ke sana dan menganggapnya cukup penting untuk diindeks.

Bagi anda yang masih belum mengetahui mengapa hal ini bisa terjadi, hal itu dikarenakan mesin pencari Google sudah mengabaikan perintah noindex dengan menggunakan file robots.txt.

Namun hingga saat ini platform blogger masih menggunakan file robots.txt yang berfungsi untuk mencegah halaman tertentu agar tidak terindeks di mesin pencari Google.

Halaman yang saya maksud adalah halaman pencarian dan label yaitu halaman File robots.txt default blogger seperti berikut ini.

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://www.samuelpasaribu.com/sitemap.xml

Bisa kita lihat pada file robots.txt di atas tertulis perintah:

Disallow: /search

Jadi fungsi dari perintah ini adalah untuk memberitahu mesin pencari agar tidak mengindeks URL halaman yang diawali dengan kode /search setelah alamat blog.

Contoh dari URL halaman label = https://www.samuelpasaribu.com/search/label/Produk

Contoh dari URL halaman pencarian = https://www.samuelpasaribu.com/search?q=mantabbbbb

Selain untuk halaman label dan pencarian, URL yang diawali dengan kode /search juga digunakan untuk menampilkan daftar postingan = https://www.samuelpasaribu.com/search?updated-max=2020-01-05T22:22:00-08:00&max-results=7.

Setelah Anda mengetahui Penyebab peringatan “Diindeks meski diblokir oleh robots.txt” sekarang saat untuk mengetahui cara memperbaikinya.


Cara Memperbaiki “Diindeks, meski diblokir oleh robots.txt”


Google menemukan tautan ke halaman yang tidak dapat diakses karena perintah robots.txt melarangnya. Ketika Google menganggap halaman ini cukup penting, mereka mengindeksnya.

Ada dua cara dan metode yang tepat yang dapat digunakan untuk mengatasi masalah seperti ini. Berikut ini Cara Memperbaiki “Diindeks, meski diblokir oleh robots.txt”.

1. Cara Pertama


Untuk cara pertama, cara ini cukup mudah! Anda hanya perlu menghapus kode Disallow: /search pada file robots.txt dengan menggunakan fitur custom robots.txt di pengaturan blogger.

Dengan melakukan ini, Anda dapat menghilangkan peringatan yang diindeks meskipun diblokir oleh robots.txt di gsc (google search console).

Selain itu, hal ini juga dapat berdampak buruk pada label dan halaman pencarian, yang masih dapat mengindeks halaman pencarian.

Secara umum, kita tentu tidak ingin halaman pencarian dan label terindeks di halaman pencarian. Karena halaman tersebut merupakan halaman yang kualitasnya rendah.


2. Cara Kedua


Pada sesi ini kita dapat menggunakan tag header robot yang digunakan untuk memberitahu mesin pencari Google agar tidak mengindeks halaman dan label pencarian.

Hingga saat ini, Google masih mendukung penggunaan tag header robot, sehingga tag header robot tidak diabaikan seperti pada file robots.txt.

Jadi dengan memasang tag header robot ini kita bisa melakukannya secara otomatis dengan memanfaatkan fitur “Tag tajuk robot khusus” di blogger.

Setelah kami melakukan penelitian, ternyata ketika kami memeriksa fitur "tag header robot khusus" di blogger, itu tidak lagi berfungsi sebagaimana mestinya. Jadi sekarang tag header robot noindex tidak lagi muncul secara otomatis di halaman arsip, label, dan pencarian.

Karena cara tersebut sudah tidak mau lagi, solusinya kita bisa menggunakan alternatif dengan memasang meta tag robot yang langsung kita kaitkan di template blog.

Berikut ini cara memasang tag meta robot di template blog:

Pertama Anda bisa salin kode Meta Robot di bawah ini

<!--Meta Robot-->
<b:if cond="data:view.isSearch or data:view.isArchive">
    <meta content="noindex, noarchive" name="robots"></meta>
</b:if>

Setelah itu pastekan kode tersebut tepat di bawah kode <head> pada template yang Anda gunakan.

Kemudian Save (simpan) template terlebih dahulu.

Langkah Kedua Sekarang Anda bisa menghapus kode perintah Disallow: /search pada file robots.txt.

Perintah Disallow: /search tidak dihapus, robot Google tidak bisa membaca perintah dari tag meta robot yang sudah terpasang sebelumnya.

Untuk cara menghapusnya silahkan masuk ke dashboard Blogger  Setelan  Crawler dan pengindeksan Aktifkan fitur robots.txt kustom.

Klik pada robots.txt kustom, lalu masukkan kode ini:

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Allow: /

Sitemap: https://www.samuelpasaribu.com/sitemap.xml

Selain itu Anda juga bisa menggunakan alat Robots.txt Generator Tool for Blogger di postingan yang ada di blog ini.

Jangan lupa untuk mengganti alamat URL pada bagian Sitemap dari kode di atas yang ditandai dengan warna biru dengan alamat URL situs web Anda.

Setelah semuanya selesai klik Simpan.

Jika sudah melakukan perubahan, jangan lupa klik tombol “Validasi Perbaikan” di dashboard Google Search Console. Setelah itu tunggu hingga notifikasi “Diindeks, meski diblokir oleh robots.txt” benar-benar hilang.


Hasil Validasi



Google telah memvalidasi perbaikan yang saya lakukan untuk masalah Pengindeksan halaman di situs samuelpasaribu.com. Masalah spesifik yang divalidasi adalah 'Diindeks, meski diblokir oleh robots.txt'.

Proses perbaikan dimulai pada 16 Mei 2022 dan berhasil diperbaiki sebanyak 27 halaman di situs ini divalidasi sebagai telah diperbaiki dan Validasi dinyatakan Lulus pada 14 Juni 2022.

Kini terbukti cara di atas berhasil mengatasi masalah pada Google Search Console terkait masalah 'Diindeks, meski diblokir oleh robots.txt'. Semoga beruntung!


Kesimpulan


Kami telah melihat 'Peringatan yang diindeks, meskipun diblokir oleh robots.txt', artinya, cara mengidentifikasi laman atau URL yang terpengaruh, dan alasan di balik peringatan tersebut. Kami juga telah melihat cara memperbaikinya. Perhatikan bahwa peringatan tidak sama dengan kesalahan di situs Anda. Namun, kegagalan untuk memperbaikinya dapat mengakibatkan halaman terpenting Anda tidak diindeks yang tidak baik untuk pengalaman pengguna.

Masih banyak notifikasi lain yang muncul di Google Search Console. Namun, sebagian besar notifikasi ini bukan peringatan. Selama notifikasi tersebut bukan peringatan atau warning, maka Anda tidak perlu terlalu khawatir. Biarkan saja apa adanya. Untuk proses perbaikan Diindeks, meski diblokir oleh robots.txt di gsc memerlukan waktu yang lumayan lama dan tidak langsung instan.

Selain itu Anda dapat membaca postingan kami tentang bagaimana Cara Membuat Gambar Format WebP NextGen di Blogger. Jika Anda pernah menganalisis halaman situs web Anda menggunakan alat kecepatan halaman Google seperti alat PageSpeed ​​​​Insights, saya yakin rekomendasi untuk menyajikan gambar dalam format WebP NexGen adalah cara terbaik yang harus diterapkan pengguna blogger.

Demikian posting kali tentang Diindeks, meski diblokir oleh robots.txt. Semoga artikel ini bermanfaat dan dapat membantu Anda. Yuk share artikel ini untuk membantu teman-teman yang lain. Terima kasih!
Next Post Previous Post
2 Comments
  • Tikseo
    Tikseo September 10, 2022 at 4:55 PM

    Sangat bermanfaat dan bekerja sesuai yang diharapkan. Terimakasih 😊

Add Comment
comment url