Cara Mengatasi Sumber Daya Yang Diblokir ~ Salah satu masalah yang membuat kita pusing adalah ketika mendapatkan pesan error sumber daya yang diblokir melalui Search Console atau kita lazim kita sebut Google Webmasters Tools (GWT).
Error ini dapat terjadi karena sumber daya yang digunakan pada blog tidak dapat dirayapi dengan sempurna (diblokir) sehingga Googlebot tidak dapat menggunakannya dengan baik saat merender halaman itu.
Hampir bisa dipastikan tidak ada blog yang tidak menggunakan CSS, JavaScript, atau gambar bertautan. Ketika sumber daya tersebut tidak dapat dibaca dengan baik (diblokir) maka Search Console akan memberikan warning ( peringatan ) tersebut bahwa ada pemblokiran yang dilakukan oleh robots.txt.
Padahal ketika melakukan ujicoba menggunakan penguji robots.txt di Search Console tidak terdapat pemblokiran alias semuanya DIIZINKAN.
Apabila robots.txt yang Anda pasang pada blog merupakan script yang umum (default robots.txt) digunakan maka sudah bisa dipastikan laporan sumber daya yang diblokir (Blocked Resources Report) akan tampil banyak host yang terblokir. ( lihat gambar di bawah ).
Nah, Salah satu upaya untuk membebaskan sumber daya yang diblokir adalah dengan mengatur kembali robots.txt. Settinglah robots.txt blog Anda mendukung Googlebot merayapi setiap sumber daya yang digunakan dalam situs atau blog,
Anda bisa gunakan settingan seperti di bawah ini ( jangan lupa sesuaikan dengan sumber daya yang diblokir, lihat penjelasan di artikel bagian bawah juga yaa ) :
Jadi robots.txt di atas akan memberikan keleluasaan perayapan terhadap sumber daya yang digunakan sebuah blog.
Seperti yang dijelaskan di atas bahwa tidak ada blog yang tidak menggunakan CSS, JavaScipt, dan Gambar. File - file seperti itu harus dapat terbaca oleh Googlebot sehingga Googlebot dapat membaca dan melihat tampilan halaman artikel seperti penglihatan seorang manusia. Googlebot perlu dapat mengakses ke berbagai sumber di halaman Anda untuk dapat merender dan mengindeksnya dengan baik dan optimal.
Jika perayapan sumber daya tidak dapat dicapai dengan optimal oleh Googlebot maka hal ini akan mempengaruhi peringkat halaman dalam penelusuran Google.
Lambat tapi pasti, Satu per satu artikel Anda akan turun peringkat bahkan sampai jauh terlempar ke halaman yang kesekian. Wuihhh.. Serem kan ... ?
Untuk dapat mengatasi error sumber daya yang diblokir tentulah harus mengetahui File apa saja yang diblokir oleh robots.txt. Hal ini dapat kita lakukan dengan menggunakan render (ambil sebagai Google) di Search Console.
Caranya :
1. Klik Sumber daya yang diblokir ( di Search Console )
2. Klik host (laman yang terpengaruh)
3. Klik sumber daya yang diblokir
4. Klik laman
5. Klik Ambil sebagai Google
6. Klik Ambil dan Render
7. Lihat bagian Status, Bila seluruh maka tidak ada masalah.
8. Bila sebagian maka ada bagian yang terblokir, Klik tanda >>
9. Lihat Tab Merender maka
akan terlihat jenis sumber daya yang diblokir karena Googlebot tidak menemukannya pada halaman tersebut (terblokir) dan harus ditambahkan ke dalam robots.txt agar dibuka blokir nya sehingga dapat ter-crawl dengan baik dan sempurna.
Saya kira itu saja cara mengatasi sumber daya yang diblokir robots.txt semoga dapat memberikan manfaat. Salam sukses.
Hampir bisa dipastikan tidak ada blog yang tidak menggunakan CSS, JavaScript, atau gambar bertautan. Ketika sumber daya tersebut tidak dapat dibaca dengan baik (diblokir) maka Search Console akan memberikan warning ( peringatan ) tersebut bahwa ada pemblokiran yang dilakukan oleh robots.txt.
Padahal ketika melakukan ujicoba menggunakan penguji robots.txt di Search Console tidak terdapat pemblokiran alias semuanya DIIZINKAN.
Apabila robots.txt yang Anda pasang pada blog merupakan script yang umum (default robots.txt) digunakan maka sudah bisa dipastikan laporan sumber daya yang diblokir (Blocked Resources Report) akan tampil banyak host yang terblokir. ( lihat gambar di bawah ).
CARA MEMBEBASKAN BLOKIR SUMBER DAYA
Nah, Salah satu upaya untuk membebaskan sumber daya yang diblokir adalah dengan mengatur kembali robots.txt. Settinglah robots.txt blog Anda mendukung Googlebot merayapi setiap sumber daya yang digunakan dalam situs atau blog,
Anda bisa gunakan settingan seperti di bawah ini ( jangan lupa sesuaikan dengan sumber daya yang diblokir, lihat penjelasan di artikel bagian bawah juga yaa ) :
User-agent: Googlebot
Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.png
Allow: /*.gif
Allow: /
User-agent: Adsbot-Google
Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.png
Allow: /*.gif
Allow: /
Jadi robots.txt di atas akan memberikan keleluasaan perayapan terhadap sumber daya yang digunakan sebuah blog.
APA YANG TERJADI JIKA SUMBER DAYA DIBLOKIR ?
Seperti yang dijelaskan di atas bahwa tidak ada blog yang tidak menggunakan CSS, JavaScipt, dan Gambar. File - file seperti itu harus dapat terbaca oleh Googlebot sehingga Googlebot dapat membaca dan melihat tampilan halaman artikel seperti penglihatan seorang manusia. Googlebot perlu dapat mengakses ke berbagai sumber di halaman Anda untuk dapat merender dan mengindeksnya dengan baik dan optimal.
Jika perayapan sumber daya tidak dapat dicapai dengan optimal oleh Googlebot maka hal ini akan mempengaruhi peringkat halaman dalam penelusuran Google.
Lambat tapi pasti, Satu per satu artikel Anda akan turun peringkat bahkan sampai jauh terlempar ke halaman yang kesekian. Wuihhh.. Serem kan ... ?
CARA MELIHAT SUMBER DAYA YANG DIBLOKIR
Untuk dapat mengatasi error sumber daya yang diblokir tentulah harus mengetahui File apa saja yang diblokir oleh robots.txt. Hal ini dapat kita lakukan dengan menggunakan render (ambil sebagai Google) di Search Console.
Caranya :
1. Klik Sumber daya yang diblokir ( di Search Console )
2. Klik host (laman yang terpengaruh)
3. Klik sumber daya yang diblokir
4. Klik laman
5. Klik Ambil sebagai Google
6. Klik Ambil dan Render
7. Lihat bagian Status, Bila seluruh maka tidak ada masalah.
8. Bila sebagian maka ada bagian yang terblokir, Klik tanda >>
9. Lihat Tab Merender maka
akan terlihat jenis sumber daya yang diblokir karena Googlebot tidak menemukannya pada halaman tersebut (terblokir) dan harus ditambahkan ke dalam robots.txt agar dibuka blokir nya sehingga dapat ter-crawl dengan baik dan sempurna.
Saya kira itu saja cara mengatasi sumber daya yang diblokir robots.txt semoga dapat memberikan manfaat. Salam sukses.