Log In Sign Up

wbi.ac.id
robots.txt

Robots Exclusion Standard data for wbi.ac.id

Resource Scan

Scan Details

Site Domain wbi.ac.id
Base Domain wbi.ac.id
Scan Status Ok
Last Scan2025-11-19T13:43:02+00:00
Next Scan 2025-11-26T13:43:02+00:00

Last Scan

Scanned2025-11-19T13:43:02+00:00
URL https://wbi.ac.id/robots.txt
Domain IPs 104.21.88.48, 172.67.173.6, 2606:4700:3034::6815:5830, 2606:4700:3035::ac43:ad06
Response IP 104.21.88.48
Found Yes
Hash 7271c1802b8dd99f91e7a765b87e808e629c73fc8e2c5b422f2d2d593f2e4da2
SimHash 033c8ff20291

Groups

*

Rule Path Comment
Disallow /admin/ -
Disallow /login/ -
Disallow /register/ -
Disallow /cart/ -
Disallow /checkout/ -
Disallow /wp-admin/ Jika menggunakan WordPress
Disallow /cgi-bin/ -
Disallow /temp/ -
Disallow /private/ -
Disallow /search -
Disallow /query -
Allow /wp-content/uploads/ -
Allow /images/ -
Allow /css/ -
Allow /js/ -

ahrefsbot

Rule Path
Disallow /

semrushbot

Rule Path
Disallow /

mj12bot

Rule Path
Disallow /

dotbot

Rule Path
Disallow /

googlebot

Rule Path
Allow /

googlebot-image

Rule Path
Allow /images/

googlebot-mobile

Rule Path
Allow /

Other Records

Field Value
crawl-delay 2
Back to top

Other Records

Field Value
sitemap https://www.wbipoltek.ac.id/sitemap.xml
Back to top

Comments

  • Sitemap untuk membantu mesin pencari menemukan halaman lebih cepat
  • Izinkan semua mesin pencari mengakses situs
  • Izinkan pengindeksan seluruh situs, kecuali halaman yang tidak perlu
  • Cegah pengindeksan halaman pencarian internal untuk menghindari duplikasi konten
  • Izinkan pengindeksan file penting
  • Blokir bot yang tidak diinginkan agar tidak membebani server
  • Izin penuh untuk Googlebot (agar bisa mengindeks semua konten penting)
  • Aturan untuk bot gambar Google
  • Aturan untuk bot mobile Google
  • Hindari crawl delay untuk mempercepat indeksasi
Back to top