Log In Sign Up

byoinnavi.jp
robots.txt

Robots Exclusion Standard data for byoinnavi.jp

Resource Scan

Scan Details

Site Domain byoinnavi.jp
Base Domain byoinnavi.jp
Scan Status Ok
Last Scan2024-09-21T06:39:23+00:00
Next Scan 2024-09-28T06:39:23+00:00

Last Scan

Scanned2024-09-21T06:39:23+00:00
URL https://byoinnavi.jp/robots.txt
Domain IPs 13.35.18.105, 13.35.18.26, 13.35.18.52, 13.35.18.78
Response IP 13.35.18.105
Found Yes
Hash 10e946d03a806a868b9391a5f872bcb6367a27dbeed069b5db43bb7e8e1dc81b
SimHash ac2e8bf28b19

Groups

*

Rule Path
Disallow /*?nofollow=
Disallow /admin
Disallow /api
Disallow /clinic/*/z
Disallow /clinic/z
Disallow /familydr.html
Disallow /gps
Disallow /info/na_
Disallow /info/not_acceptable
Disallow /job
Disallow /maintenance
Disallow /map
Disallow /member
Disallow /nofollow/
Disallow /parts/
Disallow /projects
Disallow /query
Disallow /service/bsa
Disallow /ta/
Disallow /tc/
Disallow /td/
Disallow /test
Disallow /tmp
Disallow /tp/
Disallow /track/
Disallow /%7B%7Btype_key%7D%7D/

Other Records

Field Value
crawl-delay 5

mediapartners-google
adsbot-google

Rule Path
Disallow /admin
Disallow /api
Disallow /member

semrushbot
riddler

Rule Path
Disallow /
Back to top

Other Records

Field Value
sitemap https://byoinnavi.jp/sitemaps/sitemap.xml.gz
Back to top

Comments

  • (A) 以下以外の全てのクローラ(noindexページを省く)
  • あらゆるボットで互換な動作にするには、あるファイルへのアクセスを許す Allow ディレクティブを先に書き、そのファイルを含むディレクトリについての Disallow ディレクティブを後に書く
  • https://ja.wikipedia.org/wiki/Robots_Exclusion_Standard#Allow_%E3%83%87%E3%82%A3%E3%83%AC%E3%82%AF%E3%83%86%E3%82%A3%E3%83%96
  • (B) 広告用クローラ(無コンテンツページを省く)
  • (C) 拒否するクローラ(全て省く)
  • (D) 本番機のみ
Back to top