Log In Sign Up

病院なび.com
robots.txt

Robots Exclusion Standard data for 病院なび.com

Resource Scan

Scan Details

Site Domain 病院なび.com
Base Domain 病院なび.com
Scan Status Ok
Last Scan2024-11-08T11:41:27+00:00
Next Scan 2024-11-15T11:41:27+00:00

Last Scan

Scanned2024-11-08T11:41:27+00:00
URL https://病院なび.com/robots.txt
Redirect https://xn--q9js0534cgj1a.com/robots.txt
Domain IPs 18.176.218.64, 54.249.237.180
Response IP 18.176.218.64
Found Yes
Hash 10e946d03a806a868b9391a5f872bcb6367a27dbeed069b5db43bb7e8e1dc81b
SimHash ac2e8bf28b19

Groups

*

Rule Path
Disallow /*?nofollow=
Disallow /admin
Disallow /api
Disallow /clinic/*/z
Disallow /clinic/z
Disallow /familydr.html
Disallow /gps
Disallow /info/na_
Disallow /info/not_acceptable
Disallow /job
Disallow /maintenance
Disallow /map
Disallow /member
Disallow /nofollow/
Disallow /parts/
Disallow /projects
Disallow /query
Disallow /service/bsa
Disallow /ta/
Disallow /tc/
Disallow /td/
Disallow /test
Disallow /tmp
Disallow /tp/
Disallow /track/
Disallow /%7B%7Btype_key%7D%7D/

Other Records

Field Value
crawl-delay 5

mediapartners-google
adsbot-google

Rule Path
Disallow /admin
Disallow /api
Disallow /member

semrushbot
riddler

Rule Path
Disallow /
Back to top

Other Records

Field Value
sitemap https://byoinnavi.jp/sitemaps/sitemap.xml.gz
Back to top

Comments

  • (A) 以下以外の全てのクローラ(noindexページを省く)
  • あらゆるボットで互換な動作にするには、あるファイルへのアクセスを許す Allow ディレクティブを先に書き、そのファイルを含むディレクトリについての Disallow ディレクティブを後に書く
  • https://ja.wikipedia.org/wiki/Robots_Exclusion_Standard#Allow_%E3%83%87%E3%82%A3%E3%83%AC%E3%82%AF%E3%83%86%E3%82%A3%E3%83%96
  • (B) 広告用クローラ(無コンテンツページを省く)
  • (C) 拒否するクローラ(全て省く)
  • (D) 本番機のみ
Back to top