jlc-ferry.jp
robots.txt

Robots Exclusion Standard data for jlc-ferry.jp

Resource Scan

Scan Details

Site Domain jlc-ferry.jp
Base Domain jlc-ferry.jp
Scan Status Ok
Last Scan2025-12-24T22:36:22+00:00
Next Scan 2026-01-23T22:36:22+00:00

Last Scan

Scanned2025-12-24T22:36:22+00:00
URL https://jlc-ferry.jp/robots.txt
Redirect https://www.jlc-ferry.jp/robots.txt
Redirect Domain www.jlc-ferry.jp
Redirect Base jlc-ferry.jp
Domain IPs 85.131.209.117
Redirect IPs 85.131.209.117
Response IP 85.131.209.117
Found Yes
Hash 4cf2e716efa7e644a3128dcb487d758083623ee76a5e7c49cc13dfbdaf9fc798
SimHash 29028b72aabb

Groups

*

Rule Path
Allow /
Disallow /config/
Disallow /_backup/
Disallow /jfp21-pend/
Disallow /*.txt$
Disallow /*.sql$
Disallow /test*
Disallow /setup_database.php
Disallow /test_common_database.php
Disallow /private/
Disallow /private1.html
Disallow /*.log$
Disallow /*.ini$
Disallow /passtxt

Other Records

Field Value
crawl-delay 1

Comments

  • 管理用ディレクトリをクロール禁止
  • 一時ファイルやテストファイルをクロール禁止
  • プライベート画像ディレクトリをクロール禁止
  • ログファイルや設定ファイルをクロール禁止
  • クロール間隔の推奨(秒)