lab.ndl.go.jp
robots.txt

Robots Exclusion Standard data for lab.ndl.go.jp

Resource Scan

Scan Details

Site Domain lab.ndl.go.jp
Base Domain ndl.go.jp
Scan Status Ok
Last Scan2025-08-30T14:09:35+00:00
Next Scan 2025-09-29T14:09:35+00:00

Last Scan

Scanned2025-08-30T14:09:35+00:00
URL https://lab.ndl.go.jp/robots.txt
Domain IPs 13.35.37.105, 13.35.37.124, 13.35.37.18, 13.35.37.94
Response IP 13.35.37.94
Found Yes
Hash 8dd6920cae4bacfa36efbdc079f0f8fd010fba004bec6a00807b49a7dce26d49
SimHash a0000f826f32

Groups

*

Rule Path
Disallow /dl/fulltext
Disallow /dl/illust
Disallow /dl/mypage
Disallow /dl/api/illustration/multi-get

Comments

  • robots.txt for lab.ndl.go.jp
  • すべてのUser-agent 向けのルール
  • じせデジの検索結果画面はクロールさせない
  • じせデジのマイページはクロールさせない
  • 画像検索の検索結果APIはクロールさせない