cromagnon.net
robots.txt

Robots Exclusion Standard data for cromagnon.net

Resource Scan

Scan Details

Site Domain cromagnon.net
Base Domain cromagnon.net
Scan Status Ok
Last Scan2025-11-22T09:11:48+00:00
Next Scan 2025-12-22T09:11:48+00:00

Last Scan

Scanned2025-11-22T09:11:48+00:00
URL https://cromagnon.net/robots.txt
Redirect https://www.cromagnon.net/robots.txt
Redirect Domain www.cromagnon.net
Redirect Base cromagnon.net
Domain IPs 162.43.117.55
Redirect IPs 162.43.117.55
Response IP 162.43.117.55
Found Yes
Hash 41464da451562fcc62f07c28992675faa90d35ad85cee6b09a667b85485b2757
SimHash 620803003129

Groups

*

Rule Path
Disallow /wp-admin/
Allow /wp-admin/admin-ajax.php
Disallow /*?add_to_wishlist=
Disallow /*?add-to-wishlist=
Disallow /*?orderby=
Disallow /*?column=
Disallow /*?newwindow=
Disallow /*?amazon_payments_advanced=
Disallow /*/feed/
Disallow /mm/

Other Records

Field Value
sitemap https://www.cromagnon.net/sitemap_index.xml

Comments

  • WordPress管理エリアはクロール禁止。ただし AJAX は許可
  • ウィッシュリスト追加など操作用URL(WCBoost系)。クロール不要
  • 並び替え・表示オプションなどのバリエーションURLもクロール不要
  • RSSフィード(/feed/)は商品ページ本体ではない
  • コメントページの分割URLもクロールさせたくないなら↓を有効に
  • Disallow: /*/comment-page-
  • /mm/ をクローラーに来てほしくないなら、明示的に止めてもOK