Log In Sign Up

rsdn.fukasigi.net
robots.txt

Robots Exclusion Standard data for rsdn.fukasigi.net

Resource Scan

Scan Details

Site Domain rsdn.fukasigi.net
Base Domain fukasigi.net
Scan Status Ok
Last Scan2026-03-14T05:49:53+00:00
Next Scan 2026-04-13T05:49:53+00:00

Last Scan

Scanned2026-03-14T05:49:53+00:00
URL https://rsdn.fukasigi.net/robots.txt
Domain IPs 202.172.26.52
Response IP 202.172.26.52
Found Yes
Hash 8722f86154da8ac9468352b9728bc4fa4026604faaea4e2daf47ecee932172fa
SimHash df158140fe98

Groups

google-extended

Rule Path
Disallow /

*
adsbot-google

Rule Path
Disallow /img/

*
adsbot-google

Rule Path
Disallow /comments/

google-extended

Rule Path Comment
Disallow / Googleの生成AI学習用クローラー

gptbot

Rule Path
Disallow /

perplexitybot

Rule Path
Disallow /

claudebot

Rule Path
Disallow /

ai2bot

Rule Path
Disallow /

oai-searchbot

Rule Path
Disallow /

chatgpt-user

Rule Path
Disallow /

megalodon

Rule Path
Disallow /

archive.org_bot

Rule Path
Disallow /

ia_archiver

Rule Path
Disallow /

ccbot

Rule Path
Disallow /

icc-crawler

Rule Path
Disallow /

ahrefsbot

Rule Path Comment
Disallow / 重複を解消済み

semrushbot

Rule Path
Disallow /

steeler

Rule Path
Disallow /

dotbot

Rule Path
Disallow /

mj12bot

Rule Path
Disallow /

serpstatbot

Rule Path
Disallow /

seokicks

Rule Path
Disallow /

barkrowler

Rule Path
Disallow /

blexbot

Rule Path
Disallow /

megaindex

Rule Path
Disallow /

yandexbot

Rule Path
Disallow /

petalbot

Rule Path
Disallow /

netcraftsurveyagent

Rule Path
Disallow /

builtwith

Rule Path
Disallow /

proximic

Rule Path
Disallow /

amazonbot

Rule Path
Disallow /

cincraw

Rule Path
Disallow /

wanscannerbot

Rule Path
Disallow /

aliyunsecbot

Rule Path
Disallow /

researchscan

Rule Path
Disallow /

obot

Rule Path
Disallow /

*

Rule Path
Allow /
Back to top

Comments

  • =========================================================
  • robots.txt 設定案 2025/11/02
  • 目的: AI学習、SEOツール、競合調査、アーカイブ系ボットの拒否
  • AdSense関連クローラーは収益化のため「コメントアウト（許可）」
  • =========================================================
  • --- AdSense/Google Ads関連クローラー (収益化のため許可) ---
  • User-agent: Mediapartners-Google # AdSenseの主要クローラー
  • Disallow: / # -> コメントアウトで許可
  • User-agent: AdsBot-Google # Google広告の品質チェック用クローラー
  • Disallow: / # -> コメントアウトで許可
  • User-agent: AdsBot-Google-Mobile
  • Disallow: / # -> コメントアウトで許可
  • --- AI学習系クローラーのブロック ---
  • --- アーカイブ・データ収集系クローラーのブロック ---
  • --- SNS・広告関連ボットのブロック ---
  • User-agent: facebookexternalhit
  • Disallow: / # SNSシェア時のプレビューをブロック
  • User-agent: meta-externalagent
  • Disallow: / # SNSシェア時のプレビューをブロック (Meta)
  • User-agent: grapeshot
  • Disallow: / # 広告関連ボットのブロック (構文修正済み)
  • --- SEO・競合分析ツールのブロック ---
  • --- その他の調査・é
  • --- デフォルトのルール (上記で指定されていないå
  • GooglebotやBingbotなどの主要検索エンジンクローラーにクロールを許可する
Back to top

Warnings

  • 2 invalid lines.
Back to top