Log In Sign Up

errorpage.fr
robots.txt

Robots Exclusion Standard data for errorpage.fr

Resource Scan

Scan Details

Site Domain errorpage.fr
Base Domain errorpage.fr
Scan Status Failed
Failure ReasonScan timed out.
Last Scan2025-06-18T18:44:25+00:00
Next Scan 2025-09-16T18:44:25+00:00

Last Successful Scan

Scanned2024-03-02T14:46:35+00:00
URL http://www.errorpage.fr/robots.txt
Domain IPs 145.239.245.118
Response IP 145.239.245.118
Found Yes
Hash 748979cba3b311ad80cd61820573418c37d479967c01a1898c1260e01b352052
SimHash 435492514fb9

Groups

*

Rule Path
Disallow blacklist.php
Disallow conslog3.gif

barkrowler

Rule Path
Allow
Disallow /

criteobot/0.1

Rule Path
Disallow /

mj12bot

Rule Path
Disallow /

gptbot

Rule Path
Disallow /

qwantify

Rule Path
Allow
Disallow /

sogou web spider

Rule Path
Disallow /

ahrefsbot

Rule Path
Allow /
Disallow

applebot

Rule Path
Allow /
Disallow

bingbot

Rule Path
Allow /
Disallow

duckduckbot

Rule Path
Allow /
Disallow

googlebot

Rule Path
Allow /
Disallow

msnbot

Rule Path
Allow /
Disallow
Back to top

Other Records

Field Value
sitemap http://www.errorpage.fr/sitemap.xml
Back to top

Comments

  • Aucun robot ne doit indexer ces pages :
  • ----------------------------------------------------------------------------------------
  • ROBOTS INTERDITS
  • ----------------------------------------------------------------------------------------
  • Barkrowler (Babbar) ne peut pas indexer le site.
  • CriteoBot ne peut pas indexer le site.
  • Gptbot ne peut pas indexer le site.
  • MJ12bot ne peut pas indexer le site.
  • Qwant ne peut pas indexer le site.
  • Sogou ne peut pas indexer le site.
  • ----------------------------------------------------------------------------------------
  • ROBOTS AUTORISES
  • ----------------------------------------------------------------------------------------
  • AhrefsBot peut indexer tout le site (sauf les pages eventuellement indiquees en haut)
  • Applebot peut indexer tout le site (sauf les pages eventuellement indiquees en haut)
  • bingbot peut indexer tout le site (sauf les pages eventuellement indiquees en haut)
  • DuckDuckBot peut indexer tout le site (sauf les pages eventuellement indiquees en haut)
  • Googlebot peut indexer tout le site (sauf les pages eventuellement indiquees en haut)
  • Msnbot peut indexer tout le site (sauf les pages eventuellement indiquees en haut)
Back to top