Log In Sign Up

archivespasdecalais.fr
robots.txt

Robots Exclusion Standard data for archivespasdecalais.fr

Resource Scan

Scan Details

Site Domain archivespasdecalais.fr
Base Domain archivespasdecalais.fr
Scan Status Ok
Last Scan2025-03-17T19:20:25+00:00
Next Scan 2025-04-16T19:20:25+00:00

Last Scan

Scanned2025-03-17T19:20:25+00:00
URL https://archivespasdecalais.fr/robots.txt
Redirect https://www.archivespasdecalais.fr/robots.txt
Redirect Domain www.archivespasdecalais.fr
Redirect Base archivespasdecalais.fr
Domain IPs 87.252.1.29
Redirect IPs 87.98.187.73
Response IP 87.98.187.73
Found Yes
Hash e168fe5e77bafadddd3c3c7faf110fffa1c006a5573bcffda0e403479ae102c0
SimHash 29fc94409fbb

Groups

*

Rule Path
Disallow *.gif$
Disallow *.png$
Disallow *.ico$
Disallow *.exe$
Disallow *.js$
Disallow *.css$
Disallow *.zip$
Disallow *.xls$
Disallow /Formulaire-de-contact
Disallow *.git$

Other Records

Field Value
crawl-delay 300
Back to top

Comments

  • nouveau site
  • Tous les moteurs sont concernées
  • le terme suivant nous permet de limiter les temps de passage des robots à 5 minutes
  • les fichiers suivants ne seront pas indexés par les moteurs
Back to top