losclive.fr
robots.txt

Robots Exclusion Standard data for losclive.fr

Resource Scan

Scan Details

Site Domain losclive.fr
Base Domain losclive.fr
Scan Status Failed
Failure StageFetching resource.
Failure ReasonCouldn't connect to server.
Last Scan2026-02-27T14:18:49+00:00
Next Scan 2026-02-28T14:18:49+00:00

Last Successful Scan

Scanned2026-02-20T14:14:24+00:00
URL https://losclive.fr/robots.txt
Domain IPs 104.21.47.202, 172.67.172.115, 2606:4700:3033::6815:2fca, 2606:4700:3033::ac43:ac73
Response IP 172.67.172.115
Found Yes
Hash d9dbc454adba4da0b274bf89b85b8daf12385c9220b3f49168da89bbc3c8390e
SimHash 633ccc404fa1

Groups

*

Rule Path
Disallow /wp-admin/
Disallow /wp-includes/

Other Records

Field Value
crawl-delay 12000

Other Records

Field Value
sitemap http://www.losclive.fr/sitemap.xml

Comments

  • Tous les moteurs sont concernés
  • le terme suivant nous permet de limiter les temps de passage des robots à 120 secondes
  • les répertoires suivants ne seront pas indexés