Log In Sign Up

liberation.com
robots.txt

Robots Exclusion Standard data for liberation.com

Resource Scan

Scan Details

Site Domain liberation.com
Base Domain liberation.com
Scan Status Failed
Failure ReasonScan timed out.
Last Scan2024-05-10T15:14:54+00:00
Next Scan 2024-07-09T15:14:54+00:00

Last Successful Scan

Scanned2024-04-10T14:56:47+00:00
URL https://liberation.com/robots.txt
Redirect https://www.liberation.fr/robots.txt
Redirect Domain www.liberation.fr
Redirect Base liberation.fr
Domain IPs 143.204.231.124, 143.204.231.59, 143.204.231.73, 143.204.231.84
Redirect IPs 2600:1413:b000:14::b857:c149, 2600:1413:b000:14::b857:c154, 72.247.127.210, 72.247.127.234
Response IP 42.99.140.201
Found Yes
Hash 730f7052572e61e7f4b54576d25181327a26d622a6413fb509f7457dc29e172e
SimHash e15c36252783

Groups

*

Rule Path
Disallow /recherche
Disallow /search
Disallow */link-
Disallow /evenements/
Disallow /direct/
Disallow /elections/
Disallow */undefined?d=
Disallow */undefined/?d=
Disallow */pf/undefined?d=
Disallow /syndication/google/currents/diaporama/
Disallow /apps/*.csv
Disallow /apps/*.tsv
Disallow /apps/*.mst

googlebot-news

Rule Path
Disallow /libeadvert/

zite

Rule Path
Disallow /

youmag

Rule Path
Disallow /

meltwater

Rule Path
Disallow /

gptbot

Rule Path
Disallow /

chatgpt-user

Rule Path
Disallow /

ccbot

Rule Path
Disallow /
Back to top

Other Records

Field Value
sitemap https://www.liberation.fr/arc/outboundfeeds/sitemap_news.xml?outputType=xml
sitemap https://www.liberation.fr/arc/outboundfeeds/sitemap.xml?outputType=xml
sitemap https://www.liberation.fr/arc/outboundfeeds/sections-sitemap.xml?outputType=xml
Back to top

Comments

  • Il est interdit d'utiliser des robots d'indexation Web ou d'autres méthodes automatiques de feuilletage ou de navigation sur ce site Web.
  • Nous interdisons de crawler notre site Web en utilisant un agent d'utilisateur volé qui ne correspond pas à votre identité.
  • « Violation du droit du producteur de base de données - article L 342-1 et suivant le Code de la propriété intellectuelle ».
  • Nous vous invitons à nous contacter pour contracter une licence d'utilisation. Seuls les partenaires sont habilités à utiliser nos contenus pour un usage autre que strictement individuel.
Back to top