Log In Sign Up

libe.com
robots.txt

Robots Exclusion Standard data for libe.com

Resource Scan

Scan Details

Site Domain libe.com
Base Domain libe.com
Scan Status Ok
Last Scan2024-06-09T06:43:00+00:00
Next Scan 2024-06-16T06:43:00+00:00

Last Scan

Scanned2024-06-09T06:43:00+00:00
URL https://libe.com/robots.txt
Redirect https://www.liberation.fr/robots.txt
Redirect Domain www.liberation.fr
Redirect Base liberation.fr
Domain IPs 52.222.149.103, 52.222.149.4, 52.222.149.65, 52.222.149.8
Redirect IPs 23.45.207.203, 23.45.207.208, 2600:1413:b000:13::b857:c1a0, 2600:1413:b000:13::b857:c1a1
Response IP 23.52.171.122
Found Yes
Hash 730f7052572e61e7f4b54576d25181327a26d622a6413fb509f7457dc29e172e
SimHash e15c36252783

Groups

*

Rule Path
Disallow /recherche
Disallow /search
Disallow */link-
Disallow /evenements/
Disallow /direct/
Disallow /elections/
Disallow */undefined?d=
Disallow */undefined/?d=
Disallow */pf/undefined?d=
Disallow /syndication/google/currents/diaporama/
Disallow /apps/*.csv
Disallow /apps/*.tsv
Disallow /apps/*.mst

googlebot-news

Rule Path
Disallow /libeadvert/

zite

Rule Path
Disallow /

youmag

Rule Path
Disallow /

meltwater

Rule Path
Disallow /

gptbot

Rule Path
Disallow /

chatgpt-user

Rule Path
Disallow /

ccbot

Rule Path
Disallow /
Back to top

Other Records

Field Value
sitemap https://www.liberation.fr/arc/outboundfeeds/sitemap_news.xml?outputType=xml
sitemap https://www.liberation.fr/arc/outboundfeeds/sitemap.xml?outputType=xml
sitemap https://www.liberation.fr/arc/outboundfeeds/sections-sitemap.xml?outputType=xml
Back to top

Comments

  • Il est interdit d'utiliser des robots d'indexation Web ou d'autres méthodes automatiques de feuilletage ou de navigation sur ce site Web.
  • Nous interdisons de crawler notre site Web en utilisant un agent d'utilisateur volé qui ne correspond pas à votre identité.
  • « Violation du droit du producteur de base de données - article L 342-1 et suivant le Code de la propriété intellectuelle ».
  • Nous vous invitons à nous contacter pour contracter une licence d'utilisation. Seuls les partenaires sont habilités à utiliser nos contenus pour un usage autre que strictement individuel.
Back to top