Log In Sign Up

libe.fr
robots.txt

Robots Exclusion Standard data for libe.fr

Resource Scan

Scan Details

Site Domain libe.fr
Base Domain libe.fr
Scan Status Ok
Last Scan2024-06-07T03:58:09+00:00
Next Scan 2024-06-14T03:58:09+00:00

Last Scan

Scanned2024-06-07T03:58:09+00:00
URL https://libe.fr/robots.txt
Redirect https://www.liberation.fr/robots.txt
Redirect Domain www.liberation.fr
Redirect Base liberation.fr
Domain IPs 13.32.145.37, 13.32.145.40, 13.32.145.47, 13.32.145.65
Redirect IPs 184.27.122.194, 184.28.235.155, 2600:1413:b000:13::b857:c1a0, 2600:1413:b000:13::b857:c1a1
Response IP 42.99.140.201
Found Yes
Hash 730f7052572e61e7f4b54576d25181327a26d622a6413fb509f7457dc29e172e
SimHash e15c36252783

Groups

*

Rule Path
Disallow /recherche
Disallow /search
Disallow */link-
Disallow /evenements/
Disallow /direct/
Disallow /elections/
Disallow */undefined?d=
Disallow */undefined/?d=
Disallow */pf/undefined?d=
Disallow /syndication/google/currents/diaporama/
Disallow /apps/*.csv
Disallow /apps/*.tsv
Disallow /apps/*.mst

googlebot-news

Rule Path
Disallow /libeadvert/

zite

Rule Path
Disallow /

youmag

Rule Path
Disallow /

meltwater

Rule Path
Disallow /

gptbot

Rule Path
Disallow /

chatgpt-user

Rule Path
Disallow /

ccbot

Rule Path
Disallow /
Back to top

Other Records

Field Value
sitemap https://www.liberation.fr/arc/outboundfeeds/sitemap_news.xml?outputType=xml
sitemap https://www.liberation.fr/arc/outboundfeeds/sitemap.xml?outputType=xml
sitemap https://www.liberation.fr/arc/outboundfeeds/sections-sitemap.xml?outputType=xml
Back to top

Comments

  • Il est interdit d'utiliser des robots d'indexation Web ou d'autres méthodes automatiques de feuilletage ou de navigation sur ce site Web.
  • Nous interdisons de crawler notre site Web en utilisant un agent d'utilisateur volé qui ne correspond pas à votre identité.
  • « Violation du droit du producteur de base de données - article L 342-1 et suivant le Code de la propriété intellectuelle ».
  • Nous vous invitons à nous contacter pour contracter une licence d'utilisation. Seuls les partenaires sont habilités à utiliser nos contenus pour un usage autre que strictement individuel.
Back to top