Log In Sign Up

libe.fr
robots.txt

Robots Exclusion Standard data for libe.fr

Resource Scan

Scan Details

Site Domain libe.fr
Base Domain libe.fr
Scan Status Ok
Last Scan2024-11-15T05:02:07+00:00
Next Scan 2024-11-22T05:02:07+00:00

Last Scan

Scanned2024-11-15T05:02:07+00:00
URL https://libe.fr/robots.txt
Redirect https://www.liberation.fr/robots.txt
Redirect Domain www.liberation.fr
Redirect Base liberation.fr
Domain IPs 3.165.136.101, 3.165.136.104, 3.165.136.81, 3.165.136.84
Redirect IPs 184.87.193.73, 184.87.193.84, 2600:1413:b000:13::b857:c188, 2600:1413:b000:13::b857:c1a1
Response IP 23.45.207.177
Found Yes
Hash bc7cf9efd84c26bbbc454269605bd475f2e52faac9b37a3e026e215e768fc315
SimHash e15c36056781

Groups

*

Rule Path
Disallow /recherche
Disallow /search
Disallow */link-
Disallow /evenements/
Disallow /direct/
Disallow /elections/
Disallow */undefined?d=
Disallow */undefined/?d=
Disallow */pf/undefined?d=
Disallow /syndication/google/currents/diaporama/
Disallow /apps/*.csv
Disallow /apps/*.tsv
Disallow /apps/*.mst

googlebot-news

Rule Path
Disallow /libeadvert/

zite

Rule Path
Disallow /

youmag

Rule Path
Disallow /

meltwater

Rule Path
Disallow /

gptbot

Rule Path
Disallow /

chatgpt-user

Rule Path
Disallow /

ccbot

Rule Path
Disallow /
Back to top

Other Records

Field Value
sitemap https://statics.liberation.fr/datasource/elections/elections-results-sitemap.xml
sitemap https://www.liberation.fr/arc/outboundfeeds/sitemap_news.xml?outputType=xml
sitemap https://www.liberation.fr/arc/outboundfeeds/sitemap.xml?outputType=xml
sitemap https://www.liberation.fr/arc/outboundfeeds/sections-sitemap.xml?outputType=xml
Back to top

Comments

  • Il est interdit d'utiliser des robots d'indexation Web ou d'autres méthodes automatiques de feuilletage ou de navigation sur ce site Web.
  • Nous interdisons de crawler notre site Web en utilisant un agent d'utilisateur volé qui ne correspond pas à votre identité.
  • « Violation du droit du producteur de base de données - article L 342-1 et suivant le Code de la propriété intellectuelle ».
  • Nous vous invitons à nous contacter pour contracter une licence d'utilisation. Seuls les partenaires sont habilités à utiliser nos contenus pour un usage autre que strictement individuel.
Back to top