metrotime.be
robots.txt

Robots Exclusion Standard data for metrotime.be

Resource Scan

Scan Details

Site Domain metrotime.be
Base Domain metrotime.be
Scan Status Ok
Last Scan2024-06-21T13:35:02+00:00
Next Scan 2024-06-28T13:35:02+00:00

Last Scan

Scanned2024-06-21T13:35:02+00:00
URL https://metrotime.be/robots.txt
Redirect https://www.metrotime.be/robots.txt
Redirect Domain www.metrotime.be
Redirect Base metrotime.be
Domain IPs 109.7.16.62, 90.83.65.62
Redirect IPs 23.44.5.122, 23.44.5.16, 2600:1417:3f::6858:4669, 2600:1417:3f::6858:4688
Response IP 23.44.5.16
Found Yes
Hash 08d7869eac2e07575f357714ad7e90eae6ba6afc35200a205bfe61c2578c6226
SimHash 5b72f7a11693

Groups

mediapartners-google
googlebot
googlebot-image
googlebot-mobile
googlebot-news
googlebot-video
adsbot-google
googlebot_nauxeo
bingbot
twitterbot
applebot
bingbot
echoboxbot
facebot
siteauditbot
screaming frog seo spider
grapeshot
ias_crawler
publication-access-for-facebook
proximic
facebookexternalhit
flipboard
flipboardproxy
weborama-fetcher
taboolabot
upday

Rule Path
Disallow /archives/recherche
Disallow /archives/zoeken
Disallow /*?page=
Disallow /*?word=

Other Records

Field Value
sitemap https://www.metrotime.be/nl/sitemap.xml
sitemap https://www.metrotime.be/fr/sitemap.xml

Comments

  • Allowed search engines directives
  • Sitemaps
  • Directories
  • Indiquer d’éventuels répertoires à bloquer.
  • Ex : Disallow: /share
  • Files
  • Indiquer des fichiers sensibles qui ne doivent pas être crawlés
  • Ex : Disallow: /install.php
  • Paths
  • Indiquer des chemins d’accès à bloquer. Idem, je n’en ai pas vu qui devraient être bloqués
  • Ex : Disallow : /user/