Log In Sign Up

demorgen.be
robots.txt

Robots Exclusion Standard data for demorgen.be

Resource Scan

Scan Details

Site Domain demorgen.be
Base Domain demorgen.be
Scan Status Ok
Last Scan2024-11-15T11:59:28+00:00
Next Scan 2024-11-22T11:59:28+00:00

Last Scan

Scanned2024-11-15T11:59:28+00:00
URL https://demorgen.be/robots.txt
Redirect https://www.demorgen.be/robots.txt
Redirect Domain www.demorgen.be
Redirect Base demorgen.be
Domain IPs 2600:1413:b000:6::17d5:2bc7, 2600:1413:b000:6::17d5:2bcb, 96.17.96.24, 96.17.96.29
Redirect IPs 2600:1413:b000:6::17d5:2bc7, 2600:1413:b000:6::17d5:2bcb, 96.17.96.24, 96.17.96.29
Response IP 23.44.5.73
Found Yes
Hash 10b2e92e52b81625e270bc622c135d9d57f21b5f534199d31254c6c5e97027a5
SimHash 49500b594d75

Groups

twitterbot

Rule Path
Allow /

*

Rule Path
Allow /
Disallow /*?otag*
Disallow /*?abo_type*
Disallow /*?URL_referrer*
Disallow /auth/
Disallow /temptation/
Disallow /*utm_campaign%3Dshared_earned*
Disallow /*redirectUri%3D*
Disallow /api/_next-api*
Disallow /_next/data/*
Disallow /zoeken?query=*
Disallow /zoeken/?query=*
Disallow /zoeken/resultaten?query=*
Disallow /search?query=*
Disallow /search/?query=*
Disallow /search/resultaten?query=*
Disallow /tag/*?page=
Disallow /*?parentSlug=*

gptbot

Rule Path
Disallow /

chatgpt-user

Rule Path
Disallow /

ccbot

Rule Path
Disallow /

anthropic-ai

Rule Path
Disallow /

perplexitybot

Rule Path
Disallow /
Back to top

Other Records

Field Value
sitemap https://www.demorgen.be/sitemap.xml
Back to top

Comments

  • Alle auteurs-, naburige en databankrechten die op de inhoud en opmaak van de DPG Media websites
  • en DPG Media apps rusten, worden door DPG Media BV uitdrukkelijk voorbehouden. De inhoud van de
  • DPG Media websites en apps is uitsluitend voor persoonlijk, niet-commercieel gebruik en het is
  • niet toegestaan om gegevens van de website of uit de apps door middel van screen scraping
  • (of een andere geautomatiseerde werkwijze) te vergaren.
  • Zie ook de Gebruikersvoorwaarden van DPG Media B.V. op www.dpgmedia.nl/gebruiksvoorwaarden
  • All copyrights, neighbouring rights and database rights in the content and layout of the
  • DPG Media websites and DPG Media apps are explicitly reserved by DPG Media BV. The content of the DPG Media
  • websites and DPG Media apps is for personal, non-commercial use only and it is not allowed to
  • collect data from the website or from the apps by means of screen scraping (or any other
  • automated method).
  • See also the terms of use of DPG Media B.V. at www.dpgmedia.nl/gebruiksvoorwaarden
Back to top