nu.nl
robots.txt

Robots Exclusion Standard data for nu.nl

Resource Scan

Scan Details

Site Domain nu.nl
Base Domain nu.nl
Scan Status Ok
Last Scan2024-10-26T10:36:22+00:00
Next Scan 2024-11-02T10:36:22+00:00

Last Scan

Scanned2024-10-26T10:36:22+00:00
URL https://nu.nl/robots.txt
Redirect https://www.nu.nl/robots.txt
Redirect Domain www.nu.nl
Redirect Base nu.nl
Domain IPs 23.209.46.141, 23.209.46.147, 2600:1413:b000:6::17d5:2bcc, 2600:1413:b000:6::17d5:2bd0
Redirect IPs 23.209.46.141, 23.209.46.147
Response IP 23.209.46.147
Found Yes
Hash fb858a5dc1156871e9546863b00689a0314145c9737297ee73e1c2cd4b41dbc7
SimHash 691109514d75

Groups

*

Rule Path
Disallow /zoeken
Disallow /search
Disallow /block/
Disallow /component/
Disallow /components/

googlebot

Rule Path
Disallow /*redirect%3D1*

googlebot-news

Rule Path
Disallow /advertorial/
Disallow /uit-andere-media/

gptbot

Rule Path
Disallow /

chatgpt-user

Rule Path
Disallow /

ccbot

Rule Path
Disallow /

anthropic-ai

Rule Path
Disallow /

perplexitybot

Rule Path
Disallow /

Other Records

Field Value
sitemap https://www.nu.nl/sitemap_index.xml
sitemap https://www.nu.nl/sitemap_news.xml
sitemap https://www.nu.nl/sitemap_sections.xml
sitemap https://www.nu.nl/sitemap_general.xml

Comments

  • Alle auteurs-, naburige en databankrechten die op de inhoud en opmaak van de DPG Media websites
  • en DPG Media apps rusten, worden door DPG Media BV uitdrukkelijk voorbehouden. De inhoud van de
  • DPG Media websites en apps is uitsluitend voor persoonlijk, niet-commercieel gebruik en het is
  • niet toegestaan om gegevens van de website of uit de apps door middel van screen scraping
  • (of een andere geautomatiseerde werkwijze) te vergaren.
  • Zie ook de Gebruikersvoorwaarden van DPG Media B.V. op www.dpgmedia.nl Gebruiksvoorwaarden - DPG Media
  • All copyrights, neighbouring rights and database rights in the content and layout of the
  • DPG Media websites and DPG Media apps are explicitly reserved by DPG Media BV. The content of the DPG Media
  • websites and DPG Media apps is for personal, non-commercial use only and it is not allowed to
  • collect data from the website or from the apps by means of screen scraping (or any other
  • automated method).
  • See also the terms of use of DPG Media B.V. at www.dpgmedia.nl Gebruiksvoorwaarden - DPG Media