Log In Sign Up

de-vonk.nl
robots.txt

Robots Exclusion Standard data for de-vonk.nl

Resource Scan

Scan Details

Site Domain de-vonk.nl
Base Domain de-vonk.nl
Scan Status Failed
Failure StageFetching resource.
Failure ReasonCouldn't connect to server.
Last Scan2024-08-22T14:42:41+00:00
Next Scan 2024-11-20T14:42:41+00:00

Last Successful Scan

Scanned2023-07-07T05:00:25+00:00
URL https://de-vonk.nl/robots.txt
Redirect https://www.ad.nl:443/robots.txt
Redirect Domain www.ad.nl
Redirect Base ad.nl
Domain IPs 75.2.100.133, 99.83.143.116
Redirect IPs 2600:1413:b000:6::17d5:2bc9, 2600:1413:b000:6::17d5:2be0, 96.17.96.14, 96.17.96.9
Response IP 23.33.126.46
Found Yes
Hash cd57c7025ce081e9118f630f03c49a8a5486c775e366d8f79024d0b960a799a0
SimHash 69580b584df5

Groups

*

Rule Path
Disallow /*webview
Disallow /auth
Disallow /*widget*
Disallow /*?*otag=
Disallow /*?*abo_type=
Disallow /*?*utm_source=
Disallow /zoeken?query=
Disallow /inloggen?*
Disallow *~ab9e5892*
Disallow *~af7ac112*
Disallow *~a2575106*
Disallow *?*redirect_url=*

twitterbot

Rule Path
Allow /
Back to top

Other Records

Field Value
sitemap https://www.ad.nl/sitemap.xml
sitemap https://www.ad.nl/sitemap-news.xml
Back to top

Comments

  • Alle auteurs-, naburige en databankrechten die op de inhoud en opmaak van de DPG Media websites
  • en DPG Media apps rusten, worden door DPG Media BV uitdrukkelijk voorbehouden. De inhoud van de
  • DPG Media websites en apps is uitsluitend voor persoonlijk, niet-commercieel gebruik en het is
  • niet toegestaan om gegevens van de website of uit de apps door middel van screen scraping
  • (of een andere geautomatiseerde werkwijze) te vergaren.
  • Zie ook de Gebruikersvoorwaarden van DPG Media B.V. op www.dpgmedia.nl/gebruiksvoorwaarden
  • All copyrights, neighbouring rights and database rights in the content and layout of the
  • DPG Media websites and DPG Media apps are explicitly reserved by DPG Media BV. The content of the DPG Media
  • websites and DPG Media apps is for personal, non-commercial use only and it is not allowed to
  • collect data from the website or from the apps by means of screen scraping (or any other
  • automated method).
  • See also the terms of use of DPG Media B.V. at www.dpgmedia.nl/gebruiksvoorwaarden
  • Tell robots which pages are not very interesting
  • Articles which should not be listed in google search index:
  • tu-e-zet-directeur-op-non-actief~ab9e5892/
  • Tell robots not to crawl redirect urls
Back to top