Log In Sign Up

dnev.de
robots.txt

Robots Exclusion Standard data for dnev.de

Resource Scan

Scan Details

Site Domain dnev.de
Base Domain dnev.de
Scan Status Ok
Last Scan2025-05-26T15:12:53+00:00
Next Scan 2025-06-25T15:12:53+00:00

Last Scan

Scanned2025-05-26T15:12:53+00:00
URL https://dnev.de/robots.txt
Redirect https://www.dnev.de/robots.txt
Redirect Domain www.dnev.de
Redirect Base dnev.de
Domain IPs 2a01:4f8:d0a:5105::2, 78.46.179.35
Redirect IPs 2a01:4f8:d0a:5105::2, 78.46.179.35
Response IP 78.46.179.35
Found Yes
Hash 7ce424099b899359a87f843b10edadd0b9eecf9e3d7f90831cabab0df15f5d71
SimHash a84d1f5083e2

Groups

*

Rule Path
Disallow /pages/
Disallow /library/javascripts/
Disallow /library/stylesheets/
Disallow /Templates/
Disallow /*/includes/*
Disallow *?Bundesland=
Disallow /*sid%3D*
Disallow /administration/
Disallow /static/
Disallow /suchen/
Disallow /mitglieder/
Allow /mitglieder/login/
Allow /mitglieder/mitgliedsantrag/
Disallow /patienten/feriendialyse/*/
Allow /patienten/feriendialyse/$
Disallow /aerzte/weiterbildungsatlas/*/
Allow /aerzte/weiterbildungsatlas/$
Disallow /aerzte/stellenmarkt/gesuche-aerzte/*/
Allow /aerzte/stellenmarkt/gesuche-aerzte/$
Disallow /aerzte/stellenmarkt/angebote-aerzte/*/
Allow /aerzte/stellenmarkt/angebote-aerzte/$
Disallow /aerzte/stellenmarkt/gesuche-praxispersonal/*/
Allow /aerzte/stellenmarkt/gesuche-praxispersonal/$
Disallow /aerzte/stellenmarkt/angebote-praxispersonal/*/
Allow /aerzte/stellenmarkt/angebote-praxispersonal/$

teleport*

Rule Path
Disallow /

webwhacker*

Rule Path
Disallow /

webzip*

Rule Path
Disallow /

net attache*

Rule Path
Disallow /

sitesnagger*

Rule Path
Disallow /

httrack*

Rule Path
Disallow /

webcapture*

Rule Path
Disallow /

websauger*

Rule Path
Disallow /

webreaper*

Rule Path
Disallow /

roverbot*

Rule Path
Disallow /

voilabot*

Rule Path
Disallow /

voilabot*

Rule Path
Disallow /

voilabot beta 1.2*

Rule Path
Disallow /
Back to top

Other Records

Field Value
sitemap https://www.dnev.de/sitemap.xml
Back to top

Comments

  • Diese Datei regelt die Indexierung dieser Website.
  • Eine liste mit allen Robots: http://www.robotstxt.org/wc/active/html/index.html
  • Die robots.txt kann hier geprüft werden:
  • http://www.searchengineworld.com/cgi-bin/robotcheck.cgi
  • Angabe der Sitemap ist Agent-unabhaengig
  • Bestimmte Verzeichnisse vor Indexierung ausschließen
  • SPAM-Crawler und nicht gewollte Spider versuchen fernzuhalten
Back to top