spritkostenrechner.de
robots.txt

Robots Exclusion Standard data for spritkostenrechner.de

Resource Scan

Scan Details

Site Domain spritkostenrechner.de
Base Domain spritkostenrechner.de
Scan Status Ok
Last Scan2024-09-13T22:03:54+00:00
Next Scan 2024-09-20T22:03:54+00:00

Last Scan

Scanned2024-09-13T22:03:54+00:00
URL https://spritkostenrechner.de/robots.txt
Redirect https://www.spritkostenrechner.de/robots.txt
Redirect Domain www.spritkostenrechner.de
Redirect Base spritkostenrechner.de
Domain IPs 85.13.157.197
Redirect IPs 85.13.157.197
Response IP 85.13.157.197
Found Yes
Hash b828f1cbf90ff325837aee9b5518eb32c4426aa2ff4857d1b38516f216ef4b0e
SimHash b959590a87d1

Groups

*

Rule Path
Disallow /cgi-bin/
Disallow /admin/
Disallow /temp/
Disallow /impressum/
Disallow /typo3/

webreaper
webcopier
offline explorer
httrack
microsoft.url.control
emailcollector
penthesilea

Rule Path
Disallow /

Comments

  • ===================================
  • Folgende Seiten sollen nicht indexiert werden:
  • ===================================
  • ===================================
  • Schließe folgende Spider komplett aus:
  • ===================================