Log In Sign Up

hilferuf.de
robots.txt

Robots Exclusion Standard data for hilferuf.de

Resource Scan

Scan Details

Site Domain hilferuf.de
Base Domain hilferuf.de
Scan Status Ok
Last Scan2024-11-12T04:01:29+00:00
Next Scan 2024-11-19T04:01:29+00:00

Last Scan

Scanned2024-11-12T04:01:29+00:00
URL https://hilferuf.de/robots.txt
Domain IPs 185.48.220.75
Response IP 185.48.220.75
Found Yes
Hash 5d5ce657ca9230006c5c4933712f88bc0637b8bbfdf2c814fdbae4320ea33c02
SimHash a11848c08315

Groups

*

Rule Path
Disallow /install/
Disallow /account/
Disallow /approval-queue/
Disallow /conversations/

yandex
brandwatch
nutch
cityreview
webreaper
webcopier
offline explorer
httrack
microsoft.url.control
emailcollector
penthesilea

Rule Path
Disallow /
Back to top

Other Records

Field Value
sitemap http://www.hilferuf.de/sitemap.php
Back to top

Comments

  • ===================================
  • Folgende Seiten sollen nicht indexiert werden:
  • ===================================
  • Disallow: /src/
  • Disallow: /library/
  • Disallow: /internal_data/
  • Disallow: /data/
  • ===================================
  • Schliesse folgende Spider komplett aus:
  • ===================================
Back to top

Warnings

  • 1 invalid line.
Back to top