Log In Sign Up

dastelefonbuch.de
robots.txt

Robots Exclusion Standard data for dastelefonbuch.de

Resource Scan

Scan Details

Site Domain dastelefonbuch.de
Base Domain dastelefonbuch.de
Scan Status Ok
Last Scan2024-09-25T01:40:24+00:00
Next Scan 2024-10-02T01:40:24+00:00

Last Scan

Scanned2024-09-25T01:40:24+00:00
URL https://dastelefonbuch.de/robots.txt
Domain IPs 104.18.16.88, 104.18.17.88, 2606:4700::6812:1058, 2606:4700::6812:1158
Response IP 104.18.16.88
Found Yes
Hash 38b7f6cbc1d48dc58c4d65cc887353328c08204a8b54bf1798566dbba4a3ef1e
SimHash 2a08db1383d6

Groups

*

Rule Path
Allow /ads.txt
Disallow /
Back to top

Comments

  • Diese robots.txt schliesst das gesamte Crawling der ganzen testbasierten Subdomains aus, da URLs der Testsysteme und Entwicklungsumgebungen nicht in den Index gelangen duerfen.
  • sc20220208; Vorgaengerversion: bz20140919
Back to top