Log In Sign Up

borkenerzeitung.de
robots.txt

Robots Exclusion Standard data for borkenerzeitung.de

Resource Scan

Scan Details

Site Domain borkenerzeitung.de
Base Domain borkenerzeitung.de
Scan Status Ok
Last Scan2024-07-04T01:45:15+00:00
Next Scan 2024-07-11T01:45:15+00:00

Last Scan

Scanned2024-07-04T01:45:15+00:00
URL https://borkenerzeitung.de/robots.txt
Redirect https://www.borkenerzeitung.de/robots.txt
Redirect Domain www.borkenerzeitung.de
Redirect Base borkenerzeitung.de
Domain IPs 217.182.187.119
Redirect IPs 217.182.187.119
Response IP 217.182.187.119
Found Yes
Hash 84c93a99e4ad93b027296be9becfaa94f7c920c9a84c35af05edc600f894c90c
SimHash 117ed890cfb6

Groups

*

Rule Path
Disallow /User
Disallow /Dateien
Disallow /ScriptResource
Disallow /WebResource
Disallow /verlag/Template-kimeta

gptbot

Rule Path
Disallow /

ccbot

Rule Path
Disallow /

Other Records

Field Value
crawl-delay 2
Back to top

Comments

  • Robots.txt for crawler
  • Disallow Crawler
  • Crawler often creates invalid script/webresource resource request
  • Max crawler Time per page in sec
  • Sitemap
  • Sitemap: https://www.borkenerzeitung.de.de/Sitemap/Sitemap_Index.xml.gz
  • Die J. Mergelsberg GmbH & Co. KG behält sich eine Nutzung ihrer Inhalte für kommerzielles Text und Data Mining im Sinne von § 44b UrhG ausdrücklich vor. Für den Erwerb eines entsprechenden Nutzungsrechts wenden Sie sich bitte an verlag@borkenerzeitung.de.
Back to top