webdesign-alcor.at
robots.txt

Robots Exclusion Standard data for webdesign-alcor.at

Resource Scan

Scan Details

Site Domain webdesign-alcor.at
Base Domain webdesign-alcor.at
Scan Status Ok
Last Scan2025-11-01T15:10:57+00:00
Next Scan 2025-12-01T15:10:57+00:00

Last Scan

Scanned2025-11-01T15:10:57+00:00
URL https://www.webdesign-alcor.at/robots.txt
Domain IPs 2a01:aee0:f:1::522:1, 91.151.19.52
Response IP 91.151.19.52
Found Yes
Hash b62a0ac0bb195dbc240e70217e733967f48db0eb2fa5064c3e4d6820b1efa9d0
SimHash 52fc5c0084b2

Groups

googlebot

Rule Path
Allow /

ahrefsbot

Rule Path
Allow /

semrushbot

Rule Path
Allow /

*

Rule Path
Allow /
Disallow /cgi-bin/
Disallow /private/
Disallow /tmp/
Disallow /logs/
Disallow /secret/
Disallow /admin/
Disallow /config.php
Disallow /db_backup.php
Allow /*.php$
Allow /maps
Allow /blog/
Allow /*.css$
Allow /*.js$
Allow /*.jpg$
Allow /*.jpeg$
Allow /*.png$
Allow /*.gif$
Allow /*.webp$
Allow /*.svg$
Allow /*.json$
Allow /*.webp$
Allow /*.ico$
Allow /*.xml$

Other Records

Field Value
crawl-delay 10

Other Records

Field Value
sitemap https://www.webdesign-alcor.at/sitemap.xml

Comments

  • Ermögliche vollständiges Crawling für Google, Ahrefs und Semrush
  • Allgemeine Richtlinien für alle anderen Bots
  • Ausnahme für spezifische sensible Bereiche
  • Sicherstellen, dass PHP-Seiten erlaubt sind
  • Erlaube das Crawlen aller CSS, JS und Bilddateien (wichtig für das korrekte Rendering in den Suchergebnissen)
  • Erlaube den Zugriff auf die Sitemap
  • Crawl-Delay für Bots, die dies unterstützen (falls nötig)