Log In Sign Up

wifa.uni-leipzig.de
robots.txt

Robots Exclusion Standard data for wifa.uni-leipzig.de

Resource Scan

Scan Details

Site Domain wifa.uni-leipzig.de
Base Domain uni-leipzig.de
Scan Status Failed
Failure StageFetching resource.
Failure ReasonRequest timed out.
Last Scan2025-07-26T04:42:56+00:00
Next Scan 2025-08-25T04:42:56+00:00

Last Successful Scan

Scanned2025-06-04T04:34:18+00:00
URL https://wifa.uni-leipzig.de/robots.txt
Redirect https://www.wifa.uni-leipzig.de/robots.txt
Redirect Domain www.wifa.uni-leipzig.de
Redirect Base uni-leipzig.de
Domain IPs 139.18.16.133
Redirect IPs 139.18.16.133
Response IP 139.18.16.133
Found Yes
Hash ccd14f19465d21833efe0fea26042eb441667535a364b392015ce4f666311672
SimHash 8368da0e8dfe

Groups

*

Rule Path
Allow /
Disallow /typo3_src/
Disallow /typo3/
Disallow /t3lib/
Disallow /typo3conf/
Disallow /suche
Disallow /en/search
Disallow /typo3temp/
Disallow /uploads/
Disallow /fileadmin/prins_import/
Disallow /*.php
Disallow /*.tss
Disallow /*.tsc
Disallow /*.csv
Disallow /*.xls
Disallow /*.xlsx
Disallow /*?id=*
Disallow /*?type=98*
Disallow /feedback
Disallow */feedback*
Disallow /?contentid=*
Allow /typo3conf/ext/*/Resources/Public/
Allow /*.js
Allow /*.js.*
Allow /*.css
Allow /*.css.*
Allow /*.jpg
Allow /*.jpeg
Allow /*.svg
Allow /*.gif
Allow /*.png
Allow /typo3temp/*.jpg
Allow /typo3temp/*.png
Allow /typo3temp/*.gif
Allow /typo3temp/*.svg
Allow /typo3temp/*.js
Allow /typo3temp/*.css
Allow /typo3temp/*.js.*
Allow /typo3temp/*.css.*
Allow /uploads/*.jpg
Allow /uploads/*.png
Allow /uploads/*.gif
Allow /uploads/*.svg
Allow /uploads/*.js
Allow /uploads/*.css
Allow /uploads/*.js.*
Allow /uploads/*.css.*
Disallow /wartung/
Back to top

Other Records

Field Value
sitemap https://www.wifa.uni-leipzig.de/sitemap.xml
Back to top

Comments

  • Sitemap
  • Grunsätzliche Erlaubnis für alle Verzeichnisse/Ordner/Pfade
  • beinhaltet auch Seitenstruktur im Frontend
  • TYPO3-Pfade ausschließen
  • Speicher und Uploadpfade ausschließen
  • Dateien nach Endung ausschließen (php, Typoscript, ...)
  • Ausschließen, dass Seiten ohne sprechende URL indiziert werden (duplicate content!)
  • Zugriff auf die Extension und TMPFiles, welche die CSS und JS Dateien beinhalten, erlauben
  • (Google MobileFriendlyTest - Sichtbarkeit Styles + Scripts: https://www.google.com/webmasters/tools/mobile-friendly/).
  • in typo3temp und uploads explizit freigeben da der Ordner an sich verboten ist
  • falls die Wartungsseite in wartung liegt
Back to top