Log In Sign Up

declaremods.com
robots.txt

Robots Exclusion Standard data for declaremods.com

Resource Scan

Scan Details

Site Domain declaremods.com
Base Domain declaremods.com
Scan Status Ok
Last Scan2025-11-12T13:45:29+00:00
Next Scan 2025-12-12T13:45:29+00:00

Last Scan

Scanned2025-11-12T13:45:29+00:00
URL https://declaremods.com/robots.txt
Domain IPs 104.21.10.3, 172.67.161.204, 2606:4700:3033::ac43:a1cc, 2606:4700:3034::6815:a03
Response IP 104.21.10.3
Found Yes
Hash e9ab8f5c1820a5ae4456d61c32df48c8c009e440f4c2f13c423fb7d540339ded
SimHash e0360249a6f6

Groups

*

Rule Path
Allow /
Disallow /wp-admin/
Disallow /admin/
Disallow /wp-includes/
Disallow /wp-content/plugins/
Disallow /wp-content/themes/*/admin/
Disallow /wp-content/cache/
Disallow /wp-content/uploads/wpo-cache/
Allow /wp-admin/admin-ajax.php
Disallow /*?utm_*
Disallow /*?ref=*
Disallow /*?source=*
Disallow /*?medium=*
Disallow /*?campaign=*
Disallow /*?fbclid=*
Disallow /*?gclid=*
Disallow /*?PHPSESSID=*
Disallow /*?sessionid=*
Disallow /*?sid=*
Disallow /*?user_id=*
Disallow /*?s=*
Disallow /*?search=*
Disallow /*?q=*
Disallow /*?sort=*
Disallow /*?order=*
Disallow /*?filter=*
Disallow /*?view=*
Disallow /*?page=*
Disallow /*/print/
Disallow /*?print=*
Disallow /*?pdf=*
Disallow /pdf/
Disallow /archive/
Disallow /archives/
Disallow /tag/
Disallow /tags/
Disallow /author/
Disallow /date/
Disallow /*/feed/
Disallow /comments/feed/
Disallow /*/comments/
Disallow /*.bak
Disallow /*.backup
Disallow /*.old
Disallow /*.tmp
Disallow /*.temp
Disallow /*.conf
Disallow /*.config
Disallow /*.ini
Disallow /*.env
Disallow /.env
Disallow /*.log
Disallow /logs/
Disallow /error_log
Disallow /*.sql
Disallow /*.db
Disallow /*.sqlite
Disallow /*.json
Allow /meta/*.json
Allow /*structured-data*.json
Allow /*schema*.json
Disallow /staging/
Disallow /dev/
Disallow /test/
Disallow /beta/
Disallow /demo/
Disallow /.git/
Disallow /.svn/
Disallow /.htaccess
Disallow /.htpasswd
Disallow /cart/
Disallow /checkout/
Disallow /basket/
Disallow /order/
Disallow /payment/
Disallow /account/
Disallow /profile/
Disallow /dashboard/
Disallow /my-account/
Disallow /login/
Disallow /register/
Disallow /signup/

Other Records

Field Value
crawl-delay 1

googlebot

Rule Path
Allow /
Allow /sitemap*.xml

Other Records

Field Value
crawl-delay 1

bingbot

Rule Path
Allow /
Allow /sitemap*.xml

Other Records

Field Value
crawl-delay 2

facebookexternalhit
twitterbot
linkedinbot
telegrambot

Rule Path
Allow /

Other Records

Field Value
crawl-delay 1

ahrefsbot

Rule Path
Disallow /

semrushbot

Rule Path
Disallow /

mj12bot

Rule Path
Disallow /

dotbot

Rule Path
Disallow /

blexbot

Rule Path
Disallow /

surveybot

Rule Path
Disallow /

httpurlconnection

Rule Path
Disallow /

java

Rule Path
Disallow /

libwww

Rule Path
Disallow /

microsoft url control

Rule Path
Disallow /

zmeu

Rule Path
Disallow /
Back to top

Other Records

Field Value
sitemap https://declaremods.com/roblox-scripts/sitemap.xml
Back to top

Comments

  • ================================================================
  • DeclareMods Roblox Scripts Platform - SEO-OPTIMIERTE ROBOTS.TXT
  • Datei: /public_html/roblox-scripts/robots.txt
  • Version: 2.1 - KORRIGIERT für Sitemap-Probleme
  • ================================================================
  • ================================================================
  • ALLGEMEINE CRAWLING-REGELN - ALLE BOTS
  • ================================================================
  • Crawl-Delay für Server-Schonung (1 Sekunde zwischen Requests)
  • ================================================================
  • CRAWL BUDGET OPTIMIERUNG - BLOCKIERE UNWICHTIGE BEREICHE
  • ================================================================
  • Administrative Bereiche blockieren
  • Ausnahme für wichtige Admin-AJAX Calls (für Funktionalität)
  • ================================================================
  • PARAMETER-URLs BLOCKIEREN (CRAWL BUDGET SPAREN)
  • ================================================================
  • Tracking Parameter blockieren
  • Session IDs und User-spezifische Parameter
  • Such-URLs blockieren (können unendlich sein)
  • Filter-Parameter für Scripts (vermeidet Duplicate Content)
  • ================================================================
  • DUPLICATE CONTENT VERMEIDEN
  • ================================================================
  • Print-Versionen blockieren
  • PDF-Generierungen blockieren (falls implementiert)
  • Archive-Seiten mit geringem SEO-Wert
  • Kommentar-Feeds (wenig SEO-Wert)
  • ================================================================
  • TECHNISCHE DATEIEN BLOCKIEREN - KORRIGIERT
  • ================================================================
  • Backup-Dateien
  • Konfigurationsdateien
  • Log-Dateien
  • Database-Dumps
  • JSON-Dateien - KORRIGIERT (erlaubt meta/scripts.json)
  • ================================================================
  • DEVELOPMENT & STAGING BEREICHE
  • ================================================================
  • Staging-Umgebungen
  • Version Control
  • ================================================================
  • E-COMMERCE SPEZIFISCHE BLOCKIERUNGEN
  • ================================================================
  • Warenkorb und Checkout (privat/nutzlos für SEO)
  • User-Account Bereiche
  • ================================================================
  • SPEZIELLE BOT-REGELN
  • ================================================================
  • GoogleBot - Optimiert für beste Performance
  • Explizit Sitemaps erlauben
  • BingBot - Ähnliche Regeln wie GoogleBot
  • Social Media Bots - Erlauben für Sharing
  • ================================================================
  • SCHÄDLICHE BOTS BLOCKIEREN
  • ================================================================
  • SEO-Tools die Crawl Budget verschwenden
  • Aggressive Scraper blockieren
  • ================================================================
  • XML SITEMAPS - NUR DER INDEX! (KORRIGIERT)
  • ================================================================
  • WICHTIG: Nur der Sitemap-Index!
  • Google findet alle Sub-Sitemaps automatisch über den Index
  • ================================================================
  • NOTIZEN FÜR WARTUNG
  • ================================================================
  • WICHTIG: Nach größeren Updates prüfen:
  • 1. Google Search Console -> Coverage Report
  • 2. Bing Webmaster Tools -> Site Inspection
  • 3. Server-Logs analysieren für ungewöhnliche Bot-Aktivität
  • Monatliche Review-Punkte:
  • - Neue Parameter-URLs identifizieren und blockieren
  • - Crawl Budget Nutzung in GSC überprüfen
  • - Neue schädliche Bots identifizieren und blockieren
  • SITEMAP-REGEL:
  • Nur den INDEX in robots.txt auflisten!
  • Sub-Sitemaps werden automatisch über Index entdeckt
  • ================================================================
  • ENDE DER ROBOTS.TXT
  • ================================================================
Back to top