Log In Sign Up

uberti.eu
robots.txt

Robots Exclusion Standard data for uberti.eu

Resource Scan

Scan Details

Site Domain uberti.eu
Base Domain uberti.eu
Scan Status Failed
Failure StageFetching resource.
Failure ReasonServer returned a client error.
Last Scan2025-08-20T21:58:50+00:00
Next Scan 2025-09-03T21:58:50+00:00

Last Successful Scan

Scanned2025-07-13T21:57:19+00:00
URL https://uberti.eu/robots.txt
Response IP 57.129.84.98
Found Yes
Hash 0f2d58afaa4a8607f5e3d8d292a07cb86f50d5b00849ee788ccaad150b2cc086
SimHash 63294bd0ccb3

Groups

*

Rule Path
Disallow /wp-admin/
Disallow /wp-login.php
Disallow /wp-includes/
Disallow /xmlrpc.php
Disallow /search/
Disallow /?s=
Disallow /feed/
Disallow /trackback/
Disallow /1
Disallow /2
Disallow /3
Disallow /4
Disallow /5
Disallow /6
Disallow /7
Disallow /8
Disallow /9
Disallow /0
Disallow /wp-content/plugins/
Disallow /wp-content/themes/
Disallow /wp-content/cache/
Disallow /backup/
Disallow /staging/
Disallow /dev/
Disallow /test/
Allow /wp-content/uploads/
Allow /wp-admin/admin-ajax.php

google-extended

Rule Path
Disallow /

gptbot

Rule Path
Disallow /

chatgpt-user

Rule Path
Disallow /

ccbot

Rule Path
Disallow /

claude-web

Rule Path
Disallow /
Back to top

Other Records

Field Value
sitemap https://uberti.eu/sitemap_index.xml
Back to top

Comments

  • ===================================================================
  • robots.txt - Versione Ottimizzata e Completa (Luglio 2025)
  • ===================================================================
  • === Regole Generali per Tutti i Crawler ("Buoni") ===
  • Blocca le aree di amministrazione e i file core di WordPress
  • Blocca aree che generano contenuti duplicati o di basso valore
  • Blocca URL numerici specifici che generano 404
  • Blocca cartelle di temi e plugin, ma NON i file media
  • Blocca cartelle di servizio che non dovrebbero mai essere pubbliche
  • Permetti esplicitamente l'accesso ai file caricati (immagini, PDF, etc.)
  • Permetti l'accesso ad admin-ajax.php, necessario per il rendering di alcuni siti
  • === Regole Specifiche per Bloccare il Training delle AI ===
  • Blocca i principali bot noti per la raccolta dati per l'addestramento di modelli AI
  • === Posizione della Sitemap ===
  • Aiuta i crawler a trovare tutte le tue pagine importanti.
Back to top