caritas.es
robots.txt

Robots Exclusion Standard data for caritas.es

Resource Scan

Scan Details

Site Domain caritas.es
Base Domain caritas.es
Scan Status Ok
Last Scan2026-02-23T21:54:26+00:00
Next Scan 2026-03-25T21:54:26+00:00

Last Scan

Scanned2026-02-23T21:54:26+00:00
URL https://caritas.es/robots.txt
Redirect https://www.caritas.es/robots.txt
Redirect Domain www.caritas.es
Redirect Base caritas.es
Domain IPs 192.124.249.35
Redirect IPs 192.124.249.35
Response IP 192.124.249.35
Found Yes
Hash 8717df24f6363c35accf2d6085bc760747a958af8b8f1f20a0f3830cd2e64c25
SimHash 31c26a52cf31

Groups

*

Rule Path Comment
Disallow /wp-admin/ -
Allow /wp-admin/admin-ajax.php -
Allow /wp-content/uploads/ -
Allow /main-files/uploads/ -
Disallow /author/ -
Disallow /wp-json/ -
Disallow /?s= bloquea búsquedas internas
Disallow /attachment/ -
Disallow /*.pdf$ -

Comments

  • Permitir solo archivos subidos, no attachment pages
  • Bloquear URLs problemáticas
  • 🔒 Bloquear páginas de adjuntos (muy común causa de contenido duplicado en WordPress)
  • 🔒 Opcional: bloquear PDFs directamente si quieres que solo se indexen las páginas HTML que los contienen
  • Bots espec