Log In Sign Up

erphere.com
robots.txt

Robots Exclusion Standard data for erphere.com

Resource Scan

Scan Details

Site Domain erphere.com
Base Domain erphere.com
Scan Status Failed
Failure StageFetching resource.
Failure ReasonServer returned a client error.
Last Scan2025-09-07T06:15:59+00:00
Next Scan 2025-12-06T06:15:59+00:00

Last Successful Scan

Scanned2025-04-18T02:58:45+00:00
URL https://erphere.com/robots.txt
Domain IPs 104.21.45.57, 172.67.210.103, 2606:4700:3030::6815:2d39, 2606:4700:3034::ac43:d267
Response IP 172.67.210.103
Found Yes
Hash f64c2f7eaca99d9667c3636d135c76f2d042d379c2ea4538affc1bfdf06134ad
SimHash 3a530f562f12

Groups

*

Rule Path
Disallow /wp-admin/
Allow /wp-admin/admin-ajax.php
Disallow /wp-includes/
Disallow /wp-content/plugins/
Disallow /wp-content/themes/
Disallow /wp-content/cache/
Disallow /xmlrpc.php
Disallow /*?*
Disallow /trackback/
Disallow /comments/

Other Records

Field Value
crawl-delay 10
Back to top

Other Records

Field Value
sitemap https://erphere.com/sitemap_index.xml
Back to top

Comments

  • Rob: Este archivo robots.txt controla el comportamiento de los rastreadores web (bots) que acceden al sitio.
  • Especifica qué secciones del sitio pueden ser rastreadas y cuáles no, con el objetivo de optimizar el uso del servidor
  • y evitar que contenido innecesario o sensible sea indexado por motores de búsqueda.
  • Sección 1: Reglas generales para todos los rastreadores
  • Se bloquea el acceso al directorio de administración de WordPress.
  • Se permite el acceso al archivo admin-ajax.php, necesario para algunas funcionalidades de WordPress.
  • Se bloquea el acceso al directorio de includes de WordPress, que contiene archivos internos del sistema.
  • Se bloquea el acceso a los directorios de plugins, temas y caché para proteger información del sitio.
  • Se bloquea el acceso al archivo xmlrpc.php, usado en WordPress para conexiones remotas, pero que puede ser explotado por bots maliciosos.
  • Se bloquea el acceso a las URL que contengan parámetros de consulta para evitar contenido duplicado.
  • Se bloquea el acceso a las URL que terminan en /trackback/ y /comments/, no útiles para SEO y susceptibles a spam.
  • Sección 2: Sitemap
  • Se indica la ubicación del sitemap del sitio para que los rastreadores puedan encontrarlo fácilmente.
  • Sección 3: Control de la frecuencia de rastreo
  • Se solicita un retraso de 10 segundos entre cada solicitud de rastreo para reducir la carga en el servidor.
Back to top