Log In Sign Up

arsepri.com
robots.txt

Robots Exclusion Standard data for arsepri.com

Resource Scan

Scan Details

Site Domain arsepri.com
Base Domain arsepri.com
Scan Status Ok
Last Scan2024-11-12T01:41:31+00:00
Next Scan 2024-11-19T01:41:31+00:00

Last Scan

Scanned2024-11-12T01:41:31+00:00
URL https://arsepri.com/robots.txt
Domain IPs 82.223.17.239
Response IP 82.223.17.239
Found Yes
Hash 19aaeb793503eaf3288c52f904228551fac0280008aff7b27d1a0bcefd5578b7
SimHash 83400354ce22

Groups

*

Rule Path
Disallow /cgi-bin/
Disallow /admin/
Disallow /private/
Disallow /wp-admin/
Disallow /wp-content/plugins/
Disallow /wp-content/themes/
Allow /
Allow /public/
Allow /robots.txt
Allow /sitemap.xml
Allow /favicon.ico
Allow /apple-touch-icon.png

googlebot

Rule Path
Disallow /contenido-no-deseado/
Back to top

Comments

  • Archivo robots.txt generado el 24 de junio de 2024
  • Identificador del agente usuario
  • Directorios que se prohíben a todos los robots
  • Directorios que se permiten a todos los robots
  • Archivos específicos que se permiten a todos los robots
  • Directivas para robots específicos (opcional)
  • Comentarios (no interpretados por los robots)
  • Esta sección se puede usar para documentar tu archivo robots.txt
  • Puedes agregar información sobre tu sitio web, las directivas utilizadas
  • y los motivos de las exclusiones.
  • Ejemplo:
  • Este archivo robots.txt prohíbe el acceso a directorios de administración,
  • plugins y temas de WordPress, por razones de seguridad.
  • Se permite el acceso al directorio público, robots.txt, sitemap.xml,
  • favicon.ico y apple-touch-icon.png.
  • Se ha añadido una directiva específica para Googlebot,
  • bloqueando el acceso a la sección /contenido-no-deseado/.
Back to top