Log In Sign Up

feveda.org
robots.txt

Robots Exclusion Standard data for feveda.org

Resource Scan

Scan Details

Site Domain feveda.org
Base Domain feveda.org
Scan Status Ok
Last Scan2025-09-02T04:24:30+00:00
Next Scan 2025-10-02T04:24:30+00:00

Last Scan

Scanned2025-09-02T04:24:30+00:00
URL https://feveda.org/robots.txt
Domain IPs 216.246.47.165
Response IP 216.246.47.165
Found Yes
Hash 09a8f4984179afe8d876d5e925d6d4ed3633bfcbb23f29a7e71d659968116e4e
SimHash 6a78c812da38

Groups

*

Rule Path Comment
Disallow /wp-admin/ -
Disallow /wp-includes/ -
Disallow /wp-content/plugins/ -
Disallow /wp-content/themes/*.php -
Disallow /xmlrpc.php -
Disallow /feed/ -
Disallow /comments/feed/ -
Disallow /trackback/ -
Disallow /wp-content/themes/*.php -
Disallow /wp-login.php -
Disallow /register/ -
Disallow /readme.html -
Disallow /license.txt -
Disallow /wp-config.php Esto es crucial por seguridad, aunque ya debería estar protegido por Apache/Nginx
Disallow /fotos/admin/ -

meta-externalagent

Rule Path
Disallow /fotos/explore/trending/
Disallow /fotos/admin/

Other Records

Field Value
crawl-delay 10

semrushbot

Rule Path
Disallow /

ahrefsbot

Rule Path
Disallow /

barkrowler

Rule Path
Disallow /

mj12bot

Rule Path
Disallow /

petalbot

Rule Path
Disallow /wp-admin/

Other Records

Field Value
crawl-delay 10

bytespider

Rule Path
Disallow /wp-admin/

Other Records

Field Value
crawl-delay 10
Back to top

Other Records

Field Value
sitemap https://feveda.org/sitemap.xml
Back to top

Comments

  • Reglas generales para todos los User-agents
  • Bloquea directorios y archivos comunes de WordPress que no necesitan ser rastreados
  • Bloquea feeds que pueden generar mucho tráfico innecesario
  • Bloquea archivos de temas PHP que no son relevantes para el rastreo
  • Bloquea la página de registro/login si no quieres que sea indexada
  • Bloquea archivos y directorios que no deben ser públicos
  • ***** IMPORTANTE: AÑADIR ESTA LÍNEA PARA BLOQUEAR /fotos/admin/ para TODOS LOS BOTS *****
  • Reglas específicas para el rastreador de Facebook (Meta)
  • Bloquea la sección de fotos que está generando excesivo tráfico
  • ***** IMPORTANTE: AÑADIR ESTA LÍNEA AQUÍ TAMBIÉN PARA ASEGURAR EL BLOQUEO A META *****
  • Pide al bot de Facebook que espere 10 segundos entre cada solicitud
  • Esto reducirá drásticamente la frecuencia de sus peticiones
  • Bloqueo completo para SemrushBot
  • Como no lo utilizas, esto evita que rastree tu sitio y consuma recursos.
  • Bloqueo completo para AhrefsBot
  • Como no lo utilizas, esto evita que rastree tu sitio y consuma recursos.
  • Reglas para otros bots específicos que pueden ser muy activos y consumir recursos
  • Ajusta estos valores de Crawl-delay según el tráfico que veas en tus logs
  • Este bot de ByteDance (TikTok) a veces puede ser agresivo
  • Indica la ubicación de tu sitemap.xml
  • Reemplaza 'https://tudominio.com' con la URL real de tu sitio.
  • Esto ayuda a los motores de búsqueda a indexar tu contenido de manera eficiente.
Back to top

Warnings

  • 5 invalid lines.
Back to top