Log In Sign Up

bajenlo.com
robots.txt

Robots Exclusion Standard data for bajenlo.com

Resource Scan

Scan Details

Site Domain bajenlo.com
Base Domain bajenlo.com
Scan Status Failed
Failure StageFetching resource.
Failure ReasonCouldn't connect to server.
Last Scan2025-11-06T10:03:31+00:00
Next Scan 2026-02-04T10:03:31+00:00

Last Successful Scan

Scanned2023-01-12T06:18:06+00:00
URL https://bajenlo.com/robots.txt
Domain IPs 170.249.236.167
Response IP 170.249.236.167
Found Yes
Hash dbbb9c69c335d78e2f23ff43c5ebcfda6cf81525c2eb4eb386fa0c231d34dd8d
SimHash 4954cd830532

Groups

googlebot-image

Rule Path
Disallow
Allow /*

duggmirror

Rule Path
Disallow /

mediapartners-google

Rule Path
Allow /

*

Rule Path
Allow /wp-content/uploads/
Disallow /wp-
Disallow /?s=
Disallow /search/
Disallow /*.php$
Disallow /*.inc$
Allow /*.css
Allow /*.js
Disallow /cgi-bin/
Disallow /stats/
Disallow /logs/
Disallow /page*/
Disallow /comments/
Disallow /archives/
Disallow /author/
Disallow /tag/
Disallow /tags/
Disallow /feed*/
Disallow /*/feed/$
Disallow /*/feed/rss/$
Disallow /*/trackback/$
Disallow /*/*/feed/$
Disallow /*/*/feed/rss/$
Disallow /*/*/trackback/$
Disallow /*/*/*/feed/$
Disallow /*/*/*/feed/rss/$
Disallow /*/*/*/trackback/$
Disallow /trackback*/
Disallow /attachment*/

webcopier

Rule Path
Disallow /

httrack

Rule Path
Disallow /
Back to top

Other Records

Field Value
sitemap https://www.bajenlo.com/sitemap_index.xml
sitemap https://www.bajenlo.com/post-sitemap.xml
sitemap https://www.bajenlo.com/page-sitemap.xml
sitemap https://www.bajenlo.com/category-sitemap.xml
sitemap https://www.bajenlo.com/post_tag-sitemap.xml
Back to top

Comments

  • Ponemos todos los sitemaps
  • Google Image
  • digg mirror
  • Dejamos al robot de publicidad de google que entre hasta la cocina para evitar problemas con la publicidad en paginaciones, búsquedas, etc
  • Desindexamos todo lo que empiece por wp- a excepción de la carpeta uploads
  • Desindexamos cualquier tipo de búsqueda y cualquier ruta que pueda llevar el parámetro ? en la url
  • Desindexamos cualquier archivo que termine con la extensión .php .js .inc .css
  • Desindexamos carpetas de logs, estadísticas y scripts
  • Desindexamos todas las paginaciones
  • Desindexamos posibles páginas con contenido duplicado o que no nos interesan, entre ellas los archivos, los comentarios, las páginas de autor y las tags
  • Desindexamos los feeds, trackbacks y attachments
Back to top