Log In Sign Up

tatuajess.com
robots.txt

Robots Exclusion Standard data for tatuajess.com

Resource Scan

Scan Details

Site Domain tatuajess.com
Base Domain tatuajess.com
Scan Status Ok
Last Scan2025-09-22T13:16:26+00:00
Next Scan 2025-09-29T13:16:26+00:00

Last Scan

Scanned2025-09-22T13:16:26+00:00
URL https://tatuajess.com/robots.txt
Domain IPs 50.31.176.9
Response IP 50.31.176.9
Found Yes
Hash 389cfdb15751a6eed9e57dfd314fffb3d4427fe3bf8c6300dbb4101c6918403f
SimHash a9ddce1a1636

Groups

*

Rule Path
Allow /wp-content/uploads/
Allow /feed/$
Allow /wp-content/plugins/
Allow /wp-content/themes/
Allow /wp-includes/
Disallow /wp-admin/
Disallow /wp-
Disallow /?s=
Disallow /search
Disallow /comments/feed
Disallow /*/feed/$
Disallow /*/feed/rss/$
Disallow /*/trackback/$
Disallow /*/*/feed/$
Disallow /*/*/feed/rss/$
Disallow /*/*/trackback/$
Disallow /*/*/*/feed/$
Disallow /*/*/*/feed/rss/$
Disallow /*/*/*/trackback/$

googlebot

Rule Path
Disallow /*.inc$
Disallow /*.gz$
Disallow /*.wmv$
Disallow /*.cgi$
Disallow /*.xhtml$
Allow /*.txt$
Allow /*.js$
Allow /*.css$

mediapartners-google

Rule Path
Disallow

googlebot-image

Rule Path
Disallow

msiecrawler

Rule Path
Disallow /

webcopier

Rule Path
Disallow /

httrack

Rule Path
Disallow /

microsoft.url.control

Rule Path
Disallow /

libwww

Rule Path
Disallow /

duggmirror

Rule Path
Disallow /

noxtrumbot

No rules defined. All paths allowed.

Other Records

Field Value
crawl-delay 50

msnbot

No rules defined. All paths allowed.

Other Records

Field Value
crawl-delay 30

slurp

No rules defined. All paths allowed.

Other Records

Field Value
crawl-delay 10
Back to top

Other Records

Field Value
sitemap https://tatuajess.com/sitemap.xml
Back to top

Comments

  • El sitemap se genera con el plugin XML-Sitemap Generator, y le indico
  • a los rastreadores que lleguen a mi sitio que éste es el sitemap que
  • contiene todas las páginas que deben indexar.
  • Quiero que accedan a las imágenes y al feed principal para sus redes de blogs,
  • pero no a las secciones de administración de Wordpress, ni a los resultados
  • de búsqueda internos, ni a los feeds que crean duplicidades. Los rastreadores
  • no los necesitan.
  • Para Google, que no indexe los scripts o ficheros que tenemos en la raíz
  • de nuestro alojamiento web.
  • Si usas AdSense debes permitirle la entrada a su bot para
  • contextualizar mejor los anuncios.
  • Le permitimos el acceso al indexador de imágenes de Google.
  • No nos interesa que entren ciertos rastreadores que abusan de nuestro
  • ancho de banda con pings y llamadas que no son visitas de usuarios.
  • Evitaremos el acceso del bot de Digg, duggmirror. Este bot puede sobrecargar
  • innecesariamente nuestro sitio y además crear contenido duplicado de nuestro
  • sitio. Yo recomiendo no poner enlaces en digg antes de que sean indexados los
  • de vuestro sitio. Mientras, si nadie lo hace, esto hará su trabajo.
  • Y hacemos que ciertos bots reduzcan la marcha porque, según he leído
  • por ahí, se van de la olla a veces. Literalmente.
Back to top