Log In Sign Up

codifica.me
robots.txt

Robots Exclusion Standard data for codifica.me

Resource Scan

Scan Details

Site Domain codifica.me
Base Domain codifica.me
Scan Status Failed
Failure StageFetching resource.
Failure ReasonServer returned a client error.
Last Scan2025-10-05T20:03:53+00:00
Next Scan 2025-11-04T20:03:53+00:00

Last Successful Scan

Scanned2025-09-06T15:48:56+00:00
URL https://codifica.me/robots.txt
Domain IPs 107.6.184.180
Response IP 107.6.184.180
Found Yes
Hash 8728a034578b6a809b58b42baf1c67512622e6fe9d5561838511d4f02ef297eb
SimHash d87b0e110441

Groups

bingbot

Rule Path
Disallow /?s=
Disallow /search
Disallow /feed/*
Disallow /feed
Disallow /comments/feed
Disallow /wp-content/plugins/
Disallow /wp-content/themes/
Disallow /wp-includes/
Disallow /*/attachment/
Disallow /tag/*/page/
Disallow /tag/*/feed/
Disallow /page/
Disallow /*/feed/*
Disallow /*/feed/rss/*
Disallow /*/trackback/*
Disallow /*/*/feed/*
Disallow /*/*/feed/rss/*
Disallow /*/*/trackback/*
Disallow /*/*/*/feed/*
Disallow /*/*/*/feed/rss/*
Disallow /*/*/*/trackback/*
Disallow /solucion/tag/*
Disallow /solucion/user/*
Disallow /solucion/register*

googlebot

Rule Path
Disallow /?s=
Disallow /search
Disallow /feed/*
Disallow /feed
Disallow /comments/feed
Disallow /wp-content/plugins/
Disallow /wp-content/themes/
Disallow /wp-includes/
Disallow /*/attachment/
Disallow /tag/*/page/
Disallow /tag/*/feed/
Disallow /page/
Disallow /*/feed/*
Disallow /*/feed/rss/*
Disallow /*/trackback/*
Disallow /*/*/feed/*
Disallow /*/*/feed/rss/*
Disallow /*/*/trackback/*
Disallow /solucion/tag/*
Disallow /solucion/user/*
Disallow /solucion/register*

msiecrawler

Rule Path
Disallow /

webcopier

Rule Path
Disallow /

httrack

Rule Path
Disallow /

microsoft.url.control

Rule Path
Disallow /

libwww

Rule Path
Disallow /

noxtrumbot

Rule Path
Disallow /

Other Records

Field Value
crawl-delay 50

msnbot

Rule Path
Disallow /

Other Records

Field Value
crawl-delay 30

slurp

Rule Path
Disallow /

Other Records

Field Value
crawl-delay 10

*

Rule Path
Disallow /private
Disallow /wp-content/uploads
Disallow /wp-content/plugins
Disallow /wp-content/themes
Disallow /wp-includes
Disallow /wp-admin
Disallow /wp-
Back to top

Other Records

Field Value
sitemap http://www.codifica.me/sitemap_index.xml
sitemap http://www.codifica.me/sitemap_index.xml
Back to top

Comments

  • Sitemap permitido, búsquedas no.
  • Permitimos el feed general para Google Blogsearch.
  • Impedimos que permalink/feed/ sea indexado ya que el
  • feed con los comentarios suele posicionarse en lugar de
  • la entrada y desorienta a los usuarios.
  • Lo mismo con URLs terminadas en /trackback/ que sólo
  • sirven como Trackback URI (y son contenido duplicado).
  • A partir de aquí es opcional pero recomendado.
  • Lista de bots que suelen respetar el robots.txt pero rara
  • vez hacen un buen uso del sitio y abusan bastante…
  • Añadir al gusto del consumidor…
  • Slurp (Yahoo!), Noxtrum y el bot de MSN a veces tienen
  • idas de pinza, toca decirles que reduzcan la marcha.
  • El valor es en segundos y podéis dejarlo bajo e ir
  • subiendo hasta el punto óptimo.
  • Primero el contenido adjunto.
  • También podemos desindexar todo lo que empiece
  • por wp-. Es lo mismo que los Disallow de arriba pero
  • incluye cosas como wp-rss.php
Back to top