Log In Sign Up

akirelax.es
robots.txt

Robots Exclusion Standard data for akirelax.es

Resource Scan

Scan Details

Site Domain akirelax.es
Base Domain akirelax.es
Scan Status Failed
Failure StageFetching resource.
Failure ReasonCouldn't connect to server.
Last Scan2025-11-10T11:08:10+00:00
Next Scan 2026-02-08T11:08:10+00:00

Last Successful Scan

Scanned2025-04-14T10:53:38+00:00
URL https://akirelax.es/robots.txt
Domain IPs 185.23.118.147
Response IP 185.23.118.147
Found Yes
Hash a37dcd23cd5b807166192995f6d9894957697042c592c58b9b7db0be0e844fca
SimHash 98dc4e100457

Groups

*

Rule Path
Allow /wp-content/uploads/
Disallow /wp-content/plugins/
Disallow /wp-content/themes/
Disallow /wp-includes/
Disallow /wp-admin/
Disallow /wp-
Disallow /?s=
Disallow /search
Allow /feed/$
Disallow /feed
Disallow /comments/feed
Disallow /*/feed/$
Disallow /*/feed/rss/$
Disallow /*/trackback/$
Disallow /*/*/feed/$
Disallow /*/*/feed/rss/$
Disallow /*/*/trackback/$
Disallow /*/*/*/feed/$
Disallow /*/*/*/feed/rss/$
Disallow /*/*/*/trackback/$

msiecrawler

Rule Path
Disallow /

webcopier

Rule Path
Disallow /

httrack

Rule Path
Disallow /

microsoft.url.control

Rule Path
Disallow /

libwww

Rule Path
Disallow /

noxtrumbot

No rules defined. All paths allowed.

Other Records

Field Value
crawl-delay 50

msnbot

No rules defined. All paths allowed.

Other Records

Field Value
crawl-delay 30

slurp

No rules defined. All paths allowed.

Other Records

Field Value
crawl-delay 10
Back to top

Other Records

Field Value
sitemap http://akirelax.es/sitemap_index.xml
Back to top

Comments

  • robots.txt para tu blog en WordPress.
  • Usar bajo propia responsabilidad, que nos conocemos }:)
  • http://sigt.net/archivo/robotstxt-para-wordpress.xhtml
  • Primero el contenido adjunto.
  • También podemos desindexar todo lo que empiece
  • por wp-. Es lo mismo que los Disallow de arriba pero
  • incluye cosas como wp-rss.php
  • Sitemap permitido, búsquedas no.
  • Permitimos el feed general para Google Blogsearch.
  • Impedimos que permalink/feed/ sea indexado ya que el
  • feed con los comentarios suele posicionarse en lugar de
  • la entrada y desorienta a los usuarios.
  • Lo mismo con URLs terminadas en /trackback/ que sólo
  • sirven como Trackback URI (y son contenido duplicado).
  • A partir de aquí es opcional pero recomendado.
  • Lista de bots que suelen respetar el robots.txt pero rara
  • vez hacen un buen uso del sitio y abusan bastante
  • Añadir al gusto del consumidor
  • Slurp (Yahoo!), Noxtrum y el bot de MSN a veces tienen
  • idas de pinza, toca decirles que reduzcan la marcha.
  • El valor es en segundos y podéis dejarlo bajo e ir
  • subiendo hasta el punto óptimo.
Back to top