Log In Sign Up

todofichajes.okdiario.com
robots.txt

Robots Exclusion Standard data for todofichajes.okdiario.com

Resource Scan

Scan Details

Site Domain todofichajes.okdiario.com
Base Domain okdiario.com
Scan Status Failed
Failure StageFetching resource.
Failure ReasonServer returned a client error.
Last Scan2024-10-29T09:08:26+00:00
Next Scan 2024-12-28T09:08:26+00:00

Last Successful Scan

Scanned2024-08-31T09:07:13+00:00
URL https://todofichajes.okdiario.com/robots.txt
Redirect https://todofichajes.com/robots.txt
Redirect Domain todofichajes.com
Redirect Base todofichajes.com
Domain IPs 104.18.18.5, 104.18.19.5, 2606:4700::6812:1205, 2606:4700::6812:1305
Redirect IPs 46.16.62.219
Response IP 46.16.62.219
Found Yes
Hash 210874f185c3eea076fe758d7ab24f21720aab0f070658e155859d686603a360
SimHash 88581a100453

Groups

*

Rule Path
Disallow /wp-admin/
Disallow /wp-includes/
Disallow /wp-content/plugins/
Disallow /wp-content/themes/
Disallow /readme.html
Disallow /license.txt
Disallow /wp-config.php
Disallow /wp-login.php
Disallow /xmlrpc.php
Disallow /trackback/
Disallow /comments/
Disallow */trackback/
Disallow */comments/
Disallow /*?*
Allow /wp-content/uploads/
Disallow /?s=
Disallow /search
Disallow /feed/$
Allow /feed
Disallow /comments/feed
Disallow /*/feed/$
Disallow /*/feed/rss/$
Disallow /*/trackback/$
Disallow /*/*/feed/$
Disallow /*/*/feed/rss/$
Disallow /*/*/trackback/$
Disallow /*/*/*/feed/$
Disallow /*/*/*/feed/rss/$
Disallow /*/*/*/trackback/$

msiecrawler

Rule Path
Disallow /

webcopier

Rule Path
Disallow /

httrack

Rule Path
Disallow /

microsoft.url.control

Rule Path
Disallow /

libwww

Rule Path
Disallow /

*

No rules defined. All paths allowed.

Other Records

Field Value
crawl-delay 150
Back to top

Comments

  • Primero el contenido adjunto.
  • Sitemap permitido, busquedas no.
  • Permitimos el feed general para Google Blogsearch.
  • Impedimos que permalink/feed/ sea indexado ya que el
  • feed con los comentarios suele posicionarse en lugar de
  • la entrada y desorienta a los usuarios.
  • Lo mismo con URLs terminadas en /trackback/ que solo
  • sirven como Trackback URI (y son contenido duplicado).
  • A partir de aqui­ es opcional pero recomendado.
  • Lista de bots que suelen respetar el robots.txt pero rara
  • vez hacen un buen uso del sitio y abusan bastante
  • Slurp (Yahoo!), Noxtrum y el bot de MSN a veces tienen
  • idas de pinza, toca decirles que reduzcan la marcha.
  • El valor es en segundos y podais dejarlo bajo e ir
  • subiendo hasta el punto optimo.
Back to top

Warnings

  • `https` is not a known field.
Back to top