Log In Sign Up

todofichajes.com
robots.txt

Robots Exclusion Standard data for todofichajes.com

Resource Scan

Scan Details

Site Domain todofichajes.com
Base Domain todofichajes.com
Scan Status Failed
Failure ReasonScan timed out.
Last Scan2024-11-07T10:09:32+00:00
Next Scan 2024-12-07T10:09:32+00:00

Last Successful Scan

Scanned2024-10-09T09:58:13+00:00
URL https://todofichajes.com/robots.txt
Domain IPs 46.16.62.219
Response IP 46.16.62.219
Found Yes
Hash 93dac7010059e7836a4643632fbccdd0423467e5784c4b296342f525c3635bc8
SimHash 88585a100457

Groups

*

Rule Path
Disallow /wp-admin/
Disallow /wp-includes/
Disallow /wp-content/plugins/
Disallow /wp-content/themes/
Disallow /readme.html
Disallow /license.txt
Disallow /wp-config.php
Disallow /wp-login.php
Disallow /xmlrpc.php
Disallow /trackback/
Disallow /comments/
Disallow */trackback/
Disallow */comments/
Disallow /*?*
Allow /wp-content/uploads/
Disallow /?s=
Disallow /search
Disallow /feed/$
Allow /feed
Disallow /comments/feed
Disallow /*/feed/$
Disallow /*/feed/rss/$
Disallow /*/trackback/$
Disallow /*/*/feed/$
Disallow /*/*/feed/rss/$
Disallow /*/*/trackback/$
Disallow /*/*/*/feed/$
Disallow /*/*/*/feed/rss/$
Disallow /*/*/*/trackback/$

msiecrawler

Rule Path
Disallow /

webcopier

Rule Path
Disallow /

httrack

Rule Path
Disallow /

microsoft.url.control

Rule Path
Disallow /

libwww

Rule Path
Disallow /

*

No rules defined. All paths allowed.

Other Records

Field Value
crawl-delay 150

googlebot

No rules defined. All paths allowed.

Other Records

Field Value
crawl-delay 300

bingbot

No rules defined. All paths allowed.

Other Records

Field Value
crawl-delay 300

msnbot

No rules defined. All paths allowed.

Other Records

Field Value
crawl-delay 300

facebookexternalhit/1.1

No rules defined. All paths allowed.

Other Records

Field Value
crawl-delay 600
Back to top

Comments

  • Primero el contenido adjunto.
  • Sitemap permitido, busquedas no.
  • Permitimos el feed general para Google Blogsearch.
  • Impedimos que permalink/feed/ sea indexado ya que el
  • feed con los comentarios suele posicionarse en lugar de
  • la entrada y desorienta a los usuarios.
  • Lo mismo con URLs terminadas en /trackback/ que solo
  • sirven como Trackback URI (y son contenido duplicado).
  • A partir de aqui­ es opcional pero recomendado.
  • Lista de bots que suelen respetar el robots.txt pero rara
  • vez hacen un buen uso del sitio y abusan bastante
  • Slurp (Yahoo!), Noxtrum y el bot de MSN a veces tienen
  • idas de pinza, toca decirles que reduzcan la marcha.
  • El valor es en segundos y podais dejarlo bajo e ir
  • subiendo hasta el punto optimo.
Back to top

Warnings

  • `https` is not a known field.
Back to top