Log In Sign Up

solucionaeso.com
robots.txt

Robots Exclusion Standard data for solucionaeso.com

Resource Scan

Scan Details

Site Domain solucionaeso.com
Base Domain solucionaeso.com
Scan Status Failed
Failure StageFetching resource.
Failure ReasonCouldn't connect to server.
Last Scan2025-09-23T19:06:12+00:00
Next Scan 2025-12-22T19:06:12+00:00

Last Successful Scan

Scanned2024-03-03T04:26:19+00:00
URL https://solucionaeso.com/robots.txt
Domain IPs 104.21.73.14, 172.67.137.68, 2606:4700:3033::ac43:8944, 2606:4700:3036::6815:490e
Response IP 104.21.73.14
Found Yes
Hash 9de81fa261b0d9fe44160f755b9af00d66234cbaaa7a8a190453e214d291a991
SimHash d8f84e100443

Groups

googlebot

Rule Path
Disallow /?s=
Disallow /search
Disallow /feed/*
Disallow /feed
Disallow /comments/feed
Disallow /*/feed/*
Disallow /*/feed/rss/*
Disallow /*/trackback/*
Disallow /*/*/feed/*
Disallow /*/*/feed/rss/*
Disallow /*/*/trackback/*
Disallow /*/*/*/feed/*
Disallow /*/*/*/feed/rss/*
Disallow /*/*/*/trackback/*

Other Records

Field Value
crawl-delay 120

msiecrawler

Rule Path
Disallow /

webcopier

Rule Path
Disallow /

httrack

Rule Path
Disallow /

microsoft.url.control

Rule Path
Disallow /

libwww

Rule Path
Disallow /

duggmirror

Rule Path
Disallow /

mediapartners-google

Rule Path
Disallow /

googlebot-image

Rule Path
Disallow /

adsbot-google

Rule Path
Disallow /

bingbot

Rule Path
Disallow /

twitterbot

Rule Path
Disallow /

facebot

Rule Path
Disallow /

noxtrumbot

Rule Path
Disallow /

Other Records

Field Value
crawl-delay 50

msnbot

Rule Path
Disallow /

Other Records

Field Value
crawl-delay 120

slurp

Rule Path
Disallow /

Other Records

Field Value
crawl-delay 10

*

Rule Path
Disallow /private/
Disallow /wp-content/uploads/
Disallow /wp-content/plugins/
Disallow /wp-content/themes/
Disallow /wp-includes/
Disallow /wp-admin/
Disallow /wp-
Back to top

Comments

  • Sitemap permitido, busquedas no.
  • Permitimos el feed general para Google Blogsearch.
  • Impedimos que permalink/feed/ sea indexado ya que el
  • feed con los comentarios suele posicionarse en lugar de
  • la entrada y desorienta a los usuarios.
  • Lo mismo con URLs terminadas en /trackback/ que solo
  • sirven como Trackback URI (y son contenido duplicado).
  • A partir de aqui es opcional pero recomendado.
  • Lista de bots que suelen respetar el robots.txt pero rara
  • vez hacen un buen uso del sitio y abusan bastante
  • Agregar a gusto del consumidor
  • Slurp (Yahoo!), Noxtrum y el bot de MSN a veces tienen
  • idas de pinza, toca decirles que reduzcan la marcha.
  • El valor es en segundos y podeis dejarlo bajo e ir
  • subiendo hasta el punto optimo.
  • Primero el contenido adjunto.
  • Tambien podemos desindexar todo lo que empiece
  • por wp-. Es lo mismo que los Disallow de arriba pero
  • incluye cosas como wp-rss.php
Back to top