accionesymercados.com.ar
robots.txt

Groups

googlebot

Other Records

msiecrawler

webcopier

httrack

microsoft.url.control

libwww

duggmirror

googlebot-image

adsbot-google

*

Comments

• Sitemap permitido, busquedas no.
• Permitimos el feed general para Google Blogsearch.
• Impedimos que permalink/feed/ sea indexado ya que el
• feed con los comentarios suele posicionarse en lugar de
• la entrada y desorienta a los usuarios.
• Lo mismo con URLs terminadas en /trackback/ que solo
• sirven como Trackback URI (y son contenido duplicado).
• A partir de aqui es opcional pero recomendado.
• Lista de bots que suelen respetar el robots.txt pero rara
• vez hacen un buen uso del sitio y abusan bastante
• Agregar a gusto del consumidor
• Slurp (Yahoo!), Noxtrum y el bot de MSN a veces tienen
• idas de pinza, toca decirles que reduzcan la marcha.
• El valor es en segundos y podeis dejarlo bajo e ir
• subiendo hasta el punto optimo.
• Primero el contenido adjunto.
• Tambien podemos desindexar todo lo que empiece
• por wp-. Es lo mismo que los Disallow de arriba pero
• incluye cosas como wp-rss.php