Log In Sign Up

turismored.com.ar
robots.txt

Robots Exclusion Standard data for turismored.com.ar

Resource Scan

Scan Details

Site Domain turismored.com.ar
Base Domain turismored.com.ar
Scan Status Failed
Failure ReasonScan timed out.
Last Scan2024-08-16T17:54:45+00:00
Next Scan 2024-10-15T17:54:45+00:00

Last Successful Scan

Scanned2024-06-18T17:53:52+00:00
URL http://turismored.com.ar/robots.txt
Domain IPs 200.58.111.33, 2800:6c0:2::89
Response IP 200.58.111.33
Found Yes
Hash 55d5e8b453e4367ed20f6599e8c9528a2e61ce6c75fbe2f54892640876df5a6a
SimHash d8f84e100443

Groups

googlebot

Rule Path
Disallow /?s=
Disallow /search
Disallow /feed/*
Disallow /feed
Disallow /comments/feed
Disallow /*/feed/*
Disallow /*/feed/rss/*
Disallow /*/trackback/*
Disallow /*/*/feed/*
Disallow /*/*/feed/rss/*
Disallow /*/*/trackback/*
Disallow /*/*/*/feed/*
Disallow /*/*/*/feed/rss/*
Disallow /*/*/*/trackback/*

Other Records

Field Value
crawl-delay 120

msiecrawler

Rule Path
Disallow /

webcopier

Rule Path
Disallow /

httrack

Rule Path
Disallow /

microsoft.url.control

Rule Path
Disallow /

libwww

Rule Path
Disallow /

duggmirror

Rule Path
Disallow /

mediapartners-google

Rule Path
Disallow /

googlebot-image

Rule Path
Disallow /

adsbot-google

Rule Path
Disallow /

bingbot

Rule Path
Disallow /

twitterbot

Rule Path
Disallow /

facebot

Rule Path
Disallow /

noxtrumbot

Rule Path
Disallow /

Other Records

Field Value
crawl-delay 50

msnbot

Rule Path
Disallow /

Other Records

Field Value
crawl-delay 120

slurp

Rule Path
Disallow /

Other Records

Field Value
crawl-delay 10

*

Rule Path
Disallow /private/
Disallow /wp-content/uploads/
Disallow /wp-content/plugins/
Disallow /wp-content/themes/
Disallow /wp-includes/
Disallow /wp-admin/
Disallow /wp-
Back to top

Comments

  • Sitemap permitido, busquedas no.
  • Permitimos el feed general para Google Blogsearch.
  • Impedimos que permalink/feed/ sea indexado ya que el
  • feed con los comentarios suele posicionarse en lugar de
  • la entrada y desorienta a los usuarios.
  • Lo mismo con URLs terminadas en /trackback/ que solo
  • sirven como Trackback URI (y son contenido duplicado).
  • A partir de aqui es opcional pero recomendado.
  • Lista de bots que suelen respetar el robots.txt pero rara
  • vez hacen un buen uso del sitio y abusan bastante
  • Agregar a gusto del consumidor
  • Slurp (Yahoo!), Noxtrum y el bot de MSN a veces tienen
  • idas de pinza, toca decirles que reduzcan la marcha.
  • El valor es en segundos y podeis dejarlo bajo e ir
  • subiendo hasta el punto optimo.
  • Primero el contenido adjunto.
  • Tambien podemos desindexar todo lo que empiece
  • por wp-. Es lo mismo que los Disallow de arriba pero
  • incluye cosas como wp-rss.php
Back to top