Log In Sign Up

cocinanova.com
robots.txt

Robots Exclusion Standard data for cocinanova.com

Resource Scan

Scan Details

Site Domain cocinanova.com
Base Domain cocinanova.com
Scan Status Ok
Last Scan2025-11-02T20:59:23+00:00
Next Scan 2025-11-09T20:59:23+00:00

Last Scan

Scanned2025-11-02T20:59:23+00:00
URL https://cocinanova.com/robots.txt
Domain IPs 132.148.220.156
Response IP 132.148.220.156
Found Yes
Hash ad349a8b0d8af5e6dc419da6a925aa381d69a4ae9816b1d9554106312c2f2d17
SimHash d8f84e100443

Groups

googlebot

Rule Path
Disallow /?s=
Disallow /search
Disallow /feed/*
Disallow /feed
Disallow /comments/feed
Disallow /*/feed/*
Disallow /*/feed/rss/*
Disallow /*/trackback/*
Disallow /*/*/feed/*
Disallow /*/*/feed/rss/*
Disallow /*/*/trackback/*
Disallow /*/*/*/feed/*
Disallow /*/*/*/feed/rss/*
Disallow /*/*/*/trackback/*

msiecrawler

Rule Path
Disallow /

webcopier

Rule Path
Disallow /

httrack

Rule Path
Disallow /

microsoft.url.control

Rule Path
Disallow /

libwww

Rule Path
Disallow /

duggmirror

Rule Path
Disallow /

bingbot

Rule Path
Disallow /

twitterbot

Rule Path
Disallow /

facebot

Rule Path
Disallow /

noxtrumbot

Rule Path
Disallow /

msnbot

Rule Path
Disallow /

slurp

Rule Path
Disallow /

*

Rule Path
Disallow /private/
Disallow /wp-content/uploads/
Disallow /wp-content/plugins/
Disallow /wp-content/themes/
Disallow /wp-includes/
Disallow /wp-admin/
Disallow /wp-
Back to top

Comments

  • Sitemap permitido, busquedas no.
  • Permitimos el feed general para Google Blogsearch.
  • Impedimos que permalink/feed/ sea indexado ya que el
  • feed con los comentarios suele posicionarse en lugar de
  • la entrada y desorienta a los usuarios.
  • Lo mismo con URLs terminadas en /trackback/ que solo
  • sirven como Trackback URI (y son contenido duplicado).
  • A partir de aqui es opcional pero recomendado.
  • Lista de bots que suelen respetar el robots.txt pero rara
  • vez hacen un buen uso del sitio y abusan bastante
  • Agregar a gusto del consumidor
  • User-agent: Mediapartners-Google
  • Disallow: /
  • User-agent: Googlebot-Image
  • Disallow: /
  • User-agent: Adsbot-Google
  • Disallow: /
  • Slurp (Yahoo!), Noxtrum y el bot de MSN a veces tienen
  • idas de pinza, toca decirles que reduzcan la marcha.
  • El valor es en segundos y podeis dejarlo bajo e ir
  • subiendo hasta el punto optimo.
  • Primero el contenido adjunto.
  • Tambien podemos desindexar todo lo que empiece
  • por wp-. Es lo mismo que los Disallow de arriba pero
  • incluye cosas como wp-rss.php
Back to top