Log In Sign Up

urielmania.com.mx
robots.txt

Robots Exclusion Standard data for urielmania.com.mx

Resource Scan

Scan Details

Site Domain urielmania.com.mx
Base Domain urielmania.com.mx
Scan Status Failed
Failure StageFetching resource.
Failure ReasonServer returned a client error.
Last Scan2025-04-07T15:03:34+00:00
Next Scan 2025-04-08T15:03:34+00:00

Last Successful Scan

Scanned2025-03-31T15:03:28+00:00
URL https://urielmania.com.mx/robots.txt
Domain IPs 104.21.20.164, 172.67.193.53, 2606:4700:3035::ac43:c135, 2606:4700:3037::6815:14a4
Response IP 172.67.193.53
Found Yes
Hash 60f3506a6022607bcea8896da7bcabb31a5222aa91a863c9219e23ac01074e56
SimHash 985d1c100457

Groups

*

Rule Path
Allow /wp-content/uploads/
Disallow /wp-content/plugins/
Disallow /wp-content/themes/
Disallow /wp-includes/
Disallow /wp-admin/
Disallow /wp-
Disallow /?s=
Disallow /search
Allow /feed/$
Disallow /feed
Disallow /comments/feed
Disallow /*/feed/$
Disallow /*/feed/rss/$
Disallow /*/trackback/$
Disallow /*/*/feed/$
Disallow /*/*/feed/rss/$
Disallow /*/*/trackback/$
Disallow /*/*/*/feed/$
Disallow /*/*/*/feed/rss/$
Disallow /*/*/*/trackback/$

msiecrawler

Rule Path
Disallow /

webcopier

Rule Path
Disallow /

httrack

Rule Path
Disallow /

microsoft.url.control

Rule Path
Disallow /

libwww

Rule Path
Disallow /

noxtrumbot

No rules defined. All paths allowed.

Other Records

Field Value
crawl-delay 50

msnbot

No rules defined. All paths allowed.

Other Records

Field Value
crawl-delay 30

slurp

No rules defined. All paths allowed.

Other Records

Field Value
crawl-delay 10
Back to top

Other Records

Field Value
sitemap http://tu-web/sitemap.xml
Back to top

Comments

  • robots.txt para tu blog en WordPress.
  • Usar bajo propia responsabilidad, que nos conocemos }:)
  • http://sigt.net/archivo/robotstxt-para-wordpress.xhtml
  • Primero el contenido adjunto.
  • Tambi�n podemos desindexar todo lo que empiece
  • por wp-. Es lo mismo que los Disallow de arriba pero
  • incluye cosas como wp-rss.php
  • Sitemap permitido, b�squedas no.
  • Permitimos el feed general para Google Blogsearch.
  • Impedimos que permalink/feed/ sea indexado ya que el
  • feed con los comentarios suele posicionarse en lugar de
  • la entrada y desorienta a los usuarios.
  • Lo mismo con URLs terminadas en /trackback/ que s�lo
  • sirven como Trackback URI (y son contenido duplicado).
  • A partir de aqu� es opcional pero recomendado.
  • Lista de bots que suelen respetar el robots.txt pero rara
  • vez hacen un buen uso del sitio y abusan bastante�
  • A�adir al gusto del consumidor�
  • Slurp (Yahoo!), Noxtrum y el bot de MSN a veces tienen
  • idas de pinza, toca decirles que reduzcan la marcha.
  • El valor es en segundos y pod�is dejarlo bajo e ir
  • subiendo hasta el punto �ptimo.
Back to top