Log In Sign Up

muebl.art
robots.txt

Robots Exclusion Standard data for muebl.art

Resource Scan

Scan Details

Site Domain muebl.art
Base Domain muebl.art
Scan Status Ok
Last Scan2026-03-01T11:07:55+00:00
Next Scan 2026-03-08T11:07:55+00:00

Last Scan

Scanned2026-03-01T11:07:55+00:00
URL https://muebl.art/robots.txt
Domain IPs 205.209.126.98
Response IP 205.209.126.98
Found Yes
Hash 27a44002399cfc350e35db0c8de77c0e52d0615c549f1e4924df676db9bbc785
SimHash 34d48b52ef64

Groups

*

Rule Path
Allow /*.css$
Allow /*.js$
Allow /wp-includes/css/
Allow /wp-includes/js/
Allow /wp-content/uploads/
Allow /*.png$
Allow /*.jpg$
Allow /*.jpeg$
Allow /*.webp$
Allow /*.gif$

*

Rule Path Comment
Allow /wp-content/uploads/ -
Allow /wp-content/themes/*.css$ -
Allow /wp-content/themes/*.js$ -
Allow /wp-content/plugins/*.css$ -
Allow /wp-content/plugins/*.js$ -
Disallow /wp-content/plugins/ -
Disallow /wp-content/themes/ -
Disallow /readme.html -
Disallow /license.txt -
Disallow /xmlrpc.php -
Disallow /admin/ -
Disallow /wp-admin/ -
Allow /wp-admin/admin-ajax.php -
Disallow /wp-login.php -
Disallow /wp-signup.php -
Disallow /wp-activate.php -
Disallow /checkout/ -
Disallow /cart/ -
Disallow /finalizar-compra/ -
Disallow /carrito/ -
Disallow /my-account/ -
Disallow /perfil/ -
Disallow /mi-cuenta/ -
Disallow /cuenta/ -
Disallow /*login* -
Disallow /*gracias* -
Disallow /*confirmacion* -
Disallow /*orden-recibida* -
Disallow /*/trackback/$ Bloqueo de trackbacks
Disallow /*/comment-page-*$ Bloqueo de paginación de comentarios
Disallow /search/ -
Disallow /busqueda/ -
Disallow /*?filter=* -
Disallow /*?sort=* -
Disallow /*?dir=* -
Disallow /*?limit=* -
Disallow /*?p=* -
Disallow /*?replytocom=* -
Disallow /*?sid=* -
Disallow /*?lang=* -
Disallow /*?currency=* Parámetro común en e-commerce
Disallow /*?add-to-cart=* Carritos AJAX de WooCommerce
Disallow /author/ Bloquea archivos de autor si no son únicos
Disallow /*/feed/$ -
Disallow /*/rdf$ -
Disallow /*/atom$ -
Disallow /comentarios/ -
Disallow /*.tmp$ -
Disallow /*.temp$ -
Disallow /*.bak$ -
Disallow /*.zip$ -
Disallow /*.rar$ -
Disallow /*.gz$ -
Disallow /*.sql$ -
Disallow /*.yml$ -
Disallow /*.htaccess$ Archivos de configuración críticos
Disallow /wp-content/plugins/ -
Disallow /wp-content/themes/ -
Disallow /readme.html -
Disallow /license.txt -
Disallow /xmlrpc.php -

ccbot

Rule Path Comment
Disallow / Evita que Common Crawl use tu web para entrenar LLMs ajenos

perplexitybot

Rule Path Comment
Allow / Prioriza aparecer en respuestas de Answer Engines

*

Rule Path
Disallow /*?utm_*
Disallow /*?fbclid=
Disallow /*?gclid=
Disallow /*?_ga=
Disallow /*?*utm*=
Disallow /*?*fbclid=
Disallow /*?*gclid=
Disallow /*?*replytocom=
Disallow /*?*add-to-cart=
Disallow /*?*filter_*=
Disallow /*?*orderby=

googlebot

Rule Path
Allow /

Other Records

Field Value Comment
crawl-delay 0 Asegura rastreo rápido

google-extended

Rule Path
Allow /

gptbot

Rule Path
Allow /

claudebot

Rule Path
Allow /

ahrefsbot

No rules defined. All paths allowed.

Other Records

Field Value Comment
crawl-delay 10 1 solicitud cada 10 segundos

semrushbot

No rules defined. All paths allowed.

Other Records

Field Value Comment
crawl-delay 5 1 solicitud cada 5 segundos

majesticseo

Rule Path Comment
Disallow / Bloqueo completo si no usas la herramienta

Other Records

Field Value
crawl-delay 10

dotbot

Product Comment
dotbot Bot común y agresivo de Moz

No rules defined. All paths allowed.

Other Records

Field Value
crawl-delay 20
Back to top

Comments

  • -------------------------------------------------------------
  • Archivo robots.txt SUPREMO OPTIMIZADO (2027)
  • Optimizacion Avanzada para WordPress 6.9+, SEO, Rendimiento y Rastreadores IA.
  • -------------------------------------------------------------
  • =============================================================
  • Directivas Globales para TODOS los rastreadores (User-agent: *)
  • =============================================================
  • --- ACCESO ESENCIAL PARA RENDERIZACION (IA Visual, UX, Mobile-First) ---
  • Googlebot y otras IAs necesitan CSS/JS/Imágenes para renderizar tu sitio correctamente
  • y evaluar UX móvil y Core Web Vitals. Permitimos acceso a recursos cruciales.
  • Permitir archivos de imagen esenciales para la renderización
  • RENDERIZADO HÍBRIDO (UX-FIRST 2026)
  • Bloqueo selectivo para forzar a Google a ignorar lo no esencial y ahorrar recursos.
  • PROTECCIÓN DE "HUELLA TÉCNICA" (SEGURIDAD)
  • Evita que atacantes identifiquen versiones de plugins o temas.
  • -------------------------------------------------------------
  • Bloqueos Estrategicos: Contenido de bajo valor/duplicado/privado
  • -------------------------------------------------------------
  • --- AREAS ADMINISTRATIVAS Y DE USUARIO (NUNCA indexar) ---
  • PERMITIR admin-ajax.php: Crucial para la funcionalidad del frontend de muchos plugins de WP
  • Bloquear URLs que contengan estas palabras clave críticas (comodín eficiente)
  • --- PAGINAS DE BUSQUEDA INTERNA, FILTROS Y ORDENACION (Contenido duplicado) ---
  • Bloqueo eficiente de parámetros de URL comunes en e-commerce y WordPress
  • --- TAXONOMIAS DE BAJO VALOR Y FEEDS ---
  • Bloquea todos los feeds RSS/Atom/RDF globales y específicos de taxonomías
  • --- ARCHIVOS INNECESARIOS Y PRIVADOS (Bloqueo por extension de archivo) ---
  • --- PROTECCION DE SISTEMA Y SEGURIDAD WP ---
  • --- GESTION DE IA Y ENTRENAMIENTO (2026) ---
  • --- LIMPIEZA DE HUELLA DIGITAL (Crawl Budget) ---
  • -------------------------------------------------------------
  • Control de Rastreadores Especificos y Bots de IA Generativa
  • -------------------------------------------------------------
  • Prioridad a Googlebot estandar
  • Prioridad a los bots de IA de Google (SGE, Vertex AI)
  • Permiso explícito para otros bots de IA importantes (Opt-in)
  • --- GESTION DE BOTS DE TERCEROS Y DE RASTREO SEO (Control de Carga del Servidor) ---
  • Usa Crawl-delay para ralentizar bots secundarios que no respetan Google Search Console
  • y que potencialmente sobrecargan el servidor.
  • Disallow: / # Bloqueo si causa problemas
Back to top