Log In Sign Up

treepet.cl
robots.txt

Robots Exclusion Standard data for treepet.cl

Resource Scan

Scan Details

Site Domain treepet.cl
Base Domain treepet.cl
Scan Status Ok
Last Scan2025-12-03T03:11:01+00:00
Next Scan 2026-01-02T03:11:01+00:00

Last Scan

Scanned2025-12-03T03:11:01+00:00
URL https://treepet.cl/robots.txt
Redirect https://www.treepet.cl/robots.txt
Redirect Domain www.treepet.cl
Redirect Base treepet.cl
Domain IPs 13.219.49.56, 44.220.101.65
Redirect IPs 13.219.49.56, 44.220.101.65
Response IP 13.219.49.56
Found Yes
Hash 8ebc02ea40ead41866363ab10293fa6cadb482bd5882a3cb99e803400278e715
SimHash 62daeb32cac0

Groups

*

Rule Path
Disallow /*
Allow /$
Allow /product/*
Allow /brand/*
Allow /collection/*
Allow /article/*
Allow /form/*
Allow /sheet/*
Allow /sitemap.xml
Allow /robots.txt

Other Records

Field Value
crawl-delay 60

gptbot
chatgpt-user
ccbot
claudebot
google-extended
perplexitybot
applebot-extended

No rules defined. All paths allowed.

Back to top

Comments

  • @Bsale 2025
  • Todos los agentes
  • Tiempo de acceso cada 60 seg //no lo considera google bot
  • Bloquea todo, para evitar directorios anteriores
  • permite index
  • Permitidos SOLO desde estos directorios elementos hijos
  • ej en url /product/nombre bloquea /product y permite /product/nombre
  • las busquedas no se muestran ya que son particulares por usuario y no deben quedar vinculadas a google
  • Bots de Inteligencia Artificial
  • Direccion del sitemap (el sitemap de genera automatico, no se puede editar)
  • Sitemap: https://www.treepet.cl/sitemap.xml
Back to top