Log In Sign Up

techtastico.com
robots.txt

Robots Exclusion Standard data for techtastico.com

Resource Scan

Scan Details

Site Domain techtastico.com
Base Domain techtastico.com
Scan Status Ok
Last Scan2025-10-18T22:39:20+00:00
Next Scan 2025-10-25T22:39:20+00:00

Last Scan

Scanned2025-10-18T22:39:20+00:00
URL https://techtastico.com/robots.txt
Domain IPs 3.165.75.110, 3.165.75.123, 3.165.75.26, 3.165.75.34
Response IP 3.165.75.34
Found Yes
Hash be0c9627c59681a088803ac43f2bfb1c4c3bd87b969a10dd0a7174591a28a8ba
SimHash 915778454e65

Groups

sitesnagger

Rule Path
Disallow /

webstripper

Rule Path
Disallow /

webcopier

Rule Path
Disallow /

fetch

Rule Path
Disallow /

offline explorer

Rule Path
Disallow /

teleport

Rule Path
Disallow /

teleportpro

Rule Path
Disallow /

webzip

Rule Path
Disallow /

httrack

Rule Path
Disallow /

microsoft.url.control

Rule Path
Disallow /

xenu

Rule Path
Disallow /

larbin

Rule Path
Disallow /

download ninja

Rule Path
Disallow /

npbot

Rule Path
Disallow /

webreaper

Rule Path
Disallow /

googlebot

Rule Path
Disallow /post/*/trackback/
Disallow /post/*/feed/

*

Rule Path
Disallow /feed
Disallow /comments
Disallow /suscribete
Back to top

Other Records

Field Value
sitemap http://techtastico.com/sitemap.xml.gz
Back to top

Comments

  • robots.txt para http://techtastico.com
  • Las Tres Leyes de la Robótica
  • 1. Un robot no puede causar daño a un ser humano o, por su inacción,
  • permitir que un ser humano sufra daño.
  • 2. Un robot debe obedecer las órdenes que le sean dadas por un ser
  • humano, a menos que dichas órdenes entren en conflicto con la Primera Ley
  • 3. Un robot debe proteger su propia existencia, siempre que ello no entre
  • en conflicto con la Primera o la Segunda ley
  • -- Isaac Asimov
  • (robots.txt inspirado por yell.com/robots.txt y microsiervos.com)
  • Bloqueo para todos los Crawlers que no son de motores de búsqueda y que roban contenido
  • Ahora las reglas para los todos los Robots
  • Sitemap
Back to top