Log In Sign Up

theartwolf.com
robots.txt

Robots Exclusion Standard data for theartwolf.com

Resource Scan

Scan Details

Site Domain theartwolf.com
Base Domain theartwolf.com
Scan Status Ok
Last Scan2026-02-13T06:39:56+00:00
Next Scan 2026-02-20T06:39:56+00:00

Last Scan

Scanned2026-02-13T06:39:56+00:00
URL https://theartwolf.com/robots.txt
Domain IPs 50.87.253.200
Response IP 50.87.253.200
Found Yes
Hash 61e92a219f74733c617db562202dcf802c54ab56dddfa3715388b2ee93397f7c
SimHash f3d71223c2f7

Groups

*

Rule Path
Disallow /wp-admin/
Allow /wp-admin/admin-ajax.php

*

Rule Path
Disallow /?s=
Disallow /search

noxtrumbot

No rules defined. All paths allowed.

Other Records

Field Value
crawl-delay 20

msnbot

No rules defined. All paths allowed.

Other Records

Field Value
crawl-delay 20

slurp

No rules defined. All paths allowed.

Other Records

Field Value
crawl-delay 20

expo9

Rule Path
Disallow /

orthogaffe

Rule Path
Disallow /

ubicrawler

Rule Path
Disallow /

doc

Rule Path
Disallow /

zao

Rule Path
Disallow /

sitecheck.internetseer.com

Rule Path
Disallow /

zealbot

Rule Path
Disallow /

msiecrawler

Rule Path
Disallow /

sitesnagger

Rule Path
Disallow /

webstripper

Rule Path
Disallow /

fetch

Rule Path
Disallow /

offline explorer

Rule Path
Disallow /

teleport

Rule Path
Disallow /

teleportpro

Rule Path
Disallow /

webzip

Rule Path
Disallow /

linko

Rule Path
Disallow /

httrack

Rule Path
Disallow /

microsoft.url.control

Rule Path
Disallow /

xenu

Rule Path
Disallow /

larbin

Rule Path
Disallow /

libwww

Rule Path
Disallow /

zyborg

Rule Path
Disallow /

download ninja

Rule Path
Disallow /

wget

Rule Path
Disallow /

grub-client

Rule Path
Disallow /

msiecrawler

Rule Path
Disallow /

webcopier

Rule Path
Disallow /

python-urllib

Rule Path
Disallow /

url_spider_pro

Rule Path
Disallow /

emailcollector

Rule Path
Disallow /

emailsiphon

Rule Path
Disallow /

webbandit

Rule Path
Disallow /

emailwolf

Rule Path
Disallow /

extractorpro

Rule Path
Disallow /

copyrightcheck

Rule Path
Disallow /

alexibot

Rule Path
Disallow /

web image collector

Rule Path
Disallow /

xenu's link sleuth 1.1c

Rule Path
Disallow /

xenu's

Rule Path
Disallow /

zeus

Rule Path
Disallow /

zeus link scout

Rule Path
Disallow /

erocrawler

Rule Path
Disallow /

linkscan/8.1a unix

Rule Path
Disallow /

keyword density/0.9

Rule Path
Disallow /

webcopier v3.2a

Rule Path
Disallow /

webcapture 2.0

Rule Path
Disallow /

webcopier v.2.2

Rule Path
Disallow /

etaospider

Rule Path
Disallow /

black hole

Rule Path
Disallow /

xenu\\\'s link sleuth 1.1c

Rule Path
Disallow /

xenu\\\'s

Rule Path
Disallow /
Back to top

Other Records

Field Value
sitemap https://theartwolf.com/sitemap_index.xml
sitemap https://theartwolf.com/page-sitemap.xml
sitemap https://theartwolf.com/post-sitemap1.xml
sitemap https://theartwolf.com/post-sitemap2.xml
sitemap https://theartwolf.com/post-sitemap3.xml
sitemap https://theartwolf.com/post-sitemap4.xml
sitemap https://theartwolf.com/post-sitemap5.xml
Back to top

Comments

  • Bienvenido al robots.txt de theartwolf
  • Desde aquí damos "sugerencias" a los robots (*otra cosa es que nos hagan caso)
  • Cosas de Wordpress
  • Aqui le estamos dando el índice del sitemap a los bots
  • Aqui le estamos dando el sitemap de las páginas
  • Aqui le estamos dando el sitemap de las entradas
  • Bloqueo de busquedas
  • Ralentizar bots
  • Bots malignos
  • NO PUEDES PASAR (Gandalf 2009)
  • the end
  • Ya no hay nada mas, puedes irte... pero recuerda...
  • WOLF IS WATCHING YOU
  • @@@
  • @@@@@@@@
  • @@@**@@@
  • @@@***@@@
  • @@@***@@@
  • @@@***@@@ @@@@@@
  • @@@***@@@ @@@@ @@@**@@@
  • @@@***@@@@ @@@@@@@@@@@ @@@@@@@@@ @@@@**@@@
  • @@@****@@@@@@@@@@ @@@@ @@@@ @@@@ @@@***@@@
  • @@@***@@@@@@@@@ @@@@@@@@@@@@@@@@@@@ @@@@@@@***@@@
  • @@@****@@@@@@@@ @@@@@@@@@@@@@@@ @@@@@@****@@@
  • @@@@****@@@@@@@@@ @@@@********@@@@ @@@@@@@*****@@@
  • @@@*****@@@@@@@@@@@@@@@@@@@************@@@@@@@@@@@@@@@@@*****@@@
  • @@@@*****@@@@@@@@@@@@@@@@****************@@@@@@@@@@@@@@******@@@
  • @@@*******@@@@@@@@@@@@*******************@@@@@@@@@@@&******@@@
  • @@@*******@@@@@@@@@***********************@@@@@@@@*******@@@
  • @@@************************@@@@@@@@*********@@*********@@@
  • @@@@******************@@@ @@****************@@@@
  • @@@@*************@@@@@ @@************@@@@
  • @@@@@*****@@@@@@@@@@ @@@@*******@@@@@
  • @@@@@@@@@@@@@@@@@@ @@@@@@@@@@@@@
  • @@@@@@@@@@@@@@@@@
  • @@@@@@
Back to top