Log In Sign Up

stadtgrenze.de
robots.txt

Robots Exclusion Standard data for stadtgrenze.de

Resource Scan

Scan Details

Site Domain stadtgrenze.de
Base Domain stadtgrenze.de
Scan Status Ok
Last Scan2024-09-29T19:55:37+00:00
Next Scan 2024-10-06T19:55:37+00:00

Last Scan

Scanned2024-09-29T19:55:37+00:00
URL https://stadtgrenze.de/robots.txt
Domain IPs 2a01:238:20a:202:1105::, 81.169.145.105
Response IP 81.169.145.105
Found Yes
Hash dcc1ec2f566ddb4001d74e019790a8c3c2215d58452e1fbfdd67b40916ef81fa
SimHash f29a32db41d3

Groups

mozilla/5.0 (compatible; adsbot/3.1)

Rule Path
Disallow /

adsbot

Rule Path
Disallow /

dotbot

Rule Path
Disallow /

sistrix

Rule Path
Disallow /

sistrix

Rule Path
Disallow /

slurp

Rule Path
Disallow /

xenu's link sleuth 1.1c

Rule Path
Disallow /

xenu's

Rule Path
Disallow /

aboutusbot

Rule Path
Disallow /

ahrefsbot

Rule Path
Disallow /

ahrefs.com

Rule Path
Disallow /

aqua_products

Rule Path
Disallow /

asterias

Rule Path
Disallow /

b2w/0.1

Rule Path
Disallow /

backdoorbot/1.0

Rule Path
Disallow /

backlink-check.de

Rule Path
Disallow /

backlink-crawler

Rule Path
Disallow /

backlinkcrawler

Rule Path
Disallow /

baiduspider

Rule Path
Disallow /

bingbot/2.0

Rule Path
Disallow /

bizinformation

Rule Path
Disallow /

blowfish/1.0

Rule Path
Disallow /

bookmark search tool

Rule Path
Disallow /

botalot

Rule Path
Disallow /

brandwatch

Rule Path
Disallow /

builtbottough

Rule Path
Disallow /

bullseye/1.0

Rule Path
Disallow /

bunnyslippers

Rule Path
Disallow /

catchbot

Rule Path
Disallow /

cazoodlebot

Rule Path
Disallow /

ccbot

Rule Path
Disallow /

cheesebot

Rule Path
Disallow /

cherrypicker

Rule Path
Disallow /

cherrypickerelite/1.0

Rule Path
Disallow /

cherrypickerse/1.0

Rule Path
Disallow /

cityreview

Rule Path
Disallow /

cligoorobot/1.0

Rule Path
Disallow /

cometrics-bot

Rule Path
Disallow /

copyrightcheck

Rule Path
Disallow /

cosmos

Rule Path
Disallow /

crescent

Rule Path
Disallow /

crescent internet toolpak http ole control v.1.0

Rule Path
Disallow /

discobot

Rule Path
Disallow /

dittospyder

Rule Path
Disallow /

doc

Rule Path
Disallow /

dotbot

Rule Path
Disallow /

download ninja

Rule Path
Disallow /

dropcatcher

Rule Path
Disallow /

edisterbot

Rule Path
Disallow /

emailcollector

Rule Path
Disallow /

emailsiphon

Rule Path
Disallow /

emailwolf

Rule Path
Disallow /

enabot/1.2

Rule Path
Disallow /

erocrawler

Rule Path
Disallow /

eurobot

Rule Path
Disallow /

extractorpro

Rule Path
Disallow /

ezooms

Rule Path
Disallow /

ezooms/1.0

Rule Path
Disallow /

fairad client

Rule Path
Disallow /

fasterfox

Rule Path
Disallow /

fastwebserver.de

Rule Path
Disallow /

fetch

Rule Path
Disallow /

flaming attackbot

Rule Path
Disallow /

foobot

Rule Path
Disallow /

gaisbot

Rule Path
Disallow /

gaisbot/3.0

Rule Path
Disallow /

getright/4.2

Rule Path
Disallow /

gigabot/2.0

Rule Path
Disallow /

gigamega.bot/1.0

Rule Path
Disallow /

grub

Rule Path
Disallow /

grub-client

Rule Path
Disallow /

harvest/1.5

Rule Path
Disallow /

hloader

Rule Path
Disallow /

httplib

Rule Path
Disallow /

http_requester/0.1

Rule Path
Disallow /

httrack

Rule Path
Disallow /

humanlinks

Rule Path
Disallow /

ia_archiver

Rule Path
Disallow /

ia_archiver/1.6

Rule Path
Disallow /

iccrawler - icjobs

Rule Path
Disallow /

iltrovatore-setaccio/1.2

Rule Path
Disallow /

infonavirobot

Rule Path
Disallow /

iron33/1.0.2

Rule Path
Disallow /

jetbot/1.0

Rule Path
Disallow /

jennybot

Rule Path
Disallow /

jim

Rule Path
Disallow /

k2spider

Rule Path
Disallow /

kenjin spider

Rule Path
Disallow /

keyword density/0.9

Rule Path
Disallow /

larbin

Rule Path
Disallow /

lexibot

Rule Path
Disallow /

libweb/clshttp

Rule Path
Disallow /

libwww

Rule Path
Disallow /

libwww-perl

Rule Path
Disallow /

linkextractorpro

Rule Path
Disallow /

linkdex

Rule Path
Disallow /

linkdex.com

Rule Path
Disallow /

linkdex.com/v2.0

Rule Path
Disallow /

linko

Rule Path
Disallow /

linkscan/8.1a unix

Rule Path
Disallow /

linkwalker

Rule Path
Disallow /

lnspiderguy

Rule Path
Disallow /

looksmart

Rule Path
Disallow /

lwp-trivial

Rule Path
Disallow /

lwp-trivial/1.34

Rule Path
Disallow /

magpie

Rule Path
Disallow /

magpie-crawler

Rule Path
Disallow /

magpie-crawler/1.1 (u; linux amd64; en-gb; +http://www.brandwatch.net)

Rule Path
Disallow /

magpie-crawler

Rule Path
Disallow /

mail.ru_bot

Rule Path
Disallow /

mata hari

Rule Path
Disallow /

mediapartners-google*

Rule Path
Disallow /

microsoft url control

Rule Path
Disallow /

microsoft url control - 5.01.4511

Rule Path
Disallow /

microsoft url control - 6.00.8169

Rule Path
Disallow /

microsoft.url.control

Rule Path
Disallow /

miixpc

Rule Path
Disallow /

miixpc/4.2

Rule Path
Disallow /

mister pix

Rule Path
Disallow /

mj12bot

Rule Path
Disallow /

mlbot

Rule Path
Disallow /

moget

Rule Path
Disallow /

moget/2.1

Rule Path
Disallow /

mozilla/4.0 (compatible; bullseye; windows 95)

Rule Path
Disallow /

mozilla/5.0 (compatible; ezooms/1.0; ezooms.bot@gmail.com)

Rule Path
Disallow /

msiecrawler

Rule Path
Disallow /

netants

Rule Path
Disallow /

netestate ne crawler

Rule Path
Disallow /

netmechanic

Rule Path
Disallow /

nicerspro

Rule Path
Disallow /

npbot

Rule Path
Disallow /

nutch/1.2

Rule Path
Disallow /

obot

Rule Path
Disallow /

offline explorer

Rule Path
Disallow /

openbot

Rule Path
Disallow /

openfind

Rule Path
Disallow /

openfind data gathere

Rule Path
Disallow /

openindexspider

Rule Path
Disallow /

oracle ultra search

Rule Path
Disallow /

pagesinventory

Rule Path
Disallow /

panscient.com

Rule Path
Disallow /

perman

Rule Path
Disallow /

piplbot

Rule Path
Disallow /

pixray
pixray
pixray-seeker
pixray-seeker/1.1
pixray-seeker/1.1 (pixray-seeker; crawler@pixray.com)

Rule Path
Disallow /

plukkie

Rule Path
Disallow /

propowerbot/2.14

Rule Path
Disallow /

prowebwalker

Rule Path
Disallow /

psbot

Rule Path
Disallow /

psbot/0.1

Rule Path
Disallow /

python-urllib

Rule Path
Disallow /

python-urllib/2.1

Rule Path
Disallow /

queryn metasearch

Rule Path
Disallow /

radiation retriever 1.1

Rule Path
Disallow /

repomonkey

Rule Path
Disallow /

repomonkey bait & tackle/v1.01

Rule Path
Disallow /

rma

Rule Path
Disallow /

rogerbot

Rule Path
Disallow /

scoutjet

Rule Path
Disallow /

screaming frog seo spider/1.80

Rule Path
Disallow /

searchpreview

Rule Path
Disallow /

semrushbot

Rule Path
Disallow /

seodat

Rule Path
Disallow /

seoengbot

Rule Path
Disallow /

seokicks-robot

Rule Path
Disallow /

sitecheck.internetseer.com

Rule Path
Disallow /

sitesnagger

Rule Path
Disallow /

sogou

Rule Path
Disallow /

spankbot

Rule Path
Disallow /

spanner

Rule Path
Disallow /

spbot

Rule Path
Disallow /

speedy

Rule Path
Disallow /

spiderlytics
spiderlytics/1.0
mozilla/5.0 (compatible; spiderlytics/1.0; +spider@spiderlytics.com)

Rule Path
Disallow /

suggy nutch/1.2
surveybot

Rule Path
Disallow /

surveybot/2.3

Rule Path
Disallow /

suzuran

Rule Path
Disallow /

swebot

Rule Path
Disallow /

swebot/1.0

Rule Path
Disallow /

szukacz/1.4

Rule Path
Disallow /

tagoobot

Rule Path
Disallow /

teleport

Rule Path
Disallow /

teleportpro

Rule Path
Disallow /

telesoft

Rule Path
Disallow /

the intraformant

Rule Path
Disallow /

thenomad

Rule Path
Disallow /

therarestparser

Rule Path
Disallow /

tocrawl/urldispatcher

Rule Path
Disallow /

true_robot

Rule Path
Disallow /

true_robot/1.0

Rule Path
Disallow /

turingos

Rule Path
Disallow /

turnitinbot

Rule Path
Disallow /

turnitinbot

Rule Path
Disallow /

twiceler

Rule Path
Disallow /

ubicrawler

Rule Path
Disallow /

unister

Rule Path
Disallow /

unister

Rule Path
Disallow /

unisterbot

Rule Path
Disallow /

unisterbot

Rule Path
Disallow /

unisterbot (mozilla/5.0 comparible; crawler@unister-gmbh.de)

Rule Path
Disallow /

update

Rule Path
Disallow /

url control

Rule Path
Disallow /

url_spider_pro

Rule Path
Disallow /

urlpulse

Rule Path
Disallow /

urly warning

Rule Path
Disallow /

vadixbot

Rule Path
Disallow /

vci

Rule Path
Disallow /

vci webviewer vci webviewer win32

Rule Path
Disallow /

vebidoo

Rule Path
Disallow /

vebidoobot

Rule Path
Disallow /

wbsearchbot/1.1

Rule Path
Disallow /

webauto

Rule Path
Disallow /

webbandit

Rule Path
Disallow /

webbandit/3.50

Rule Path
Disallow /

webcopier

Rule Path
Disallow /

webenhancer

Rule Path
Disallow /

web image collector

Rule Path
Disallow /

webimages 0.3

Rule Path
Disallow /

webmastercoffee

Rule Path
Disallow /

webmasterworldforumbot

Rule Path
Disallow /

webreaper

Rule Path
Disallow /

websauger

Rule Path
Disallow /

website quester

Rule Path
Disallow /

webster pro

Rule Path
Disallow /

webstripper

Rule Path
Disallow /

webzip

Rule Path
Disallow /

webzip/4.0

Rule Path
Disallow /

web image collector

Rule Path
Disallow /

webauto

Rule Path
Disallow /

webbandit

Rule Path
Disallow /

webbandit/3.50

Rule Path
Disallow /

webcopier

Rule Path
Disallow /

webenhancer

Rule Path
Disallow /

websauger

Rule Path
Disallow /

webstripper

Rule Path
Disallow /

webzip

Rule Path
Disallow /

webzip/4.0

Rule Path
Disallow /

webmasterworldforumbot

Rule Path
Disallow /

website quester

Rule Path
Disallow /

webster pro

Rule Path
Disallow /

wget

Rule Path
Disallow /

wget/1.5.3

Rule Path
Disallow /

wget/1.6

Rule Path
Disallow /

wonderbot/js 1.0

Rule Path
Disallow /

www-collector-e

Rule Path
Disallow /

xenu

Rule Path
Disallow /

xovi

Rule Path
Disallow /

yandex

Rule Path
Disallow /

yeti

Rule Path
Disallow /

yeti/1.0

Rule Path
Disallow /

yeti/1.0 (nhn corp.; http://help.naver.com/robots/)

Rule Path
Disallow /

youdaobot

Rule Path
Disallow /

zao

Rule Path
Disallow /

zealbot

Rule Path
Disallow /

zeus

Rule Path
Disallow /

zeus 32297 webster pro v2.9 win32

Rule Path
Disallow /

zeus link scout

Rule Path
Disallow /

zyborg

Rule Path
Disallow /

*

Rule Path
Disallow /index.html
Disallow /noframe.html
Disallow /abw.htm
Disallow /styles/
Disallow /a/ais/imbay/
Disallow /a/stp/grebe/
Disallow /e/aus/
Disallow /e/imp/
Disallow /e/lit/
Disallow /e/pal/
Disallow /e/srl/
Disallow /e/tec/
Disallow /e/vit/
Disallow /spambot
Disallow /logs
Disallow /reports
Disallow /templates
Back to top

Other Records

Field Value
sitemap http://www.stadtgrenze.de/e/smp/smp.htm
Back to top

Comments

  • robots.txt aktuelle website http://www.stadtgrenze.de
  • stand 01.05.022 ergänzt wonderbot; letzte: 29.11.2015 / wg seostar 1.5.2022, 10.02 h hochgeladen
  • eingefügt So, 20.9., 10.10 h um das Arschloch webnx.com auszusperren - unbedingt checken
  • alle html-Zugriffe unterbinden, funzt seit 16.6.2013
  • am 29.11.2015 aufgehoben, weil ein Test bei Google meldet, dass html-Seiten blockiert werden
  • User-agent: *
  • Disallow: /*.html$
  • in der robots.txt kann angegeben werden, wo die Sitemap liegt
  • bezieht sich u.U. aber nur auf sitemap.xml ? (Syntax wie folgend)
  • Seostar.co ausgesperrt 1.5., siehe spezielles logfile 30.4.2022
  • Backlink-Checker-Bots aussperren
  • Liste muenchen ergaenzt um tips aus sattler, kommentierte wikipedia, annowiki, bergader, süddeutsche
  • am 4.8.2012: zahnarztp.de, pillen24.net (www.apotheken.de); philharmonische-gesellschaft.info
  • um den 6/11.6. Versuche mit obone.de
  • hier auch SEO-Tools und Spam-Bots
  • Wir muessen draussen bleiben
  • eigene Ergänzung, ob es klappt?
  • empfiehlt selbst zum abstellen den "008" von oben
  • scheint zu nerven; ggf. auch in htaccess umleiten, siehe one-big-donline.de unter Ahr...
  • angeblich seriös, hängt aber immer zwei Adressen zusammen, löst 404er Fehler aus; Versuch 3.8.2013, 12.30 h
  • Portal zu deutschen "Städten"
  • hält sich nicht an die robots.txt, sucht sitemap.xml, versucht alles und ist ein ziemlicher Pfuscher dazu
  • sammelt webadressen zum Verkauf, wenn sie auslaufen; dubios
  • Ergänzung 26.8.2015: semi-seriös, sucht falsch gespeicherte Dateinamen; liest robots.tx - kommt dennoch
  • findlinks
  • findlinks/2.0.2
  • findlinks/2.0.2 (+http://wortschatz.uni-leipzig.de/findlinks/)
  • mal zugelassen; kapiere die Uni Leipzig zwar nicht, scheint aber okay
  • The 'grub' distributed client has been *very* poorly behaved.
  • Doesn't follow robots.txt anyway, but...
  • User-agent: kalooga
  • holländische Suchmaschine für Fotoalben und Bildergalerien, siehe www.kalooga.com
  • sollte man sich mal überlegen
  • das ganze magpie zumindest dubiose Sache
  • siehe Ezooms
  • scheint ein Adresshändler zu sein; vgl. evilazrael.de/content/netestate-bots
  • Hits many times per second, not acceptable
  • http://www.nameprotect.com/botinfo.html
  • User-agent: obone
  • Disallow: /
  • User-agent: obone.de
  • Disallow: /
  • ein A..., das mit über 100 Anfragen: wer-wir-sind.htm, ueber-uns.php impressum.html usw. Unternehmensdaten spioniert;
  • eigener Ausschlussversuch 6.6.2013 / wieder auf "Seriös" gestellt 26.8.2015, versuchsweise
  • wirft Standard-Infos auf Englisch zu meiner Website aus - was soll das?
  • irgendein Schrott aus Niederlande, alleine das schon Ausschlusskriterium genug
  • scheint wohl, wenn mal erfasst, dauernd zu kommen und hält sich nicht an robots.txt
  • dubios
  • mal wieder was chinesisches, gleich mal kopieren
  • ein Super-.....loch, produziert zu viele 404er, arbeitet mit uralten Dateilisten, die vermutlich von pixray kommen
  • pixray ist wohl die selbe Firma, aber die tun so, also würden sie sich an robots.txt halten und zeigen bei spiderlytics ihr wahres .....gesicht
  • alles oben vergeblich - das .....loch liest zwar die robots.text, grinst frech mit dem .....loch und hält sich nicht an nichts
  • ist nur über htaccess auszuschließen, wenn der Provider rewrites zulässt. 7.9.2013
  • Unister ist ein Abzockimperium mit Sitz in Leipzig
  • über serverloft am 25.8.2013, 15:16:32, produziert Endlosschleifen und endlos 404er
  • A capture bot, downloads gazillions of pages with no public benefit
  • http://www.webreaper.net/
  • User-agent: Xenu's
  • User-agent: Xenu's Link Sleuth 1.1c
  • steht auf der robots.txt von pillen24.net ; mir aber unklar, da vor allem einsatz auf der
  • eigenen website als Link-checker; wo das Xenu von oben herkommt, nicht mehr klar.
  • User-agent: Yandex
  • bis 22.9.2020, 0.30 zugelassen - ist sich größtes russisches Suchmachinka, aber dann rausgeschmissen
  • chinesische Suchmaschine, wenn mal erfasst, dauernd besucht
  • für alle verboten, eigentlich ... * geht an alle; soll als letztes stehen, weil die robots sonst nicht weiterlesen
  • Disallow: /sitemap.xml mal rausgeworfen am 22.9.2020, 0.30 h, hat sich sowieso kein schwein dran gehaltem
  • spambot ist eine Falle; fiktiv, gibts nicht; aber spambots hinterlassen
  • in den logfiles einen leicht zu findenden Eintrag; ggf. in .htaccess ausschliessen;
  • die letzten 5 Seiten gibts ohnehin nicht, aber Arsch... suchen, daher für alle verboten
Back to top

Warnings

  • 7 invalid lines.
Back to top