Log In Sign Up

telefontarife.de
robots.txt

Robots Exclusion Standard data for telefontarife.de

Resource Scan

Scan Details

Site Domain telefontarife.de
Base Domain telefontarife.de
Scan Status Ok
Last Scan2024-09-20T16:22:23+00:00
Next Scan 2024-09-27T16:22:23+00:00

Last Scan

Scanned2024-09-20T16:22:23+00:00
URL https://telefontarife.de/robots.txt
Redirect https://www.telefontarife.de/robots.txt
Redirect Domain www.telefontarife.de
Redirect Base telefontarife.de
Domain IPs 116.203.8.242
Redirect IPs 116.203.8.242
Response IP 116.203.8.242
Found Yes
Hash f9621b61b2e4b900831caa2687c6be9eb1a4f18d2600b99b4a09fdfa43b8a900
SimHash f1dc1a622cc8

Groups

googlebot-news

Rule Path
Disallow /a/
Disallow /ad/
Disallow /ads/
Disallow /adv/
Disallow /auskunft/
Disallow /blitz/
Disallow /cebit/
Disallow /cgi-bin/
Disallow /chronik/
Disallow /click/
Disallow /computer/
Disallow /consumer-electronics-show/
Disallow /content/
Disallow /db/
Disallow /dienste/
Disallow /discounter/
Disallow /facebook/
Disallow /fernsehen/
Disallow /festnetz/
Disallow /flatrate/
Disallow /forum/
Disallow /gewinnspiel/
Disallow /h/
Disallow /handy/
Disallow /hardware/
Disallow /hausbau/
Disallow /heimvernetzung/
Disallow /i/
Disallow /ifa-berlin/
Disallow /intern/
Disallow /internet/
Disallow /jobs/
Disallow /kids-und-teens/
Disallow /kommunikation-zuhause/
Disallow /lifestyle/
Disallow /media/
Disallow /mobile-kommunikation/
Disallow /mobile-world-congres/
Disallow /mobilfunk/
Disallow /moderne-netze/
Disallow /multimedia/
Disallow /navigation/
Disallow /netbook/
Disallow /newsticker/
Disallow /nl/
Disallow /podcast/
Disallow /presse/
Disallow /promotion/
Disallow /radio/
Disallow /ratgeber/
Disallow /reise/
Disallow /roaming/
Disallow /senioren/
Disallow /service/
Disallow /sicherheit/
Disallow /smartphone/
Disallow /smartwatch/
Disallow /specials/
Disallow /sport/
Disallow /tablet/
Disallow /tarif-rechner/
Disallow /tarife-und-geraete/
Disallow /tarife/
Disallow /technik/
Disallow /telefonanlage/
Disallow /telefonieren-zuhause/
Disallow /teltarif-hilft/
Disallow /test/
Disallow /umfrage/
Disallow /umzug/
Disallow /unterwegs/
Disallow /ttt.gif*
Disallow /ttt.go*
Disallow /ttt.png*
Disallow /user/
Disallow /verbraucher/
Disallow /video/
Disallow /voip/
Disallow /widget/
Disallow /wlan/

gptbot

Rule Path
Disallow /

ccbot

Rule Path
Disallow /

google-extended

Rule Path
Disallow /

claudebot

Rule Path
Disallow /

omgili

Rule Path
Disallow /

timpibot

Rule Path
Disallow /

applebot-extended

Rule Path
Disallow /

cohere-ai

Rule Path
Disallow /

imagesiftbot

Rule Path
Disallow /

ahrefsbot

Rule Path
Disallow /

mj12bot

Rule Path
Disallow /

semrushbot

Rule Path
Disallow /

dotbot

Rule Path
Disallow /

*

Rule Path
Allow /cgi-bin/xdial/
Disallow /cgi-bin/
Disallow /ad/
Allow /ads/*.a%3D22
Allow /ads/*.a%3D40
Allow /ads/*.a%3D41
Allow /ads/*.a%3D42
Allow /ads/*.a%3D43
Allow /ads/*.a%3D44
Allow /ads/*.a%3D45
Allow /ads/*.a%3D46
Allow /ads/*.a%3D$
Allow /click/*.a%3D40
Allow /click/*.a%3D41
Allow /click/*.a%3D42
Allow /click/*.a%3D43
Allow /click/*.a%3D44
Allow /click/*.a%3D45
Allow /click/*.a%3D46
Allow /click/*.a%3D47130
Allow /click/*.a%3D47131
Allow /click/*.a%3D47132
Allow /click/*.a%3D47133
Allow /ads/*.a%3D47130
Allow /ads/*.a%3D47131
Allow /ads/*.a%3D47132
Allow /ads/*.a%3D47133
Allow /click/*.a%3D47138
Allow /ads/*.a%3D47138
Disallow /ads/
Disallow /click/
Disallow /user/
Disallow /intern/action/print/
Disallow /ttt.gif
Disallow /ttt.gif*
Disallow /ttt.go
Disallow /ttt.go*
Disallow /ttt.png
Disallow /ttt.png*
Disallow /app/news/
Disallow /app/netzbewertung/
Disallow /widget/idealo/
Disallow /widget/cta/
Disallow /widget/newsfeed/
Disallow /db/res.html*city%3D*
Back to top

Other Records

Field Value
sitemap https://www.teltarif.de/h/sitemap.xml
sitemap https://www.teltarif.de/sitemap-geraete.xml
sitemap https://www.teltarif.de/sitemap-info.xml
sitemap https://www.teltarif.de/sitemap-tarife.xml
Back to top

Comments

  • Ai Systeme exkludieren
  • https://netfuture.ch/2023/07/blocking-ai-crawlers-robots-txt-chatgpt/
  • https://darkvisitors.com/agents
  • Unklar nicht direkt nur Training auch Websuche mit AI?
  • User-agent: PerplexityBot
  • Disallow: /
  • Bild-Generator + Rückwärtsuche; Aber Bild-Rückwärtssuche ist
  • nicht Traffi relevant (nie vorkgekommen von dieser Domain)
  • Block SEO Tools die wir nicht selbst benutzen warum unsere
  • Server-Zeit dafür verschwenden?
  • Nötig weil da einige uralte Redirects drüber laufen
  • Test: kann man damit alte urls loswerden? Pixel selbst enthalten ein noindex
  • Fehler aussortiere ohne id!
  • Dito für inzwischen sehr alte Click-Urls (11/2023 ergänzt)
  • Diese gehen zu 99% auf 404 da die belegung deaktiviert
  • News-Slider der war versehentlich kurz unter /click/ - zugriff erlauben!
  • Unterstützen Banner
  • Beachte das /search/ nicht dabei ist die Suchmaschinen sollten
  • heute schlauer damit umgehen und es wird von google auch nicht mehr
  • empfohlen - weil die eigentlich allen Links folgen wollen.
  • Die seiten selbst haben ja ein noindex.
  • OB das aber wirklich sinnvoll ist müsste man mal abschließend klären
Back to top