Log In Sign Up

bazi-calculator.com
robots.txt

Robots Exclusion Standard data for bazi-calculator.com

Resource Scan

Scan Details

Site Domain bazi-calculator.com
Base Domain bazi-calculator.com
Scan Status Ok
Last Scan2024-10-03T04:31:19+00:00
Next Scan 2024-10-10T04:31:19+00:00

Last Scan

Scanned2024-10-03T04:31:19+00:00
URL https://bazi-calculator.com/robots.txt
Domain IPs 79.96.141.251
Response IP 79.96.141.251
Found Yes
Hash 8d6fbbe790a654c1f1a3908e64145734943384171f1f2466f56b2f5e0e31dec8
SimHash 4a1eb904239a

Groups

*

Rule Path
Disallow *kalkulatorDane.php
Disallow */wiki/
Disallow */login/
Disallow *dateSelection.php?licz=1
Disallow *?v=ff&licz=1
Disallow *?v=gu&licz=1
Disallow *?licz=1&v=ff
Disallow *?licz=1&v=gu
Disallow *?licz=1&noindex=1
Disallow *?licz=1&in=
Disallow /*.gif$

Other Records

Field Value
crawl-delay 20

bingbot

Rule Path
Disallow *kalkulatorDane.php
Disallow */wiki/
Disallow */login/
Disallow *dateSelection.php?licz=1
Disallow *?v=ff&licz=1
Disallow *?v=gu&licz=1
Disallow *?licz=1&noindex=1
Disallow *?licz=1&in=
Disallow /*.gif$
Disallow /*.png$
Disallow *?licz=1&v=

Other Records

Field Value
crawl-delay 30

semrushbot

Rule Path
Disallow /

blexbot

Rule Path
Disallow /

paracrawl

Rule Path
Disallow /

ahrefsbot

Rule Path
Disallow /

cloudfind

Rule Path
Disallow /

dotbot

Rule Path
Disallow /

mj12bot

Rule Path
Disallow /

dataforseobot

Rule Path
Disallow /

gptbot

Rule Path
Disallow *kalkulatorDane.php
Disallow */wiki/
Disallow */login/
Disallow *dateSelection.php?licz=1
Disallow *?v=ff&licz=1
Disallow *?v=gu&licz=1
Disallow *?licz=1&noindex=1
Disallow *?licz=1&in=
Disallow /*.gif$
Disallow /*.png$
Disallow *?licz=1&v=

Other Records

Field Value
crawl-delay 30
Back to top

Comments

  • strony (trzeba powtorzyc ponizej dla pozostalych botow):
  • typy plikow (trzeba powtorzyc ponizej dla pozostalych botow):
  • co 10 sek czyli 8640 dziennie, to absolutny max, dwa na minute to 2880 na dzien, trzy na minute czyli co 20 sek to 4320, starczy im (powyzej 5000 mam daje Forbidden):
  • bing mocno obciazajacy, nie musi widziec wszystkiego:
  • trzeba powtorzyc poprzednie komendy:
  • plus dodatkowe zakladki (googlebot niech niektore widzi) - to stare linki - poprawilem w linkowaniu ale istnieja:
  • plus crawl delay, po co mu tyle widziec, daje dwa na minute czyli 2880 na dzien, zwykle chodzil 5000 dziennie wiec powinien sie ograniczyc
  • boty mocno obciazajace domene w przeszlosci, niektore blokuje juz tez w htaccess, bo nie sluchaja:
  • dalej nie slucha, crawl-delay 30 sek to 2880 na dzien, a chodzil po 13000 dziennie - ignoruje tez osobne Disallow - nie slucha zadnej z ponizszych, dlatego dostaje kopa 403 gdy > 5000:
  • trzeba powtorzyc poprzednie komendy:
  • plus dodatkowe zakladki (googlebot niech niektore widzi) - to stare linki - poprawilem w linkowaniu ale istnieja:
Back to top