whitedogs.ru
robots.txt

Robots Exclusion Standard data for whitedogs.ru

Resource Scan

Scan Details

Site Domain whitedogs.ru
Base Domain whitedogs.ru
Scan Status Ok
Last Scan2025-12-05T09:08:36+00:00
Next Scan 2026-01-04T09:08:36+00:00

Last Scan

Scanned2025-12-05T09:08:36+00:00
URL https://whitedogs.ru/robots.txt
Domain IPs 76.76.21.21
Response IP 76.76.21.21
Found Yes
Hash ca926d581bf7b4ad1c104355a3a57f27a7a62387958514d670579ba676c5f856
SimHash c02c8ee76ef3

Groups

*

Rule Path
Allow /
Disallow /anketa
Disallow /profile
Disallow /order
Disallow /api
Disallow /calendar-social
Disallow /sale

dotbot

Rule Path
Disallow /

bytespider

Rule Path
Disallow /

chatgptbot

Rule Path
Disallow /

ahrefsbot

Rule Path
Disallow /

Other Records

Field Value
sitemap https://whitedogs.ru/sitemap-index.xml

Comments

  • Очистка параметров (чтобы не плодились дубликаты страниц)
  • Блокируем агрессивных или нежелательных ботов

Warnings

  • `clean-param` is not a known field.