Log In Sign Up

antidomofon.ru
robots.txt

Robots Exclusion Standard data for antidomofon.ru

Resource Scan

Scan Details

Site Domain antidomofon.ru
Base Domain antidomofon.ru
Scan Status Ok
Last Scan2026-02-28T15:10:56+00:00
Next Scan 2026-03-30T15:10:56+00:00

Last Scan

Scanned2026-02-28T15:10:56+00:00
URL https://antidomofon.ru/robots.txt
Domain IPs 2a00:f940:2:2:1:4:0:115, 31.31.198.151
Response IP 31.31.198.151
Found Yes
Hash 396cb9c32e3d27b126e03b56509df377f33a0a128da1ce952a70bf8f8232bff4
SimHash 4140daab6791

Groups

*

Rule Path Comment
Disallow /vendor/ -
Disallow /src/ -
Disallow /config/ -
Disallow /var/ -
Disallow /bin/ -
Disallow /tools/ -
Disallow /api/ Если есть API, которое не нужно индексировать
Disallow /test-session-* Запрещаем тестовые роуты
Back to top

Comments

  • Правила для всеÑ
  • Запрещаем индексировать системные папки, если они вдруг станут доступны
  • Запрещаем индексировать служебные URL (если есть/будут)
  • --- Разрешаем все остальное (можно не указывать явно, это по умолчанию) ---
  • Allow: /
  • --- Указываем путь к карте сайта ---
  • Sitemap: https://antidomofon.ru/v2/sitemap.xml
  • --- Правила для конкретныÑ
  • Например, можно задать задержку для Яндекса, если он слишком активно сканирует
  • User-agent: Yandex
  • Crawl-delay: 5
  • Можно явно разрешить/запретить что-то для Google
  • User-agent: Googlebot
  • Allow: /some-google-specific-page/
  • Disallow: /some-page-for-google-only/
Back to top

Warnings

  • 3 invalid lines.
  • `host` is not a known field.
Back to top