Log In Sign Up

1aviator.com
robots.txt

Robots Exclusion Standard data for 1aviator.com

Resource Scan

Scan Details

Site Domain 1aviator.com
Base Domain 1aviator.com
Scan Status Ok
Last Scan2025-10-07T17:04:43+00:00
Next Scan 2025-11-06T17:04:43+00:00

Last Scan

Scanned2025-10-07T17:04:43+00:00
URL https://1aviator.com/robots.txt
Domain IPs 81.91.178.150
Response IP 81.91.178.150
Found Yes
Hash 640d4217e0ad7f63bc4e94652fc2ec72df96757d63fb51a3e6535bbceabd09a6
SimHash 564c9973f198

Groups

*

Rule Path Comment
Disallow /bitrix/ Закрыть системные папки (CMS)
Disallow /actions/ Закрыть промо-страницы
Disallow /go/ Закрыть редиректы
Disallow /az/go/ Закрыть редиректы для /az/
Disallow /*?* Блокировать URL с параметрами (фильтры, сессии)
Disallow /*?utm_ Блокировать URL с UTM-метками (чтобы не дублировались)
Disallow /*print%3D Блокировать версии для печати
Disallow /*register%3D Закрыть формы регистрации
Disallow /*auth%3D Закрыть авторизацию
Disallow /*back_url%3D Закрыть служебные редиректы
Disallow /private/ Пример: если есть закрытые разделы
Disallow /tmp/ Временные файлы
Disallow /search/ Поиск (если не нужен в индексе)
Allow /bitrix/js/ Разрешить JS (важно для рендеринга)
Allow /bitrix/templates/ Разрешить шаблоны (если нужны)
Allow /news/ Разрешить новости (индексировать)
Allow /az/ Разрешить AZ-версию (если это региональный контент)
Allow /*.css$ Разрешить CSS (для корректного отображения)
Allow /*.js$ Разрешить JavaScript (для индексации AJAX)
Allow /*.png$ Разрешить изображения (улучшает SEO)
Allow /*.jpg$ Разрешить изображения
Allow /*.webp$ Современный формат изображений
Allow /strategiya-stavok-v-igru-aviator-spribe/ -
Allow /az/1win-aviator-spribe Если страница важна
Allow /az/1xbet-crush-igra-aviator-spribe -

mj12bot

Product Comment
mj12bot Бот-парсер (часто нагружает сервер)
Rule Path
Disallow /

ahrefsbot

Product Comment
ahrefsbot Бот Ahrefs (крадет данные)
Rule Path
Disallow /

semrushbot

Product Comment
semrushbot Бот Semrush (может нагружать)
Rule Path
Disallow /

dotbot

Product Comment
dotbot Агрессивный парсер
Rule Path
Disallow /

megaindex.ru

Product Comment
megaindex.ru Агрессивный бот
Rule Path
Disallow /

googlebot

Rule Path
Allow /*.css$
Allow /*.js$
Disallow /bitrix/
Disallow /private/

Other Records

Field Value Comment
crawl-delay 2 Замедлить Googlebot (если сервер слабый)

yandexbot

Rule Path
Allow /news/
Allow /az/
Disallow /go/
Disallow /*?*

Other Records

Field Value Comment
crawl-delay 3 Яндекс иногда агрессивно сканирует
Back to top

Other Records

Field Value
sitemap https://1aviator.com/sitemap.xml
Back to top

Comments

  • ======== 🔒 ЗАЩИТА ОТ БОТОВ ========
  • ======== âœ
  • ======== 🚀 УСКОРЕНИЕ ИНДЕКСАЦИИ ========
  • Явно указываем главные разделы для индексации
  • ======== 🛡️ БЛОКИРОВКА ВРЕДОНОСНЫХ БОТОВ ========
  • ======== 🔎 СПЕЦИАЛЬНЫЕ ПРАВИЛА ДЛЯ GOOGLE & YANDEX ========
Back to top

Warnings

  • 1 invalid line.
  • `clean-param` is not a known field.
  • `host` is not a known field.
Back to top