Log In Sign Up

platforma-it.ru
robots.txt

Robots Exclusion Standard data for platforma-it.ru

Resource Scan

Scan Details

Site Domain platforma-it.ru
Base Domain platforma-it.ru
Scan Status Ok
Last Scan2025-09-29T00:57:39+00:00
Next Scan 2025-10-29T00:57:39+00:00

Last Scan

Scanned2025-09-29T00:57:39+00:00
URL https://platforma-it.ru/robots.txt
Redirect https://1c.platforma-it.ru/robots.txt
Redirect Domain 1c.platforma-it.ru
Redirect Base platforma-it.ru
Domain IPs 109.120.181.152
Redirect IPs 37.139.40.134
Response IP 37.139.40.134
Found Yes
Hash ed2b86dc26989b8b2ed9dbf095f7c746f7989fc63c5f16268461d1a502d69883
SimHash 14209ca3a4b0

Groups

*

Rule Path
Disallow /bitrix/
Disallow /local/
Disallow /personal/
Disallow /auth/
Disallow /basket/
Disallow /order/
Disallow /cart/
Disallow /search/
Disallow /subscribe/
Disallow /registration/
Disallow /support/
Disallow /cabinet/
Disallow /info/more/
Disallow /pages/
Disallow /sitemap/
Disallow */index.php
Disallow /*.pdf
Disallow /*.swf
Disallow /include/licenses_detail.php
Disallow /*?s=*
Disallow /*?search=*
Disallow /*?display=*
Disallow /*?sort=*
Disallow /*?print=*
Disallow /*%26print%3D*
Disallow /*?action=*
Disallow /*%26action%3D*
Disallow /*?name=*
Disallow /*?year=*
Disallow /*?bxajaxid=*
Disallow /*%26bxajaxid%3D*
Disallow /*?view_result=*
Disallow /*%26view_result%3D*
Disallow /*clear_cache_session%3D*
Disallow /*back_url_admin%3D*
Disallow /*register%3D*
Disallow /*forgot_password%3D*
Disallow /*change_password%3D*
Disallow /*?utm*
Disallow /*%26utm*
Disallow /*?ref*
Disallow /*%26ref*
Disallow /*?from*
Disallow /*%26from*
Disallow /*gclid*
Disallow /*yclid*
Disallow /*ymclid*
Disallow /*?tid*
Disallow /*%26tid*
Disallow /*openstat*
Disallow /*filter/*
Disallow /*?PAGEN_*
Disallow /*%26PAGEN_*
Disallow /*?PAGEN_1=1$
Disallow /*?PAGEN_1=1&*
Allow /bitrix/*.css
Allow /bitrix/*.js
Allow /bitrix/*.png
Allow /bitrix/*.jpg
Allow /bitrix/*.gif
Allow /bitrix/*.svg
Allow /bitrix/*.woff
Allow /bitrix/*.woff2
Allow /local/templates/
Allow /local/components/
Allow /local/*.css
Allow /local/*.js
Allow /local/*.jpg
Allow /local/*.png
Allow /local/*.gif
Allow /local/*.svg
Allow /upload/

googlebot

Rule Path
Allow /bitrix/*.css
Allow /bitrix/*.js
Allow /bitrix/*.png
Allow /bitrix/*.jpg
Allow /bitrix/*.gif
Allow /bitrix/*.svg
Allow /bitrix/*.woff
Allow /bitrix/*.woff2
Allow /upload/
Disallow /bitrix/
Disallow /local/
Disallow /personal/
Disallow /auth/
Disallow /basket/
Disallow /order/
Disallow /search/
Disallow /subscribe/
Disallow /registration/
Disallow /support/
Disallow /cabinet/
Disallow /*?PAGEN_*
Disallow /*%26PAGEN_*

yandex

Rule Path
Disallow /bitrix/
Disallow /local/
Disallow /personal/
Disallow /auth/
Disallow /basket/
Disallow /cart/
Disallow /order/
Disallow /search/
Disallow /subscribe/
Disallow /registration/
Disallow /support/
Disallow /cabinet/
Disallow /*openstat*
Disallow /*.swf
Disallow /*.pdf
Disallow */index.php
Disallow /*clear_cache_session%3D*
Disallow /*back_url_admin%3D*
Disallow /*print_course%3D*
Disallow /*register%3D*
Disallow /*forgot_password%3D*
Disallow /*change_password%3D*
Disallow /*filter/*
Disallow /info/more/
Disallow /pages/
Disallow /include/licenses_detail.php
Disallow /sitemap/
Disallow /*?PAGEN_*
Disallow /*%26PAGEN_*
Disallow /*?PAGEN_1=1$
Disallow /*?PAGEN_1=1&*
Allow /bitrix/*.css
Allow /bitrix/*.js
Allow /bitrix/*.png
Allow /bitrix/*.jpg
Allow /bitrix/*.gif
Allow /bitrix/*.svg
Allow /bitrix/*.woff
Allow /bitrix/*.woff2
Allow /upload/

gptbot
claude-web
claudebot
anthropic-ai
cohere-ai
bytespider
google-extended
perplexitybot
applebot-extended
ccbot
semrushbot
ahrefsbot
mj12bot
scrapy
magpie-crawler
dotbot
chatgpt-user
gpt-4
claude-1
claude-2
claude-3
bard
palm
lamda

Rule Path
Disallow /
Back to top

Other Records

Field Value
sitemap https://1c.platforma-it.ru/sitemap.xml
sitemap https://1c.platforma-it.ru/sitemap.xml
sitemap https://1c.platforma-it.ru/sitemap.xml
sitemap https://1c.platforma-it.ru/sitemap.xml
Back to top

Comments

  • Оптимизированный robots.txt для 1c.platforma-it.ru
  • Дата обновления: 27.06.2025
  • Исправлены конфликты Disallow vs Clean-param согласно документации Яндекса
  • ========================================
  • ОБЩИЕ ПРАВИЛА ДЛЯ ВСЕХ БОТОВ
  • ========================================
  • Блокируем служебные директории
  • Блокируем служебные файлы
  • Блокируем проблемные параметры (основные поисковые)
  • Блокируем только критичные служебные параметры (остальные в Clean-param)
  • Блокируем критичные пользовательские действия (остальные в Clean-param)
  • Блокируем UTM и рекламные метки (основные)
  • Блокируем фильтры
  • Блокируем пагинацию (дублирующий контент)
  • Страницы пагинации получают noindex через canonical.php
  • Блокируем дубли первой страницы пагинации
  • Разрешаем важные ресурсы
  • Карта сайта
  • ========================================
  • СПЕЦИАЛЬНЫЕ ПРАВИЛА ДЛЯ GOOGLE
  • ========================================
  • Разрешаем важные ресурсы ПЕРЕД блокировкой директорий
  • Блокируем служебные директории (после Allow правил)
  • Блокируем пагинацию для Google (согласованность)
  • ========================================
  • СПЕЦИАЛЬНЫЕ ПРАВИЛА ДЛЯ ЯНДЕКСА
  • ========================================
  • Блокируем пагинацию для Яндекса
  • Разрешения для Яндекса
  • Clean-param для Яндекса (убирает параметры из индексации)
  • Ограничение: 500 символов на правило
  • Пагинация и размеры (основные разделы)
  • Яндекс-специфичные параметры (не блокируемые в Disallow)
  • Навигация и фильтрация (не блокируемые в Disallow)
  • UTM и рекламные метки (группа 1)
  • UTM и рекламные метки (группа 2)
  • Битрикс служебные (группа 1)
  • Битрикс служебные (группа 2) - не блокируемые в Disallow
  • Битрикс навигация и сравнение
  • Битрикс сортировка (не блокируемые в Disallow)
  • Пользовательские действия (не блокируемые в Disallow)
  • Формы и отладка
  • Система и кеширование
  • Email-маркетинг и аналитика
  • Главное зеркало сайта для Яндекса
  • Карта сайта для Яндекса
  • ========================================
  • БЛОКИРОВКА AI-БОТОВ И СКРАПЕРОВ
  • ========================================
  • ========================================
  • ДОПОЛНИТЕЛЬНЫЕ КАРТЫ САЙТА
  • ========================================
  • Основная карта сайта
  • Дополнительные карты (если есть)
  • Sitemap: https://1c.platforma-it.ru/sitemap-news.xml
  • Sitemap: https://1c.platforma-it.ru/sitemap-images.xml
Back to top

Warnings

  • `clean-param` is not a known field.
  • `host` is not a known field.
Back to top