mechta.su
robots.txt

Robots Exclusion Standard data for mechta.su

Resource Scan

Scan Details

Site Domain mechta.su
Base Domain mechta.su
Scan Status Ok
Last Scan2025-10-29T14:00:19+00:00
Next Scan 2025-11-28T14:00:19+00:00

Last Scan

Scanned2025-10-29T14:00:19+00:00
URL https://mechta.su/robots.txt
Domain IPs 87.236.16.164
Response IP 87.236.16.164
Found Yes
Hash 9f9bc4f8b6f7e0087ef5812128d5a7e1eba5c5cce434bdbef2b972041a25978a
SimHash 039dcff54af0

Groups

*

Rule Path
Allow /*/*.js
Allow /*/*.css
Allow /*/*.json
Allow /wp-*.png
Allow /wp-*.jpg
Allow /wp-*.jpeg
Allow /wp-*.gif
Allow /wp-*.svg
Allow /wp-*.webp
Allow /wp-*.avif
Allow /wp-*.woff
Allow /wp-*.woff2
Allow /wp-*.ttf
Allow /wp-*.eot
Allow /wp-admin/admin-ajax.php
Allow /uploads
Allow /wp-content/uploads/
Allow /wp-json/wp/v2/pages
Allow /wp-json/wp/v2/posts
Disallow /cgi-bin/
Disallow /wp-admin/
Disallow /wp-includes/
Disallow /wp-content/plugins/
Disallow /wp-content/themes/
Disallow /wp-content/cache/
Disallow /wp-
Disallow /wp/
Disallow /xmlrpc.php
Disallow /readme.html
Disallow /license.txt
Disallow /*/trackback
Disallow /*/feed
Disallow /*/rss
Disallow /*/atom
Disallow /*/embed
Disallow /*/wlwmanifest.xml
Disallow /wp-json/oembed/
Disallow /wp-login.php
Disallow /wp-register.php
Disallow /search/
Disallow /author/
Disallow /users/
Disallow /privacy/
Disallow /cart/
Disallow /checkout/
Disallow /my-account/
Disallow /gallery/
Disallow /jizn-poselka/
Disallow /journal/
Disallow /catalog-new/
Disallow /press/
Disallow /bez-rubriki/
Disallow /lesnaja-simf_stage/
Disallow /lesnaja-simf_stage_1_houses/
Disallow /lesnaja-simf_stage_2/
Disallow /lesnaja-simf_stage_2_houses/
Disallow /tjulpanov_stage/
Disallow /zemljapol_stage/
Disallow /druzhba_stage_1/1-2/
Disallow /druzhba_stage_1/2-2/
Disallow /planirovka/
Disallow /planirovka/tip-130-right/
Disallow /lobnya/
Disallow /compare/
Disallow /commercial/
Disallow /success/
Disallow /agent-reg/
Disallow /podbor-jilya/
Disallow /thank-you/
Disallow /404/
Disallow /flats/
Disallow /amp/
Disallow /migration/
Disallow /topics/
Disallow /tag/
Disallow /o-proekte1/
Disallow /undefined/
Disallow /%26
Disallow *%26search_source%3D*
Disallow *%26search_domain%3D*
Disallow *%26source%3D*
Disallow *%26lr%3D*
Disallow *?s=*
Disallow *%26s%3D*
Disallow *?f=*
Disallow *?q=*
Disallow *%26q%3D*
Disallow *?search=*
Disallow *utm_*%3D*
Disallow *_openstat%3D*
Disallow *gclid%3D*
Disallow *yclid%3D*
Disallow *ymclid%3D*
Disallow *fbclid%3D*
Disallow *from%3D*
Disallow *cid%3D*
Disallow *frommarket%3D*
Disallow *calltouch_tm%3D*
Disallow *mango%3D*
Disallow *erid%3D*
Disallow *etext%3D*
Disallow *save_backstack%3D*
Disallow *cm_id%3D*
Disallow *ybaip%3D*
Disallow *ctime%3D*
Disallow *yadordid%3D*
Disallow *yadclid%3D*
Disallow *advert%3D*
Disallow *hs%3D*
Disallow *marquiz_name%3D*
Disallow *marquiz_phone%3D*
Disallow *ref%3D*
Disallow *backurl%3D*
Disallow *object%3D*
Disallow *sphrase_id%3D*
Disallow *roistat%3D*
Disallow *roistat_visit%3D*
Disallow *customize_changeset_uuid%3D*
Disallow *customize_theme%3D*
Disallow *customize_messenger_channel%3D*
Disallow *preview%3D*
Disallow *preview_id%3D*
Disallow *sort_by%3D*
Disallow *order%3D*
Disallow *orderby%3D*
Disallow *AJAX%3D*
Disallow *ajax%3D*
Disallow *page%3D*
Disallow *paged%3D*
Disallow *currentBuildings%3D*
Disallow *currentRooms%3D*
Disallow *currentStages%3D*
Disallow *currentProjects%3D*
Disallow *currentType%3D*
Disallow *currentPrice%3D*
Disallow *currentSale%3D*
Disallow *currentFinishing%3D*
Disallow *currentCheckInData%3D*
Disallow *currentFloors%3D*
Disallow *currentBuildingsMkd%3D*
Disallow *currentFeatures%3D*
Disallow *currentPriceFrom%3D*
Disallow *currentPriceTo%3D*
Disallow *currentSquare%3D*
Disallow *currentSquareFrom%3D*
Disallow *currentSquareTo%3D*
Disallow *SPD%3D*
Disallow *PRICE%3D*
Disallow *CAT%3D*
Disallow *SUBCAT%3D*
Disallow *APPLY%3D*
Disallow *ACTION%3D*
Disallow *TYPE%3D*
Disallow *COMPLETE%3D*
Disallow *PLAN%3D*
Disallow *BUILD_TYPE%3D*
Disallow *TYPE_OF_FINISH%3D*
Disallow *ROOMS%3D*
Disallow *FLOOR%3D*
Disallow *id%3D*
Disallow *pid%3D*

googlebot
googlebot-image

Rule Path
Allow /*/*.jpg
Allow /*/*.jpeg
Allow /*/*.png
Allow /*/*.gif
Allow /*/*.svg
Allow /*/*.webp
Allow /*/*.avif
Disallow /wp-admin/

googlebot-mobile
mediapartners-google

Rule Path
Allow /

yandex
yandexbot
yandexmobilebot
yandeximages

Rule Path
Allow /*/*.jpg
Allow /*/*.jpeg
Allow /*/*.png
Allow /*/*.gif
Allow /*/*.svg
Allow /*/*.webp
Allow /*/*.avif

mail.ru_bot
bingbot
bingbot

No rules defined. All paths allowed.

Other Records

Field Value
sitemap https://mechta.su/sitemap.xml

Comments

  • robots.txt для mechta.su
  • Версия: 10.10.2025
  • ==========================================
  • ПРАВИЛА ДЛЯ ВСЕХ ПОИСКОВЫХ РОБОТОВ
  • ==========================================
  • Разрешаем индексацию статическиÑ
  • Разрешаем REST API для динамического контента (если используется)
  • -----------------------------------------
  • Блокируем служебные разделы WordPress
  • -----------------------------------------
  • -----------------------------------------
  • Блокируем системные и вспомогательные страницы
  • -----------------------------------------
  • -----------------------------------------
  • Блокируем неиндексируемые разделы сайта
  • -----------------------------------------
  • -----------------------------------------
  • Блокируем старую структуру URL (из анализа логов)
  • -----------------------------------------
  • Старая структура квартир с UUID (230 URL с ошибкой 404)
  • AMP-версии страниц (если не используются)
  • Старые разделы и структуры
  • -----------------------------------------
  • Блокируем пагинацию (если создает дубли)
  • -----------------------------------------
  • Раскомментируйте, если пагинация создает проблемы с индексацией
  • Disallow: */page/
  • Disallow: /page/
  • -----------------------------------------
  • Блокируем битые URL с параметрами от агрегаторов
  • -----------------------------------------
  • -----------------------------------------
  • Блокируем URL с параметрами поиска
  • -----------------------------------------
  • -----------------------------------------
  • Блокируем маркетинговые и трекинговые метки
  • -----------------------------------------
  • -----------------------------------------
  • Блокируем параметры WordPress кастомизации
  • -----------------------------------------
  • -----------------------------------------
  • Блокируем параметры сортировки и пагинации
  • -----------------------------------------
  • -----------------------------------------
  • Блокируем параметры фильтров каталога (избегаем дублирования)
  • -----------------------------------------
  • -----------------------------------------
  • Блокируем ID объектов в параметраÑ
  • -----------------------------------------
  • ==========================================
  • ПРАВИЛА ДЛЯ GOOGLE
  • ==========================================
  • Google не поддерживает Clean-param, поэтому дублируем запреты
  • Наследует все правила от User-agent: *
  • Можно добавить специфичные правила, если нужно
  • Явно разрешаем изображения для Google Image Search
  • Наследует все правила от User-agent: *
  • Бот Google AdSense - разрешаем полный доступ
  • ==========================================
  • ПРАВИЛА ДЛЯ ЯНДЕКСА
  • ==========================================
  • Яндекс поддерживает Clean-param для склейки дубликатов
  • Это ЛУЧШЕ чем Disallow, т.к. позволяет сканировать страницы, но склеивает дубли
  • Склеиваем маркетинговые и трекинговые параметры
  • Склеиваем параметры WordPress
  • Склеиваем параметры сортировки и AJAX
  • Склеиваем параметры фильтрации каталога
  • Задержка между запросами (опционально, если сервер перегружен)
  • Crawl-delay: 0.5
  • ==========================================
  • ПРАВИЛА ДЛЯ ДРУГИХ БОТОВ
  • ==========================================
  • Наследует правила от User-agent: Yandex
  • Наследует правила от User-agent: Yandex
  • Разрешаем доступ к изображениям
  • Наследует все правила от User-agent: *
  • Наследует все правила от User-agent: *
  • Наследует все правила от User-agent: *
  • ==========================================
  • КАРТЫ САЙТА
  • ==========================================

Warnings

  • 2 invalid lines.
  • `clean-param` is not a known field.
  • `host` is not a known field.