tatmuseum.ru
robots.txt

Robots Exclusion Standard data for tatmuseum.ru

Resource Scan

Scan Details

Site Domain tatmuseum.ru
Base Domain tatmuseum.ru
Scan Status Ok
Last Scan2024-06-07T23:17:28+00:00
Next Scan 2024-07-07T23:17:28+00:00

Last Scan

Scanned2024-06-07T23:17:28+00:00
URL https://tatmuseum.ru/robots.txt
Domain IPs 2a00:f940:2:2:1:3:0:84, 31.31.198.47
Response IP 31.31.198.47
Found Yes
Hash 7ae6dddb7d9816ac0b3eb90ae31452844569d5ca22c1f9bb80290e38a54e3dd6
SimHash 09087441d388

Groups

*

Product Comment
* правила для всеÑ
Rule Path Comment
Disallow /cgi-bin папка на Ñ
Disallow /bitrix/ папка с системными файлами битрикса
Disallow *bitrix_*%3D GET-запросы битрикса
Disallow /local/ папка с системными файлами битрикса
Disallow /*index.php$ дубли страниц index.php
Disallow /auth/ авторизация
Disallow *auth%3D авторизация
Disallow /personal/ личный кабинет
Disallow *register%3D регистрация
Disallow *forgot_password%3D забыли пароль
Disallow *change_password%3D изменить пароль
Disallow *login%3D логин
Disallow *logout%3D выÑ
Disallow */search/ поиск
Disallow *action%3D действия
Disallow *print%3D печать
Disallow *?new=Y новая страница
Disallow *?edit= редактирование
Disallow *?preview= предпросмотр
Disallow *backurl%3D трекбеки
Disallow *back_url%3D трекбеки
Disallow *back_url_admin%3D трекбеки
Disallow *captcha каптча
Disallow */feed все фиды
Disallow */rss rss фид
Disallow *?FILTER*= здесь и ниже различные популярные параметры фильтров
Disallow *?*=* -
Disallow *?p= -
Disallow *?q= -
Disallow *?tags= -
Disallow *B_ORDER%3D -
Disallow *BRAND%3D -
Disallow *CLEAR_CACHE%3D -
Disallow *ELEMENT_ID%3D -
Disallow *price_from%3D -
Disallow *price_to%3D -
Disallow *PROPERTY_TYPE%3D -
Disallow *PROPERTY_WIDTH%3D -
Disallow *PROPERTY_HEIGHT%3D -
Disallow *PROPERTY_DIA%3D -
Disallow *PROPERTY_OPENING_COUNT%3D -
Disallow *PROPERTY_SELL_TYPE%3D -
Disallow *PROPERTY_MAIN_TYPE%3D -
Disallow *PROPERTY_PRICE%5B*%5D%3D -
Disallow *S_LAST%3D -
Disallow *SECTION_ID%3D -
Disallow *SECTION%5B*%5D%3D -
Disallow *SHOWALL%3D -
Disallow *SHOW_ALL%3D -
Disallow *SHOWBY%3D -
Disallow *SORT%3D -
Disallow *SPHRASE_ID%3D -
Disallow *TYPE%3D -
Disallow *utm*%3D ссылки с utm-метками
Disallow *openstat%3D ссылки с метками openstat
Disallow *from%3D ссылки с метками from
Allow */upload/ открываем папку с файлами uploads
Allow /bitrix/*.js здесь и далее открываем для индексации скрипты
Allow /bitrix/*.css -
Allow /local/*.js -
Allow /local/*.css -
Allow /local/*.jpg -
Allow /local/*.jpeg -
Allow /local/*.png -
Allow /local/*.gif -

Warnings

  • 3 invalid lines.
  • `host` is not a known field.