Log In Sign Up

remycom.ru
robots.txt

Robots Exclusion Standard data for remycom.ru

Resource Scan

Scan Details

Site Domain remycom.ru
Base Domain remycom.ru
Scan Status Failed
Failure StageFetching resource.
Failure ReasonServer returned a client error.
Last Scan2024-10-17T00:49:30+00:00
Next Scan 2025-01-15T00:49:30+00:00

Last Successful Scan

Scanned2024-02-27T16:06:22+00:00
URL https://remycom.ru/robots.txt
Domain IPs 92.63.194.174
Response IP 92.63.194.174
Found Yes
Hash 88303cb0c70bfd338f0d5e7b1924711024f8f1e12abb66612e7947398f477e70
SimHash 158c4f52c617

Groups

linkexchanger

Rule Path
Disallow /

soup

Rule Path
Disallow /

grapeshotcrawler

Rule Path
Disallow /

wordpress

Rule Path
Disallow /

dnyzbot

Rule Path
Disallow /

spbot

Rule Path
Disallow /

deusu

Rule Path
Disallow /

mlbot

Rule Path
Disallow /

internetseer

Rule Path
Disallow /

bubing

Rule Path
Disallow /

fairshare

Rule Path
Disallow /

yeti

Rule Path
Disallow /

birubot

Rule Path
Disallow /

yottosbot

Rule Path
Disallow /

linguee

Rule Path
Disallow /

ezooms

Rule Path
Disallow /

lwp-trivial

Rule Path
Disallow /

purebot

Rule Path
Disallow /

kmsearchbot

Rule Path
Disallow /

sitebot

Rule Path
Disallow /

camontspider

Rule Path
Disallow /

ptd-crawler

Rule Path
Disallow /

httrack

Rule Path
Disallow /

suggybot

Rule Path
Disallow /

ttcrawler

Rule Path
Disallow /

nutch

Rule Path
Disallow /

msnbot

Rule Path
Disallow /

msnbot-media

Rule Path
Disallow /

slurp

Rule Path
Disallow /

zeus

Rule Path
Disallow /

abonti

Rule Path
Disallow /

aggregator

Rule Path
Disallow /

ahrefsbot

Rule Path
Disallow /

aport

Rule Path
Disallow /

asterias

Rule Path
Disallow /

baiduspider

Rule Path
Disallow /

bdcbot

Rule Path
Disallow /

birubot

Rule Path
Disallow /

blexbot

Rule Path
Disallow /

bubing

Rule Path
Disallow /

builtbottough

Rule Path
Disallow /

bullseye

Rule Path
Disallow /

bunnyslippers

Rule Path
Disallow /

butterfly

Rule Path
Disallow /

camontspider

Rule Path
Disallow /

ccbot

Rule Path
Disallow /

cegbfeieh

Rule Path
Disallow /

*

Product Comment
* правила для всех роботов
Rule Path Comment
Disallow /cgi-bin папка на хостинге
Disallow /bitrix/ папка с системными файлами битрикса
Disallow *bitrix_*%3D GET-запросы битрикса
Disallow /local/ папка с системными файлами битрикса
Disallow /*index.php$ дубли страниц index.php
Disallow /auth/ авторизация
Disallow *auth%3D авторизация
Disallow /personal/ личный кабинет
Disallow *register%3D регистрация
Disallow *forgot_password%3D забыли пароль
Disallow *change_password%3D изменить пароль
Disallow *login%3D логин
Disallow *logout%3D выход
Disallow */search/ поиск
Disallow *action%3D действия
Disallow *print%3D печать
Disallow *?new=Y новая страница
Disallow *?edit= редактирование
Disallow *?preview= предпросмотр
Disallow *backurl%3D трекбеки
Disallow *back_url%3D трекбеки
Disallow *back_url_admin%3D трекбеки
Disallow *captcha каптча
Disallow */feed все фиды
Disallow */rss rss фид
Disallow *?FILTER*= здесь и ниже различные популярные параметры фильтров
Disallow *?ei= -
Disallow *?p= -
Disallow *?q= -
Disallow *?tags= -
Disallow *B_ORDER%3D -
Disallow *BRAND%3D -
Disallow *CLEAR_CACHE%3D -
Disallow *ELEMENT_ID%3D -
Disallow *price_from%3D -
Disallow *price_to%3D -
Disallow *PROPERTY_TYPE%3D -
Disallow *PROPERTY_WIDTH%3D -
Disallow *PROPERTY_HEIGHT%3D -
Disallow *PROPERTY_DIA%3D -
Disallow *PROPERTY_OPENING_COUNT%3D -
Disallow *PROPERTY_SELL_TYPE%3D -
Disallow *PROPERTY_MAIN_TYPE%3D -
Disallow *PROPERTY_PRICE%5B*%5D%3D -
Disallow *S_LAST%3D -
Disallow *SECTION_ID%3D -
Disallow *SECTION%5B*%5D%3D -
Disallow *SHOWALL%3D -
Disallow *SHOW_ALL%3D -
Disallow *SHOWBY%3D -
Disallow *SORT%3D -
Disallow *SPHRASE_ID%3D -
Disallow *TYPE%3D -
Disallow *utm*%3D ссылки с utm-метками
Disallow *openstat%3D ссылки с метками openstat
Disallow *from%3D ссылки с метками from
Disallow *?* ссылки GET-параметрами
Disallow */filter/* -
Disallow /spasibo/ -
Disallow /company/licenses/ удаление не нужной страницы из индекса
Disallow /info/faq/ удаление не нужной страницы из индекса
Disallow /projects/ удаление не нужной страницы из индекса
Disallow /sale/ удаление не нужной страницы из индекса
Disallow /landings/ удаление не нужной страницы из индекса
Disallow /company/staff/ удаление не нужной страницы из индекса
Disallow /company/vacancy/ удаление не нужной страницы из индекса
Disallow /sale/likvidatsiya_ostatkov/ удаление не нужной страницы из индекса
Disallow /services/ удаление не нужной страницы из индекса
Allow */upload/ открываем папку с файлами uploads
Allow /bitrix/*.js здесь и далее открываем для индексации скрипты
Allow /bitrix/*.css -
Allow /local/*.js -
Allow /local/*.css -
Allow /local/*.jpg -
Allow /local/*.jpeg -
Allow /local/*.png -
Allow /local/*.gif -
Back to top

Other Records

Field Value
sitemap https://remycom.ru/sitemap.xml
Back to top

Warnings

  • `host` is not a known field.
Back to top