avtomarket.ru
robots.txt

Robots Exclusion Standard data for avtomarket.ru

Resource Scan

Scan Details

Site Domain avtomarket.ru
Base Domain avtomarket.ru
Scan Status Failed
Failure StageFetching resource.
Failure ReasonCouldn't establish SSL connection.
Last Scan2024-10-01T21:16:40+00:00
Next Scan 2024-12-30T21:16:40+00:00

Last Successful Scan

Scanned2023-09-07T10:19:34+00:00
URL https://avtomarket.ru/robots.txt
Domain IPs 195.211.102.45
Response IP 195.211.102.45
Found Yes
Hash 7007c38e4fd9549d390bc774ef2b6b415b70ab9c19a8d2ce1aca415850f33d50
SimHash e4ddcac0c500

Groups

*

Rule Path
Disallow /my/*
Disallow /rss/*
Disallow /redirect/*
Disallow /*//*
Disallow /*?*
Disallow /service/*
Disallow /*cts*
Disallow /*p%3D0*
Disallow /*_escaped_fragment_*
Disallow /*ref_seal*
Disallow /*retto*
Disallow /u/~*
Disallow /u/%*
Disallow /*followers
Disallow /*owners
Disallow /u/*/comments/
Disallow /u/*/themes/
Disallow /forum/*/hot/
Disallow /rating/sravnenie/
Disallow /user/*

Other Records

Field Value
sitemap https://avtomarket.ru/sitemap.xml

Comments

  • Параметры ? и // создающие дубли
  • я ищу с кучей параметров
  • Запретили все страницы с €кор€ми на комменты
  • p=0 дубли пейджинатора
  • Какая-то ернуда из галерей машин
  • Редиректы на логин
  • Юзеры без ников
  • Дублирующий и бестолковый контент
  • Юзеры c ошибкой в урле
  • Host: avtomarket.ru # depreciated