dolean.ru
robots.txt

Robots Exclusion Standard data for dolean.ru

Resource Scan

Scan Details

Site Domain dolean.ru
Base Domain dolean.ru
Scan Status Ok
Last Scan2026-03-02T03:30:36+00:00
Next Scan 2026-03-09T03:30:36+00:00

Last Scan

Scanned2026-03-02T03:30:36+00:00
URL https://dolean.ru/robots.txt
Domain IPs 2a00:f940:2:2:1:1:0:247, 31.31.198.49
Response IP 31.31.198.49
Found Yes
Hash 2572a79c5e2395c2febc7a715e16e21b210bcaee2b7b5fd7ce612f032cee6316
SimHash 1430c05bb431

Groups

*

Product Comment
* общие правила для роботов, кроме Яндекса и Google,
Rule Path Comment
Disallow /cgi-bin папка на Ñ
Disallow /? все параметры запроса на главной
Disallow /wp- все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins
Disallow *?s= поиск
Disallow *%26s%3D поиск
Disallow /search/ поиск
Disallow /author/ арÑ
Disallow /users/ арÑ
Disallow */trackback трекбеки, уведомления в комментарияÑ
Disallow */feed все фиды
Disallow */rss rss фид
Disallow */embed все встраивания
Disallow */wlwmanifest.xml xml-файл манифеста Windows Live Writer (если не используете,
Disallow /xmlrpc.php файл WordPress API
Disallow *utm*%3D ссылки с utm-метками
Disallow *openstat%3D ссылки с метками openstat
Allow */uploads открываем папку с файлами uploads
Allow /cache/com_templates/templates/ для гуглбота, проверка мобильныÑ

Other Records

Field Value
sitemap https://dolean.ru/sitemap.xml
sitemap https://dolean.ru/sitemap.xml.gz

Comments

  • т.к. для ниÑ
  • ссылки на статью
  • правило можно удалить)
  • Укажите один или несколько файлов Sitemap (дублировать для каждого User-agent
  • не нужно). Google XML Sitemap создает 2 карты сайта, как в примере ниже.
  • Укажите главное зеркало сайта, как в примере ниже (с WWW / без WWW, если HTTPS
  • то пишем протокол, если нужно указать порт, указываем). Команда стала необязательной. Ранее Host понимал
  • Яндекс и Mail.RU. Теперь все основные поисковые системы команду Host не учитывают.

Warnings

  • 6 invalid lines.
  • `host` is not a known field.