otdihvrossii.ru
robots.txt

Robots Exclusion Standard data for otdihvrossii.ru

Resource Scan

Scan Details

Site Domain otdihvrossii.ru
Base Domain otdihvrossii.ru
Scan Status Failed
Failure StageFetching resource.
Failure ReasonCouldn't connect to server.
Last Scan2024-09-14T06:51:51+00:00
Next Scan 2024-12-13T06:51:51+00:00

Last Successful Scan

Scanned2024-05-18T05:17:12+00:00
URL https://otdihvrossii.ru/robots.txt
Domain IPs 188.120.254.199
Response IP 188.120.254.199
Found Yes
Hash 89e8a17504e1912b0cde6e9330f9c50fef4ffec8b748e3e8a3dee36e7d011508
SimHash 907c11824e44

Groups

*

Product Comment
* общие правила для роботов, кроме Яндекса и Google,
Rule Path Comment
Disallow /cgi-bin папка на хостинге
Disallow /? все параметры запроса на главной
Disallow /wp- все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins
Disallow /wp/ если есть подкаталог /wp/, где установлена CMS (если нет,
Disallow *?s= поиск
Disallow *%26s%3D поиск
Disallow /search/ поиск
Disallow /author/ архив автора
Disallow /v/users/ архив авторов
Disallow /v/search/ -
Disallow */trackback трекбеки, уведомления в комментариях о появлении открытой
Disallow */feed все фиды
Disallow */rss rss фид
Disallow */embed все встраивания
Disallow */wlwmanifest.xml xml-файл манифеста Windows Live Writer (если не используете,
Disallow /xmlrpc.php файл WordPress API
Disallow *utm*%3D ссылки с utm-метками
Disallow *openstat%3D ссылки с метками openstat
Allow */uploads открываем папку с файлами uploads
Disallow *?amp -
Disallow *?doing_wp_cron= -
Disallow *?tg= -
Disallow *?pg= -
Disallow /tag/ -

Other Records

Field Value
sitemap https://otdihvrossii.ru/sitemap_index.xml

Comments

  • т.к. для них правила ниже
  • правило можно удалить)
  • ссылки на статью
  • правило можно удалить)