33ways.ru
robots.txt

Robots Exclusion Standard data for 33ways.ru

Resource Scan

Scan Details

Site Domain 33ways.ru
Base Domain 33ways.ru
Scan Status Ok
Last Scan2026-04-08T12:36:36+00:00
Next Scan 2026-04-15T12:36:36+00:00

Last Scan

Scanned2026-04-08T12:36:36+00:00
URL https://33ways.ru/robots.txt
Domain IPs 91.201.52.24
Response IP 91.201.52.24
Found Yes
Hash 0ba871969d1e7b36c39121e2963c57c5bb16f197676a7672f4bb9ba303244300
SimHash 043859008471

Groups

*

Product Comment
* общие правила для роботов, кроме Яндекса и Google,
Rule Path Comment
Disallow /cgi-bin папка на хостинге
Disallow /? все параметры запроса на главной
Disallow /wp/ если есть подкаталог /wp/, где установлена CMS (если нет,
Disallow *?s= поиск
Disallow *%26s%3D поиск
Disallow /search/ поиск
Disallow /author/ архив автора
Disallow /users/ архив авторов
Disallow */trackback трекбеки, уведомления в комментариях о появлении открытой
Disallow */feed все фиды
Allow */rss rss фид
Disallow */embed все встраивания
Disallow */wlwmanifest.xml xml-файл манифеста Windows Live Writer (если не используете,
Disallow /xmlrpc.php файл WordPress API
Disallow *utm*%3D ссылки с utm-метками
Disallow *openstat%3D ссылки с метками openstat
Allow */uploads открываем папку с файлами uploads
Allow /*.css по предложению wpshop из-за проблем с гуглом
Allow /*.js по предложению wpshop из-за проблем с гуглом
Allow /wp-content/uploads/ по предложению wpshop из-за проблем с гуглом
Allow /wp-content/themes/ по предложению wpshop из-за проблем с гуглом
Allow /wp-content/plugins/ по предложению wpshop из-за проблем с гуглом
Allow /wp-includes/css/ рекомендация из интернета из-за проблем с гуглом
Allow /wp-includes/js/ рекомендация из интернета из-за проблем с гуглом
Allow /wp-includes/images/ рекомендация из интернета из-за проблем с гуглом
Disallow */page/ -

googlebot

Rule Path Comment
Allow /?amp я добавил разрешение на индексацию AMP
Disallow */page/ -

yandex

Rule Path Comment
Disallow */?amp я добавил запрет на индексацию AMP
Disallow */page/ -

gptbot

Rule Path Comment
Disallow / я добавил запрет для GPT ботов

Other Records

Field Value
sitemap https://33ways.ru/sitemap_index.xml

Comments

  • т.к. для них правила ниже
  • Disallow: /wp- # все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins
  • правило можно удалить)
  • ссылки на статью
  • правило можно удалить)
  • Укажите один или несколько файлов Sitemap (дублировать для каждого User-agent
  • не нужно). Google XML Sitemap создает 2 карты сайта, как в примере ниже.
  • Укажите главное зеркало сайта, как в примере ниже (с WWW / без WWW, если HTTPS
  • то пишем протокол, если нужно указать порт, указываем). Команда стала необязательной. Ранее Host понимал
  • Яндекс и Mail.RU. Теперь все основные поисковые системы команду Host не учитывают.

Warnings

  • `host` is not a known field.