klaxonnew.ru
robots.txt

Robots Exclusion Standard data for klaxonnew.ru

Resource Scan

Scan Details

Site Domain klaxonnew.ru
Base Domain klaxonnew.ru
Scan Status Ok
Last Scan2024-11-17T00:09:07+00:00
Next Scan 2024-11-24T00:09:07+00:00

Last Scan

Scanned2024-11-17T00:09:07+00:00
URL https://klaxonnew.ru/robots.txt
Domain IPs 92.53.106.18
Response IP 92.53.106.18
Found Yes
Hash cc417d2f6fba76d4da669af164cd041a2219103f9d8c0a58e344ef433d01227f
SimHash 34281e678a54

Groups

*

Product Comment
* общие правила для роботов, кроме Яндекса и Google,
Rule Path Comment
Disallow /cgi-bin папка на хостинге
Disallow /wp- все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins
Disallow /wp/ если есть подкаталог /wp/, где установлена CMS (если нет,
Disallow *?s= поиск
Disallow *%26s%3D поиск
Disallow /search/ поиск
Disallow /author/ архив автора
Disallow /users/ архив авторов
Disallow */trackback трекбеки, уведомления в комментариях о появлении открытой
Disallow */embed все встраивания
Disallow */wlwmanifest.xml xml-файл манифеста Windows Live Writer (если не используете,
Disallow /xmlrpc.php файл WordPress API
Disallow *utm*%3D ссылки с utm-метками
Disallow *openstat%3D ссылки с метками openstat
Disallow /cgi-bin папка на хостинге
Disallow /bitrix/ папка с системными файлами битрикса
Disallow *bitrix_*%3D GET-запросы битрикса
Disallow /local/ папка с системными файлами битрикса
Disallow /*index.php$ дубли страниц index.php
Disallow /auth/ авторизация
Disallow *auth%3D авторизация
Disallow /personal/ личный кабинет
Disallow *register%3D регистрация
Disallow *forgot_password%3D забыли пароль
Disallow *change_password%3D изменить пароль
Disallow *login%3D логин
Disallow *logout%3D выход
Disallow */search/ поиск
Disallow *action%3D действия
Disallow *print%3D печать
Disallow *?new=Y новая страница
Disallow *?edit= редактирование
Disallow *?preview= предпросмотр
Disallow *backurl%3D трекбеки
Disallow *back_url%3D трекбеки
Disallow *back_url_admin%3D трекбеки
Disallow *captcha каптча
Disallow /?nomer= -
Disallow /?preview_id= -
Disallow /?nw= -
Allow */uploads открываем папку с файлами uploads
Allow *feed* -

googlebot

Product Comment
googlebot правила для Google (комментарии не дублирую)
Rule Path Comment
Disallow /cgi-bin -
Disallow /wp- -
Disallow /wp/ -
Disallow *?s= -
Disallow *%26s%3D -
Disallow /search/ -
Disallow /author/ -
Disallow /users/ -
Disallow */trackback -
Disallow */embed -
Disallow */wlwmanifest.xml -
Disallow /xmlrpc.php -
Disallow *utm*%3D -
Disallow *openstat%3D -
Disallow /cgi-bin папка на хостинге
Disallow /bitrix/ папка с системными файлами битрикса
Disallow *bitrix_*%3D GET-запросы битрикса
Disallow /local/ папка с системными файлами битрикса
Disallow /*index.php$ дубли страниц index.php
Disallow /auth/ авторизация
Disallow *auth%3D авторизация
Disallow /personal/ личный кабинет
Disallow *register%3D регистрация
Disallow *forgot_password%3D забыли пароль
Disallow *change_password%3D изменить пароль
Disallow *login%3D логин
Disallow *logout%3D выход
Disallow */search/ поиск
Disallow *action%3D действия
Disallow *print%3D печать
Disallow *?new=Y новая страница
Disallow *?edit= редактирование
Disallow *?preview= предпросмотр
Disallow *backurl%3D трекбеки
Disallow *back_url%3D трекбеки
Disallow *back_url_admin%3D трекбеки
Disallow *captcha каптча
Disallow /?nomer= -
Disallow /?preview_id= -
Disallow /?nw= -
Allow */uploads -
Allow /*/*.js открываем js-скрипты внутри /wp- (/*/ - для приоритета)
Allow /*/*.css открываем css-файлы внутри /wp- (/*/ - для приоритета)
Allow /wp-*.png картинки в плагинах, cache папке и т.д.
Allow /wp-*.jpg картинки в плагинах, cache папке и т.д.
Allow /wp-*.jpeg картинки в плагинах, cache папке и т.д.
Allow /wp-*.gif картинки в плагинах, cache папке и т.д.
Allow /wp-admin/admin-ajax.php используется плагинами, чтобы не блокировать JS и CSS
Allow *feed* -

yandex

Product Comment
yandex правила для Яндекса (комментарии не дублирую)
Rule Path Comment
Disallow /cgi-bin -
Disallow /wp- -
Disallow /wp/ -
Disallow *?s= -
Disallow *%26s%3D -
Disallow /search/ -
Disallow /author/ -
Disallow /users/ -
Disallow */trackback -
Disallow */embed -
Disallow */wlwmanifest.xml -
Disallow /xmlrpc.php -
Disallow /cgi-bin папка на хостинге
Disallow /bitrix/ папка с системными файлами битрикса
Disallow *bitrix_*%3D GET-запросы битрикса
Disallow /local/ папка с системными файлами битрикса
Disallow /*index.php$ дубли страниц index.php
Disallow /auth/ авторизация
Disallow *auth%3D авторизация
Disallow /personal/ личный кабинет
Disallow *register%3D регистрация
Disallow *forgot_password%3D забыли пароль
Disallow *change_password%3D изменить пароль
Disallow *login%3D логин
Disallow *logout%3D выход
Disallow */search/ поиск
Disallow *action%3D действия
Disallow *print%3D печать
Disallow *?new=Y новая страница
Disallow *?edit= редактирование
Disallow *?preview= предпросмотр
Disallow *backurl%3D трекбеки
Disallow *back_url%3D трекбеки
Disallow *back_url_admin%3D трекбеки
Disallow *captcha каптча
Disallow /?nomer= -
Disallow /?preview_id= -
Disallow /?nw= -
Allow */uploads -
Allow /*/*.js -
Allow /*/*.css -
Allow /wp-*.png -
Allow /wp-*.jpg -
Allow /wp-*.jpeg -
Allow /wp-*.gif -
Allow /wp-admin/admin-ajax.php -
Allow *feed* -

Other Records

Field Value
sitemap https://klaxonnew.ru/sitemap.xml

Comments

  • т.к. для них правила ниже
  • Disallow: /? # все параметры запроса на главной
  • правило можно удалить)
  • ссылки на статью
  • Disallow: */feed # все фиды
  • Disallow: */rss # rss фид
  • правило можно удалить)
  • Disallow: /?
  • Disallow: */feed
  • Disallow: */rss
  • Disallow: /?
  • Disallow: */feed
  • Disallow: */rss
  • от индексирования, а удалять параметры меток,
  • Google такие правила не поддерживает

Warnings

  • `clean-param` is not a known field.
  • `host` is not a known field.