bestedplg.com
robots.txt

Robots Exclusion Standard data for bestedplg.com

Resource Scan

Scan Details

Site Domain bestedplg.com
Base Domain bestedplg.com
Scan Status Failed
Failure StageFetching resource.
Failure ReasonCouldn't connect to server.
Last Scan2025-10-08T04:56:46+00:00
Next Scan 2026-01-06T04:56:46+00:00

Last Successful Scan

Scanned2024-09-13T11:20:25+00:00
URL https://bestedplg.com/robots.txt
Redirect https://auch-shop.com/robots.txt
Redirect Domain auch-shop.com
Redirect Base auch-shop.com
Domain IPs 104.21.10.5, 172.67.161.206, 2606:4700:3033::6815:a05, 2606:4700:3036::ac43:a1ce
Redirect IPs 104.21.87.223, 172.67.170.253, 2606:4700:3032::6815:57df, 2606:4700:3032::ac43:aafd
Response IP 104.21.87.223
Found Yes
Hash f442a2d0694cc8b31997d4988fc531525042e0a17afca987e848c15e7dee04e1
SimHash 54204713b525

Groups

*

Product Comment
* общие правила для роботов, кроме Яндекса и Google,
Rule Path Comment
Disallow /cgi-bin папка на Ñ
Disallow /? все параметры запроса на главной
Disallow /wp- все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins
Disallow /wp/ если есть подкаталог /wp/, где установлена CMS (если нет,
Disallow /mod/ -
Disallow /assets/ -
Disallow *?s= поиск
Disallow *%26s%3D поиск
Disallow /search/ поиск
Disallow /author/ арÑ
Disallow /users/ арÑ
Disallow */trackback трекбеки, уведомления в комментарияÑ
Disallow */feed все фиды
Disallow */rss rss фид
Disallow */embed все встраивания
Disallow */wlwmanifest.xml xml-файл манифеста Windows Live Writer (если не используете,
Disallow /xmlrpc.php файл WordPress API
Disallow *utm*%3D ссылки с utm-метками
Disallow *openstat%3D ссылки с метками openstat
Allow */uploads открываем папку с файлами uploads

googlebot

Product Comment
googlebot правила для Google (комментарии не дублирую)
Rule Path Comment
Disallow /cgi-bin -
Disallow /? -
Disallow /wp- -
Disallow /wp/ -
Disallow *?s= -
Disallow *%26s%3D -
Disallow /search/ -
Disallow /author/ -
Disallow /users/ -
Disallow */trackback -
Disallow */feed -
Disallow */rss -
Disallow */embed -
Disallow */wlwmanifest.xml -
Disallow /xmlrpc.php -
Disallow *utm*%3D -
Disallow *openstat%3D -
Disallow /mod/ -
Disallow /assets/ -
Allow */uploads -
Allow /*/*.js открываем js-скрипты внутри /wp- (/*/ - для приоритета)
Allow /*/*.css открываем css-файлы внутри /wp- (/*/ - для приоритета)
Allow /wp-*.png картинки в плагинаÑ
Allow /wp-*.jpg картинки в плагинаÑ
Allow /wp-*.jpeg картинки в плагинаÑ
Allow /wp-*.gif картинки в плагинаÑ
Allow /wp-*.webp картинки в плагинаÑ
Allow /wp-admin/admin-ajax.php используется плагинами, чтобы не блокировать JS и CSS

yandex

Product Comment
yandex правила для Яндекса (комментарии не дублирую)
Rule Path
Disallow /cgi-bin
Disallow /?
Disallow /wp-
Disallow /wp/
Disallow *?s=
Disallow *%26s%3D
Disallow /search/
Disallow /author/
Disallow /users/
Disallow */trackback
Disallow */feed
Disallow */rss
Disallow */embed
Disallow */wlwmanifest.xml
Disallow /xmlrpc.php
Disallow /mod/
Disallow /assets/
Allow */uploads
Allow /*/*.js
Allow /*/*.css
Allow /wp-*.png
Allow /wp-*.jpg
Allow /wp-*.jpeg
Allow /wp-*.gif
Allow /wp-*.webp
Allow /wp-admin/admin-ajax.php

ia_archiver

Rule Path
Disallow /

Other Records

Field Value
sitemap https://auch-shop.com/sitemap.xml
sitemap https://auch-shop.com/sitemap_images.xml

Comments

  • т.к. для ниÑ
  • правило можно удалить)
  • ссылки на статью
  • правило можно удалить)
  • от индексирования, а удалять параметры меток,
  • Google такие правила не поддерживает
  • Укажите один или несколько файлов Sitemap (дублировать для каждого User-agent
  • не нужно). Google XML Sitemap создает 2 карты сайта, как в примере ниже.
  • Укажите главное зеркало сайта, как в примере ниже (с WWW / без WWW, если HTTPS
  • то пишем протокол, если нужно указать порт, указываем). Команда стала необязательной. Ранее Host понимал
  • Яндекс и Mail.RU. Теперь все основные поисковые системы команду Host не учитывают.

Warnings

  • 10 invalid lines.
  • `clean-param` is not a known field.
  • `host` is not a known field.