dostavka24.pro
robots.txt

Robots Exclusion Standard data for dostavka24.pro

Resource Scan

Scan Details

Site Domain dostavka24.pro
Base Domain dostavka24.pro
Scan Status Failed
Failure StageFetching resource.
Failure ReasonCouldn't establish SSL connection.
Last Scan2024-11-04T01:01:07+00:00
Next Scan 2025-02-02T01:01:07+00:00

Last Successful Scan

Scanned2024-01-09T20:18:47+00:00
URL https://dostavka24.pro/robots.txt
Domain IPs 2a03:f480:2:5::b5, 5.45.125.34
Response IP 5.45.125.34
Found Yes
Hash adee79b83c60554146b780da232e4f400013e3e403f908bccad4f49fb7817a6f
SimHash dd689bd08460

Groups

*

Product Comment
* Создаем секцию правил для роботов. * значит для всех
Rule Path Comment
Disallow /cgi-bin Стандартная папка на хостинге.
Disallow /wp- Все связанное с WP - это: /wp-content /wp-admin
Disallow /wp/ Каталог куда установлено ядро WP (если ядро установлено
Disallow /? Все параметры запроса на главной.
Disallow *?s= Поиск.
Disallow *%26s%3D Поиск.
Disallow /search Поиск.
Disallow /author/ Архив автора.
Disallow */embed$ Все встраивания.
Disallow */xmlrpc.php Файл WordPress API
Disallow *utm*%3D Ссылки с utm-метками
Disallow *openstat%3D Ссылки с метками openstat
Allow */wp-*/*ajax*.php AJAX запросы: */admin-ajax.php */front-ajaxs.php
Allow */wp-sitemap карта сайта (главная и вложенные)
Allow */uploads открываем uploads
Allow */wp-*/*.js внутри /wp- (/*/ - для приоритета)
Allow */wp-*/*.css внутри /wp- (/*/ - для приоритета)
Allow */wp-*/*.png картинки в плагинах, cache папке и т.д.
Allow */wp-*/*.jpg картинки в плагинах, cache папке и т.д.
Allow */wp-*/*.jpeg картинки в плагинах, cache папке и т.д.
Allow */wp-*/*.gif картинки в плагинах, cache папке и т.д.
Allow */wp-*/*.svg картинки в плагинах, cache папке и т.д.
Allow */wp-*/*.webp файлы в плагинах, cache папке и т.д.
Allow */wp-*/*.swf файлы в плагинах, cache папке и т.д.
Allow */wp-*/*.pdf файлы в плагинах, cache папке и т.д.

Other Records

Field Value
sitemap https://dostavka24.pro/sitemap_index.xml

Comments

  • роботов. Чтобы указать секцию правил для отдельного
  • робота, вместо * укажите его имя: GoogleBot, Yandex.
  • /wp-includes /wp-json wp-login.php wp-register.php.
  • в подкаталог). Если WP установлен стандартно, то
  • правило можно удалить.
  • Секция правил закончена
  • Одна или несколько ссылок на карту сайта (файл Sitemap). Это независимая
  • директива и дублировать её для каждого User-agent не нужно. Так например
  • Google XML Sitemap создает 2 карты сайта: