Log In Sign Up

maxlab-code.com
robots.txt

Robots Exclusion Standard data for maxlab-code.com

Resource Scan

Scan Details

Site Domain maxlab-code.com
Base Domain maxlab-code.com
Scan Status Ok
Last Scan2024-10-02T13:38:58+00:00
Next Scan 2024-10-09T13:38:58+00:00

Last Scan

Scanned2024-10-02T13:38:58+00:00
URL https://maxlab-code.com/robots.txt
Domain IPs 87.236.16.162
Response IP 87.236.16.162
Found Yes
Hash 3be36f8d59610555ff31ad6377826202270c7d2e361d4234229cd77be6446497
SimHash 1538d01be435

Groups

*

Rule Path Comment
Disallow /wp-admin/ -
Disallow /wp- все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins
Allow /wp-admin/admin-ajax.php -
Disallow /cgi-bin папка на Ñ
Disallow /? все параметры запроса на главной
Disallow *?s= поиск
Disallow *%26s%3D поиск
Disallow /search/ поиск
Disallow /author/ арÑ
Disallow /users/ арÑ
Disallow */trackback трекбеки, уведомления в комментарияÑ
Disallow */feed все фиды
Disallow */rss rss фид
Disallow */embed все встраивания
Disallow /xmlrpc.php файл WordPress API
Disallow *utm*%3D ссылки с utm-метками
Disallow *openstat%3D ссылки с метками openstat
Allow */uploads открываем папку с файлами uploads
Back to top

Other Records

Field Value
sitemap https://maxlab-code.com/sitemap_index.xml
Back to top

Comments

  • Disallow: /wp/ # если есть подкаталог /wp/, где установлена CMS (если нет,
  • правило можно удалить)
  • ссылки на статью
  • Disallow: */wlwmanifest.xml # xml-файл манифеста Windows Live Writer (если не используете,
  • правило можно удалить)
  • Укажите один или несколько файлов Sitemap (дублировать для каждого User-agent
  • не нужно). Google XML Sitemap создает 2 карты сайта, как в примере ниже.
  • Sitemap: https://maxlab-code.com/sitemap.xml.gz
  • Укажите главное зеркало сайта, как в примере ниже (с WWW / без WWW, если HTTPS
  • то пишем протокол, если нужно указать порт, указываем). Команда стала необязательной. Ранее Host понимал
  • Яндекс и Mail.RU. Теперь все основные поисковые системы команду Host не учитывают.
Back to top

Warnings

  • 4 invalid lines.
  • `host` is not a known field.
Back to top