cortravel.by
robots.txt

Robots Exclusion Standard data for cortravel.by

Resource Scan

Scan Details

Site Domain cortravel.by
Base Domain cortravel.by
Scan Status Ok
Last Scan2024-06-09T05:51:57+00:00
Next Scan 2024-07-09T05:51:57+00:00

Last Scan

Scanned2024-06-09T05:51:57+00:00
URL https://cortravel.by/robots.txt
Domain IPs 104.21.73.60, 172.67.158.72, 2606:4700:3031::ac43:9e48, 2606:4700:3035::6815:493c
Response IP 172.67.158.72
Found Yes
Hash e5913a1e836c3d5e10ebe0e5db2ae3038edfaf08855609c11d4d8b5f4b3c74e8
SimHash 313cd1228e54

Groups

*

Product Comment
* общие правила для роботов, кроме Яндекса и Google,
Rule Path Comment
Disallow /cgi-bin системная папка на хостинге, закрывается всегда
Disallow /? все параметры запроса на главной
Disallow /wp- все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins
Disallow *?s= запрос поиска
Disallow *%26s%3D запрос поиска
Disallow /search/ запрос поиска
Disallow /author/ архив автора, если у Вас новостной блог с авторскими колонками, то можно открыть
Disallow /users/ архив авторов
Disallow */trackback трекбеки, уведомления в комментариях о появлении открытой
Disallow */embed все встраивания
Disallow */wlwmanifest.xml xml-файл манифеста Windows Live Writer (если не используете,
Disallow /xmlrpc.php файл WordPress API
Disallow *utm*%3D ссылки с utm-метками
Disallow *openstat%3D ссылки с метками openstat
Allow */uploads открываем папку с файлами uploads
Allow /*/*.js открываем файлы скриптов js
Allow /*/*.css открываем фалы css
Allow /wp-*.png разрешаем индексировать изображения
Allow /wp-*.jpg разрешаем индексировать изображения
Allow /wp-*.jpeg разрешаем индексировать изображения
Allow /wp-*.gif разрешаем индексировать гифки
Allow /wp-*.webp разрешаем индексировать webp
Allow /wp-admin/admin-ajax.php разрешаем ajax

Other Records

Field Value
sitemap https://cortravel.by/sitemap_index.xml
sitemap https://cortravel.by/page-sitemap.xml

Comments

  • т.к. для них правила ниже
  • архив автора, если у Вас новостной блог с авторскими колонками, то можно открыть
  • ссылки на статью
  • правило можно удалить)