avdeli.ru
robots.txt

Robots Exclusion Standard data for avdeli.ru

Resource Scan

Scan Details

Site Domain avdeli.ru
Base Domain avdeli.ru
Scan Status Ok
Last Scan2024-05-18T04:11:46+00:00
Next Scan 2024-05-25T04:11:46+00:00

Last Scan

Scanned2024-05-18T04:11:46+00:00
URL https://avdeli.ru/robots.txt
Domain IPs 185.114.245.109, 2a03:6f00:6:1::b972:f56d
Response IP 185.114.245.109
Found Yes
Hash 7f91cf8baa1e9668f22abcc2795e8c27f1a6644d1cb43b4d55e0eb01cb1077db
SimHash 2938bd62ea33

Groups

*

Rule Path Comment
Disallow /cgi-bin классика...
Disallow /? все параметры запроса на главной
Disallow /wp- все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins
Disallow *?s= поиск
Disallow *%26s%3D поиск
Disallow /search поиск
Disallow /author/ архив автора
Disallow */embed все встраивания
Disallow */page/ все виды пагинации
Disallow */adresa-avito/ лишние страницы каталога адресов
Allow */uploads открываем uploads
Allow /*/*.js внутри /wp- (/*/ - для приоритета)
Allow /*/*.css внутри /wp- (/*/ - для приоритета)
Allow /wp-*.png картинки в плагинах, cache папке и т.д.
Allow /wp-*.jpg картинки в плагинах, cache папке и т.д.
Allow /wp-*.jpeg картинки в плагинах, cache папке и т.д.
Allow /wp-*.gif картинки в плагинах, cache папке и т.д.
Allow /wp-*.svg картинки в плагинах, cache папке и т.д.
Allow /wp-*.webp картинки в плагинах, cache папке и т.д.
Allow /wp-*.pdf файлы в плагинах, cache папке и т.д.
Allow /wp-admin/admin-ajax.php -
Disallow /*?operator=* -
Disallow /*?unapproved=* -
Disallow /*?moderation-hash=* -
Disallow /*?qs=* -
Disallow /*?filter=* -

ia_archiver-web.archive.org

Rule Path
Disallow /

ia_archiver

Rule Path
Disallow /

baiduspider

Rule Path
Disallow /

mj12bot

Rule Path
Disallow /

ezooms

Rule Path
Disallow /

solomonobot

Rule Path
Disallow /

rogerbot

Rule Path
Disallow /

linkpadbot

Rule Path
Disallow /

semrushbot

Rule Path
Disallow /

semrushbot-sa

Rule Path
Disallow /

prodvigator

Rule Path
Disallow /

prodvigatorbot

Rule Path
Disallow /

surveybot

Rule Path
Disallow /

alexibot

Rule Path
Disallow /

xenu

Rule Path
Disallow /

ahrefsbot

Rule Path
Disallow /

serpstat

Rule Path
Disallow /

Other Records

Field Value
sitemap https://avdeli.ru/sitemap.xml

Comments

  • (start) suspicious bot list

Warnings

  • `clean-param` is not a known field.