Log In Sign Up

thescholarshiphub.org.uk
robots.txt

Robots Exclusion Standard data for thescholarshiphub.org.uk

Resource Scan

Scan Details

Site Domain thescholarshiphub.org.uk
Base Domain thescholarshiphub.org.uk
Scan Status Ok
Last Scan2025-04-04T02:45:13+00:00
Next Scan 2025-04-11T02:45:13+00:00

Last Scan

Scanned2025-04-04T02:45:13+00:00
URL https://thescholarshiphub.org.uk/robots.txt
Domain IPs 104.21.14.94, 172.67.158.141, 2606:4700:3035::6815:e5e, 2606:4700:3035::ac43:9e8d
Response IP 104.21.14.94
Found Yes
Hash be514949b549248d350175cc6c0bff5cc030f4032e6c4786632cd863851937d6
SimHash 25b080700d7d

Groups

*

Rule Path Comment
Disallow /cgi-bin классика...
Disallow /? все параметры запроса на главной
Disallow /wp- все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins
Disallow *?s= поиск
Disallow *%26s%3D поиск
Disallow /search поиск
Disallow /author/ арÑ
Disallow */embed все встраивания
Disallow */page/ все виды пагинации
Allow */uploads открываем uploads
Allow /*/*.js внутри /wp- (/*/ - для приоритета)
Allow /*/*.css внутри /wp- (/*/ - для приоритета)
Allow /wp-*.png картинки в плагинаÑ
Allow /wp-*.jpg картинки в плагинаÑ
Allow /wp-*.jpeg картинки в плагинаÑ
Allow /wp-*.gif картинки в плагинаÑ
Allow /wp-*.svg картинки в плагинаÑ
Allow /wp-*.pdf файлы в плагинаÑ
Allow /wp-admin/admin-ajax.php -
Back to top

Other Records

Field Value
sitemap https://www.thescholarshiphub.org.uk/sitemap.xml
sitemap https://www.thescholarshiphub.org.uk/sitemap.xml.gz
Back to top

Comments

  • Disallow: /wp/ # когда WP установлен в подкаталог wp
Back to top

Warnings

  • 7 invalid lines.
  • `host` is not a known field.
Back to top