dom-expert.by
robots.txt
Robots Exclusion Standard data for dom-expert.by
Resource Scan
Scan Details
| Site Domain | dom-expert.by |
| Base Domain | dom-expert.by |
| Scan Status | Ok |
| Last Scan | 2024-09-20T15:05:51+00:00 |
| Next Scan | 2024-09-27T15:05:51+00:00 |
Last Scan
| Scanned | 2024-09-20T15:05:51+00:00 |
| URL | https://dom-expert.by/robots.txt |
| Domain IPs | 37.230.113.110 |
| Response IP | 37.230.113.110 |
| Found | Yes |
| Hash | b06ab04d84a5424f756eeb4ab1b68bbe33cbb4570bd92734ecd2c962f337feb6 |
| SimHash | 6d28f4620638 |
Groups
*
| Rule | Path | Comment |
|---|---|---|
| Disallow | /cgi-bin | классика... |
| Disallow | /? | все параметры запроса на главной |
| Disallow | /wp- | все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins |
| Disallow | *?s= | поиск |
| Disallow | *%26s%3D | поиск |
| Disallow | *.htm | вирус |
| Disallow | /img*/ | - |
| Disallow | /elak*.php | - |
| Disallow | /search | поиск |
| Disallow | /author/ | архив автора |
| Disallow | *?attachment_id= | страница вложения. Вообще-то на ней редирект... |
| Disallow | */trackback | - |
| Disallow | */embed | все встраивания |
| Disallow | */page/ | все виды пагинации |
| Allow | */feed | все фиды |
| Allow | */uploads | открываем uploads |
| Allow | /*/*.js | внутри /wp- (/*/ - для приоритета) |
| Allow | /*/*.css | внутри /wp- (/*/ - для приоритета) |
| Allow | /wp-*.png | картинки в плагинах, cache папке и т.д. |
| Allow | /wp-*.jpg | картинки в плагинах, cache папке и т.д. |
| Allow | /wp-*.jpeg | картинки в плагинах, cache папке и т.д. |
| Allow | /wp-*.gif | картинки в плагинах, cache папке и т.д. |
Other Records
| Field | Value |
|---|---|
| sitemap | http://dom-expert.by/sitemap_index.xml |
Warnings
- `host` is not a known field.