veselyaschiy-gaz-495.com
robots.txt
Robots Exclusion Standard data for veselyaschiy-gaz-495.com
Resource Scan
Scan Details
| Site Domain | veselyaschiy-gaz-495.com |
| Base Domain | veselyaschiy-gaz-495.com |
| Scan Status | Failed |
| Failure Stage | Fetching resource. |
| Failure Reason | Server returned a client error. |
| Last Scan | 2024-04-06T04:01:40+00:00 |
| Next Scan | 2024-06-05T04:01:40+00:00 |
Last Successful Scan
| Scanned | 2024-01-15T04:00:39+00:00 |
| URL | https://veselyaschiy-gaz-495.com/robots.txt |
| Redirect | https://veselyaschiy-gaz-msk.com/robots.txt |
| Redirect Domain | veselyaschiy-gaz-msk.com |
| Redirect Base | veselyaschiy-gaz-msk.com |
| Domain IPs | 104.21.48.46, 172.67.178.1, 2606:4700:3036::ac43:b201, 2606:4700:3037::6815:302e |
| Redirect IPs | 104.21.69.85, 172.67.206.135, 2606:4700:3031::ac43:ce87, 2606:4700:3037::6815:4555 |
| Response IP | 172.67.206.135 |
| Found | Yes |
| Hash | 3ec040918118ee71074559eae52fece81284ff1fa57a02e4ab4bd86f6a2982eb |
| SimHash | a908b4f28a38 |
Groups
*
| Rule | Path | Comment |
|---|---|---|
| Allow | / | - |
| Disallow | /cgi-bin | классика.. |
| Disallow | /? | все параметры запроса на главной |
| Disallow | *? | все параметры запроса |
| Disallow | /wp- | все файлы WP: /wp-json/, /wp-includes, /wp-content/plugins |
| Disallow | *?s= | поиск |
| Disallow | *%26s%3D | поиск |
| Disallow | /search | поиск |
| Disallow | /author/ | архив автора |
| Disallow | *?attachment_id= | страница вложения |
| Disallow | */trackback | все трекбеки |
| Disallow | */feed | все фиды |
| Disallow | */embed | все встраивания |
| Disallow | */page/ | все виды пагинации |
| Allow | /archives/* | открываем content |
| Allow | */uploads | открываем uploads |
| Allow | */assets | открываем assets |
| Allow | /*/*.js | внутри /wp- (/*/ - для приоритета) |
| Allow | /*/*.css | внутри /wp- (/*/ - для приоритета) |
| Allow | /wp-*.png | картинки в плагинах, cache папке и т.д. |
| Allow | /wp-*.jpg | картинки в плагинах, cache папке и т.д. |
| Allow | /wp-*.jpeg | картинки в плагинах, cache папке и т.д. |
| Allow | /wp-*.gif | картинки в плагинах, cache папке и т.д. |
Other Records
| Field | Value | Comment |
|---|---|---|
| crawl-delay | 3 | минимальный период времени (в секундах) между окончанием загрузки одной страницы и началом загрузки следующей для поисковых роботов |
Other Records
| Field | Value |
|---|---|
| sitemap | https://veselyaschiy-gaz-msk.com/sitemaps.xml |
Warnings
- `host` is not a known field.