t24.su
robots.txt
Robots Exclusion Standard data for t24.su
Resource Scan
Scan Details
| Site Domain | t24.su |
| Base Domain | t24.su |
| Scan Status | Ok |
| Last Scan | 2024-09-17T05:39:59+00:00 |
| Next Scan | 2024-09-24T05:39:59+00:00 |
Last Scan
| Scanned | 2024-09-17T05:39:59+00:00 |
| URL | https://t24.su/robots.txt |
| Domain IPs | 217.144.98.94 |
| Response IP | 217.144.98.94 |
| Found | Yes |
| Hash | 9d848b0ce90cf459ca171cd79046d93543b65bae35157275ca0d04e205a268de |
| SimHash | d8499b461c61 |
Groups
*
| Product | Comment |
|---|---|
| * | Создаем секцию правил для роботов. * значит для всех |
| Rule | Path | Comment |
|---|---|---|
| Disallow | /cgi-bin | Стандартная папка на хостинге. |
| Disallow | /th9zeez7aij/ | Закрываем админку. |
| Disallow | /? | Все параметры запроса на главной. |
| Disallow | *?s= | Поиск. |
| Disallow | *%26s%3D | Поиск. |
| Disallow | /search | Поиск. |
| Disallow | /author/ | Архив автора. |
| Disallow | */embed$ | Все встраивания. |
| Disallow | */page/ | Все виды пагинации. |
| Disallow | */xmlrpc.php | Файл WordPress API |
| Disallow | *utm*%3D | Ссылки с utm-метками |
| Disallow | *openstat%3D | Ссылки с метками openstat |
Other Records
| Field | Value |
|---|---|
| sitemap | https://www.t24.su/sitemap.xml |
Comments