cyprusbutterfly.com.cy
robots.txt
Robots Exclusion Standard data for cyprusbutterfly.com.cy
Resource Scan
Scan Details
| Site Domain | cyprusbutterfly.com.cy |
| Base Domain | cyprusbutterfly.com.cy |
| Scan Status | Ok |
| Last Scan | 2026-03-15T23:05:43+00:00 |
| Next Scan | 2026-03-22T23:05:43+00:00 |
Last Scan
| Scanned | 2026-03-15T23:05:43+00:00 |
| URL | https://cyprusbutterfly.com.cy/robots.txt |
| Domain IPs | 104.21.45.6, 172.67.207.12, 2606:4700:3031::ac43:cf0c, 2606:4700:3032::6815:2d06 |
| Response IP | 172.67.207.12 |
| Found | Yes |
| Hash | f42ae503cf22b3e51213dc4737b09b11b59aca461ba9bc86fe06b19f2d095c6d |
| SimHash | a9b545c4c215 |
Groups
*
| Product | Comment |
|---|---|
| * | правила для всех роботов |
| Rule | Path | Comment |
|---|---|---|
| Disallow | /cgi-bin | папка на хостинге |
| Disallow | /manager/ | авторизация |
| Disallow | /assets/ | папка с системными файлами modx |
| Disallow | /core/ | папка с системными файлами modx |
| Disallow | /connectors/ | папка с системными файлами modx |
| Disallow | /index.php | дубли страниц index.php |
| Disallow | *?* | ссылки с параметрами |
| Disallow | *utm*%3D | ссылки с utm-метками |
| Disallow | *openstat%3D | ссылки с метками openstat |
| Disallow | *from%3D | ссылки с метками from |
| Disallow | /test-page | Тестовая страница |
| Disallow | /edit | Панель администратора |
| Disallow | /sites | - |
| Disallow | /?* | - |
| Disallow | /blogs/rent-a-car-in-cyprus-useful-life-hacks-and-pitfalls | конфликт интересов с разделом аренды машин |
| Allow | /assets/*.jpg | здесь и далее открываем для индексации изображения, файлы и скрипты |
| Allow | /assets/*.jpeg | - |
| Allow | /assets/*.gif | - |
| Allow | /assets/*.png | - |
| Allow | /assets/*.pdf | - |
| Allow | /assets/*.doc | - |
| Allow | /assets/*.docx | - |
| Allow | /assets/*.xls | - |
| Allow | /assets/*.xlsx | - |
| Allow | /assets/*.ppt | - |
| Allow | /assets/*.pptx | - |
| Allow | /assets/*.js | - |
| Allow | /assets/*.css | - |
| Allow | *?page= | открываем для индексации страницы пагинации (и проверьте, чтобы для них был настроен canonical) |
mediapartners-google
| Product | Comment |
|---|---|
| mediapartners-google | Правила для Google AdSense |
| Rule | Path | Comment |
|---|---|---|
| Disallow | /blogs/cypriots-a-subjective-view-of-men | Закрываем от показа объявлений токсичный контент, чтобы не нарушать правила Гугла |
| Disallow | /blogs/intim-massazh-na-kipre | - |
| Disallow | /blogs/kiprskie-vecherinki-s-izyuminkoy-dlya-18 | - |
| Disallow | /blogs/market-escortis-cyprus-suffers-catastrophic-losses | - |
| Disallow | /blogs/the-naked-truth-where-to-go-nude-in-cyprus | - |
| Disallow | /news/the-most-famous-dominatrix-in-the-world-with-the-greek-cypriot-origin-found-dead-in-his-home | - |
| Disallow | /news/video-from-the-party-from-the-night-club-ayia-napa-1 | - |
Other Records
| Field | Value |
|---|---|
| sitemap | https://cyprusbutterfly.com.cy/sitemap.xml |
Warnings
- `clean-param` is not a known field.
- `host` is not a known field.