Log In Sign Up

avatye.com
robots.txt

Robots Exclusion Standard data for avatye.com

Resource Scan

Scan Details

Site Domain avatye.com
Base Domain avatye.com
Scan Status Ok
Last Scan2025-12-16T08:39:19+00:00
Next Scan 2025-12-23T08:39:19+00:00

Last Scan

Scanned2025-12-16T08:39:19+00:00
URL https://avatye.com/robots.txt
Domain IPs 2600:9000:271a:0:9:f01a:e240:93a1, 2600:9000:271a:2200:9:f01a:e240:93a1, 2600:9000:271a:3400:9:f01a:e240:93a1, 2600:9000:271a:3800:9:f01a:e240:93a1, 2600:9000:271a:6200:9:f01a:e240:93a1, 2600:9000:271a:7e00:9:f01a:e240:93a1, 2600:9000:271a:8200:9:f01a:e240:93a1, 2600:9000:271a:9400:9:f01a:e240:93a1, 3.165.75.104, 3.165.75.121, 3.165.75.6, 3.165.75.72
Response IP 3.165.75.6
Found Yes
Hash 7933324920669286ef53de103dca96206b48c1b37786c7095ffc943cea501d09
SimHash 053e97020f01

Groups

*

Rule Path
Allow /
Disallow /api/
Back to top

Other Records

Field Value
sitemap https://www.avatye.com/sitemap.xml
Back to top

Comments

  • robots.txt - 검색 엔진 크롤러에게 사이트 수집 규칙을 알려주는 파일
  • 모든 검색 엔진 봇에 적용
  • 모든 페이지 크롤링 허용
  • API 엔드포인트는 크롤링 금지 (검색 결과에 ë
  • 사이트맵 위치 (검색 엔진이 모든 페이지를 효율적으로 찾을 수 있도록)
Back to top

Warnings

  • 1 invalid line.
Back to top