Log In Sign Up

thunggiay.com
robots.txt

Robots Exclusion Standard data for thunggiay.com

Resource Scan

Scan Details

Site Domain thunggiay.com
Base Domain thunggiay.com
Scan Status Ok
Last Scan2026-03-14T02:31:22+00:00
Next Scan 2026-04-13T02:31:22+00:00

Last Scan

Scanned2026-03-14T02:31:22+00:00
URL https://thunggiay.com/robots.txt
Domain IPs 104.21.30.56, 172.67.150.157, 2606:4700:3032::6815:1e38, 2606:4700:3035::ac43:969d
Response IP 172.67.150.157
Found Yes
Hash 12e9fff9976bba1a88f210b0c9e3e14bb7fb1eb061302b1d269a45c31e44044f
SimHash 4c965a3b49fe

Groups

*

Rule Path Comment
Disallow /wp-admin/ -
Allow /wp-admin/admin-ajax.php CHO PHÉP file quan trọng của WP hoạt động
Disallow /wp-includes/ -
Disallow /xmlrpc.php -
Disallow /wp-login.php* -
Disallow /cgi-bin/ -
Disallow /trackback/ -
Disallow /comments/ -
Disallow /feed/ -
Disallow /*/feed/ -
Disallow /nhuphuong/ Chặn thư mục cụ thể
Disallow /?s=* -
Disallow /search/* -
Disallow /*add-to-cart%3D* -
Disallow /cart/ -
Disallow /checkout/ -
Disallow /my-account/ -
Allow / -
Allow /wp-content/uploads/ -
Disallow /index.php -
Disallow /*.xlsx -

ahrefssiteaudit

Rule Path
Disallow /wp-admin/
Disallow /wp-includes/
Disallow /*add-to-cart%3D*
Disallow /cart/
Disallow /checkout/
Disallow /my-account/

Other Records

Field Value
crawl-delay 3

googlebot-image

Rule Path
Allow /
Back to top

Other Records

Field Value
sitemap https://thunggiay.com/sitemap_index.xml
Back to top

Comments

  • Quy tắc chung áp dụng cho HẦU HẾT các bot (bao gồm Googlebot)
  • CHẶN các trang/thÆ° mục không cần thiết cho SEO:
  • Chặn các trang tìm kiếm, tham số URL và giỏ hàng/thanh toán (WooCommerce/E-commerce)
  • CHO PHÉP các thÆ° mục quan trọng (Mặc định là Allow, nhÆ°ng nên ghi rõ cho chắc chắn)
  • Chặn các file không cần thiết (Có thể giữ lại hoặc xóa tùy mục đích)
  • Quy tắc cụ thể cho bot Site Audit của Ahrefs
  • Giới hạn tốc độ crawl (3 giây giữa các yêu cầu)
  • Áp dụng các Disallow chung để giảm tải khi Site Audit
  • Quy tắc cụ thể cho Googlebot-Image
  • Cho phép bot hình ảnh crawl mọi thứ (hoặc theo quy tắc chung)
  • Khai báo Sitemap
Back to top

Warnings

  • 3 invalid lines.
Back to top