Trong thực tế phát triển phần mềm và tối ưu website, việc sử dụng công cụ cấu hình robots txt đóng vai trò vô cùng quan trọng. Trong thế giới SEO kỹ thuật (Technical SEO), tệp tin nhỏ bé mang tên robots.txt nằm tại thư mục gốc của website (https://yourdomain.com/robots.txt) chính là "người gác cổng" quyền lực nhất. Đây là điểm dừng chân đầu tiên của mọi cỗ máy tìm kiếm (Googlebot, Bingbot, Yandex) cũng như các bot thu thập dữ liệu AI (GPTBot, ClaudeBot) trước khi chúng bắt đầu quét bất kỳ trang nội dung nào trên trang web của bạn. Một sai lầm ngớ ngẩn chỉ với 2 dòng lệnh trong file này có thể khiến toàn bộ website "biến mất" hoàn toàn khỏi kết quả tìm kiếm của Google chỉ sau một đêm! Bài viết này sẽ hướng dẫn bạn chi tiết cách cấu hình file robots.txt chuẩn SEO, ngăn chặn bot rác và tối ưu hóa ngân sách thu thập dữ liệu (Crawl Budget) bằng công cụ tạo file robots.txt trực tuyến của Metoolzy.

Robots.txt là một tệp văn bản thuần túy (Plain text) tuân thủ Giao thức Loại trừ Robot (Robots Exclusion Protocol – REP). Khi một con bot chuẩn bị cào dữ liệu từ website của bạn, nó sẽ đọc file này để biết:
Allow).Disallow).Sitemap).User-agent: *
Disallow: /
Nếu khi đưa web lên domain chính thức mà quên xóa dòng này, Google sẽ hiểu là bạn muốn cấm toàn bộ trang web và sẽ xóa sổ toàn bộ các từ khóa đã lên top của bạn!
/wp-content/themes/ hay các file .js, .css, Googlebot sẽ không thể render được bố cục di động và đánh tụt điểm xếp hạng Mobile-friendly của bạn./admin/ hay /private-data/ trong robots.txt là an toàn. Nhưng thực tế file robots.txt là công khai 100% với toàn thế giới. Hacker sẽ mở file này đầu tiên để biết chính xác những thư mục nhạy cảm nào bạn đang cố che giấu! Các dữ liệu mật phải được bảo vệ bằng mật khẩu và phân quyền server (.htaccess, xác thực HTTP), chứ không phải bằng robots.txt.Với các website có quy mô lớn (từ vài nghìn đến hàng triệu URL như sàn thương mại điện tử, báo điện tử), Googlebot không có đủ thời gian và tài nguyên máy chủ để quét toàn bộ các trang mỗi ngày. Số lượng URL mà Googlebot ghé thăm trang web của bạn trong một ngày được gọi là Crawl Budget (Ngân sách cào dữ liệu).
Nếu bạn để Googlebot lãng phí thời gian quét vào hàng nghìn trang rác (như trang kết quả tìm kiếm nội bộ, trang giỏ hàng, trang sắp xếp sản phẩm ?sort=price, link lọc màu sắc), Googlebot sẽ hết ngân sách trước khi kịp tìm thấy và index các bài viết mới hoặc sản phẩm mới ra mắt của bạn!
Dưới đây là cấu hình mẫu chuẩn mực được tối ưu cho các website hiện đại:
# Cho phép tất cả các bot tìm kiếm hợp lệ
User-agent: *
# Chặn các trang quản trị và tài khoản người dùng
Disallow: /wp-admin/
Disallow: /admin/
Disallow: /login
Disallow: /register
Disallow: /cart/
Disallow: /checkout/
Disallow: /search?*
Disallow: /*?sort=*
Disallow: /*?filter=*
# Mở quyền quét cho các tài nguyên ajax và css
Allow: /wp-admin/admin-ajax.php
Allow: /*.css$
Allow: /*.js$
Allow: /*.png$
Allow: /*.jpg$
Allow: /*.webp$
# Chặn bot cào dữ liệu trí tuệ nhân tạo (Nếu bạn muốn bảo vệ bản quyền content)
User-agent: GPTBot
Disallow: /
User-agent: CCBot
Disallow: /
# Khai báo vị trí sơ đồ trang web XML Sitemap
Sitemap: https://metoolzy.com/sitemap.xml
| Chỉ thị (Directive) | Ý nghĩa kỹ thuật | Ví dụ minh họa |
|---|---|---|
User-agent |
Chỉ định tên con bot mà quy tắc áp dụng (* là tất cả) |
User-agent: Googlebot |
Disallow |
Đường dẫn cấm bot thu thập dữ liệu | Disallow: /private/ |
Allow |
Mở quyền cho một đường dẫn cụ thể bên trong vùng bị Disallow | Allow: /private/public-page.html |
Sitemap |
Chỉ định URL tuyệt đối dẫn tới sơ đồ trang web XML | Sitemap: https://example.com/sitemap.xml |
Crawl-delay |
Yêu cầu bot giãn cách thời gian giữa các lần request (ms) | Crawl-delay: 5 (Bing, Yandex hỗ trợ, Google bỏ qua) |
Ký tự * (Wildcard) |
Khớp với bất kỳ chuỗi ký tự nào | Disallow: /*.pdf$ (Chặn toàn bộ file PDF) |
Ký tự $ |
Đánh dấu điểm kết thúc của đường dẫn URL | Disallow: /private$ |
Để tránh sai sót về cú pháp, bạn có thể sử dụng công cụ robots.txt Generator của Metoolzy:
public_html hoặc thư mục public/ trong dự án Next.js của bạn.Không hoàn toàn. Nếu trang đó có nhiều backlink từ các website khác trỏ về, Googlebot vẫn có thể lập chỉ mục (index) URL đó và hiển thị trên kết quả tìm kiếm với dòng chữ "Không có thông tin mô tả do bị chặn bởi robots.txt". Nếu bạn muốn một trang hoàn toàn biến mất khỏi Google, cách chuẩn nhất là gỡ bỏ lệnh Disallow trong robots.txt và thêm thẻ <meta name="robots" content="noindex" /> vào phần <head> của trang đó.
Có. Hệ thống tệp web server phân biệt chữ hoa chữ thường. File bắt buộc phải có tên là robots.txt (toàn bộ chữ thường). Nếu bạn đặt tên là Robots.txt hay ROBOTS.TXT, máy chủ sẽ báo lỗi 404 và bot sẽ coi như website không có quy tắc hạn chế nào.
Bạn có thể sử dụng công cụ Báo cáo robots.txt (robots.txt Tester) chính thức trong Google Search Console để kiểm tra xem một URL cụ thể có bị chặn bởi quy tắc nào hay không.
Việc áp dụng giải pháp cấu hình robots txt giúp bạn tiết kiệm đáng kể thời gian thao tác, loại bỏ sai sót thủ công và nâng cao năng suất làm việc mỗi ngày. Hãy thường xuyên thực hiện cấu hình robots txt trực tiếp trên Metoolzy để đạt hiệu quả tối ưu nhất cho dự án của bạn.
Để nâng cao tối đa hiệu suất làm việc, bạn có thể kết hợp cùng các công cụ miễn phí sau:
Việc áp dụng giải pháp cấu hình robots txt giúp bạn tiết kiệm đáng kể thời gian thao tác, loại bỏ sai sót thủ công và nâng cao năng suất làm việc mỗi ngày. Hãy thường xuyên thực hiện cấu hình robots txt trực tiếp trên Metoolzy để đạt hiệu quả tối ưu nhất cho dự án của bạn. Nhờ khả năng xử lý tức thì, tính năng cấu hình robots txt sẽ là trợ thủ đắc lực không thể thiếu trong quy trình làm việc chuyên nghiệp.