robots.txt và bot AI: cho bot nào vào, chặn bot nào

Có hai cách một website tự làm mình vắng mặt trong câu trả lời của AI mà chủ web không biết. Cách thứ nhất: người làm web chép một đoạn “chặn bot AI” trên mạng vào robots.txt, trong đoạn đó có cả bot đưa trang vào câu trả lời của ChatGPT. Cách thứ hai: robots.txt cho phép mọi bot, nhưng tường lửa của hosting hay Cloudflare trả về trang chặn mỗi khi bot AI ghé.

Cả hai đều sửa được trong vài phút, với điều kiện biết bot nào làm việc gì. Bài này đi theo đúng thứ tự đó: robots.txt làm được gì, ba loại bot AI khác nhau ra sao, nên cho bot nào vào, rồi tới chỗ robots.txt không nhìn thấy là tường lửa. Tên bot và quy tắc trong bài lấy từ trang chính thức của từng hãng, đọc ngày 03/11/2026.

robots.txt làm được gì, và không làm được gì

robots.txt là một file chữ nằm ở địa chỉ tenmien/robots.txt. Bot của các hãng lớn đọc file này trước khi đọc bất kỳ trang nào khác. File gồm các nhóm: mỗi nhóm mở đầu bằng dòng User-agent nêu tên bot, theo sau là các dòng Disallow (không được đọc) và Allow (được đọc) kèm đường dẫn.

Ba điều về robots.txt hay bị hiểu nhầm:

• Nó là lời yêu cầu, không phải ổ khoá. Bot thu thập của OpenAI, Google, Anthropic, Perplexity, Microsoft làm theo; bot thu thập không rõ chủ thì không. Muốn khoá thật một trang thì dùng mật khẩu hoặc tường lửa.
• Mỗi bot chỉ đọc một nhóm. Theo chuẩn robots.txt (RFC 9309), bot tìm nhóm mang đúng tên mình; chỉ khi không có nhóm nào như vậy nó mới đọc nhóm User-agent: * dành cho mọi bot. Nghĩa là thêm một nhóm riêng cho GPTBot thì GPTBot bỏ qua toàn bộ quy tắc trong nhóm chung.
• Không có file thì mọi bot được vào. Thiếu robots.txt không phải lỗi. Lỗi là khi file trả về lỗi máy chủ: Google ghi rằng trong 12 giờ đầu, Google ngừng đọc cả website và chỉ thử đọc lại robots.txt.

Bot AI chia làm ba loại, chặn mỗi loại mất một thứ khác

Mỗi hãng AI dùng nhiều bot cho nhiều việc, và robots.txt điều khiển từng bot theo tên. Ba việc chính là: tìm trang để đưa vào câu trả lời có tìm kiếm, đọc một trang khi người dùng yêu cầu, và thu thập trang để huấn luyện mô hình sau này.

Bot tìm kiếm quyết định website có được trích trong câu trả lời có tìm kiếm hay không. OpenAI ghi rằng website chặn OAI-SearchBot sẽ không hiện trong câu trả lời tìm kiếm của ChatGPT, chỉ có thể còn hiện dưới dạng đường link điều hướng. Anthropic ghi rằng chặn Claude-SearchBot có thể làm website kém hiện diện và kém chính xác hơn trong kết quả tìm kiếm của Claude. Với Google, một trang muốn được dẫn trong AI Overviews hay chế độ AI chỉ cần được lập chỉ mục và đủ điều kiện hiện trong Google Tìm kiếm, nên bot cần mở là Googlebot. Bingbot cũng thuộc nhóm này: Microsoft ghi rằng Bing và Copilot dựa trên cùng một nền tảng thu thập, lập chỉ mục, xếp hạng, và xếp việc chặn Bingbot trong robots.txt vào danh sách nên tránh.

Bot đọc trang khi người dùng yêu cầu chạy khi một người dán đường link vào trợ lý AI và nhờ đọc. Nó không đi thu thập cả website. Với nhóm này, robots.txt không phải lúc nào cũng có tác dụng: OpenAI ghi rằng vì hành động do người dùng khởi xướng, quy tắc robots.txt có thể không áp dụng cho ChatGPT-User, còn Perplexity ghi rằng Perplexity-User thường bỏ qua robots.txt. Anthropic thì ghi rằng chặn Claude-User làm Claude không lấy được nội dung trang khi người dùng hỏi.

Bot huấn luyện thu thập trang để dạy các mô hình sau. Chặn nó không làm trang biến khỏi câu trả lời có tìm kiếm hôm nay, nhưng những gì mô hình “biết sẵn” về doanh nghiệp, lúc không tìm kiếm, sẽ ít đi.

Chặn GPTBot có làm ChatGPT thôi nhắc đến website không

Không, nếu chỉ chặn GPTBot. OpenAI ghi rõ mỗi bot được điều khiển độc lập: một website có thể chặn GPTBot để nội dung không vào dữ liệu huấn luyện, mà vẫn cho OAI-SearchBot vào để hiện trong kết quả tìm kiếm của ChatGPT. Anthropic tách ClaudeBot và Claude-SearchBot theo đúng cách đó.

Google-Extended cần đọc kỹ hơn. Google ghi rằng nó không ảnh hưởng tới việc trang có trong Google Tìm kiếm hay thứ hạng của trang, nên AI Overviews không bị ảnh hưởng. Nhưng nó quyết định hai việc: nội dung có được dùng để huấn luyện các đời Gemini sau không, và có được ứng dụng Gemini dùng làm căn cứ khi trả lời không. Doanh nghiệp muốn được nhắc trong ứng dụng Gemini thì không nên chặn Google-Extended.

Cái giá của việc chặn bot huấn luyện nằm ở chỗ khác. Khi người dùng hỏi mà ChatGPT không tìm kiếm, câu trả lời đến từ những gì mô hình đã học. Website chặn GPTBot từ hôm nay thì những bài, trang dịch vụ viết sau hôm nay không vào phần học đó. Với một tờ báo bán nội dung, đó là cái giá đáng trả. Với một phòng khám hay một xưởng nội thất muốn khách hỏi AI mà thấy tên mình, thường thì không.

Một điểm dễ trượt: nhiều đoạn “chặn bot AI” chia sẻ trên mạng gom chung GPTBot, ClaudeBot với OAI-SearchBot, PerplexityBot, Claude-SearchBot. Chép nguyên đoạn đó là chặn cả bot tìm kiếm. Trước khi dán bất kỳ đoạn nào vào robots.txt, đọc từng dòng User-agent và đối chiếu với bảng ở trên.

Doanh nghiệp nên cho bot nào vào

Câu trả lời phụ thuộc vào việc website kiếm tiền từ đâu. Bảng dưới là cách chia thường gặp; chỉ chủ doanh nghiệp quyết định được dòng nào đúng với mình.

Phần lớn website doanh nghiệp rơi vào dòng đầu. Với dòng này, robots.txt tốt nhất thường là robots.txt ngắn: không nhắc tên bot AI nào, chỉ chặn những đường dẫn không ai cần đọc.

Trong 257 website doanh nghiệp Việt mà MWY quét ngày 03/11/2026, chỉ 3 website chặn bot tìm kiếm của AI trong robots.txt, và 12 website chặn ít nhất một bot huấn luyện. Lỗi của nhóm này nằm ở chỗ khác, ở mục tường lửa bên dưới.

Một file robots.txt mẫu cho website doanh nghiệp

Bảng dưới là một file hoàn chỉnh, mỗi hàng là một dòng trong file. Thay tenmien bằng tên miền thật và thay hai đường dẫn bị chặn bằng đường dẫn thật trên website của bạn.

File này không có dòng nào nhắc tới bot AI, và đó là chủ ý: mọi bot đọc nhóm chung, được đọc mọi trang trừ hai đường dẫn bị chặn.

Nếu doanh nghiệp quyết định chặn bot huấn luyện mà vẫn muốn được trích, thêm các nhóm riêng bên dưới, mỗi nhóm hai dòng: User-agent: GPTBot rồi Disallow: /; lặp lại cho ClaudeBot. Thêm nhóm cho Google-Extended chỉ khi chấp nhận mất cả phần ứng dụng Gemini dùng trang làm căn cứ trả lời. Nhớ quy tắc một bot chỉ đọc một nhóm: GPTBot lúc này chỉ đọc nhóm của nó, nên không cần chép lại các dòng chặn giỏ hàng vào đó. Ngược lại, nếu viết nhóm riêng để cho một bot vào (User-agent: OAI-SearchBot rồi Allow: /), bot đó sẽ đọc luôn giỏ hàng và trang tài khoản, vì nó không còn đọc nhóm chung.

robots.txt cho phép mà bot vẫn bị chặn: kiểm tường lửa

robots.txt chỉ là lời mời. Trước khi bot đọc được trang, yêu cầu của nó còn phải qua tường lửa: Cloudflare, lớp chống tấn công của hosting, hay plugin bảo mật của WordPress. Những lớp này thấy một máy gọi liên tục vào website, mang tên lạ, và trả về trang chặn hoặc trang bắt xác minh. Bot không giải được trang xác minh, nên với nó website trống trơn.

Cloudflare có hẳn một khu cài đặt cho việc này, ở Security, Settings, Bot traffic, mục AI Crawler and Agent access policies. Bot AI được chia ba nhóm: Search (tìm kiếm), Training (huấn luyện) và Agent (hành động thay người dùng), mỗi nhóm một lựa chọn riêng. Nút “Block AI Bots” cũ được thay bằng ba nhóm này từ 15/9/2026, và từ 01/7/2025 mỗi tên miền mới thêm vào Cloudflare đều được hỏi ngay lúc cài đặt có cho bot AI vào không. Một chi tiết dễ trượt: Cloudflare ghi rằng chọn chặn hẳn ở nhóm huấn luyện sẽ chặn cả các bot dùng chung cho hai việc, gồm Googlebot, Bingbot, Applebot, tức là chặn cả tìm kiếm. Muốn ngừng huấn luyện mà giữ tìm kiếm thì chọn “Disallow AI Training”.

OpenAI cũng nói thẳng về lớp này: để website đủ điều kiện xuất hiện trong tìm kiếm của ChatGPT, ngoài việc cho OAI-SearchBot vào, hosting hoặc dịch vụ phân phối nội dung phải cho phép các địa chỉ IP mà OpenAI công bố cho bot tìm kiếm.

Đây cũng là chỗ lần quét ngày 03/11/2026 tìm thấy vấn đề. Trong 257 website, 20 website trả về trang chặn khi được gọi bằng tên bot của ChatGPT, Claude hoặc Perplexity, và 3 website chặn một phần; robots.txt của 22 trong 23 website đó đều cho phép các bot này. Ở 62 website công ty luật và kế toán quét cùng ngày, tỷ lệ cao hơn: 9 website chặn ít nhất một tên bot, 8 trong số đó là website công ty luật. Kết quả này là dấu hiệu, không phải kết luận: bot thật đến từ dải địa chỉ IP của từng hãng, và một số tường lửa xác minh địa chỉ đó trước khi cho qua. Cách chắc chắn là nhờ người quản lý website xem nhật ký tường lửa có chặn các tên bot ở bảng trên hay không.

Sửa robots.txt ở đâu trên từng nền tảng

Phần lớn nền tảng có chỗ sửa robots.txt ngay trong trang quản trị. Vài nền tảng tự sinh file và không cho sửa, khi đó cách duy nhất là gửi yêu cầu cho bộ phận hỗ trợ kèm đoạn cần thêm.

Sửa xong, làm hai việc. Một: mở tenmien/robots.txt trên trình duyệt để chắc file đã đổi, vì nhiều plugin lưu cài đặt mà không ghi ra file. Hai: vào Google Search Console, mục báo cáo robots.txt, để xem Google đã đọc bản mới chưa và có dòng nào lỗi không.

Ví dụ bằng số: một đoạn chép trên mạng làm mất gì

Ví dụ minh hoạ, không phải một website có thật. Một phòng khám nha khoa có 40 trang: trang chủ, 12 trang dịch vụ, 25 bài hỏi đáp, trang giới thiệu và trang liên hệ. Người làm web đọc được lời khuyên “nên chặn bot AI để chống lấy cắp nội dung”, rồi dán vào robots.txt một đoạn chặn 8 bot, gồm GPTBot, ClaudeBot, Google-Extended, OAI-SearchBot, Claude-SearchBot, PerplexityBot, ChatGPT-User và Claude-User.

Ý định là giữ 25 bài hỏi đáp khỏi bị lấy. Kết quả là cả 40 trang biến khỏi câu trả lời có tìm kiếm của ba trợ lý AI, trong đó có 12 trang dịch vụ, đúng những trang phòng khám muốn khách tìm thấy nhất. Sửa lại chỉ cần xoá 6 nhóm thuộc ba dòng dưới của bảng; OpenAI và Perplexity đều ghi rằng hệ thống của họ cần tới khoảng 24 giờ để áp dụng thay đổi. AI Overviews của Google không bị ảnh hưởng trong ví dụ này, vì đoạn chặn không nhắc tới Googlebot.

MWY kiểm gì trong chuyện này, và không làm gì

Kiểm tra GEO miễn phí của MWY đọc robots.txt của website theo từng bot ở bảng trên, tách bot tìm kiếm khỏi bot huấn luyện, rồi gọi trang chủ bằng tên bot của ChatGPT, Claude, Perplexity để xem tường lửa có chặn không. Kết quả nói rõ bot nào bị chặn và mục đó là chắc chắn hay chỉ là dấu hiệu; cách công cụ gọi trang được ghi ở trang Cách chấm. Báo cáo Pro đưa thêm đoạn robots.txt đã viết sẵn và chỗ sửa trên đúng nền tảng website đang dùng.

MWY không đọc nhật ký máy chủ của bạn, nên không biết bot thật đã ghé bao nhiêu lần. MWY cũng không hứa rằng mở cửa cho bot thì AI sẽ nhắc tên doanh nghiệp: bot vào được chỉ là điều kiện đầu tiên. Những phần còn lại, từ chuyện AI có biết doanh nghiệp là ai tới chuyện trang có câu nào đáng trích, nằm ở bài làm sao để ChatGPT nhắc đến doanh nghiệp, trong mục GEO cho website. Với file llms.txt, thứ hay bị nhắc cùng robots.txt, xem bài llms.txt có cần không.