Bác Sĩ Web

ChatGPT và Copilot đọc website bạn ra sao: mở bot nào, khóa bot nào

· Xu hướng SEO & GEO

Để website có cơ hội xuất hiện trong tìm kiếm của ChatGPT, bạn cần cho phép OAI-SearchBot truy cập. Nếu chặn bot này, website sẽ không xuất hiện trong câu trả lời tìm kiếm của ChatGPT, dù có thể vẫn hiện như liên kết điều hướng. GPTBot là bot riêng thu thập dữ liệu có thể dùng để huấn luyện mô hình; bạn có thể chặn GPTBot mà vẫn mở OAI-SearchBot. Đây là điều OpenAI nêu trong tài liệu chính thức về trình thu thập của họ.

Ba bot của OpenAI, mỗi bot một việc

BotDùng để làm gìChặn thì sao
OAI-SearchBotThu thập để nội dung hiện trong tính năng tìm kiếm của ChatGPTWebsite không xuất hiện trong câu trả lời tìm kiếm của ChatGPT
GPTBotThu thập nội dung có thể dùng để huấn luyện mô hình nền tảngTín hiệu rằng bạn không muốn nội dung dùng để huấn luyện
ChatGPT-UserTruy cập khi người dùng chủ động nhờ ChatGPT mở một trangQuy tắc robots.txt có thể không áp dụng; không quyết định việc xuất hiện trong tìm kiếm

Các thiết lập này độc lập nhau. OpenAI cho biết thay đổi robots.txt có thể mất khoảng 24 giờ để ảnh hưởng đến kết quả tìm kiếm, và khuyên cho phép cả dải địa chỉ IP đã công bố của OAI-SearchBot (danh sách tại openai.com/searchbot.json).

Mẫu robots.txt thường gặp

Muốn xuất hiện trong ChatGPT nhưng không cho dùng nội dung để huấn luyện:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

Nếu bạn dùng WordPress với plugin SEO, tệp robots.txt thường sửa được trong phần công cụ của plugin. Luôn sao lưu nội dung cũ trước khi sửa, vì một dòng sai có thể chặn cả Google.

Còn Google, Copilot, Perplexity?

  • Google điều khiển việc thu thập bằng robots.txt, và dùng nosnippet, data-nosnippet, max-snippet hay noindex để giới hạn thông tin hiển thị từ trang. Muốn hạn chế việc dùng cho huấn luyện và grounding ở các hệ thống khác của Google, Google chỉ tới token Google-Extended.
  • Copilot gắn với chỉ mục Bing. Xác minh website trong Bing Webmaster Tools và xem báo cáo AI Performance (xem bài báo cáo AI trong Search Console).
  • Perplexity và các công cụ khác có trình thu thập riêng; hãy xem trang tài liệu chính thức của từng nền tảng để biết tên bot và cách quản lý, vì tên và chính sách thay đổi theo thời gian.

Nên mở hay khóa?

Không có đáp án chung. Hãy trả lời theo mục tiêu:

  • Muốn khách tìm thấy bạn qua trợ lý AI: cho phép bot tìm kiếm tương ứng. Đây thường là mục tiêu của doanh nghiệp nhỏ bán dịch vụ, vì được nhắc tên là cơ hội quảng bá.
  • Lo ngại nội dung độc quyền (khóa học, tài liệu trả phí, ảnh): có thể chặn bot huấn luyện, và đặt nội dung trả phí sau đăng nhập.
  • Chưa chắc: bắt đầu bằng việc mở bot tìm kiếm, chặn bot huấn luyện, theo dõi vài tháng rồi quyết định lại.

Lưu ý rằng chặn bot bằng robots.txt chỉ có tác dụng với bot tuân thủ; không phải biện pháp bảo mật.

Kiểm tra website của bạn trong 10 phút

  1. Mở tên-miền-của-bạn/robots.txt trên trình duyệt. Có dòng Disallow: / dưới User-agent: * không? Nếu có, bạn đang chặn tất cả.
  2. Xem có quy tắc riêng cho OAI-SearchBot, GPTBot, Google-Extended chưa.
  3. Kiểm tra tường lửa hoặc dịch vụ bảo vệ (CDN, plugin bảo mật) có chặn bot lạ không; một số cấu hình mặc định chặn cả bot tìm kiếm hợp lệ.
  4. Sau khi sửa, đợi vài ngày và thử hỏi chatbot một câu về doanh nghiệp bạn, ghi lại kết quả.

Câu hỏi thường gặp

Tôi thuê hosting giá rẻ, bot có bị chặn không?

Một số máy chủ hoặc plugin bảo mật chặn tự động lượng truy cập từ bot. Hãy kiểm tra nhật ký truy cập hoặc hỏi nhà cung cấp.

Chặn GPTBot có làm mất vị trí trên Google không?

Không. GPTBot là bot của OpenAI, không liên quan đến Googlebot.

Có cần chặn ChatGPT-User không?

OpenAI cho biết bot này dùng khi người dùng chủ động yêu cầu, và không quyết định việc xuất hiện trong tìm kiếm. Quy tắc robots.txt có thể không áp dụng cho bot này.

Nguồn tham khảo

Không quen sửa robots.txt? Liên hệ Bác Sĩ Web để được tư vấn; gói chăm sóc website có kiểm tra SEO kỹ thuật hằng tháng.

Thẻ:

Tư vấn