Bot AI ngốn băng thông: cách kiểm và chặn trên hosting
Băng thông tháng này gấp đôi mà đơn hàng không tăng. Có thể do bot AI ngốn băng thông cào dữ liệu. Cách kiểm log, phân biệt bot nên giữ và chặn đúng.
Băng thông tháng này gấp đôi. Đơn hàng vẫn 0 thay đổi. Mở log truy cập ra xem thì thấy ngay: phần lớn lượt tải trang là bot AI ngốn băng thông, không phải khách mua hàng. Bot đi thu thập dữ liệu huấn luyện AI, ghé từng trang suốt 24 giờ, không nghỉ.
Chuyện này khác băng thông tăng kiểu cũ. Trước đây tăng vì khách thật tăng, hoặc ảnh chưa nén đúng chuẩn. Năm nay thêm 1 thủ phạm: hàng chục bot AI cào cả site liên tục, không quan tâm robots.txt cho phép hay không.
Dấu hiệu bot AI ngốn băng thông hosting
3 dấu hiệu đi cùng nhau là gần như chắc chắn: băng thông tăng đột biến trong 7 ngày, lượt xem tăng nhưng đơn hàng đứng yên, site chậm vào giờ vắng khách như 2 tới 4 giờ sáng. Bot AI không theo múi giờ mua sắm.
- Băng thông tăng vọt: tăng 50% tới 200% trong 1 tuần, không có chiến dịch quảng cáo nào chạy.
- Tỉ lệ xem/đơn lệch hẳn: lượt xem gấp 3 tới 4 lần bình thường. Đơn hàng giữ nguyên.
- Site chậm giờ lạ: tốc độ tải trang tụt vào ban đêm. Đúng lúc tài nguyên lẽ ra phải rảnh nhất.
- CPU treo cao: gói hosting báo dùng gần hết CPU limit. Không ai đang thao tác quản trị.
- Log phình to: file log truy cập tăng dung lượng nhanh hơn 3 tháng trước cộng lại.
Bot nào nên giữ, bot nào nên chặn
Không phải bot nào cũng xấu. Googlebot và Bingbot đưa khách thật tới site. Chặn nhầm 2 con này là tự giết traffic tìm kiếm. Bot cần cảnh giác chỉ cào dữ liệu huấn luyện, không trả lại 1 lượt truy cập nào.
| Loại bot | Nên giữ hay chặn | Vì sao |
|---|---|---|
| Googlebot, Bingbot | Giữ | Lập chỉ mục, mang khách thật về từ kết quả tìm kiếm |
| GPTBot (OpenAI) | Cân nhắc chặn | Cào dữ liệu huấn luyện, không dẫn traffic ngược lại |
| ClaudeBot, anthropic-ai | Cân nhắc chặn | Thu thập dữ liệu huấn luyện, tần suất quét cao |
| CCBot (Common Crawl) | Cân nhắc chặn | Kho dữ liệu công khai, nhiều bên AI dùng lại |
| PerplexityBot | Tuỳ mục tiêu | Đôi khi dẫn traffic khi được trích, tần suất quét vẫn cao |
| Bot quét lỗ hổng, không rõ danh tính | Chặn hẳn | Dò lỗ hổng bảo mật, 0 lợi ích cho site |
Kiểm bot AI ngốn băng thông ở đâu trên hosting
Log truy cập là nơi duy nhất trả lời chính xác ai đang cào site. Không đoán. Với hosting Plesk hoặc DirectAdmin, log nằm trong mục thống kê hoặc raw log của từng website. Lọc theo cột User-Agent để ra tên bot.
Trên hosting chia sẻ, khách xem log qua panel có sẵn. Với VPS hoặc máy chủ riêng tự quản trị, log nằm ngay trong thư mục web server. Đếm theo User-Agent ra con số cụ thể chỉ trong vài giây.
- Hosting có quản trị: mở panel, vào mục log truy cập, lọc theo tên bot nghi ngờ trong 7 ngày gần nhất.
- VPS, máy chủ riêng tự quản trị: đọc access log của Apache hoặc Nginx. Đếm số dòng theo từng User-Agent.
- Đối chiếu công cụ phân tích: so lượt xem trang với công cụ thống kê. Chênh lệch lớn là dấu hiệu bot không qua JavaScript.
3 mức chặn bot AI, từ nhẹ tới nặng
Chặn bot có 3 mức. Làm từ nhẹ tới nặng, đừng nhảy thẳng lên mức chặn hẳn. Mức 1 khai báo trong robots.txt, dựa vào bot tuân thủ tự nguyện. Mức 2 giới hạn tốc độ truy cập. Mức 3 chặn thẳng ở tầng máy chủ.
- Mức 1, khai báo robots.txt: thêm dòng disallow theo tên bot như GPTBot, CCBot, ClaudeBot. Nhẹ nhàng, nhưng chỉ có tác dụng với bot tuân thủ chuẩn.
- Mức 2, giới hạn tần suất: đặt ngưỡng số request mỗi phút cho từng IP. Chặn được cả bot lờ robots.txt.
- Mức 3, chặn hẳn theo User-Agent hoặc IP: từ chối request mang User-Agent bot đã xác định. Mức cứng nhất, chỉ dùng khi 2 mức trên chưa đủ.
Băng thông vẫn tăng dù đã chặn bot?
Gói Linux Hosting của BizMaC đi kèm Unlimited Data Transfer và bảo mật Imunify360. Đội kỹ thuật hỗ trợ soát log và khai báo chặn bot qua Ticket với gói có quản trị.
Rủi ro chặn nhầm làm mất thứ hạng tìm kiếm
Chặn nhầm Googlebot hoặc Bingbot là lỗi tốn kém nhất. Site rớt khỏi kết quả tìm kiếm sau vài tuần. Phục hồi thứ hạng cũ mất nhiều tháng, không phải 1 sớm 1 chiều. Xác minh đúng tên bot trước khi chặn, đừng đoán theo cảm tính.
Lỗi hay gặp: chặn theo từ khoá chung chung trong User-Agent. Ví dụ chặn mọi chuỗi chứa chữ bot, vô tình dính luôn công cụ tìm kiếm hợp lệ. Nên chặn theo tên bot cụ thể. Đối chiếu danh sách User-Agent chính thức trước khi thêm vào rule chặn.
Khi nào nên nâng gói thay vì chặn bot
Chặn bot xử lý được phần lượt truy cập vô ích. Nhưng không giải quyết được trường hợp site đã chạm trần tài nguyên. Gói hosting 1 GB hay 3 GB dung lượng vẫn có mức CPU riêng. CPU và RAM sát ngưỡng ngay cả lúc không có bot cào, vấn đề nằm ở quy mô hosting, không phải bot.
2 dấu hiệu cần nâng gói: site vẫn chậm sau vài ngày đã chặn bot, hoặc khách thật đã tăng thật sự chứ không phải bot giả lượt xem. Cần kiểm soát tài nguyên chủ động hơn thì chuyển sang VPS riêng, tự đặt giới hạn CPU và theo dõi log chi tiết hơn hosting chia sẻ.
Câu hỏi thường gặp về bot AI ngốn băng thông
Chặn bot AI có ảnh hưởng việc được ChatGPT hay Google AI trích dẫn không
Có thể có. PerplexityBot đôi khi dẫn traffic ngược lại khi trích dẫn nội dung. Muốn được AI search trích, giữ lại bot đó. Chỉ chặn bot thuần cào dữ liệu huấn luyện, không dẫn traffic.
Làm sao biết 1 User-Agent là bot AI thật hay bị giả mạo
Đối chiếu IP truy cập với dải IP chính thức công ty AI công bố. User-Agent giả mạo dễ. Dải IP thật khó giả hơn nhiều.
Website nhỏ có cần lo bot AI ngốn băng thông không
Vẫn nên kiểm định kỳ, ít nhất 1 lần mỗi tháng. Bot AI quét theo danh sách tên miền tự động, không phân biệt site lớn nhỏ. Site vài chục trang vẫn bị cào vài nghìn lượt mỗi tháng.
robots.txt chặn rồi mà bot vẫn cào tiếp thì làm gì
Đó là bot không tuân thủ chuẩn tự nguyện. Chuyển sang mức 2 hoặc mức 3: giới hạn tần suất theo IP, hoặc chặn hẳn User-Agent ở tầng web server.
Dùng hosting chia sẻ thì tự chặn bot được không
Sửa robots.txt tự làm được, vì file nằm trong thư mục website. Cấu hình chặn tầng máy chủ như giới hạn tần suất hay chặn IP, hosting có quản trị nên mở Ticket nhờ kỹ thuật xử lý.
Chặn đúng con, đừng chặn nhầm khách
Băng thông tăng vọt không tự nhiên mà có. Mở log kiểm trước khi kết luận. Phân biệt rõ bot nào đưa khách tới, bot nào chỉ cào rồi đi. Chặn từ mức nhẹ: robots.txt trước, giới hạn tần suất sau. Chặn hẳn là phương án cuối.
Đang dùng Linux Hosting mà băng thông vẫn bất thường sau khi chặn, hoặc cần theo dõi log chủ động hơn thì cân nhắc dịch vụ quản trị máy chủ để có người soát log định kỳ, không phải tự canh mỗi tháng.
Lưu ý: Bài viết chia kinh nghiệm chung, còn mỗi doanh nghiệp một quy mô và một cách vận hành. Muốn biết cách nào hợp với trường hợp của bạn — chọn gói nào, làm theo thứ tự nào, chi phí ra sao — chuyên viên BizMaC tư vấn và làm giúp bạn phần kỹ thuật.
Để BizMaC dựng website cho doanh nghiệp bạn
Giao diện chuẩn UX, cấu trúc chuẩn SEO, chạy mượt trên di động và dễ tự quản trị sau khi bàn giao. BizMaC làm website cho doanh nghiệp Việt từ năm 2007, đi kèm hướng dẫn vận hành chứ không bàn giao xong là hết.
