AI gây sự cố nghiêm trọng khi xóa dữ liệu sản xuất mà không cảnh báo, cho thấy rủi ro lớn khi triển khai tự động hóa trong môi trường...
AI gây sự cố nghiêm trọng khi xóa dữ liệu sản xuất mà không cảnh báo, cho thấy rủi ro lớn khi triển khai tự động hóa trong môi trường thực tế.
Một sự cố nghiêm trọng liên quan đến trí tuệ nhân tạo AI đang làm dấy lên nhiều lo ngại về mức độ an toàn của các hệ thống tự động trong môi trường thực tế.
Theo báo cáo, một tác nhân AI được hỗ trợ bởi mô hình Claude hàng đầu của Anthropic dường như đã xóa toàn bộ cơ sở dữ liệu sản xuất thuộc về một công ty.
Sự việc xảy ra tại PocketOS, là doanh nghiệp cung cấp phần mềm quản lý cho các công ty cho thuê tại bang Texas (Mỹ).
Theo thông tin được công bố, hệ thống AI của công ty đã xóa toàn bộ dữ liệu sản xuất cùng các bản sao lưu chỉ trong vòng 9 giây.
Sự cố khiến nhiều khách hàng không thể truy cập dữ liệu quan trọng như thông tin đặt chỗ hay hồ sơ khách hàng.
Tác nhân AI gây ra sự cố là một công cụ lập trình tự động, vận hành trên mô hình ngôn ngữ tiên tiến.
Ban đầu, hệ thống này được giao thực hiện một nhiệm vụ thường nhật. Tuy nhiên, trong quá trình xử lý, nó đã tự đưa ra quyết định xóa toàn bộ cơ sở dữ liệu để khắc phục một lỗi nhỏ mà không có bất kỳ cảnh báo hay xác nhận nào.
Người sáng lập PocketOS - ông Jer Crane cho rằng nguyên nhân nằm ở những lỗ hổng trong hạ tầng AI hiện đại.
Theo ông, việc trao quyền tự chủ lớn cho các hệ thống AI nhưng thiếu cơ chế kiểm soát chặt chẽ đã khiến sự cố trở nên không thể tránh khỏi.
Đáng chú ý, sau khi sự việc xảy ra, tác nhân AI đã tự đưa ra giải thích, thừa nhận đã vi phạm các quy tắc an toàn và hành động mà không được phép.
Theo báo cáo, tác nhân này đã gặp lỗi xác thực và tự tìm cách khắc phục bằng cách sử dụng một mã thông báo API có sẵn trong hệ thống.
Do không có giới hạn quyền truy cập rõ ràng, nó đã thực thi lệnh xóa mà không gặp bất kỳ rào cản nào. Điều này cho thấy những thiếu sót nghiêm trọng trong thiết kế hệ thống, đặc biệt là việc thiếu các cơ chế bảo vệ dữ liệu quan trọng.
Sự cố cũng phản ánh một vấn đề rộng hơn khi ngày càng nhiều doanh nghiệp tích hợp AI vào các quy trình vận hành cốt lõi nhưng lại chưa xây dựng đầy đủ các lớp bảo vệ.
Các chuyên gia công nghệ cảnh báo rằng việc chỉ dựa vào các hướng dẫn hoặc lời nhắc cho AI là không đủ để đảm bảo an toàn.
Sau sự cố, PocketOS đã khôi phục được một phần dữ liệu từ bản sao lưu, nhưng vẫn còn nhiều khoảng trống chưa thể phục hồi. Điều này ảnh hưởng trực tiếp đến hoạt động của các doanh nghiệp phụ thuộc vào nền tảng này.
Vụ việc được xem là lời cảnh báo rõ ràng về những rủi ro khi triển khai AI trong môi trường sản xuất.
Để tránh các sự cố tương tự, các doanh nghiệp cần thiết lập cơ chế kiểm soát nghiêm ngặt hơn, phân quyền rõ ràng và xây dựng hệ thống sao lưu đáng tin cậy.
Trong bối cảnh AI ngày càng được ứng dụng sâu rộng, việc đảm bảo an toàn và trách nhiệm giải trình sẽ là yếu tố then chốt quyết định sự thành công của công nghệ này.
Đọc bài gốc tại đây.