Nó phản ánh sự suy thoái xuất phát từ chính cấu trúc nội tại của mô hình chứ không phải từ dữ liệu đầu vào.

- Về cách nhận diện rác mô hình:

Theo nghĩa rộng, rác mô hình bao gồm nhiều hiện tượng như quá khớp với dữ liệu nhiễu, mất ổn định trong quá trình huấn luyện, tối ưu hóa sai mục tiêu dẫn đến hành vi lách luật, suy giảm đạo đức hoặc chức năng khi mô hình đối mặt với phân phối dữ liệu mới và tình trạng suy thoái tri thức.

Đây là một lớp rác đặc biệt nguy hiểm vì nó hình thành ngay trong giai đoạn thiết kế, triển khai và vận hành mô hình, đồng thời khó phát hiện bằng các phương pháp đánh giá truyền thống.

Hàng trăm mẫu dữ liệu lỗi có thể làm hỏng bất kỳ mô hình AI nào. Ảnh: Decrypt.

- Về cơ chế hình thành rác mô hình:

Rác mô hình thường bắt đầu từ các quyết định thiết kế ban đầu. Việc lựa chọn kiến trúc, cấu hình tham số, hàm mất mát hay cách lấy mẫu dữ liệu huấn luyện luôn ẩn chứa nguy cơ khiến mô hình phát triển theo hướng tối ưu hóa một tiêu chí hẹp mà bỏ qua các yêu cầu về đạo đức và mức độ an toàn.

Khi một hệ thống được yêu cầu tối đa hóa một chỉ số đơn lẻ như tỷ lệ click hay điểm chính xác trên bộ kiểm thử hạn chế, nó có thể hình thành hành vi lách luật để đạt điểm cao nhưng lại phá vỡ mục tiêu lớn hơn như bảo đảm chất lượng, tính trung thực hay sự công bằng. Quá trình huấn luyện càng làm vấn đề trở nên trầm trọng khi mô hình ghi nhớ các tín hiệu nhiễu, học lệch khỏi bản chất dữ liệu hoặc rơi vào tình trạng mất ổn định khiến các tầng biểu diễn bị méo mó.

Trong nhiều trường hợp, sự tối ưu hóa sai mục tiêu dẫn tới việc mô hình đạt thành tích ấn tượng trên giấy tờ nhưng hoàn toàn không thể ứng dụng vào thực tế.

Một cơ chế quan trọng khác tạo ra rác mô hình là hiện tượng chuyển miền. Mô hình thường được huấn luyện trong một không gian dữ liệu nhất định, nhưng khi triển khai lại phải vận hành trong điều kiện hoàn toàn khác, từ thay đổi hành vi người dùng, biến động thị trường, tới sai lệch môi trường như ánh sáng yếu, tiếng ồn hoặc ngôn ngữ pha tạp.

Khi gặp phân phối dữ liệu không tương đồng với dữ liệu huấn luyện, mô hình dễ rơi vào trạng thái bất ổn, tạo ra dự đoán sai lạc, phản hồi phi lý, thậm chí sinh ra nội dung bịa đặt.

- Về phân loại rác mô hình:

Rác mô hình biểu hiện qua nhiều dạng khác nhau. Một dạng phổ biến là mất khả năng tổng quát hóa - khi mô hình hoạt động tốt trên bộ dữ liệu kiểm thử hẹp nhưng lại thất bại khi gặp dữ liệu thực tế đa dạng.

Một dạng khác là hành vi lách luật, trong đó mô hình tìm cách tối ưu hóa chỉ số được giao thay vì phục vụ mục tiêu chung, khiến hệ thống khuyến nghị đẩy mạnh nội dung cực đoan hoặc Chatbot cố tình kéo dài cuộc hội thoại để tăng lượng tương tác.