Amazon đã vô tình tạo ra một công cụ chẩn đoán. Phần lớn kỹ sư được Amazon tuyển dụng trong hơn 10 năm qua đều là nam giới, vì vậy các mô hình do họ tạo ra, được huấn luyện dựa trên hồ sơ xin việc thành công của nam giới, đã học cách đề xuất nam giới vào các vị trí tuyển dụng trong tương lai. Các thói quen tuyển dụng trong quá khứ và hiện tại đang định hình các công cụ tuyển dụng cho tương lai.

Hệ thống của Amazon bất ngờ tiết lộ những cách thức mà sự thiên vị đã tồn tại, thông qua việc tính nam được mã hóa trong ngôn ngữ, trong hồ sơ xin việc và trong chính văn hóa công ty.

Ảnh minh hoạ. Nguồn: BBC.

Công cụ này như một lăng kính phóng đại các động lực hiện có của Amazon và nhấn mạnh đến sự thiếu đa dạng trong toàn bộ ngành AI trước đây và hiện tại. Cuối cùng, Amazon đã ngừng thí nghiệm tuyển dụng của mình. Nhưng quy mô của vấn đề thiên vị còn ăn sâu hơn nhiều so với một hệ thống riêng lẻ hoặc một phương pháp thất bại.

Ngành công nghiệp AI theo truyền thống hiểu vấn đề thiên vị như một lỗi cần khắc phục hơn là một đặc tính nội tại của chính quá trình phân loại. Kết quả là họ chỉ tập trung vào việc điều chỉnh các hệ thống kỹ thuật để tạo ra sự cân bằng số lượng giữa các nhóm khác biệt, và điều này, như chúng ta sẽ thấy, sẽ gây ra những vấn đề riêng của nó.

Để hiểu mối quan hệ giữa thiên kiến và phân loại, cần phải vượt ra ngoài việc phân tích quá trình sản xuất tri thức - như xác định liệu một bộ dữ liệu có thiên kiến hay không - và thay vào đó phải nhìn vào cơ chế xây dựng tri thức, thứ mà nhà xã hội học Karin Knorr Cetina gọi là “cỗ máy nhận thức”.

Để thấy được điều đó, cần quan sát cách các mẫu hình bất bình đẳng trong lịch sử định hình khả năng tiếp cận tài nguyên và cơ hội, từ đó định hình dữ liệu. Dữ liệu này sau đó được khai thác để sử dụng trong các hệ thống kỹ thuật để phân loại và nhận dạng mẫu, tạo ra những kết quả được cho là khách quan như thế nào. Hệ quả là một vòng lặp tiêu cực: một cỗ máy phân biệt đối xử tự củng cố và khuếch đại bất bình đẳng xã hội dưới vỏ bọc của tính trung lập kỹ thuật.