Tại sao người Việt cần mô hình ngôn ngữ lớn riêng?

Hàng chục nghìn LLM đang được phát triển, nhưng không có nhiều giải pháp hỗ trợ tốt cho tiếng Việt. Ảnh: Quỳnh Danh.

Ứng dụng của AI tạo sinh được các chuyên gia của Technology Review từ Học viện Công nghệ Massachusetts (MIT) bình chọn là một trong 10 công nghệ nổi bật của năm 2023. Các giải pháp khởi tạo văn bản, âm thanh, hình ảnh bằng trí tuệ nhân tạo liên tục được ra mắt trong năm nay.

Trong đó, những mô hình ngôn ngữ lớn là một trong các trọng tâm được phát triển. Sau sự ra đời của ChatGPT 3, hàng chục nghìn LLM (Large Language Model) được các tổ chức công nghệ phát triển, trình làng trong thời gian ngắn. Tuy nhiên, số lượng doanh nghiệp trong nước phát triển mô hình ngôn ngữ lớn cho tiếng Việt còn hạn chế.

Việc này có thể ảnh hưởng đến khả năng ứng dụng của giải pháp này cho người dùng Việt Nam. Đồng thời, nó cũng tiềm ẩn nhiều nguy cơ về chi phí, bảo mật dữ liệu.

Người Việt cần LLM tiếng Việt

Chia sẻ tại Zalo AI Summit 2023, GS. Nguyễn Lê Minh - Giám đốc Trung tâm Nghiên cứu Interpretable AI, Viện Khoa học và Công nghệ Nhật Bản (JAIST), cho biết toàn thế giới đang phát triển khoảng 16.000 mô hình ngôn ngữ lớn. Các giải pháp này trải dài ở nhiều lĩnh vực như y tế, luật pháp, giáo dục…

Trong đó, một vài giải pháp đến từ các doanh nghiệp lớn đã có hỗ trợ tiếng Việt. Tuy nhiên, số ứng dụng đáp ứng chưa nhiều. Đồng thời, chúng cũng tiềm ẩn các vấn đề về sau.

TS Nguyễn Trường Sơn chia sẻ về quá trình phát triển các LLM của Zalo. Ảnh: Quỳnh Danh.

TS Nguyễn Trường Sơn, Giám đốc Khoa học tại Zalo AI, lấy ví dụ về 3 giải pháp nổi tiếng hiện tại là GPT (OpenAI), Llama (Meta), Bloom (BigScience). Ông Sơn đánh giá ChatGPT là công cụ được huấn luyện và giải đáp tiếng Việt tốt. Tuy nhiên, LLM của OpenAI lại tốn nhiều token hơn khi xử lý tiếng Việt. Đồng thời, giải pháp yêu cầu người dùng phải gọi API qua máy chủ của họ, khó tiếp cận để chỉnh sửa tối ưu hóa theo nhu cầu.

Trong khi đó, Llama và Bloom đều tương đối cởi mở về phần dữ liệu, nhưng lại không tương thích với tiếng Việt. Riêng LLM của Meta cũng tốn kém chi phí cao khi hoạt động ở quy mô doanh nghiệp.

Từ các nguyên nhân này, ông Sơn cho rằng các tổ chức trong nước không thể đứng ngoài trong cuộc đua phát triển LLM cho tiếng Việt. Bất chấp việc này tồn tại nhiều khó khăn trong quá trình xây dựng công cụ.

Trả lời Tri thức - Znews, ông Nguyễn Trường Sơn cho biết, không có các nguồn dữ liệu về kiến thức rộng và dồi dào để phát triển LLM cho tiếng Việt. “Từ báo chí cũng đóng góp một phần, nhưng chưa đủ. Việt Nam không có một diễn đàn kiểu Quora để thu thập dữ liệu dễ hơn”, ông Sơn nói.

Để đào tạo KiLM, Zalo phải tìm cách xây dựng một kho dữ liệu kiến thức chất lượng cao bằng tiếng Việt, bổ sung thêm tiếng Anh. Nhờ vậy, mô hình ngôn ngữ lớn này có khả năng phản hồi chính xác, tự nhiên hơn.

Ứng dụng của mô hình ngôn ngữ lớn tiếng Việt

Tại Zalo AI Summit 2023, công ty Việt Nam lần đầu mang đến cho công chúng cái nhìn ban đầu về LLM họ đang phát triển. Mô hình ngôn ngữ lớn có tên KiLM, được đào tạo trên kho dữ liệu tiếng Việt chất lượng cao và có thể thể trả lời nhanh chóng những câu hỏi của người dùng ở nhiều lĩnh vực.

KiLM là nền tảng cho các ứng dụng khác trong tương lai. Ảnh: Quỳnh Danh.

KiLM cũng được thử thách cùng các giải pháp ra mắt trước đó như GPT3, GPT4, Llama, Qwen (Alibaba) qua trò chơi đố kiến thức Kahoot. Ở phiên bản hiện tại, LLM của Zalo thể hiện phổ kiến thức rộng ở các lĩnh vực lịch sử, âm nhạc, đời sống… Tuy nhiên giống như các AI khác, nó cũng gặp khó khăn khi gặp các câu đố mẹo hoặc từ ngữ đa nghĩa trong tiếng Việt.

Trả lời Znews, ông Sơn cho biết KiLM giống như phần nền tảng cho các ứng dụng trong tương lai. Khi một mô hình ngôn ngữ lớn được phát triển hoàn thiện, nó có thể được tích hợp vào rất nhiều công cụ. Các ứng dụng này có thể nằm bên trong Zalo app hoặc hoạt động độc lập.

“Tương lai, KiLM có thể được tinh chỉnh để tích hợp vào một chatbot, thay thế con người trả lời tin nhắn của khách hàng trong ứng dụng chẳng hạn”, ông Sơn chia sẻ.

Trước đó, một phần của giải pháp này đã được sử dụng để khởi tạo hàng triệu bài thơ vào các dịp 8/3, 20/10, được người dùng Zalo đón nhận.