Đại học VinUni công bố V-Bench - hệ thống đánh giá chất lượng AI theo tiêu chuẩn Việt Nam

Ngày 6 tháng 7 vừa qua, Trung tâm Nghiên cứu AI thuộc Đại học VinUni đã chính thức công bố V-Bench, một bộ công cụ không hướng tới lợi nhuận dùng để đánh giá mức độ thành thạo tiếng Việt của các mô hình ngôn ngữ lớn (LLM). Sáng kiến này được tạo ra nhằm hỗ trợ các nhà nghiên cứu, các công ty và nhiều tổ chức khác áp dụng công nghệ AI trong bối cảnh Việt Nam.

Quá trình xây dựng V-Bench được thực hiện với sự cộng tác của một hội đồng chuyên môn gồm 18 nhà chuyên gia trong lĩnh vực AI, bao gồm những cá nhân làm việc tại Việt Nam cũng như những người Việt ở nước ngoài. Cơ sở dữ liệu được tích lũy với hơn 40.000 câu hỏi và bài tập, đề cập đến rất nhiều ngành nghề, từ ngôn ngữ và nền văn hóa cho đến lịch sử, các vấn đề liên quan đến chủ quyền kỹ thuật số, bảo mật dữ liệu và những tình huống ứng dụng phổ biến tại Việt Nam.

Cơ chế đánh giá được chia thành hai mục đích chính và bao hàm năm nhóm tiêu chí cụ thể: những yếu tố văn hóa tiềm ẩn, sự khác biệt giữa các khu vực địa lý, an toàn mạng và bảo vệ chủ quyền số, giá trị thực tiễn khi triển khai và những khả năng liên quan đến AI tự chủ. Những tiêu chí này được sử dụng để đánh giá khả năng nắm bắt ý nghĩa của ngôn ngữ, các cách nói riêng của từng vùng, những yếu tố văn hóa sâu sắc, mức độ tuân thủ các yêu cầu về an ninh thông tin, kỹ năng lập định hướng tác vụ, sử dụng các công cụ hỗ trợ và hoàn thành các yêu cầu trong môi trường đặc thù của Việt Nam.

Theo thông tin từ Đại học VinUni, V-Bench hướng tới cung ứng một hệ quy chiếu độc lập, giúp người dùng đánh giá năng lực các nền tảng AI, tạo điều kiện cho các cơ quan, công ty có thêm thông tin để chọn lựa nền tảng phù hợp với yêu cầu riêng của mình. Bộ công cụ được thiết kế dựa trên những phương pháp được sử dụng rộng rãi trong các dự án nghiên cứu LLM trên thế giới, đảm bảo tính khả dụng với cách thức vận hành và cách gọi tên các hệ thống benchmark được áp dụng quốc tế.

GS.TS. Dương Nguyên Vũ, người giữ chức vụ Phó hiệu trưởng đồng thời là Giám đốc Khoa học của Trung tâm Nghiên cứu AI, Đại học VinUni, cho rằng với tập dữ liệu phong phú và sự hỗ trợ khách quan, hoàn toàn vô lợi nhuận từ một nhóm các chuyên gia uy tín gốc Việt trên toàn cầu, V-Bench có ambition đóng vai trò trong việc định hình lại các tiêu chuẩn AI cho Việt Nam và thiết lập một khuôn khổ so sánh AI dành cho cả nước.

"Những kết luận từ việc đánh giá qua V-Bench sẽ cung cấp một cái nhìn tổng thể toàn diện, hỗ trợ các tổ chức công ty trong việc tìm hiểu sâu những điểm mạnh yếu của từng mô hình AI khác nhau, từ đó có khả năng lựa chọn giải pháp phù hợp nhất cho từng hoàn cảnh sử dụng riêng biệt và những nhu cầu cụ thể", ông bổ sung.

Cho đến thời điểm hiện tại, V-Bench đã công bố những kết quả đánh giá ban đầu của 15 mô hình LLM khác nhau. Trong những bước tiến tới, nhóm phụ trách phát triển dự định mở rộng bao gồm thêm những chỉ tiêu đánh giá liên quan đến hình ảnh và âm thanh, cụ thể như: khả năng nhận dạng chữ Nôm cổ, các biển chỉ dẫn đặc trưng từng vùng, các loại biểu đồ và bảng, những giá trị di sản văn hóa, các giọng nói từ ba miền đất nước, những yếu tố văn hóa thể hiện qua video ngắn gọn và năng lực xử lý những tài liệu tiếng Việt có độ dài vượt quá 100.000 token, bao gồm các văn bản luật pháp, các hợp đồng ký kết, tài liệu giáo dục và các quy định pháp luật.