Ng&agrave;y 10/1 vừa qua, Zalo AI đ&atilde; c&ocirc;ng bố B&aacute;o c&aacute;o T&igrave;nh h&igrave;nh Ph&aacute;t triển c&aacute;c M&ocirc; h&igrave;nh Ng&ocirc;n ngữ lớn (Large Language Model - LLM) tiếng Việt năm 2024. Theo đ&oacute;, c&aacute;c m&ocirc; h&igrave;nh LLM từ Việt Nam đ&atilde; xuất sắc thăng hạng l&ecirc;n vị tr&iacute; số 2, cạnh tranh trực tiếp với c&aacute;c LLM h&agrave;ng đầu thế giới như Llama-3-70B của Meta hay GPT-4 của OpenAI.

<img alt="" src="https://static.fireant.vn/Upload/20250124/images/Thumb.png" style="height:374px; width:599px">

Cụ thể, trong bảng xếp hạng c&aacute;c m&ocirc; h&igrave;nh from-scratch models, m&ocirc; h&igrave;nh KiLM-13b-v24.7.1 do Zalo AI ph&aacute;t triển đ&atilde; đạt số điểm tổng qu&aacute;t trung b&igrave;nh 66,07 điểm, chỉ xếp sau Llama-3-70B với 66,44 điểm. B&ecirc;n cạnh đ&oacute;, m&ocirc; h&igrave;nh ViGPT-1.6B-v1 của VinBigData nằm trong Top 10 của bảng xếp hạng.

<img alt="" src="https://static.fireant.vn/Upload/20250124/images/LLMs%20ti%c3%aau%20bi%e1%bb%83u.png" style="height:338px; width:600px">

B&aacute;o c&aacute;o do Zalo AI v&agrave; Viện Khoa học &amp; C&ocirc;ng nghệ ti&ecirc;n tiến Nhật Bản tiến h&agrave;nh cũng ghi nhận sự nở rộ mạnh mẽ của c&aacute;c m&ocirc; h&igrave;nh LLM hướng đến người d&ugrave;ng Việt Nam. Cụ thể trong năm 2024, VMLU c&ocirc;ng bố 45 LLM tr&ecirc;n bảng xếp hạng, tiếp nhận y&ecirc;u cầu đ&aacute;nh gi&aacute; của hơn 155 tổ chức &amp; c&aacute; nh&acirc;n, tổng kết 691 lượt tải bộ ti&ecirc;u chuẩn đ&aacute;nh gi&aacute; v&agrave; 3.729 lượt đ&aacute;nh gi&aacute; LLM từ nền tảng.

Bảng xếp hạng năng lực c&aacute;c M&ocirc; h&igrave;nh LLM tiếng Việt được tổng kết từ nền tảng VMLU (A Vietnamese Multitask Language Understanding Benchmark Suite for Large Language Models). Đ&acirc;y l&agrave; nền tảng được x&acirc;y dựng v&agrave; ph&aacute;t triển bởi Zalo AI v&agrave; Viện Khoa học &amp; C&ocirc;ng nghệ Ti&ecirc;n tiến Nhật Bản (JAIST) nhằm đ&aacute;nh gi&aacute; to&agrave;n diện năng lực tiếng Việt, đẩy mạnh mức độ am hiểu s&acirc;u sắc về ng&ocirc;n ngữ v&agrave; văn h&oacute;a Việt Nam của c&aacute;c m&ocirc; h&igrave;nh ng&ocirc;n ngữ lớn (LLM).

<img alt="" src="https://static.fireant.vn/Upload/20250124/images/s%e1%bb%b1%20ph%c3%a1t%20tri%e1%bb%83n%20LLMs%20VN.png" style="height:338px; width:600px">

Ra mắt v&agrave;o th&aacute;ng 11/2023, VMLU đ&atilde; cung cấp bộ dữ liệu (dataset) &amp; ti&ecirc;u chuẩn kiểm tra to&agrave;n diện, gồm: 10.880 c&acirc;u hỏi trắc nghiệm thuộc 58 chủ đề, bao qu&aacute;t 4 lĩnh vực l&agrave; STEM (khoa học, c&ocirc;ng nghệ, kỹ thuật v&agrave; to&aacute;n học), khoa học x&atilde; hội, khoa học nh&acirc;n văn v&agrave; mở rộng. Mức độ kh&oacute; của c&aacute;c c&acirc;u hỏi tăng dần theo 4 cấp độ: tiểu học, trung học cơ sở, trung học phổ th&ocirc;ng v&agrave; chuy&ecirc;n nghiệp (bậc đại học &amp; sau đại học).

Sau khi sử dụng VMLU để đo lường v&agrave; đ&aacute;nh gi&aacute; m&ocirc; h&igrave;nh, c&aacute;c nh&agrave; ph&aacute;t triển LLM c&oacute; thể cung cấp điểm số v&agrave; y&ecirc;u cầu c&ocirc;ng bố tr&ecirc;n bảng xếp hạng (VMLU Leaderboard). Th&ocirc;ng qua đ&oacute;, họ sẽ so s&aacute;nh năng lực m&ocirc; h&igrave;nh của m&igrave;nh với c&aacute;c LLM hiện c&oacute; tr&ecirc;n thị trường để th&uacute;c đẩy việc huấn luyện ng&agrave;y một ho&agrave;n thiện hơn. Sau hơn 1 năm cung cấp miễn ph&iacute; cho cộng đồng, VMLU đ&atilde; trở th&agrave;nh c&ocirc;ng cụ hữu &iacute;ch đối với c&aacute;c đơn vị nghi&ecirc;n cứu AI.

Nền tảng VMLU kh&ocirc;ng chỉ thu h&uacute;t c&aacute;c nh&oacute;m nghi&ecirc;n cứu trong nước m&agrave; c&ograve;n nhận được sự quan t&acirc;m v&agrave; tham gia của c&aacute;c tổ chức quốc tế như &nbsp;nh&oacute;m nghi&ecirc;n cứu từ UONLP x Ontocord - Đại học Oregon (Hoa Kỳ), DAMO Academy - Alibaba Group (Trung Quốc) v&agrave; SDSRV teams - Samsung.

TS. Ch&acirc;u Th&agrave;nh Đức, Trưởng Bộ phận Nghi&ecirc;n cứu &amp; Ph&aacute;t triển tại Zalo AI, chia sẻ: &quot;Ch&uacute;ng t&ocirc;i sẽ tiếp tục tối ưu bộ ti&ecirc;u chuẩn đ&aacute;nh gi&aacute; năng lực tiếng Việt VMLU để hỗ trợ cộng đồng AI Việt Nam ph&aacute;t triển c&aacute;c m&ocirc; h&igrave;nh chất lượng cao. Zalo AI hy vọng rằng sự ph&aacute;t triển của tầng nghi&ecirc;n cứu sẽ tạo tiền đề cho những bước tiến ứng dụng, mang lại những sản phẩm AI ti&ecirc;n tiến v&agrave; hữu &iacute;ch cho người Việt.&quot;

Trong thời gian tới, Zalo AI sẽ tiếp tục cung cấp nền tảng VMLU miễn ph&iacute;. C&aacute;c nh&agrave; ph&aacute;t triển LLM tiếng Việt trong v&agrave; ngo&agrave;i nước c&oacute; thể sử dụng nguồn th&ocirc;ng tin mở tại website: https://vmlu.ai/&nbsp;

Xem chi tiết B&aacute;o c&aacute;o T&igrave;nh h&igrave;nh Ph&aacute;t triển c&aacute;c M&ocirc; h&igrave;nh ng&ocirc;n ngữ lớn (LLM) tiếng Việt tại đ&acirc;y.

<img alt="" src="https://static.fireant.vn/Upload/20250124/images/Nh%c3%a0%20ph%c3%a1t%20tri%e1%bb%83n%20LLMs.png" style="height:338px; width:600px">

B&ecirc;n cạnh tham gia ph&aacute;t triển VLMU, Zalo AI cũng t&iacute;ch cực đồng h&agrave;nh v&agrave; th&uacute;c đẩy c&aacute;c hoạt động chung v&igrave; sự ph&aacute;t triển của cộng đồng AI Việt Nam. Trước đ&oacute; từ năm 2017, Hội nghị Zalo AI Summit v&agrave; Cuộc thi Zalo AI Challenge được tổ chức thường ni&ecirc;n đ&atilde; gi&uacute;p kết nối, chia sẻ kiến thức giữa c&aacute;c kỹ sư, lập tr&igrave;nh vi&ecirc;n v&agrave; nh&agrave; nghi&ecirc;n cứu trong nước v&agrave; khu vực. Những sự kiện kh&ocirc;ng chỉ g&oacute;p phần thu hẹp khoảng c&aacute;ch giữa AI Việt Nam v&agrave; thế giới m&agrave; c&ograve;n tạo ra cơ hội lớn cho c&aacute;c t&agrave;i năng c&ocirc;ng nghệ trẻ tại Việt Nam.

<a href="https://www.vng.com.vn/news/enterprise/zalo-ai-llms-report.html">Link gốc</a>

Ngày 10/1 vừa qua, Zalo AI đã công bố Báo cáo Tình hình Phát triển các Mô hình Ngôn ngữ lớn (Large Language Model - LLM) tiếng Việt năm 2024. Theo đó, các mô hình LLM từ Việt Nam đã xuất sắc thăng hạng lên vị trí số 2, cạnh tranh trực tiếp với các LLM hàng đầu thế giới như Llama-3-70B của Meta hay GPT-4 của OpenAI.

Ng&agrave;y 10/1 vừa qua, Zalo AI đ&atilde; c&ocirc;ng bố B&aacute;o c&aacute;o T&igrave;nh h&igrave;nh Ph&aacute;t triển c&aacute;c M&ocirc; h&igrave;nh Ng&ocirc;n ngữ lớn (Large Language Model - LLM) tiếng Việt năm 2024. Theo đ&oacute;, c&aacute;c m&ocirc; h&igrave;nh LLM từ Việt Nam đ&atilde; xuất sắc thăng hạng l&ecirc;n vị tr&iacute; số 2, cạnh tranh trực tiếp với c&aacute;c LLM h&agrave;ng đầu thế giới như Llama-3-70B của Meta hay GPT-4 của OpenAI.

<img alt="" src="https://static.fireant.vn/Upload/20250124/images/Thumb.png" style="height:374px; width:599px" />

Cụ thể, trong bảng xếp hạng c&aacute;c m&ocirc; h&igrave;nh from-scratch models, m&ocirc; h&igrave;nh KiLM-13b-v24.7.1 do Zalo AI ph&aacute;t triển đ&atilde; đạt số điểm tổng qu&aacute;t trung b&igrave;nh 66,07 điểm, chỉ xếp sau Llama-3-70B với 66,44 điểm. B&ecirc;n cạnh đ&oacute;, m&ocirc; h&igrave;nh ViGPT-1.6B-v1 của VinBigData nằm trong Top 10 của bảng xếp hạng.

<img alt="" src="https://static.fireant.vn/Upload/20250124/images/LLMs%20ti%c3%aau%20bi%e1%bb%83u.png" style="height:338px; width:600px" />

B&aacute;o c&aacute;o do Zalo AI v&agrave; Viện Khoa học &amp; C&ocirc;ng nghệ ti&ecirc;n tiến Nhật Bản tiến h&agrave;nh cũng ghi nhận sự nở rộ mạnh mẽ của c&aacute;c m&ocirc; h&igrave;nh LLM hướng đến người d&ugrave;ng Việt Nam. Cụ thể trong năm 2024, VMLU c&ocirc;ng bố 45 LLM tr&ecirc;n bảng xếp hạng, tiếp nhận y&ecirc;u cầu đ&aacute;nh gi&aacute; của hơn 155 tổ chức &amp; c&aacute; nh&acirc;n, tổng kết 691 lượt tải bộ ti&ecirc;u chuẩn đ&aacute;nh gi&aacute; v&agrave; 3.729 lượt đ&aacute;nh gi&aacute; LLM từ nền tảng.

Bảng xếp hạng năng lực c&aacute;c M&ocirc; h&igrave;nh LLM tiếng Việt được tổng kết từ nền tảng VMLU (A Vietnamese Multitask Language Understanding Benchmark Suite for Large Language Models). Đ&acirc;y l&agrave; nền tảng được x&acirc;y dựng v&agrave; ph&aacute;t triển bởi Zalo AI v&agrave; Viện Khoa học &amp; C&ocirc;ng nghệ Ti&ecirc;n tiến Nhật Bản (JAIST) nhằm đ&aacute;nh gi&aacute; to&agrave;n diện năng lực tiếng Việt, đẩy mạnh mức độ am hiểu s&acirc;u sắc về ng&ocirc;n ngữ v&agrave; văn h&oacute;a Việt Nam của c&aacute;c m&ocirc; h&igrave;nh ng&ocirc;n ngữ lớn (LLM).

<img alt="" src="https://static.fireant.vn/Upload/20250124/images/s%e1%bb%b1%20ph%c3%a1t%20tri%e1%bb%83n%20LLMs%20VN.png" style="height:338px; width:600px" />

Ra mắt v&agrave;o th&aacute;ng 11/2023, VMLU đ&atilde; cung cấp bộ dữ liệu (dataset) &amp; ti&ecirc;u chuẩn kiểm tra to&agrave;n diện, gồm: 10.880 c&acirc;u hỏi trắc nghiệm thuộc 58 chủ đề, bao qu&aacute;t 4 lĩnh vực l&agrave; STEM (khoa học, c&ocirc;ng nghệ, kỹ thuật v&agrave; to&aacute;n học), khoa học x&atilde; hội, khoa học nh&acirc;n văn v&agrave; mở rộng. Mức độ kh&oacute; của c&aacute;c c&acirc;u hỏi tăng dần theo 4 cấp độ: tiểu học, trung học cơ sở, trung học phổ th&ocirc;ng v&agrave; chuy&ecirc;n nghiệp (bậc đại học &amp; sau đại học).

Sau khi sử dụng VMLU để đo lường v&agrave; đ&aacute;nh gi&aacute; m&ocirc; h&igrave;nh, c&aacute;c nh&agrave; ph&aacute;t triển LLM c&oacute; thể cung cấp điểm số v&agrave; y&ecirc;u cầu c&ocirc;ng bố tr&ecirc;n bảng xếp hạng (VMLU Leaderboard). Th&ocirc;ng qua đ&oacute;, họ sẽ so s&aacute;nh năng lực m&ocirc; h&igrave;nh của m&igrave;nh với c&aacute;c LLM hiện c&oacute; tr&ecirc;n thị trường để th&uacute;c đẩy việc huấn luyện ng&agrave;y một ho&agrave;n thiện hơn. Sau hơn 1 năm cung cấp miễn ph&iacute; cho cộng đồng, VMLU đ&atilde; trở th&agrave;nh c&ocirc;ng cụ hữu &iacute;ch đối với c&aacute;c đơn vị nghi&ecirc;n cứu AI.

Nền tảng VMLU kh&ocirc;ng chỉ thu h&uacute;t c&aacute;c nh&oacute;m nghi&ecirc;n cứu trong nước m&agrave; c&ograve;n nhận được sự quan t&acirc;m v&agrave; tham gia của c&aacute;c tổ chức quốc tế như &nbsp;nh&oacute;m nghi&ecirc;n cứu từ UONLP x Ontocord - Đại học Oregon (Hoa Kỳ), DAMO Academy - Alibaba Group (Trung Quốc) v&agrave; SDSRV teams - Samsung.

TS. Ch&acirc;u Th&agrave;nh Đức, Trưởng Bộ phận Nghi&ecirc;n cứu &amp; Ph&aacute;t triển tại Zalo AI, chia sẻ: &quot;Ch&uacute;ng t&ocirc;i sẽ tiếp tục tối ưu bộ ti&ecirc;u chuẩn đ&aacute;nh gi&aacute; năng lực tiếng Việt VMLU để hỗ trợ cộng đồng AI Việt Nam ph&aacute;t triển c&aacute;c m&ocirc; h&igrave;nh chất lượng cao. Zalo AI hy vọng rằng sự ph&aacute;t triển của tầng nghi&ecirc;n cứu sẽ tạo tiền đề cho những bước tiến ứng dụng, mang lại những sản phẩm AI ti&ecirc;n tiến v&agrave; hữu &iacute;ch cho người Việt.&quot;

Trong thời gian tới, Zalo AI sẽ tiếp tục cung cấp nền tảng VMLU miễn ph&iacute;. C&aacute;c nh&agrave; ph&aacute;t triển LLM tiếng Việt trong v&agrave; ngo&agrave;i nước c&oacute; thể sử dụng nguồn th&ocirc;ng tin mở tại website: https://vmlu.ai/&nbsp;

Xem chi tiết B&aacute;o c&aacute;o T&igrave;nh h&igrave;nh Ph&aacute;t triển c&aacute;c M&ocirc; h&igrave;nh ng&ocirc;n ngữ lớn (LLM) tiếng Việt tại đ&acirc;y.

<img alt="" src="https://static.fireant.vn/Upload/20250124/images/Nh%c3%a0%20ph%c3%a1t%20tri%e1%bb%83n%20LLMs.png" style="height:338px; width:600px" />

B&ecirc;n cạnh tham gia ph&aacute;t triển VLMU, Zalo AI cũng t&iacute;ch cực đồng h&agrave;nh v&agrave; th&uacute;c đẩy c&aacute;c hoạt động chung v&igrave; sự ph&aacute;t triển của cộng đồng AI Việt Nam. Trước đ&oacute; từ năm 2017, Hội nghị Zalo AI Summit v&agrave; Cuộc thi Zalo AI Challenge được tổ chức thường ni&ecirc;n đ&atilde; gi&uacute;p kết nối, chia sẻ kiến thức giữa c&aacute;c kỹ sư, lập tr&igrave;nh vi&ecirc;n v&agrave; nh&agrave; nghi&ecirc;n cứu trong nước v&agrave; khu vực. Những sự kiện kh&ocirc;ng chỉ g&oacute;p phần thu hẹp khoảng c&aacute;ch giữa AI Việt Nam v&agrave; thế giới m&agrave; c&ograve;n tạo ra cơ hội lớn cho c&aacute;c t&agrave;i năng c&ocirc;ng nghệ trẻ tại Việt Nam.

<a href="https://www.vng.com.vn/news/enterprise/zalo-ai-llms-report.html">Link gốc</a>