LG EXAONE ra mắt: Mô hình AI nguồn mở đầu tiên của Hàn Quốc

LG AI Research đã công bố ra mắt mô hình AI nguồn mở hoàn toàn mới có tên EXAONE 3.0. Đây là mô hình AI nguồn mở đầu tiên của Hàn Quốc, cũng là thành tựu đánh dấu sự gia nhập chính thức của quốc gia này vào lĩnh vực AI toàn cầu, vốn đang được thống trị bới các công ty công nghệ khổng lồ đến từ Mỹ, cùng hàng loạt cái tên mới nổi ở Trung Quốc. EXAONE 3.0 hiện chỉ hỗ trợ hai tùy chọn ngôn ngữ - tiếng Anh và tiếng Hàn - nhưng sẽ được mở rộng liên tục trong tương lai.

EXAONE 3.0 là một mô hình mã nguồn mở, được phát triển dựa trên kiến ​​trúc Transformer chỉ sử dụng bộ giải mã. Mô hình này tự hào sở hữu tới 7,8 tỷ tham số và trên 8T dữ liệu đào tạo (token). Nói về sự ra mắt của EXAONE 3.0, thông cáo báo chí của LG cho biết:

Trong số các mô hình ngôn ngữ EXAONE 3.0 được xây dựng cho nhiều mục đích khác nhau, mô hình điều chỉnh lệnh 7,8 tỷ tham số đang được mở nguồn trước để có thể sử dụng cho mục đích nghiên cứu. Chúng tôi hy vọng việc phát hành mô hình này sẽ giúp các nhà nghiên cứu AI ở cả trong nước và nước ngoài tiến hành những nghiên cứu có ý nghĩa hơn và giúp hệ sinh thái AI tiến thêm một bước trên con đường phát triển và phổ cập hóa.

Các thử nghiệm nội bộ của LG cho thấy khả năng tiếng Anh của EXAONE 3.0 đã đạt đến "level cao nhất trong ngành". Điểm trung bình của các trường hợp sử dụng thực tế được cho là đứng đầu, vượt qua một số mô hình nổi tiếng hiện nay như Llama 3.0.

Khi nói đến khả năng tính toán và mã hóa toán học, EXAONE 3.0 cũng đứng đầu về điểm số trung bình và có khả năng lập luận mạnh mẽ. EXAONE 3.0 xếp hạng nhất về điểm trung bình cho cả trường hợp sử dụng thực tế và benchmark đơn lẻ tại Hàn Quốc.

Đáng chú ý, EXAONE 3.0 đã thể hiện hiệu suất và hiệu quả chi phí vượt trội so với các phiên bản tiền nhiệm là EXAONE 1.0 (tháng 12-2021), và EXAONE 2.0 (tháng 7-2023). Mô hình này được cho là giảm thời gian suy luận 56%, sử dụng bộ nhớ 35% và chi phí vận hành 72% so với mô hình thế hệ trước.

Tính đến thời điểm hiện tại, EXAONE 3.0 đã được đào tạo trên 60 triệu trường hợp dữ liệu chuyên ngành liên quan đến bằng sáng chế, mã, toán học và hóa học. Công ty dự định mở rộng dữ liệu đào tạo lên 100 triệu trường hợp trong các lĩnh vực khác nhau vào cuối năm nay.

Để giảm mức tiêu thụ điện năng khi vận hành mô hình, LG AI Research sẽ tập trung nghiên cứu các công nghệ tối ưu hóa và làm cho EXAONE 3.0 trên nên gọn nhẹ hơn. Công ty đã thành công trong việc giảm kích thước mô hình tới 97% trong khi vẫn tăng hiệu suất so với EXAONE 1.0.