Apple phát hành nhiều mô hình AI mã nguồn mở mới

Apple không chia sẻ nhiều về các kế hoạch Generative AI của mình. Giờ đây, với việc phát hành một dòng mô hình ngôn ngữ lớn mã nguồn mở, có vẻ như gã khổng lồ công nghệ này đang muốn làm cho AI chạy cục bộ trên các thiết bị Apple. LLM của Apple, gọi là OpenELM (Open-source Efficient Language Models), được thiết kế để chạy trên thiết bị thay vì trên máy chủ đám mây. Các LLM này có sẵn trên Hugging Face Hub, một nền tảng trung tâm để chia sẻ code và bộ dữ liệu AI.

Trong quá trình thử nghiệm, Apple nhận thấy rằng OpenELM mang lại hiệu suất tương tự như các mô hình ngôn ngữ mở khác, nhưng có ít dữ liệu đào tạo hơn.

Như được trình bày, có tổng cộng 8 mô hình OpenELM. 4 mô hình đã được đào tạo trước bằng thư viện CoreNet, trong khi 4 mô hình còn lại được điều chỉnh theo hướng dẫn. Để cải thiện độ chính xác và hiệu quả tổng thể, Apple sử dụng chiến lược mở rộng quy mô theo lớp trong các LLM nguồn mở này.

“Để đạt được mục tiêu này, chúng tôi phát hành OpenELM, mô hình ngôn ngữ mở tiên tiến nhất. OpenELM sử dụng chiến lược mở rộng quy mô theo lớp để phân bổ hiệu quả các tham số trong mỗi lớp của mô hình transformer, giúp nâng cao độ chính xác. Ví dụ, với khoảng một tỷ tham số, OpenELM thể hiện độ chính xác được cải thiện 2,36% so với OLMo trong khi yêu cầu token đào tạo trước ít hơn 2 lần“ - theo Apple.

Apple không chỉ cung cấp mô hình được đào tạo mới nhất. Đúng hơn, nó còn cung cấp code, nhật ký huấn luyện và nhiều phiên bản của mô hình. Các nhà nghiên cứu dự án lạc quan cho rằng nó sẽ đẩy nhanh những tiến bộ và mang lại “kết quả đáng tin cậy” trong lĩnh vực AI sử dụng ngôn ngữ tự nhiên.

“Khác với các phương pháp trước đây chỉ cung cấp trọng số mô hình và code suy luận cũng như đào tạo trước trên các tập dữ liệu riêng tư, bản phát hành của chúng tôi bao gồm framework hoàn chỉnh để đào tạo và đánh giá mô hình ngôn ngữ trên các tập dữ liệu có sẵn công khai, bao gồm nhật ký đào tạo, nhiều checkpoint và cấu hình được đào tạo trước. Chúng tôi cũng phát hành code chuyển đổi mô hình sang thư viện MLX để suy luận và tinh chỉnh trên các thiết bị Apple. Bản phát hành toàn diện này nhằm mục đích trao quyền và củng cố cộng đồng nghiên cứu mở, mở đường cho những nỗ lực nghiên cứu trong tương lai” - theo Apple.

Apple nói thêm rằng việc phát hành các mô hình OpenELM sẽ “trao quyền và làm phong phú thêm cộng đồng nghiên cứu mở” với các mô hình ngôn ngữ hiện đại. Những mô hình nguồn mở cho phép các nhà nghiên cứu khám phá những rủi ro, dữ liệu và điểm yếu tiềm ẩn vốn có trong các mô hình. Các mô hình đã sẵn sàng để nhà phát triển sử dụng. Họ có thể sử dụng nguyên trạng LLM nguồn mở này hoặc thực hiện những sửa đổi cần thiết.

Trở lại vào tháng 2, CEO Tim Cook của Apple đã tiết lộ rằng các tính năng Generative AI sẽ đến với những thiết bị của Apple vào cuối năm nay. Một thời gian sau đó, ông nhắc lại rằng công ty đang nỗ lực để mang lại những trải nghiệm AI đột phá.

Trước đây, Apple đã phát hành một số mô hình AI khác. Thật tiếc là hãng này vẫn chưa mang khả năng AI vào các thiết bị của mình. Tuy nhiên, iOS 18 sắp tới dự kiến ​​sẽ bao gồm một bộ tính năng AI mới và bản phát hành OpenELM có thể là phần chuẩn bị hậu trường mới nhất của Apple.

Gần đây, Mark Gurman cũng báo cáo rằng các tính năng AI của iOS 18 sẽ chủ yếu được hỗ trợ bởi mô hình ngôn ngữ lớn trên thiết bị nhằm mang lại lợi ích về quyền riêng tư và tốc độ. Chúng ta sẽ biết mọi thứ khi Apple công bố iOS 18 và các bản nâng cấp phần mềm khác tại WWDC vào ngày 10 tháng 6 tới đây.