PaLM 2 LLM mới của Google là gì?

Trong khi OpenAI đang dẫn đầu cho sự phát triển Generative AI, nhiều người đã đánh giá rằng Google đang tụt lại phía sau. Tuy nhiên, không chịu thua kém, Google đã ra mắt một LLM (Large Language Model) mới, PaLM 2, tại hội nghị Google I/O năm 2023 của mình.

Được thiết lập với 4 kích cỡ khác nhau để phù hợp với nhiều loại ứng dụng, LLM mới của Google đã cung cấp năng lượng cho một số dịch vụ của Google và còn nhiều ứng dụng khác nữa.

PaLM2 là gì?

Tại Google I/O 2023, được tổ chức vào ngày 10 tháng 5, Giám đốc điều hành Sunda Pichai đã tiết lộ về sản phẩm mới nhất của Google: PaLM 2.

Viết tắt của Pathways Language Model 2, LLM nâng cấp của Google là phiên bản thứ hai của PaLM (phiên bản đầu tiên ra mắt vào tháng 4 năm 2022). Bạn còn nhớ gì về PaLM không? Sự ra đời của nó là một tin tức trấn động và nhận được rất nhiều sự quan tâm, nhờ khả năng trò chuyện, kể những câu chuyện cười cơ bản, v.v... 6 tháng trôi qua nhanh chóng và GPT-3.5 của OpenAI đã thổi bay mọi thứ, bao gồm cả PaLM.

Kể từ đó, OpenAI đã ra mắt GPT-4, một bản nâng cấp lớn dựa trên GPT-3.5 và mô hình mới này đang được tích hợp vào nhiều công cụ, đáng chú ý nhất là Bing AI Chat của Microsoft. Google đang muốn nhắm đến OpenAI và GPT-4, với hy vọng LLM nâng cấp của mình có thể thu hẹp đáng kể khoảng cách, vì việc ra mắt Bard hầu như không gây được tiếng vang gì.

Pichai đã thông báo rằng PaLM 2 sẽ có 4 kích cỡ mô hình khác nhau: Gecko, Otter, Bison và Unicorn.

Gecko rất nhẹ nên có thể hoạt động trên thiết bị di động và đủ nhanh cho các ứng dụng tương tác tuyệt vời trên thiết bị, ngay cả khi ngoại tuyến. Tính linh hoạt này giúp PaLM 2 có thể được tinh chỉnh để hỗ trợ toàn bộ các loại sản phẩm theo nhiều cách hơn, nhằm giúp đỡ nhiều người hơn.

Với việc Gecko có thể xử lý khoảng 20 token mỗi giây - token là các giá trị được gán cho nhưng từ thực để các mô hình Generative AI sử dụng - có vẻ như đây sẽ là yếu tố thay đổi cuộc chơi cho việc các công cụ AI có thể triển khai trên thiết bị di động.

Dữ liệu đào tạo PaLM 2

Google chưa có thông tin chính thức về dữ liệu đào tạo của PaLM 2, có thể hiểu được vì nó mới được phát hành. Nhưng báo cáo về PaLM 2 đã nói rằng Google muốn PaLM 2 hiểu sâu hơn về toán học, logic và khoa học, đồng thời phần lớn kho dữ liệu đào tạo của Google sẽ tập trung vào các chủ đề này.

Khi tiết lộ về PaLM, Google xác nhận rằng nó đã được đào tạo trên 540 tỷ tham số, vào thời điểm đó đây là một con số khổng lồ.

GPT-4 của OpenAI được cho là sử dụng hơn 1 nghìn tỷ tham số, thậm chí một số suy đoán còn cho rằng con số đó lên tới 1,7 nghìn tỷ. Có thể chắc chắn rằng vì Google muốn PaLM 2 cạnh tranh trực tiếp với các LLM của OpenAI, nên ít nhất, PaLM 2 sẽ có một con số tương đương, hoặc lớn hơn.

Một sự thúc đẩy đáng kể khác cho PaLM 2 là dữ liệu đào tạo ngôn ngữ của nó. Google đã đào tạo PaLM 2 bằng hơn 100 ngôn ngữ để giúp PaLM 2 hiểu sâu và bám sát ngữ cảnh hơn, đồng thời tăng khả năng dịch thuật của nó.

Nhưng nó không chỉ là ngôn ngữ nói. Liên kết với nhu cầu của Google về PaLM 2 để cung cấp lý luận khoa học và toán học tốt hơn, LLM cũng đã được đào tạo bằng hơn 20 ngôn ngữ lập trình, khiến nó trở thành một tài sản vô giá cho các lập trình viên.

PaLM 2 đã sẵn sàng cung cấp sức mạnh cho các dịch vụ của Google, nhưng vẫn cần tinh chỉnh thêm

Sẽ không lâu nữa cho đến khi chúng ta có thể chạm tay vào PaLM 2 và xem nó có thể làm được những gì. Nếu may mắn, việc khởi chạy bất kỳ ứng dụng và dịch vụ nào của PaLM 2 sẽ tốt hơn Bard.

Nhưng về mặt kỹ thuật, bạn đã có thể sử dụng PaLM 2 rồi. Google xác nhận PaLM 2 đã được triển khai và sử dụng trên 25 sản phẩm của mình, bao gồm Android, Youtube, Gmail, Google Docs, Google Slides, Google Sheets, v.v...

Nhưng báo cáo PaLM 2 cũng tiết lộ rằng vẫn còn nhiều việc phải làm, đặc biệt là đối với các phản hồi độc hại bằng nhiều ngôn ngữ.

Ví dụ, khi được đưa ra các yêu cầu độc hại cụ thể, PaLM 2 sẽ tạo ra hơn 30% các phản hồi độc hại. Trong các ngôn ngữ cụ thể - tiếng Anh, tiếng Đức và tiếng Bồ Đào Nha - PaLM 2 đưa ra hơn 17% các phản hồi độc hại (những gợi ý bao gồm bản sắc chủng tộc và tôn giáo sẽ đẩy con số đó lên cao hơn).

Cho dù các nhà nghiên cứu có cố gắng làm sạch dữ liệu đào tạo LLM đến mức nào đi chăng nữa, thì chắc chắn một số yêu cầu độc hại vẫn sẽ lọt qua kiểm duyệt. Giai đoạn tiếp theo là tiếp tục đào tạo PaLM 2 để giảm các phản hồi độc hại đó.

Giờ là thời kỳ bùng nổ của các mô hình ngôn ngữ lớn

OpenAI không phải là công ty đầu tiên ra mắt mô hình ngôn ngữ lớn, nhưng các mô hình GPT-3, GPT-3.5 và GPT-4 của nó chắc chắn đã đóng một vai trò lớn đối với sự phát triển của Generative AI.

PaLM 2 của Google có một số vấn đề cần giải quyết, nhưng nó đã được sử dụng trong một số dịch vụ của Google cho thấy sự tự tin của công ty đối với LLM mới nhất của mình.