Nvidia và Microsoft đang cùng hợp tác giải quyết một vấn đề lớn với Copilot+

Khi Microsoft công bố nền tảng Copilot+ PC vài tuần trước, một thắc mắc thường được đặt ra là: “Tại sao tôi không thể chạy các ứng dụng AI này trên GPU của mình?” Tại Computerx 2024, Nvidia cuối cùng đã đưa ra câu trả lời cho câu hỏi này.

Nvidia và Microsoft đang cùng hợp tác trong một dự án phát triển Giao diện lập trình ứng dụng (Application Programming Interface - API), cho phép nhà phát triển chạy các ứng dụng AI của họ trên card đồ họa RTX. Điều này bao gồm các Mô hình ngôn ngữ nhỏ (SLM) khác nhau là một phần của runtime Copilot, được sử dụng làm cơ sở cho các tính năng mới đang nhận được nhiều sự quan tâm như Recall và Live Captions.

Với bộ công cụ trên, nhà phát triển có thể cho phép ứng dụng chạy cục bộ trên GPU thay vì NPU. Điều này mở ra cơ hội cho không chỉ các ứng dụng AI mạnh mẽ hơn vì hiệu suất xử lý AI của GPU nhìn chung cao hơn NPU, mà còn cả khả năng chạy trên các PC hiện không thuộc phạm vi hệ sinh thái Copilot+.

Không quá khi nói rằng đây là một dự án mang tính cách mạng. Máy tính Copilot+ hiện yêu cầu Bộ xử lý thần kinh (NPU) có khả năng thực hiện ít nhất 40 Tera hoạt động mỗi giây (TOPS). Ở thời điểm hiện tại, chỉ có Snapdragon X Elite đáp ứng được tiêu chí đó. Tuy nhiên, GPU nói chung lại sở hữu khả năng xử lý AI cao hơn nhiều, ngay cả những model cấp thấp cũng đạt tới 100 TOPS, và các sản phẩm cao cấp hơn thậm chí còn cùng cấp sức mạnh lớn hơn gấp nhiều lần.

Ngoài việc chạy trên GPU, API mới còn bổ sung các khả năng tạo tăng cường truy xuất (RAG) vào runtime Copilot. RAG cung cấp cho mô hình AI quyền truy cập vào thông tin cụ thể cục bộ, cho phép nó cung cấp các giải pháp hữu ích hơn. Chúng ta đã thấy RAG được hiển thị đầy đủ trong nền tảng chatbot AI Chat with RTX của Nvidia ra mắt đầu năm nay.

Ngoài API, Nvidia đã công bố RTX AI Toolkit tại Computerx. Bộ công cụ dành cho nhà phát triển này sẽ ra mắt chính thức ngay trong tháng 6, kết hợp nhiều công cụ và SDK khác nhau cho phép các nhà phát triển điều chỉnh mô hình AI cho những ứng dụng cụ thể. Nvidia cho biết bằng cách sử dụng RTX AI Toolkit, các nhà phát triển có thể tạo ra các mô hình nhanh hơn bốn lần và nhỏ hơn ba lần so với sử dụng những giải pháp nguồn mở nói chung.

Thế giới công nghệ đang chứng kiến ​​một làn sóng công cụ cho phép các nhà phát triển xây dựng những ứng dụng AI cụ thể cho người dùng cuối. Một số trong số đó đã xuất hiện trên PC Copilot+, và xu hướng này nhìn chúng sẽ còn kéo dài cho đến ít nhất là hết năm sau. Rốt cục, chúng ta có phần cứng để chạy những ứng dụng này; cái còn thiếu bây giờ chỉ là phần mềm.