Meta ra mắt Llama API, có thể mang lại tốc độ suy luận kỷ lục

Trong khuôn khổ sự kiện LlamaCon diễn ra lần đầu tiên, Meta hôm nay đã công bố hàng loạt thông tin và giới thiệu các công cụ giúp dòng model Llama tiếp cận dễ dàng hơn với nhà phát triển. Điểm nhấn chính là sự ra mắt của Llama API, hiện đang ở dạng preview miễn phí giới hạn cho các nhà phát triển (developers).

Llama API cho phép developers thử nghiệm nhiều phiên bản Llama khác nhau, bao gồm Llama 4 Scout và Llama 4 Maverick vừa ra mắt. Nền tảng này cung cấp tính năng tạo khóa API chỉ với một cú nhấp chuột, cùng bộ SDK nhẹ cho TypeScript và Python. Đặc biệt, Llama API tương thích với SDK của OpenAI, giúp việc chuyển đổi ứng dụng từ OpenAI sang Llama thuận lợi hơn.

Tốc độ inference "phá đảo"

Meta hợp tác với Cerebras và Groq để tăng tốc độ suy luận (inference) cho Llama API. Cerebras tuyên bố model Llama 4 Cerebras trên API này có thể tạo token nhanh hơn 18 lần so với giải pháp dựa GPU thông thường từ NVIDIA và các hãng khác. Theo trang benchmark Artificial Analysis, Cerebras đạt hơn 2.600 token/giây với Llama 4 Scout, trong khi ChatGPT chỉ dừng ở 130 token/giây và DeepSeek là 25 token/giây.

Andrew Feldman, CEO kiêm đồng sáng lập Cerebras, chia sẻ:

Cerebras tự hào biến Llama API thành nền tảng inference nhanh nhất thế giới. Developers xây dựng ứng dụng agentic và thời gian thực cần tốc độ. Với Cerebras trên Llama API, họ có thể tạo ra hệ thống AI vượt xa khả năng của các nền tảng inference dựa GPU hàng đầu.

Các nhà phát triển muốn trải nghiệm tốc độ "khủng" của Llama 4 có thể chọn Cerebras trong mục tùy chọn model của Llama API. Phiên bản Llama 4 Scout từ Groq hiện đạt hơn 460 token/giây — chậm hơn khoảng 6 lần so với Cerebras nhưng vẫn nhanh gấp 4 lần các giải pháp GPU khác.