Intel trình làng chip AI Gaudi 3, nhanh hơn 50% so với H100 của NVIDIA

Intel vừa chính thức công bố dòng chip xử lý AI mới nhất có tên gọi Gaudi 3, với mục tiêu thách thức vị thế dẫn đầu mà NVIDIA hiện đang nắm giữ trong ngành công nghiệp AI. Con chip mới hứa hẹn sẽ cải thiện đáng kể hiệu năng và hiệu suất so với GPU H100 của NVIDIA, và thậm chí là cả MI300X của AMD.

Theo tuyên bố của Intel, Gaudi 3 cho khả năng tiết kiệm năng lượng hơn gấp đôi và có thể thực hiện các tác vụ AI nhanh hơn gấp rưỡi so với H100. Những con số ấn tượng này về lý thuyết này có thể giúp cắt giảm đáng kể mức chi phí vốn cực kỳ tốn kém liên quan đến việc đào tạo các mô hình AI lớn. Con chip này cũng đi kèm với nhiều mô-đun khác nhau, bao gồm cấu hình 8 chip trên bo mạch chủ và card tương thích với các thiết kế máy chủ Intel hiện có.

Intel cho biết họ đã thử nghiệm con chip này trên các mô hình AI phổ biến từ dự án Llama 2 và Falcon của Meta. Kết quả cho thấy Gaudi 3 có khả năng huấn luyện tốt đối với các mô hình AI, đồng thời đáp ứng khả năng chạy hiệu quả các ứng dụng phức tạp.

Theo dữ liệu đánh giá benchmark nội bộ của Intel, Gaudi 3 nhanh hơn H100 trung bình 50% khi đào tạo các mô hình ngôn ngữ lớn như Llama với 7 tỷ và 13 tỷ tham số, cũng như GPT-3 với 175 tỷ tham số. Ngoài ra, Gaudi 3 được kỳ vọng sẽ đạt hiệu suất sử dụng năng lượng tốt hơn 40% so với H100 trong các tác vụ suy luận.

“So với Nvidia H100, Intel Gaudi 3 dự kiến sẽ mang lại thời gian đào tạo trung bình nhanh hơn 50% trên các model Llama2 với thông số 7B và 13B cũng như mẫu thông số GPT-3 175B. Ngoài ra, thông lượng suy luận của bộ tăng tốc Intel Gaudi 3 được dự đoán sẽ vượt trội hơn H100 trung bình 50%1 và 40% đối với hiệu suất năng lượng suy luận trung bình trên các tham số Llama 7B và 70B, cũng như các mô hình tham số Falcon 180B”.

Chi tiết thông số kỹ thuật đầy đủ của Gaudi 3 được liệt kê trong hình ảnh bên dưới:

Gaudi 3 kết nối với CPU chủ thông qua liên kết PCIe Gen 5 x16 tốc độ cao. Intel cũng đang phát triển các biến thể làm mát bằng chất lỏng để có hiệu suất cao hơn nữa.

Sự ra mắt của Gaudi 3 chính là lời thánh thức có sức nặng đầu tiên mà Intel đưa ra đối với sự thống trị của NVIDIA, ước tính đang chiếm khoảng 80% thị phần thị trường chip AI toàn cầu. Với việc các khách hàng như Dell, HP và Supermicro đang xây dựng máy chủ với chip mới, Intel hoàn toàn có thể tự tin sẽ giành được một thị phần đáng kể trong thời gian tới. Gaudi 3 sẽ có sẵn cho các OEM lớn của Intel – bao gồm Dell Technologies, HPE, Lenovo và Supermicro – vào quý 2 năm 2024.