Chip AI có sức mạnh gấp 20 lần so với Nvidia H100

Mẫu chip AI Sohu mới do Startup Etched, trụ sở tại San Francisco phát triển có sức mạnh gấp 20 lần so với H100 của Nvidia.

Theo Etched, Sohu là một dạng mạch tích hợp dành riêng cho ứng dụng (ASIC) và có thể đánh bại GPU H100 của Nvidia về khả năng suy luận trong mô hình ngôn ngữ lớn (LLM). Hiệu suất của một hệ thống với 8 chip Sohu có thể tương đương 160 H100.

Etched cho biết, các hệ thống tăng tốc AI hiện tại, dù là CPU hay GPU, đều được thiết kế để hoạt động với các kiến trúc AI khác nhau như Mạng bộ nhớ ngắn hạn (Short-term Memory Network), Mạng thần kinh tích chập (Convolution Neural Network) hay mô hình không gian trạng thái (State Space Model).

Etched ước tính, chỉ 3,3% số bóng bán dẫn của GPU H100 của Nvidia được sử dụng cho tác vụ chính, còn 96,7% còn lại được sử dụng cho các tác vụ khác. Với các chip AI đa năng điều này là cần thiết nhưng lại gây ra sự lãng phí lớn.

Vì vậy, công ty khởi nghiệp Etched đã đưa vào Kiến trúc AI biến áp (kiến trúc Transformer) vào Sohu để có thể phân bổ nhiều bóng bán dẫn hơn cho tính toán trí tuệ nhân tạo trên chip. Họ cố gắng tạo ra chip được tối ưu hóa để chạy một dạng mô hình AI cụ thể thay vì đáp ứng mọi kiến trúc AI đơn lẻ. Thực tế, kiến trúc Transformer cũng là nền tảng của GPT (Generative Pre-trained Transformer), tương tự với các hệ thống AI của các hãng công nghệ lớn gồm Sora, Gemini, Stable Diffusion và Dall-E.

Etched cho biết, họ đã đặt cược vào kiến trúc Transformer. Nếu Transformer biến mất, công ty khởi nghiệp này sẽ chết nhưng nếu tiếp tục tồn tại Etched có tiềm năng trở thành một trong những công ty lớn nhất mọi thời.

Giá của Sohu chưa được công bố, còn Nvidia H100 hiện có giá 40.000 USD. Theo Tom's Hardware, nếu Sohu đáp ứng được kỳ vọng sẽ giúp các trung tâm xử lý dữ liệu có thể tiết kiệm hàng tỷ USD chi phí ban đầu và chi phí vận hành. Sản phẩm này thậm chí đe dọa vị thế dẫn đầu của Nvidia nhưng chỉ khi chip của Etched đi vào vận hành.