Bộ nhớ - nút thắt lớn nhất của AI hiện đại

Khi nói đến sự phát triển của trí tuệ nhân tạo (AI), phần lớn mọi người thường nghĩ đến những bộ xử lý ngày càng mạnh hơn. NVIDIA liên tục ra mắt GPU thế hệ mới, còn AMD, Intel hay nhiều công ty khởi nghiệp cũng đua nhau phát triển các bộ tăng tốc AI với hàng nghìn nhân xử lý và khả năng tính toán lên tới hàng triệu tỷ phép tính mỗi giây.

Điều đó khiến nhiều người tin rằng tương lai của AI phụ thuộc hoàn toàn vào sức mạnh xử lý. Nhưng thực tế lại khác. Một trong những rào cản lớn nhất của AI hiện nay không còn nằm ở tốc độ tính toán, mà ở khả năng đưa dữ liệu đến bộ xử lý đủ nhanh.

Nói cách khác, bài toán lớn của AI đang dần chuyển từ "tính toán nhanh hơn" sang "di chuyển dữ liệu nhanh hơn".

"Đầu bếp siêu tốc" nhưng phải chờ nguyên liệu

Hãy tưởng tượng bạn thuê được đầu bếp giỏi và nhanh nhất thế giới. Anh ta có thể chế biến một món ăn chỉ trong vài phút. Tuy nhiên, toàn bộ nguyên liệu lại được lưu trong một kho hàng cách bếp vài cây số. Mỗi lần cần nấu ăn, ai đó phải chạy đến kho lấy nguyên liệu rồi mang về. Lúc này, dù đầu bếp có tài giỏi đến đâu, anh ta vẫn phải liên tục đứng chờ nguyên liệu được chuyển tới.

Các hệ thống AI hiện đại cũng hoạt động theo cách tương tự. GPU có thể xử lý lượng phép tính khổng lồ trong thời gian rất ngắn, nhưng chúng không thể tính toán nếu dữ liệu chưa được đưa đến bộ nhớ xử lý.

Khi bộ xử lý nhanh hơn khả năng truyền dữ liệu của hệ thống bộ nhớ, toàn bộ hiệu năng sẽ bị giới hạn bởi tốc độ truyền dữ liệu chứ không còn là năng lực tính toán.

Trong khoa học máy tính, hiện tượng này được gọi là Memory Bottleneck (nút thắt cổ chai của bộ nhớ) và đang trở thành một trong những vấn đề quan trọng nhất của AI hiện đại.

Vì sao bộ nhớ ngày càng trở nên quan trọng?

Để hiểu nguyên nhân, trước hết cần nhìn vào quy mô của các mô hình AI ngày nay. Những mô hình học máy trước đây thường chỉ có vài nghìn hoặc vài triệu tham số. Trong khi đó, các mô hình nền tảng (Foundation Model) hiện đại đã sở hữu hàng chục tỷ, thậm chí hàng nghìn tỷ tham số.

Mỗi tham số đều là một giá trị số phải được lưu trong bộ nhớ và liên tục truy xuất trong quá trình huấn luyện cũng như suy luận.

Lấy ví dụ một mô hình có khoảng 70 tỷ tham số. Ngay cả trước khi thực hiện phép tính đầu tiên, hệ thống cũng phải tìm nơi lưu trữ toàn bộ lượng dữ liệu khổng lồ này. Nếu hàng nghìn người cùng gửi yêu cầu đến mô hình AI trong cùng một thời điểm, phần cứng sẽ liên tục phải chuyển dữ liệu giữa bộ nhớ và GPU.

Khi đó, vấn đề lớn nhất không còn là GPU có đủ mạnh hay không, mà là liệu hệ thống có thể cung cấp dữ liệu cho GPU nhanh đến mức cần thiết hay không.

Di chuyển dữ liệu đôi khi còn tốn kém hơn tính toán

Đây là một trong những điều khá nghịch lý trong lĩnh vực phần cứng. Trong nhiều thập kỷ qua, hiệu năng của CPU và GPU tăng lên rất nhanh nhờ những tiến bộ trong thiết kế vi xử lý.

Ngược lại, tốc độ phát triển của hệ thống bộ nhớ lại chậm hơn đáng kể. Khoảng cách này ngày càng lớn khi các mô hình AI liên tục mở rộng quy mô.

Ngày nay, GPU có thể thực hiện hàng nghìn tỷ phép tính mỗi giây nhưng vẫn phải dành không ít thời gian để chờ dữ liệu được chuyển từ bộ nhớ. Hiện tượng này không chỉ xảy ra giữa GPU và bộ nhớ mà còn xuất hiện khi truyền dữ liệu giữa nhiều GPU, giữa các máy chủ trong cùng một cụm hay thậm chí giữa các trung tâm dữ liệu.

Khi AI ngày càng lớn và phức tạp hơn, tốc độ truyền dữ liệu sẽ ảnh hưởng trực tiếp đến hiệu năng của toàn bộ hệ thống.

AI sử dụng những loại bộ nhớ nào?

Khi nhắc đến bộ nhớ, nhiều người thường chỉ nghĩ đến RAM trên máy tính cá nhân. Trên thực tế, các hệ thống AI hiện đại sử dụng nhiều loại bộ nhớ khác nhau với vai trò riêng biệt.

RAM (Random Access Memory) là bộ nhớ chính của hệ thống, phục vụ CPU và lưu trữ dữ liệu trong quá trình xử lý. RAM có dung lượng lớn nhưng tốc độ vẫn chưa đủ đáp ứng những khối lượng tính toán khổng lồ của AI.

Đối với GPU, bộ nhớ quan trọng nhất là VRAM (Video RAM). Đây là nơi lưu trữ tham số của mô hình, dữ liệu huấn luyện, kết quả trung gian và nhiều thông tin khác trong suốt quá trình AI hoạt động. Dung lượng VRAM thường quyết định một mô hình AI có thể chạy trên một GPU hay không.

Trong các bộ tăng tốc AI hiện đại, loại bộ nhớ được nhắc đến nhiều nhất là HBM (High-Bandwidth Memory).

Khác với RAM truyền thống vốn tập trung tăng dung lượng, HBM được thiết kế để đạt băng thông cực cao, giúp truyền lượng dữ liệu khổng lồ giữa bộ nhớ và GPU trong thời gian rất ngắn.

Dung lượng lớn chưa chắc đã đủ

Một trong những nhầm lẫn phổ biến là cho rằng chỉ cần tăng dung lượng bộ nhớ thì AI sẽ chạy nhanh hơn. Tuy nhiên, băng thông bộ nhớ thường quan trọng hơn nhiều.

Có thể hình dung bộ nhớ giống như một tuyến cao tốc. Dung lượng bộ nhớ tương tự số lượng xe có thể xuất hiện trên tuyến đường. Trong khi đó, băng thông lại giống số làn xe. Một bãi đỗ xe rất lớn sẽ không mang nhiều ý nghĩa nếu tất cả xe đều phải đi qua một làn đường duy nhất.

Tương tự, một hệ thống AI có thể sở hữu hàng trăm GB bộ nhớ nhưng nếu tốc độ truyền dữ liệu quá chậm, GPU vẫn sẽ phải chờ và không thể phát huy hết sức mạnh.

Vai trò của bộ nhớ trong huấn luyện và suy luận AI

Thách thức về bộ nhớ xuất hiện theo những cách khác nhau ở từng giai đoạn. Trong quá trình huấn luyện (Training), hệ thống phải lưu trữ tham số mô hình, gradient, activation và nhiều trạng thái tối ưu hóa khác. Khối lượng dữ liệu lớn đến mức các mô hình AI hiện đại thường phải phân tán trên rất nhiều GPU để có đủ bộ nhớ.

Trong giai đoạn suy luận (Inference), lượng dữ liệu cần lưu trữ giảm đi nhưng lại phát sinh một yêu cầu khác: tốc độ phản hồi.

Các chatbot hay trợ lý AI cần liên tục nhận yêu cầu từ người dùng, truy xuất tham số của mô hình rồi tạo phản hồi trong thời gian rất ngắn. Chính vì vậy, độ trễ (latency) của bộ nhớ trở thành yếu tố ảnh hưởng trực tiếp đến trải nghiệm sử dụng.

Bộ nhớ càng truyền dữ liệu nhanh, AI càng phản hồi nhanh. Đó cũng là lý do các công nghệ bộ nhớ vẫn giữ vai trò cực kỳ quan trọng ngay cả khi quá trình huấn luyện đã hoàn tất.

Những hướng đi đang được nghiên cứu

Khi các mô hình AI tiếp tục mở rộng quy mô, việc chỉ tăng sức mạnh GPU sẽ không còn đủ. Các nhà nghiên cứu hiện tập trung vào nhiều hướng tiếp cận khác nhau nhằm giảm bớt nút thắt cổ chai của bộ nhớ.

Một số hướng nghiên cứu đáng chú ý bao gồm phát triển kiến trúc bộ nhớ mới, tăng tốc kết nối giữa các GPU và máy chủ, xây dựng các thuật toán tiết kiệm bộ nhớ, nén mô hình AI để giảm lượng dữ liệu cần truyền, phát triển các kiến trúc Near-Memory Computing (đưa khả năng tính toán đến gần bộ nhớ hơn) cũng như ứng dụng công nghệ truyền dữ liệu bằng quang học và photon nhằm thay thế các kết nối điện truyền thống.

Mặc dù mỗi hướng tiếp cận sử dụng một giải pháp khác nhau, tất cả đều nhằm trả lời cùng một câu hỏi: làm thế nào để di chuyển lượng dữ liệu khổng lồ nhanh và hiệu quả hơn?

Trong nhiều năm, sức mạnh của AI thường được đo bằng số lượng tham số hay tốc độ xử lý của GPU. Tuy nhiên, khi các mô hình ngày càng lớn, giới hạn thực sự lại nằm ở khả năng truyền dữ liệu giữa bộ nhớ và bộ xử lý.

GPU có thể thực hiện hàng nghìn tỷ phép tính mỗi giây, nhưng nếu dữ liệu không được đưa đến kịp thời, phần lớn sức mạnh đó sẽ bị lãng phí.

Chính vì vậy, nhiều chuyên gia cho rằng bước đột phá tiếp theo của AI có thể sẽ không đến từ những GPU nhiều nhân hơn hay xung nhịp cao hơn, mà từ các công nghệ bộ nhớ và truyền dữ liệu hiệu quả hơn.

Nói cách khác, tương lai của AI có thể sẽ được quyết định không phải bởi việc AI tính toán nhanh đến đâu, mà bởi AI có thể nhận được dữ liệu nhanh đến mức nào.