8 mô hình AI cục bộ hoạt động tốt với 8GB VRAM trở xuống

Việc chạy mô hình AI cục bộ thường đòi hỏi lượng VRAM cực lớn, và không phải ai cũng sở hữu những chiếc GPU "khủng" đời mới nhất với mức dung lượng VRAM hơn 20GB đầy mạnh mẽ nhưng cũng vô cùng đắt đỏ. May mắn thay, vẫn có một số giải pháp thay thế gọn nhẹ nhưng sở hữu năng lực đáng kinh ngạc; tùy thuộc vào nhu cầu cụ thể, chúng có thể khiến bạn bất ngờ về hiệu quả mang lại, bất kể bạn đang sử dụng card đồ họa của AMD hay Nvidia.

Phi-3.5 Mini (3,8 tỷ tham số)

Nhanh và hiệu quả

Phi-3.5 Mini hoạt động cực kỳ nhanh và hiệu quả, cho phép chạy các mô hình độ chính xác cao FP16 mà chỉ tiêu tốn lượng VRAM tương đối thấp. Nó cũng nổi bật với tốc độ xử lý (số token mỗi giây) cao nhất trong danh sách này. Tuy nhiên, mô hình này không hoàn hảo; trong thực tế, nó gặp khó khăn với các bài toán nhiều bước và bị hạn chế nhiều về khả năng thực hiện tác vụ, dẫn chúng ta đến cái tên tiếp theo trong danh sách.

Llama 3.1 (8 tỷ tham số)

Mô hình đa năng chất lượng tốt

Llama 3.1 là lựa chọn cân bằng nhất trong nhóm, thể hiện hiệu quả tốt ở cả khả năng suy luận lẫn các tác vụ sử dụng thông thường. Nó cũng được tối ưu hóa cho bộ công cụ ROCm của AMD; khi kết hợp với kỹ thuật lượng tử hóa 4-bit, mức sử dụng VRAM sẽ giảm xuống dưới 6GB, khiến nó trở nên rất phù hợp với các dòng card đồ họa đời cũ.

Mặc dù việc nén mô hình xuống 4-bit giúp giảm đáng kể gánh nặng cho VRAM, nhưng cũng đi kèm một sự đánh đổi: Độ chính xác bị giảm sút. Tuy nhiên, việc kích hoạt tính năng nén vẫn mang lại lợi ích lớn hơn, bởi nếu không, mô hình sẽ chiếm dụng toàn bộ dung lượng VRAM hạn hẹp ở mức 8GB.

Mistral 7B (v0.3)

Nhanh chóng nhưng ổn định

Mistral 7B hoạt động hiệu quả hơn nhiều so với Llama, tạo ra sự cân bằng giữa tốc độ và chất lượng. Nó cũng xử lý các câu lệnh đầu vào (prompt) tốt hơn khi được lượng tử hóa ở mức 4-bit.

Đáng tiếc là Mistral bị giới hạn cứng ở cửa sổ ngữ cảnh 32k, khiến nó không lý tưởng bằng Llama đối với các tác vụ đòi hỏi tính kỹ thuật cao hơn. Dù vậy, nó vẫn đáp ứng tốt nhu cầu viết sáng tạo và những tác vụ đơn giản hơn.

Qwen 2.5 (7B)

Tuyệt vời nhưng phản hồi hơi trang trọng quá mức

Qwen 2.5 hoạt động rất hiệu quả, được huấn luyện để xử lý xuất sắc các tác vụ đa ngôn ngữ và có khả năng diễn giải giữa những ngôn ngữ này ở một mức độ nhất định. Tuy nhiên, mô hình này có xu hướng tạo ra các phản hồi khá cứng nhắc và trang trọng. Mặt khác, chính đặc điểm này lại khiến nó trở nên lý tưởng cho các tác vụ mang tính kỹ thuật.

Gemma 2 (9B)

Mô hình mạnh mẽ nhất

Gemma 2 9B vẫn là một trong những mô hình lớn nhất mà bạn có thể thực tế vận hành trên GPU có 8GB VRAM. Mặc dù khả năng suy luận của nó là vô song trong cùng phân khúc, nhưng nó bắt buộc phải sử dụng kỹ thuật lượng tử hóa 4-bit và không còn dư thừa dung lượng VRAM. Đáng tiếc là tốc độ của nó không nhanh bằng các mô hình 7B và có thể không phù hợp lắm với những tác vụ đòi hỏi phản hồi nhanh.

DeepSeek-R1-Distill-Qwen (7B)

DeepSeek dành cho 8GB VRAM

Đây là phiên bản rút gọn của DeepSeek R1 chạy cục bộ trên phần cứng của bạn, mang lại khả năng suy luận logic. Mô hình này hoạt động cực tốt với lượng tử hóa Q4, nhưng đôi khi phản hồi hơi chậm do cơ chế xử lý thông tin theo các "chuỗi" suy luận.

DeepSeek-Coder (6.7B)

DeepSeek chuyên dụng cho lập trình

Đúng như tên gọi, DeepSeek Coder được huấn luyện chuyên biệt cho việc viết code và gỡ lỗi. Nó tiêu tốn ít bộ nhớ ở chế độ 4-bit và vẫn đủ dư địa để xử lý các câu lệnh (prompt) phức tạp trong giới hạn 8GB VRAM.

Tuy nhiên, đây là mô hình chuyên dụng nên hiệu suất tạo nội dung sáng tạo không cao; vì vậy, bạn có thể sẽ muốn cân nhắc một lựa chọn khác cho nhu cầu đó.

Gemma 2 (2B)

Kiến thức chuyên sâu về thế giới sẽ là một hạn chế

Gemma 2 2B là mô hình cực nhẹ, được tối ưu hóa cho các thiết bị có dung lượng VRAM rất thấp hoặc tài nguyên hệ thống hạn chế. Dù nhanh và hiệu quả, mô hình này chỉ có 2,6 tỷ tham số, dẫn đến sự thiếu hụt đáng kể về kiến ​​thức chuyên sâu. Nói cách khác, nó phù hợp nhất cho các tác vụ tức thời như dịch thuật và tóm tắt văn bản ngay trên thiết bị.

Đánh giá hiệu năng các mô hình

Tất nhiên, chúng ta không thể kết thúc mà thiếu đi một bài kiểm tra hiệu năng bài bản. Để thực hiện việc này, một cript được tùy chỉnh cho hệ thống Arch Linux trên cùng một chiếc laptop/máy thử nghiệm đã được sử dụng.

Cài đặt bộ công cụ ROCm làm nền tảng cho các bài kiểm tra; quy trình này khá đơn giản trên Arch Linux nhờ gói `ollama-rocm`. Sau khi kích hoạt service systemd, chạy lệnh kiểm tra để xác nhận xem GPU đã được hệ thống nhận diện hay chưa.

Thật không may, GPU tích hợp (iGPU) Ryzen AI Max 390 trong ví dụ không được hệ thống nhận diện tự động, vì vậy phải xử lý bằng cách ép hệ thống nhận nó như một GPU "không được hỗ trợ" (dù thực tế nó vẫn hoạt động tốt). Sau khi hoàn tất các bước chuẩn bị, đã đến lúc chạy code Python và tiến hành thử nghiệm. Bắt đầu bằng cách thiết lập mức TDP tối đa cho laptop và để quạt chạy ở công suất 100% nhằm tránh tình trạng máy tự ngắt do quá nhiệt.

Các bài kiểm tra khi cắm sạc, với thiết lập VRAM ở hai mức: Auto mặc định – tự động cấp phát bộ nhớ cho iGPU khi cần thiết – và mức giới hạn cứng là 8GB VRAM, cũng được thực hiện. Do các thiết lập này yêu cầu thay đổi trong BIOS, cần khởi động lại máy giữa hai lần thử nghiệm.

Không có gì ngạc nhiên khi tùy chọn Auto VRAM cho hiệu năng tốt hơn, dù mức chênh lệch chỉ ở khoảng 5 đến 10%. Tuy nhiên, đừng kỳ vọng mọi thiết bị đều cho kết quả tương tự sau khi khởi động nguội (cold boot), bởi hiện tượng bão hòa nhiệt là yếu tố thực tế ảnh hưởng lớn đến hiệu năng; tốc độ xử lý sẽ ổn định ở mức thấp hơn sau khi máy hoạt động liên tục một thời gian.

Hãy điều chỉnh kỳ vọng của bạn cho phù hợp!

Với dung lượng VRAM chỉ 8GB, bạn sẽ gặp phải tình trạng nghẽn cổ chai nghiêm trọng về lâu dài. Thật đáng tiếc, dù rất phổ biến, nhưng 8GB đơn giản là không đủ cho các tác vụ AI cục bộ hay thậm chí là chơi game ở thời điểm hiện tại.

Mặc dù về lý thuyết bạn vẫn có thể chạy các mô hình lớn hơn, nhưng thực tế là một phần bộ nhớ sẽ bị chiếm dụng để quản lý trình hiển thị (display server) — điều này làm hao hụt lượng VRAM quý giá lẽ ra có thể được sử dụng cho các tác vụ khác.

KV cache sẽ tăng dần theo mỗi cuộc hội thoại, vì vậy hãy lường trước việc chúng sẽ nhanh chóng bị lấp đầy theo thời gian. Tuy nhiên, bạn hoàn toàn có thể vận hành các mô hình nhỏ hơn trong giới hạn VRAM này; đây có thể coi là bước đệm để tiến tới các tác vụ đòi hỏi năng lực xử lý lớn hơn và mạnh mẽ hơn.