Các mô hình ngôn ngữ lớn (LLM) với trọng số mở đang là chủ đề nóng trong giới công nghệ hiện nay. Tuy nhiên, không phải quy trình làm việc nào cũng đòi hỏi những công nghệ tiên tiến nhất để hoàn thành nhiệm vụ - điều này đã được nhà phát triển WollyMonjac chứng minh qua Tiny-2.1, một chatbot được xây dựng với sự hỗ trợ từ Claude, có thể chạy trên các máy tính sử dụng bộ vi xử lý Pentium hoặc 486DX trong môi trường DOS. Toàn bộ chương trình cùng các trọng số mô hình chỉ chiếm tổng cộng chưa đầy nửa megabyte; về lý thuyết, bạn có thể lưu trữ tất cả trên một chiếc đĩa mềm duy nhất. Để vận hành, hệ thống cần khoảng 540 KB bộ nhớ cơ bản (conventional memory) còn trống.
Nhà phát triển đã sử dụng phiên bản Fable 5.2 của Claude để viết kiến trúc transformer, đồng thời dùng Opus 5.5 để tạo dữ liệu huấn luyện. Dữ liệu này bao gồm khoảng 3.500 sự kiện thực tế cùng nhiều ví dụ về các đoạn hội thoại thông thường và những phép toán số học. Mô hình sở hữu 367.000 tham số - một con số cực kỳ khiêm tốn ngay cả khi so sánh với Llama (một mô hình được coi là "nhẹ"), vốn có tới 3,21 tỷ tham số.
Vậy một chatbot nhỏ gọn như thế này có thể làm được gì?

Rõ ràng, với kích thước siêu nhỏ, bạn không nên kỳ vọng quá nhiều vào Tiny-2.1. Dẫu vậy, nó vẫn có thể cho bạn biết thủ đô của Peru là gì, đánh vần ngược từ "cat", hay giải một số phương trình toán học cơ bản. Bạn có thể đặt các câu hỏi quen thuộc theo nhiều cách khác nhau; dù mô hình xử lý việc đọc và viết từng ký tự một, nó vẫn có khả năng nhận diện và xử lý các lỗi đánh máy nhỏ. Hơn nữa, giao diện DOS còn hiển thị trực tiếp hoạt động của mô hình và phát ra những âm thanh giống như tiếng robot qua loa máy tính mỗi khi nó phản hồi.
Tuy nhiên, không khó để đẩy Tiny-2.1 đến giới hạn của nó. Theo tác giả, độ chính xác đạt khoảng 90% khi người dùng đặt câu hỏi theo cách tương tự như dữ liệu đã dùng trong quá trình huấn luyện. Con số này giảm xuống còn 61% đối với các câu hỏi được diễn đạt theo cách mới. Ngoài ra, phép chia dường như là điểm yếu của mô hình này, khi nó thường gặp khó khăn trong việc đưa ra kết quả chính xác. Ngược lại, Tiny-2.1 thực hiện phép nhân tốt hơn, vì vậy nó không hoàn toàn vô dụng.
Đối với những người đam mê công nghệ và các chuyên gia thử nghiệm, việc chứng kiến cách Tiny đạt được kết quả ấn tượng với dung lượng bộ nhớ cực kỳ hạn chế chính là một phần thú vị. Mã nguồn C của dự án này hiện có sẵn trên GitHub, cho phép bạn tìm hiểu cơ chế hoạt động hoặc tự mình tùy chỉnh. Tuy nhiên, để phục vụ các tác vụ hàng ngày - ngay cả những tác vụ nhẹ nhàng nhất - thì Tiny 2.1 vẫn chưa đủ độ tin cậy. Việc thực hiện các thử nghiệm như vậy trên nhiều dòng máy tính khác nhau luôn mang lại trải nghiệm thú vị; chẳng hạn như khi thử chạy mô hình AI cục bộ trên một chiếc máy tính mini dùng chip Celeron đã 10 năm tuổi.
Các mô hình nhỏ hơn có thể là lựa chọn phù hợp
Dù Tiny 2.1 thiên về một dự án minh chứng khái niệm (proof of concept) hơn là một mô hình ngôn ngữ lớn (LLM) thực tiễn cho công việc hàng ngày. Rất may, hiện nay có rất nhiều lựa chọn nằm giữa mô hình chỉ nặng nửa megabyte này và các mô hình khổng lồ đòi hỏi hàng trăm GB RAM. Theo báo cáo mùa hè năm 2026 từ Hugging Face, số lượng repository mô hình công khai đã đạt gần 3 triệu, tăng so với con số 2,43 triệu vào đầu năm.
Điều quan trọng là hãy xác định rõ yêu cầu công việc trước khi chọn mô hình. Một số mô hình cục bộ nhỏ gọn nhất hiện có đã được thử nghiệm, mỗi mô hình đều sở hữu những ưu điểm riêng biệt. Chẳng hạn, LFM3-1.7B của Liquid AI là một mô hình nhẹ, rất hiệu quả trong việc trích xuất thông tin có cấu trúc từ văn bản. Nếu nhiệm vụ chính của bạn là tách lọc tên gọi và ngày tháng từ các ghi chú ngắn, mô hình này có thể thực hiện chính xác ngay trên phần cứng của chính bạn. Llama 3.2 3B Instruct cũng từng được sử dụng trên một máy chủ gia đình có cấu hình thấp để giải đáp các câu hỏi dựa trên tài liệu tham khảo đã tải xuống và những bài đăng lưu trữ từ diễn đàn.
Tiny 2.1 là một lý do tuyệt vời để bạn "phủi bụi" chiếc máy tính chạy DOS cũ kỹ và khám phá xem chỉ với vài trăm kilobyte, một chatbot có thể làm được những gì trong dịp cuối tuần. Tuy nhiên, xét cho cùng, nó vẫn chỉ dừng lại ở mức một dự án tự thực hiện (DIY) mang tính giải trí cuối tuần mà thôi.
Hướng dẫn AI
AI Tools
Học IT
AI
Hàm Excel