Cách sử dụng chatbot AI Chat With RTX của Nvidia trên máy tính

Nvidia đã ra mắt Chat with RXT, một chatbot AI hoạt động trên PC của bạn và cung cấp các tính năng tương tự như ChatGPT và hơn thế nữa! Tất cả những gì bạn cần là GPU Nvidia RTX và bạn đã sẵn sàng bắt đầu sử dụng chatbot AI mới của Nvidia.

Nvidia Chat with RXT là gì?

Nvidia Chat with RTX là phần mềm AI cho phép bạn chạy mô hình ngôn ngữ lớn (LLM) cục bộ trên máy tính của mình. Vì vậy, thay vì lên mạng sử dụng chatbot AI như ChatGPT, bạn có thể sử dụng Chat with RTX offline bất cứ khi nào bạn muốn.

Chat with RXT sử dụng TensorRT-LLM, khả năng tăng tốc RTX và Mistral 7-B LLM được lượng tử hóa để mang lại hiệu suất nhanh và phản hồi chất lượng ngang bằng với các chatbot AI trực tuyến khác. Nó cũng cung cấp khả năng Retrieval-Augmented Generation (RAG), cho phép chatbot đọc qua những file của bạn và kích hoạt các câu trả lời tùy chỉnh dựa trên dữ liệu bạn cung cấp. Điều này cho phép bạn tùy chỉnh chatbot để mang lại trải nghiệm cá nhân hơn.

Nếu bạn muốn dùng thử Nvidia Chat with RTX, đây là cách tải xuống, cài đặt và cấu hình nó trên máy tính của bạn.

Cách tải xuống và cài đặt Chat with RXT

Nvidia đã giúp việc chạy LLM cục bộ trên máy tính của bạn dễ dàng hơn nhiều. Để chạy Chat with RXT, bạn chỉ cần tải xuống và cài đặt ứng dụng, giống như cách bạn làm với bất kỳ phần mềm nào khác. Tuy nhiên, Chat with RTX có một số yêu cầu về thông số kỹ thuật tối thiểu để cài đặt và sử dụng đúng cách.

• GPU RTX 30-Series hoặc 40-Series
• RAM 16GB
• Dung lượng bộ nhớ trống 100GB
• Windows 11

Nếu PC của bạn đáp ứng yêu cầu hệ thống tối thiểu, bạn có thể tiếp tục và cài đặt ứng dụng.

Bước 1: Tải xuống file ZIP Chat with RXT.

Bước 2: Giải nén file ZIP bằng cách nhấp chuột phải và chọn công cụ lưu trữ file như 7Zip hoặc nhấp đúp vào file và chọn Extract All.

Bước 3: Mở thư mục giải nén và nhấp đúp vào setup.exe. Làm theo hướng dẫn trên màn hình và chọn tất cả các hộp trong quá trình cài đặt tùy chỉnh. Sau khi nhấn Next, trình cài đặt sẽ tải xuống và cài đặt LLM cũng như tất cả các dependency.

Quá trình cài đặt Chat with RXT sẽ mất một chút thời gian để hoàn tất vì quá trình này tải xuống và cài đặt một lượng lớn dữ liệu. Sau quá trình cài đặt, nhấn Close và bạn đã hoàn tất. Bây giờ, đã đến lúc bạn dùng thử ứng dụng.

Cách sử dụng Nvidia Chat with RTX

Mặc dù bạn có thể sử dụng Chat with RXT giống như một chatbot AI trực tuyến thông thường, nhưng bài viết thực sự khuyên bạn nên kiểm tra chức năng RAG của nó, chức năng này cho phép bạn tùy chỉnh đầu ra của nó dựa trên các file bạn cấp quyền truy cập.

Bước 1: Tạo thư mục RAG

Để bắt đầu sử dụng RAG trên Chat with RXT, hãy tạo một thư mục mới để lưu trữ các file bạn muốn AI phân tích.

Sau khi tạo, đặt các file dữ liệu của bạn vào thư mục. Dữ liệu bạn lưu trữ có thể bao gồm nhiều chủ đề và loại file, chẳng hạn như tài liệu, file PDF, văn bản và video. Tuy nhiên, bạn có thể muốn giới hạn số lượng file bạn đặt trong thư mục này để không ảnh hưởng đến hiệu suất. Nhiều dữ liệu hơn để tìm kiếm có nghĩa là Chat with RXT sẽ mất nhiều thời gian hơn để trả lời các câu hỏi cụ thể (nhưng điều này cũng phụ thuộc vào phần cứng).

Bây giờ, cơ sở dữ liệu của bạn đã sẵn sàng, bạn có thể thiết lập Chat with RXT và bắt đầu sử dụng cơ sở dữ liệu đó để trả lời các câu hỏi và thắc mắc của mình.

Bước 2: Thiết lập môi trường

Mở Chat with RXT. Nó sẽ trông giống như hình ảnh bên dưới.

Trong Dataset, đảm bảo rằng tùy chọn Folder Path được chọn. Bây giờ, hãy nhấp vào biểu tượng chỉnh sửa bên dưới (biểu tượng cây bút) và chọn thư mục chứa tất cả các file bạn muốn Chat with RTX đọc. Bạn cũng có thể thay đổi mô hình AI nếu có các tùy chọn khác (tại thời điểm viết bài, chỉ có Mistral 7B).

Bây giờ, bạn đã sẵn sàng sử dụng Chat with RXT.

Bước 3: Đặt câu hỏi với Chat with RXT!

Có một số cách để truy vấn Chat with RXT. Đầu tiên là sử dụng nó như một chatbot AI thông thường. Tác giả bài viết đã hỏi Chat with RXT về lợi ích của việc sử dụng LLM cục bộ và hài lòng với câu trả lời của họ. Nó không quá sâu sắc nhưng đủ chính xác.

Nhưng vì Chat with RTX có khả năng RAG nên bạn cũng có thể sử dụng nó làm trợ lý AI cá nhân.

Ở trên, tác giả đã sử dụng Chat with RTX để hỏi về lịch trình của mình. Dữ liệu đến từ một file PDF chứa lịch trình, lịch, sự kiện, công việc, v.v... Trong trường hợp này, Chat with RTX đã lấy dữ liệu lịch chính xác từ dữ liệu đó; bạn sẽ phải cập nhật các file dữ liệu và ngày lịch của mình để những tính năng như thế này hoạt động bình thường cho đến khi có sự tích hợp với các ứng dụng khác.

Có nhiều cách bạn có thể sử dụng RAG của Chat with RTX để làm lợi thế cho mình. Ví dụ, bạn có thể sử dụng nó để đọc qua các giấy tờ pháp lý và đưa ra bản tóm tắt, tạo code liên quan đến chương trình bạn đang phát triển, nhận các điểm highlight có dấu đầu dòng về một video mà bạn quá bận để xem và hơn thế nữa!

Bước 4: Tính năng bổ sung

Ngoài thư mục dữ liệu cục bộ, bạn có thể sử dụng Chat with RXT để phân tích video YouTube. Để làm như vậy, trong Dataset, hãy thay đổi Folder Path thành YouTube URL.

Sao chép URL YouTube bạn muốn phân tích và dán bên dưới menu drop-down.

Phân tích video YouTube của RTX khá tốt và cung cấp thông tin chính xác, vì vậy nó có thể hữu ích cho việc nghiên cứu, phân tích nhanh, v.v...