5 bài nghiên cứu thú vị về AI agent bạn nên đọc

Có rất nhiều điều đang diễn ra trong lĩnh vực AI agent (agentic AI). Bạn sẽ bắt gặp những agent có khả năng sử dụng công cụ, agent có bộ nhớ, agent biết lập kế hoạch, agent có thể phối hợp với những agent khác và agent tự khám phá môi trường xung quanh. Điều này đôi khi khá khó để theo dõi, và nếu bắt đầu bằng những bài tổng quan dài, bạn thậm chí có thể càng dễ bị rối hơn. Theo tôi, cách tốt hơn để tìm hiểu là đọc một vài bài nghiên cứu quan trọng, trong đó mỗi bài tập trung giải thích một ý tưởng cốt lõi đứng sau các AI agent hiện đại.

1. ReAct: Synergizing Reasoning and Acting in Language Models

Tác giả: Shunyu Yao, Jeffrey Zhao, Dian Yu, Nan Du, Izhak Shafran, Karthik Narasimhan, Yuan Cao

Đây là một trong những bài nghiên cứu tốt nhất để bắt đầu nếu bạn muốn hiểu về AI agent. Ý tưởng chính là một agent không chỉ nên suy luận và cũng không chỉ nên hành động, mà cần thực hiện cả hai quá trình cùng lúc. ReAct giới thiệu một framework prompting trong đó model luân phiên giữa các bước suy luận và hành động. Phần suy luận giúp model lập kế hoạch, theo dõi tiến trình và xử lý sai sót, trong khi hành động cho phép nó tương tác với môi trường bên ngoài như API tìm kiếm, cơ sở dữ liệu tri thức hoặc các tác vụ ra quyết định.

Bài nghiên cứu này quan trọng vì rất nhiều AI agent hiện đại cũng hoạt động dựa trên vòng lặp cơ bản tương tự: suy nghĩ → hành động → quan sát → cập nhật → tiếp tục. Nếu muốn hiểu nền tảng của các agent dựa trên mô hình ngôn ngữ lớn (LLM), đây là bài nghiên cứu nên đọc đầu tiên.

2. Toolformer: Language Models Can Teach Themselves to Use Tools

Tác giả: Timo Schick, Jane Dwivedi-Yu, Roberto Dessì, Roberta Raileanu, Maria Lomeli, Luke Zettlemoyer, Nicola Cancedda, Thomas Scialom

Khả năng sử dụng công cụ là một trong những thành phần quan trọng nhất của AI agent. Một mô hình ngôn ngữ có thể rất giỏi viết và suy luận, nhưng vẫn gặp khó khăn với các phép tính, tra cứu thông tin, dịch thuật hoặc những dữ liệu cần cập nhật theo thời gian thực. Toolformer nghiên cứu cách một mô hình ngôn ngữ có thể tự học cách sử dụng các API bên ngoài thông qua phương pháp self-supervised learning.

Model học cách xác định khi nào cần gọi công cụ, nên gọi công cụ nào, cần truyền những tham số gì và sử dụng kết quả trả về như thế nào trong câu trả lời cuối cùng . Bài nghiên cứu thử nghiệm với những công cụ như máy tính, công cụ tìm kiếm, hệ thống dịch, lịch và hệ thống hỏi đáp.

Điểm quan trọng của Toolformer là nó giúp chuyển cách chúng ta nhìn nhận từ "LLM như một công cụ tạo văn bản" sang "LLM như một hệ thống có khả năng quyết định khi nào cần đến sự hỗ trợ từ bên ngoài".

3. Generative Agents: Interactive Simulacra of Human Behavior

Tác giả: Joon Sung Park, Joseph C. O'Brien, Carrie J. Cai, Meredith Ringel Morris, Percy Liang, Michael S. Bernstein

Đây là một trong những bài nghiên cứu về agent thú vị nhất vì nó giống như đang chứng kiến một xã hội AI nhỏ thực sự hoạt động. Bài nghiên cứu giới thiệu các generative agent có khả năng mô phỏng hành vi con người trong một môi trường tương tác lấy cảm hứng từ The Sims .

Những agent này thức dậy, lập kế hoạch, ghi nhớ trải nghiệm trong quá khứ, suy ngẫm về chúng, trò chuyện với các agent khác và phối hợp để thực hiện những hành động tiếp theo. Kiến trúc của hệ thống kết hợp ba thành phần quan trọng là memory (bộ nhớ), reflection (suy ngẫm) và planning (lập kế hoạch).

Bài nghiên cứu đáng chú ý vì cho thấy hành vi agent không chỉ xoay quanh việc giải quyết một nhiệm vụ cụ thể. Nó còn liên quan đến tính liên tục: agent nhớ được điều gì, cập nhật nhận thức ra sao và những sự kiện trong quá khứ ảnh hưởng thế nào đến quyết định trong tương lai. Nếu muốn hiểu tại sao bộ nhớ và khả năng reflection lại quan trọng trong thiết kế agent, đây là một điểm khởi đầu rất tốt.

4. Voyager: An Open-Ended Embodied Agent with Large Language Models

Tác giả: Guanzhi Wang, Yuqi Xie, Yunfan Jiang, Ajay Mandlekar, Chaowei Xiao, Yuke Zhu, Linxi Jim Fan, Anima Anandkumar

Voyager là một bài nghiên cứu thú vị vì đưa AI agent vào một môi trường có tính tương tác và "hiện thân", cụ thể là Minecraft. Thay vì chỉ giải quyết một nhiệm vụ cố định rồi dừng lại, Voyager tiếp tục khám phá thế giới xung quanh, phát hiện những điều mới và xây dựng một thư viện các kỹ năng có thể tái sử dụng.

Kiến trúc của Voyager có ba thành phần quan trọng: chương trình khám phá tự động (automatic curriculum) , thư viện kỹ năng (skill library) để lưu trữ các hành vi có thể thực thi và cơ chế prompting lặp sử dụng phản hồi từ môi trường cũng như lỗi trong quá trình thực thi để cải thiện.

Bài nghiên cứu cho thấy một agent hoạt động trong thời gian dài cần những gì và cách nó có thể liên tục cải thiện thông qua phản hồi khi tương tác với môi trường. Đây cũng là một bước tiến quan trọng từ những agent chỉ thực hiện từng nhiệm vụ riêng lẻ sang những hệ thống có khả năng khám phá, học hỏi và tích lũy kỹ năng theo thời gian .

5. AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Conversation

Tác giả: Qingyun Wu, Gagan Bansal, Jieyu Zhang, Yiran Wu, Beibin Li, Erkang Zhu, Li Jiang, Xiaoyun Zhang, Shaokun Zhang, Jiale Liu, Ahmed Awadallah, Ryen W. White, Doug Burger, Chi Wang

Nhiều tác vụ trong thực tế quá lớn hoặc phức tạp để một agent có thể xử lý một cách hiệu quả. AutoGen giới thiệu một framework cho phép nhiều agent trò chuyện và phối hợp với nhau để giải quyết nhiệm vụ. Các agent có thể đảm nhận những vai trò khác nhau, sử dụng công cụ, đưa con người vào vòng lặp, thực thi code và phối hợp thông qua hội thoại.

Bài nghiên cứu trình bày các ứng dụng trong nhiều lĩnh vực như lập trình, toán học, hỏi đáp, nghiên cứu vận hành và ra quyết định. Điểm quan trọng nhất của AutoGen là nó cho thấy một trong những thay đổi lớn của AI agent: chuyển từ một trợ lý duy nhất sang hệ thống gồm nhiều agent chuyên biệt có khả năng phối hợp.

Nếu ReAct giải thích vòng lặp cơ bản của một agent, thì AutoGen cho thấy vòng lặp đó có thể được mở rộng thành một đội ngũ agent.

Năm bài nghiên cứu trên cung cấp nền tảng khá toàn diện để hiểu về AI agent hiện đại:

• ReAct giải thích vòng lặp suy luận và hành động.
• Toolformer cho thấy model có thể học cách sử dụng công cụ.
• Generative Agents giải thích vai trò của bộ nhớ, reflection và hành vi có tính thuyết phục.
• Voyager cho thấy cách agent học hỏi lâu dài và xây dựng các kỹ năng có thể tái sử dụng trong môi trường.
• AutoGen giải thích cách nhiều agent có thể phối hợp với nhau.

Bạn không cần cố ghi nhớ mọi chi tiết triển khai ngay trong lần đọc đầu tiên. Hãy tập trung vào ý tưởng chính. Một khi hiểu được 5 bài nghiên cứu này, phần lớn hệ thống AI agent hiện nay sẽ trở nên dễ hiểu hơn rất nhiều. Chúng thường được xây dựng bằng cách kết hợp những thành phần tương tự nhau: suy luận, hành động, công cụ, bộ nhớ, phản hồi, lập kế hoạch và khả năng phối hợp.