Mô hình AI mới của Google có thể đọc hiểu toàn bộ một cuốn sách
Một trong những thách thức lớn nhất của các mô hình trí tuệ nhân tạo (AI) trong xử lý ngôn ngữ hiện nay là hiểu rõ bối cảnh, ngữ cảnh của từng phân đoạn cụ thể, từ đó nắm được nội dung của cả đoạn văn bản, hay rộng hơn là ý nghĩa của cả tác phẩm một cách chính xác - thay vì chỉ đơn giản là hiểu nghĩa từng từ riêng lẻ như hiện nay.
Để giải quyết vấn đề này, Google đã giới thiệu một mô hình học máy mới có tên Reformer, có thể hiểu được nội dung, ngữ cảnh của tác phẩm dài 1 triệu dòng - tương đương một cuốn tiểu thuyết, trong khi chỉ phải sử dụng khoảng 16GB dung lượng lưu trữ. Reformer được phát triển để khắc phục nhược điểm trên Transformer - một mạng lưới thần kinh kiểu cũ hoạt động trên nguyên tắc so sánh các từ trong đoạn văn với nhau để hiểu mối quan hệ giữa chúng.
Tuy nhiên vì hoạt động theo phương thức kết hợp - ghép cặp, Transformer sẽ chiếm rất nhiều không gian dữ liệu trong trường hợp nó phải xử lý những đoạn văn bản nhiều hơn vài nghìn từ. Điểm yếu này khiến việc sử dụng Transformer để xử lý các bài viết dài hoặc một cuốn sách trở nên cực kỳ kém khả thi.
Google đã phát triển Reformer để giải quyết cả 2 vấn đề chính như đã nói: Khả năng xử lý văn bản dài và mức độ tiêu thụ bộ nhớ của mô hình cũ.
Để giải quyết vấn đề đầu tiên, mô hình mới của Google sử dụng một phương pháp có tên locality-sensitive-hashing (LSH). Tức là thay vì so sánh tất cả các từ với nhau như trước, mô hình mới sẽ sử dụng hàm băm để nối các từ tương tự lại với nhau trong một nhóm, sau đó so sánh các từ trong cùng một nhóm hoặc trong các nhóm lân cận, giúp hạn chế tình trạng xử lý quá tải, đồng thời cho khả năng xử lý lượng văn bản lớn hơn.
Để giải quyết vấn đề về mức tiêu thụ bộ nhớ, các nhà nghiên cứu sử dụng kỹ thuật gọi là Mạng dư có thể đảo ngược (Reversible Residual Network - RevNet). RevNet được phát triển từ Deep Residual Networks (ResNets) - một công nghệ hoạt động theo cơ chế tăng hiệu suất khi các mạng phát triển sâu hơn và rộng hơn. RevNets sở hữu các lớp (layers), trong đó dữ liệu đầu ra của mỗi lớp có thể được xây dựng lại và sử dụng trong một lớp khác. Do đó, dữ liệu đầu ra cho hầu hết các lớp gần như không cần phải được lưu trữ trong bộ nhớ ở quá trình truyền ngược.
Để kiểm tra tính hiệu quả của mô hình này, Google đã cung cấp cho Reformer một số hình ảnh cắt nhỏ lẻ và nó đã tạo ra được bức ảnh toàn khung hình từ đó.
Các kỹ sư của Google cho biết mô hình mới có thể dễ dàng xử lý toàn bộ một cuốn sách với độ chính xác cao, mở ra tiềm năng trong xử lý văn bản quy mô lớn.

- Máy tính bảng của Google có thể phát hành vào tháng 7
- Máy tính bảng mới của HTC có thể chỉ mỏng 7,1 mm
- Tablet mới của Samsung có thể chạy 2 hệ điều hành
- Smartphone "xếp hình" của Google có thể thay nóng phần cứng
- AutoML - AI của Google có thể code giỏi hơn người làm ra nó
- AI của Google có thể giúp bạn "nói chuyện" với sách
- Mô hình AI của DeepMind có thể học cách tạo video chỉ bằng cách xem các clip trên YouTube
-
Download và cài game cho Xbox Series X/S từ điện thoại thông minh
-
Cách đăng ký gói V99 VinaPhone
-
MuMuplayer download: Trình giả lập Android miễn phí cho Windows và macOS
-
Cách tạo mã QR bằng Bing cực kỳ đơn giản
-
Những màu trà sữa đẹp, nhuộm tóc vừa sang vừa tôn da
-
Cách tạo ghi chú an toàn bằng mật khẩu trên bilgge
-
AI mới của DeepMind có thể làm chủ các trò chơi phức tạp mà không cần đào tạo trước về gameplay
-
Sony giới thiệu Gastronomy Flagship Project: Dự án AI đầy tham vọng trong lĩnh vực ẩm thực
-
NVIDIA tìm ra phương pháp đào tạo AI mới, yêu cầu lượng dữ liệu đầu vào ít hơn
-
Đây là cách Google đào tạo thuật toán AI chỉnh sửa ảnh ‘đỉnh cao’ Portrait Light
-
Những cánh tay robot đang đạt đến sự khéo léo không thua kém con người
-
Microsoft Research phát triển công nghệ theo dõi sức khỏe từ xa chỉ bằng camera smartphone