AI tạo video như thật từ văn bản

Mới đây, Google Research đã chia sẻ video cho thấy khả năng tạo video sinh động như thật dựa trên mô tả văn bản của Lumiere.

Lumiere là mô hình AI được Google Research thiết kế nhằm giải quyết thách thức lớn trong tổng hợp video là "xây dựng chuyển động thực tế, đa dạng và mạch lạc".

Video do AI tạo ra trước đây thường bị giật cục. Lumiere mang tới trải nghiệm liền mạch hơn đó thông qua kiến trúc Space-Time U-Net, trong đó tạo ra video hoàn chỉnh từ đầu đến cuối chỉ trong một lần chạy. Trong khi đó, video được tạo bởi các mô hình trước đây khó đạt được sự đồng nhất do chỉ tổng hợp những khoảnh khắc chính và cách xa nhau.

Dựa trên hình ảnh mẫu do người dùng cung cấp Lumiere có thể xây dựng phong cách riêng cho video. Ngoài tạo nội dung mới, Lumiere còn có khả năng chỉnh sửa hoặc chữa những phần bị lỗi trong video sẵn có theo yêu cầu của người dùng.

Google Research đã thực hiện một thử nghiệm để so sánh hiệu năng của Lumiere với các AI tạo video từ văn bản hiện nay, như ImagenVideo, Pika, ZeroScope và Gen2. Họ đã đề nghị một nhóm thử nghiệm chọn ra video có chất lượng hình ảnh và chuyển động tốt nhất được tạo ra bởi các mô hình, tất nhiên không cho biết chúng được tạo ra bởi mô hình nào. Kết quả, Lumiere vượt xa mọi đối thủ trong thử nghiệm.

Mô hình này vẫn đang được thử nghiệm, Google Research mới chỉ tung ra các bản demo của Lumiere.