DALL-E 2 là gì? Mô hình xử lý ảnh thế hệ thứ hai của OpenAI có gì đặc biệt?

DALL-E 2 là một cột mốc quan trọng trong lĩnh vực tạo ảnh bằng trí tuệ nhân tạo. Hãy tìm hiểu về lịch sử, khả năng hiện tại và vị trí của nó trong bối cảnh tạo ảnh bằng AI hiện nay!

DALL-E 2 là gì và tại sao nó lại quan trọng?

DALL-E 2 là mô hình chuyển đổi văn bản thành hình ảnh thế hệ thứ hai của OpenAI. Tên gọi này kết hợp WALL-E (nhân vật robot của Pixar) với Salvador Dalí (họa sĩ theo trường phái siêu thực), gợi ý cả khả năng tính toán và tiềm năng sáng tạo của nó.

Khi OpenAI phát hành DALL-E 2 ra công chúng vào ngày 6 tháng 4 năm 2022, phản hồi ngay lập tức rất mạnh mẽ. Mọi người đã từng thấy hình ảnh do AI tạo ra trước đây, nhưng chưa từng thấy cái nào giống như thế này. Mô hình có thể tạo ra hình ảnh chân thực, bản vẽ nghệ thuật và bố cục siêu thực từ những prompt văn bản đơn giản. Bạn có thể yêu cầu "một bức ảnh về một phi hành gia cưỡi ngựa theo phong cách Andy Warhol" và nhận được chính xác điều đó.

Nền tảng kỹ thuật

DALL-E 2 đại diện cho một sự thay đổi kiến ​​trúc đáng kể so với DALL-E ban đầu. Trong khi phiên bản đầu tiên sử dụng bộ chuyển đổi tự hồi quy tương tự như GPT-3, DALL-E 2 đã áp dụng phương pháp dựa trên Diffusion kết hợp với hướng dẫn CLIP (Contrastive Language-Image Pre-training).

Mô hình này có hai thành phần chính. Thứ nhất, một mô hình tiền xử lý chuyển đổi các prompt văn bản thành những hình ảnh nhúng CLIP. Thứ hai, một bộ giải mã chuyển đổi các hình ảnh nhúng đó thành hình ảnh thực tế. Kiến trúc hai phần này giúp DALL-E 2 kiểm soát chất lượng hình ảnh tốt hơn so với phiên bản tiền nhiệm.

Mô hình Diffusion hoạt động bằng cách bắt đầu với nhiễu ngẫu nhiên và dần dần loại bỏ nó qua nhiều bước. Ở mỗi bước, mô hình dự đoán hình ảnh cuối cùng sẽ trông như thế nào dựa trên prompt văn bản. Quá trình lặp đi lặp lại này cho phép tạo ra đầu ra độ phân giải cao với độ nhất quán tốt hơn trên các cảnh phức tạp.

DALL-E 2 có 3,5 tỷ tham số, ít hơn đáng kể so với 12 tỷ tham số của DALL-E ban đầu. Mặc dù kích thước nhỏ hơn, những cải tiến về kiến ​​trúc đồng nghĩa với hiệu suất tốt hơn trong hầu hết các tình huống thực tế.

Điều gì làm nên sự đặc biệt khi ra mắt?

Một số khả năng đã làm nên sự khác biệt của DALL-E 2 khi nó xuất hiện lần đầu. Mô hình có thể tạo ra hình ảnh theo nhiều phong cách khác nhau, bao gồm hình ảnh chân thực, tranh vẽ, nghệ thuật kỹ thuật số và thậm chí cả biểu tượng cảm xúc. Nó có thể kết hợp các khái niệm không liên quan theo những cách mạch lạc, tạo ra hình ảnh về những thứ không tồn tại trong thực tế.

Tính năng In-painting cho phép người dùng chỉnh sửa các phần cụ thể của hình ảnh hiện có bằng cách mô tả những gì họ muốn thay đổi. Khả năng tạo biến thể có thể tạo ra các phiên bản khác nhau của một hình ảnh trong khi vẫn giữ nguyên những yếu tố cốt lõi. Những công cụ chỉnh sửa này thực sự mới và hữu ích cho quy trình làm việc sáng tạo.

Việc hiển thị văn bản vẫn là một thách thức, nhưng DALL-E 2 đã xử lý tốt hơn các mô hình trước đó. Hệ thống có thể hiểu các yêu cầu phức tạp với nhiều đối tượng và mối quan hệ, mặc dù đôi khi nó gặp khó khăn với việc sắp xếp không gian chính xác.

Cách thức hoạt động thực tế của DALL-E 2

Hiểu rõ các chi tiết kỹ thuật giúp giải thích cả khả năng và hạn chế của DALL-E 2. Hệ thống này dựa trên một số thành phần liên kết với nhau hoạt động cùng nhau.

CLIP: Cầu nối giữa văn bản và hình ảnh

CLIP tạo nên nền tảng hiểu biết của DALL-E 2. Mô hình riêng biệt này đã được huấn luyện trên hàng trăm triệu cặp hình ảnh-văn bản từ Internet. Nó học cách mã hóa cả văn bản và hình ảnh vào một không gian nhúng chung, nơi các khái niệm tương tự được giữ gần nhau.

Khi bạn cung cấp cho DALL-E 2 một prompt văn bản, CLIP trước tiên sẽ chuyển đổi văn bản đó thành một biểu diễn toán học được gọi là embedding. Embedding này nắm bắt ý nghĩa ngữ nghĩa của prompt theo cách mà hệ thống tạo hình ảnh có thể hiểu được.

Việc huấn luyện CLIP có nghĩa là nó hiểu được mối quan hệ giữa các khái niệm. Nó biết rằng "phi hành gia" liên quan đến "không gian", rằng "ngựa" là một con vật có 4 chân, và rằng "Andy Warhol" ám chỉ một phong cách nghệ thuật cụ thể với màu sắc tươi sáng và các họa tiết lặp lại.

Mô hình Diffusion Prior

Mô hình prior đóng vai trò là bước trung gian. Nó lấy dữ liệu nhúng văn bản từ CLIP và dự đoán dữ liệu nhúng hình ảnh tương ứng sẽ trông như thế nào. Dự đoán này chưa phải là một hình ảnh thực tế, mà chỉ là một biểu diễn toán học khác trong không gian nhúng của CLIP.

Thành phần này sử dụng kiến ​​trúc mô hình Diffusion. Nó học cách khử nhiễu dần dần các dữ liệu nhúng ngẫu nhiên thành những dữ liệu nhúng hình ảnh có ý nghĩa phù hợp với văn bản đầu vào. Quá trình này diễn ra hoàn toàn trong không gian nhúng trừu tượng trước khi bất kỳ pixel thực tế nào được tạo ra.

Bộ giải mã hình ảnh

Bộ giải mã lấy dữ liệu nhúng hình ảnh được dự đoán và tạo ra đầu ra hình ảnh thực tế. Thành phần này cũng sử dụng Diffusion, nhưng ở cấp độ pixel. Nó bắt đầu với nhiễu ngẫu nhiên ở độ phân giải mục tiêu và tinh chỉnh lặp đi lặp lại qua nhiều bước.

Ở mỗi bước, bộ giải mã dự đoán cách loại bỏ một số nhiễu dựa trên dữ liệu nhúng hình ảnh từ trước đó. Nó sử dụng cơ chế chú ý chéo để đảm bảo các pixel được tạo ra phù hợp với nội dung ngữ nghĩa được mã hóa trong dữ liệu nhúng.

Bộ giải mã tạo ra hình ảnh ở độ phân giải 1024x1024 theo mặc định. Người dùng có thể yêu cầu tỷ lệ khung hình khác nhau, và mô hình sẽ điều chỉnh cho phù hợp. Quá trình tạo hình ảnh thường mất từ ​​10 đến 30 giây tùy thuộc vào tải máy chủ.

Quá trình huấn luyện

OpenAI đã huấn luyện DALL-E 2 trên một tập dữ liệu lớn gồm các hình ảnh được ghép nối với mô tả văn bản. Kích thước và thành phần chính xác của tập dữ liệu này vẫn chưa được tiết lộ, nhưng có khả năng nó bao gồm hàng trăm triệu cặp hình ảnh-văn bản từ nhiều nguồn Internet khác nhau.

Quá trình huấn luyện diễn ra theo nhiều giai đoạn. Đầu tiên, CLIP được huấn luyện để căn chỉnh các biểu diễn văn bản và hình ảnh. Sau đó, mô hình tiền đề học cách ánh xạ các văn bản nhúng sang những hình ảnh nhúng. Cuối cùng, bộ giải mã học cách tạo ra hình ảnh thực tế từ các nội dung nhúng đó.

Cách tiếp cận đa giai đoạn này có nghĩa là mỗi thành phần có thể chuyên về nhiệm vụ cụ thể của nó. CLIP tập trung vào việc hiểu các mối quan hệ ngữ nghĩa. Mô hình tiền đề tập trung vào việc dự đoán các khái niệm trực quan từ ngôn ngữ. Bộ giải mã tập trung vào việc chuyển đổi các khái niệm đó thành hình ảnh mạch lạc.

Những điểm chính cần ghi nhớ

Một số điểm quan trọng nổi bật từ việc hiểu lịch sử và bối cảnh của DALL-E 2:

• DALL-E 2 đại diện cho một cột mốc quan trọng trong việc tạo ảnh bằng AI khi ra mắt vào tháng 4 năm 2022, nhưng nhanh chóng bị thay thế bởi những mô hình có khả năng hơn.
• Kiến trúc sử dụng các mô hình Diffusion với hướng dẫn CLIP, một cách tiếp cận khác so với cả DALL-E ban đầu và những phương pháp dựa trên transformer hiện tại.
• Những hạn chế bao gồm các vấn đề về suy luận không gian, các vấn đề về hiển thị văn bản và những thách thức với việc kiểm soát chi tiết.
• Các mối quan ngại về đạo đức liên quan đến dữ liệu huấn luyện, bồi thường cho nghệ sĩ và bản quyền vẫn còn phù hợp với những hệ thống tạo ảnh bằng AI hiện nay.
• Sự phát triển nhanh chóng từ DALL-E 2 sang các giải pháp thay thế hiện đại cho thấy khả năng của AI tiến bộ nhanh như thế nào.
• Các ứng dụng chuyên nghiệp ngày càng tích hợp việc tạo ảnh vào những workflow tự động lớn hơn thay vì sử dụng nó như một công cụ độc lập.
• Thị trường hiện hỗ trợ nhiều công cụ chuyên dụng cho các trường hợp sử dụng khác nhau thay vì cố gắng tìm kiếm những giải pháp phù hợp cho tất cả.
• Các khung pháp lý đang bắt đầu giải quyết những mối quan ngại đã xuất hiện trong thời kỳ DALL-E 2, nhưng công nghệ vẫn tiếp tục phát triển nhanh hơn chính sách