DALL-E 2 là gì? Mô hình xử lý ảnh thế hệ thứ hai của OpenAI có gì đặc biệt?

DALL-E 2 là một cột mốc quan trọng trong lĩnh vực tạo ảnh bằng trí tuệ nhân tạo. Hãy tìm hiểu về lịch sử, khả năng hiện tại và vị trí của nó trong bối cảnh tạo ảnh bằng AI hiện nay!

DALL-E 2 là gì và tại sao nó lại quan trọng?

DALL-E 2 là mô hình chuyển đổi văn bản thành hình ảnh thế hệ thứ hai của OpenAI. Tên gọi này kết hợp WALL-E (nhân vật robot của Pixar) với Salvador Dalí (họa sĩ theo trường phái siêu thực), gợi ý cả khả năng tính toán và tiềm năng sáng tạo của nó.

Khi OpenAI phát hành DALL-E 2 ra công chúng vào ngày 6 tháng 4 năm 2022, phản hồi ngay lập tức rất mạnh mẽ. Mọi người đã từng thấy hình ảnh do AI tạo ra trước đây, nhưng chưa từng thấy cái nào giống như thế này. Mô hình có thể tạo ra hình ảnh chân thực, bản vẽ nghệ thuật và bố cục siêu thực từ những prompt văn bản đơn giản. Bạn có thể yêu cầu "một bức ảnh về một phi hành gia cưỡi ngựa theo phong cách Andy Warhol" và nhận được chính xác điều đó.

Nền tảng kỹ thuật

DALL-E 2 đại diện cho một sự thay đổi kiến ​​trúc đáng kể so với DALL-E ban đầu. Trong khi phiên bản đầu tiên sử dụng bộ chuyển đổi tự hồi quy tương tự như GPT-3, DALL-E 2 đã áp dụng phương pháp dựa trên Diffusion kết hợp với hướng dẫn CLIP (Contrastive Language-Image Pre-training).

Mô hình này có hai thành phần chính. Thứ nhất, một mô hình tiền xử lý chuyển đổi các prompt văn bản thành những hình ảnh nhúng CLIP. Thứ hai, một bộ giải mã chuyển đổi các hình ảnh nhúng đó thành hình ảnh thực tế. Kiến trúc hai phần này giúp DALL-E 2 kiểm soát chất lượng hình ảnh tốt hơn so với phiên bản tiền nhiệm.

Mô hình Diffusion hoạt động bằng cách bắt đầu với nhiễu ngẫu nhiên và dần dần loại bỏ nó qua nhiều bước. Ở mỗi bước, mô hình dự đoán hình ảnh cuối cùng sẽ trông như thế nào dựa trên prompt văn bản. Quá trình lặp đi lặp lại này cho phép tạo ra đầu ra độ phân giải cao với độ nhất quán tốt hơn trên các cảnh phức tạp.

DALL-E 2 có 3,5 tỷ tham số, ít hơn đáng kể so với 12 tỷ tham số của DALL-E ban đầu. Mặc dù kích thước nhỏ hơn, những cải tiến về kiến ​​trúc đồng nghĩa với hiệu suất tốt hơn trong hầu hết các tình huống thực tế.

Điều gì làm nên sự đặc biệt khi ra mắt?

Một số khả năng đã làm nên sự khác biệt của DALL-E 2 khi nó xuất hiện lần đầu. Mô hình có thể tạo ra hình ảnh theo nhiều phong cách khác nhau, bao gồm hình ảnh chân thực, tranh vẽ, nghệ thuật kỹ thuật số và thậm chí cả biểu tượng cảm xúc. Nó có thể kết hợp các khái niệm không liên quan theo những cách mạch lạc, tạo ra hình ảnh về những thứ không tồn tại trong thực tế.

Tính năng In-painting cho phép người dùng chỉnh sửa các phần cụ thể của hình ảnh hiện có bằng cách mô tả những gì họ muốn thay đổi. Khả năng tạo biến thể có thể tạo ra các phiên bản khác nhau của một hình ảnh trong khi vẫn giữ nguyên những yếu tố cốt lõi. Những công cụ chỉnh sửa này thực sự mới và hữu ích cho quy trình làm việc sáng tạo.

Việc hiển thị văn bản vẫn là một thách thức, nhưng DALL-E 2 đã xử lý tốt hơn các mô hình trước đó. Hệ thống có thể hiểu các yêu cầu phức tạp với nhiều đối tượng và mối quan hệ, mặc dù đôi khi nó gặp khó khăn với việc sắp xếp không gian chính xác.

Cách thức hoạt động thực tế của DALL-E 2

Hiểu rõ các chi tiết kỹ thuật giúp giải thích cả khả năng và hạn chế của DALL-E 2. Hệ thống này dựa trên một số thành phần liên kết với nhau hoạt động cùng nhau.

CLIP: Cầu nối giữa văn bản và hình ảnh

CLIP tạo nên nền tảng hiểu biết của DALL-E 2. Mô hình riêng biệt này đã được huấn luyện trên hàng trăm triệu cặp hình ảnh-văn bản từ Internet. Nó học cách mã hóa cả văn bản và hình ảnh vào một không gian nhúng chung, nơi các khái niệm tương tự được giữ gần nhau.

Khi bạn cung cấp cho DALL-E 2 một prompt văn bản, CLIP trước tiên sẽ chuyển đổi văn bản đó thành một biểu diễn toán học được gọi là embedding. Embedding này nắm bắt ý nghĩa ngữ nghĩa của prompt theo cách mà hệ thống tạo hình ảnh có thể hiểu được.

Việc huấn luyện CLIP có nghĩa là nó hiểu được mối quan hệ giữa các khái niệm. Nó biết rằng "phi hành gia" liên quan đến "không gian", rằng "ngựa" là một con vật có 4 chân, và rằng "Andy Warhol" ám chỉ một phong cách nghệ thuật cụ thể với màu sắc tươi sáng và các họa tiết lặp lại.

Mô hình Diffusion Prior

Mô hình prior đóng vai trò là bước trung gian. Nó lấy dữ liệu nhúng văn bản từ CLIP và dự đoán dữ liệu nhúng hình ảnh tương ứng sẽ trông như thế nào. Dự đoán này chưa phải là một hình ảnh thực tế, mà chỉ là một biểu diễn toán học khác trong không gian nhúng của CLIP.

Thành phần này sử dụng kiến ​​trúc mô hình Diffusion. Nó học cách khử nhiễu dần dần các dữ liệu nhúng ngẫu nhiên thành những dữ liệu nhúng hình ảnh có ý nghĩa phù hợp với văn bản đầu vào. Quá trình này diễn ra hoàn toàn trong không gian nhúng trừu tượng trước khi bất kỳ pixel thực tế nào được tạo ra.

Bộ giải mã hình ảnh

Bộ giải mã lấy dữ liệu nhúng hình ảnh được dự đoán và tạo ra đầu ra hình ảnh thực tế. Thành phần này cũng sử dụng Diffusion, nhưng ở cấp độ pixel. Nó bắt đầu với nhiễu ngẫu nhiên ở độ phân giải mục tiêu và tinh chỉnh lặp đi lặp lại qua nhiều bước.

Ở mỗi bước, bộ giải mã dự đoán cách loại bỏ một số nhiễu dựa trên dữ liệu nhúng hình ảnh từ trước đó. Nó sử dụng cơ chế chú ý chéo để đảm bảo các pixel được tạo ra phù hợp với nội dung ngữ nghĩa được mã hóa trong dữ liệu nhúng.

Bộ giải mã tạo ra hình ảnh ở độ phân giải 1024x1024 theo mặc định. Người dùng có thể yêu cầu tỷ lệ khung hình khác nhau, và mô hình sẽ điều chỉnh cho phù hợp. Quá trình tạo hình ảnh thường mất từ ​​10 đến 30 giây tùy thuộc vào tải máy chủ.

Quá trình huấn luyện

OpenAI đã huấn luyện DALL-E 2 trên một tập dữ liệu lớn gồm các hình ảnh được ghép nối với mô tả văn bản. Kích thước và thành phần chính xác của tập dữ liệu này vẫn chưa được tiết lộ, nhưng có khả năng nó bao gồm hàng trăm triệu cặp hình ảnh-văn bản từ nhiều nguồn Internet khác nhau.

Quá trình huấn luyện diễn ra theo nhiều giai đoạn. Đầu tiên, CLIP được huấn luyện để căn chỉnh các biểu diễn văn bản và hình ảnh. Sau đó, mô hình tiền đề học cách ánh xạ các văn bản nhúng sang những hình ảnh nhúng. Cuối cùng, bộ giải mã học cách tạo ra hình ảnh thực tế từ các nội dung nhúng đó.

Cách tiếp cận đa giai đoạn này có nghĩa là mỗi thành phần có thể chuyên về nhiệm vụ cụ thể của nó. CLIP tập trung vào việc hiểu các mối quan hệ ngữ nghĩa. Mô hình tiền đề tập trung vào việc dự đoán các khái niệm trực quan từ ngôn ngữ. Bộ giải mã tập trung vào việc chuyển đổi các khái niệm đó thành hình ảnh mạch lạc.

Các khả năng và trường hợp sử dụng

DALL-E 2 đã được ứng dụng trong các ngành công nghiệp sáng tạo, mặc dù mức độ phổ biến thực tế không cao như sự hào hứng ban đầu từng dự báo.

Khám phá sáng tạo và phác thảo ý tưởng (Concept Art)

Các nghệ sĩ và nhà thiết kế đã sử dụng DALL-E 2 để nhanh chóng tạo mẫu thử cho những ý tưởng hình ảnh. Thay vì phải phác thảo nhiều phương án, họ có thể tạo ra hàng chục biến thể từ các mô tả văn bản chỉ trong vài phút. Điều này giúp đẩy nhanh tiến độ những giai đoạn đầu của dự án sáng tạo.

Mô hình này thể hiện sự xuất sắc trong việc kết hợp các khái niệm khác biệt theo những cách mới lạ. Một nhà thiết kế có thể yêu cầu tạo ra "một chiếc ghế hiện đại do Frank Lloyd Wright thiết kế, làm từ san hô" và nhận được kết quả hài hòa, pha trộn giữa phong cách kiến ​​trúc với các hình khối tự nhiên. Những sự kết hợp bất ngờ này thường khơi dậy các hướng sáng tạo mới.

Các nhà thiết kế game nhận thấy giá trị của công cụ này trong việc tạo ra các thành phần hình ảnh nền, ý tưởng kết cấu bề mặt và phác thảo nhân vật. Mặc dù kết quả đầu ra hiếm khi được đưa trực tiếp vào sản phẩm cuối cùng, chúng đóng vai trò là nguồn tài liệu tham khảo và nguồn cảm hứng hữu ích.

Tiếp thị và Quảng cáo

Các đội ngũ tiếp thị đã thử nghiệm DALL-E 2 để tạo hình ảnh minh họa tạm thời (placeholder), bảng ý tưởng (mood board) và những bài thuyết trình về ý tưởng. Khả năng tạo hình ảnh tùy chỉnh nhanh chóng khiến nó trở nên hữu ích trong các buổi thảo luận lên ý tưởng.

Tuy nhiên, việc sử dụng cho mục đích thương mại đi kèm với một số hạn chế. Các điều khoản của OpenAI yêu cầu phải ghi rõ nguồn và cấm một số loại nội dung nhất định. Nguy cơ tạo ra hình ảnh giống với các tài liệu có bản quyền cũng hạn chế việc sử dụng trực tiếp trong các chiến dịch chuyên nghiệp.

Một số công ty quảng cáo đã sử dụng kết quả từ DALL-E 2 làm điểm khởi đầu, sau đó các nghệ sĩ sẽ tinh chỉnh và tùy biến lại. Phương pháp kết hợp này giúp cân bằng giữa tốc độ, khả năng kiểm soát và chất lượng sản phẩm.

Giáo dục và Nghiên cứu

Các nhà nghiên cứu đã tìm hiểu DALL-E 2 để hiểu cách những mô hình AI biểu diễn và tạo ra thông tin hình ảnh. Kiến trúc của mô hình này đã ảnh hưởng đến những bước phát triển tiếp theo của các hệ thống AI đa phương thức (multimodal AI).

Các nhà giáo dục đã sử dụng DALL-E 2 để minh họa các khả năng cũng như hạn chế của AI. Sinh viên có thể thử nghiệm với các câu lệnh (prompt) và quan sát cách mô hình diễn giải những chỉ dẫn khác nhau, qua đó học hỏi thêm về cả lĩnh vực xử lý ngôn ngữ tự nhiên lẫn thị giác máy tính.

Mô hình này cũng được ứng dụng trong các công cụ hỗ trợ người khuyết tật. Các nhà nghiên cứu đã tìm hiểu việc sử dụng nó để tạo ra những mô tả hình ảnh cho người khiếm thị hoặc tạo ra hình minh họa tùy chỉnh cho tài liệu giáo dục.

Các dự án sáng tạo cá nhân

Các nhà sáng tạo độc lập đã sử dụng DALL-E 2 cho những dự án nghệ thuật cá nhân, nội dung mạng xã hội và các thử nghiệm mang tính sở thích. Giai đoạn đầu khi quyền truy cập còn hạn chế đã hình thành nên một cộng đồng gắn kết gồm những "nhà thám hiểm không gian tiềm ẩn" – những người cùng chia sẻ các tác phẩm thú vị được tạo ra và trao đổi kinh nghiệm về cách đặt câu lệnh.

Khía cạnh cộng đồng này đóng vai trò rất quan trọng. Người dùng đã cùng nhau xây dựng một hệ thống thuật ngữ chung để mô tả các câu lệnh hiệu quả. Họ khám phá ra những phong cách nghệ thuật và cụm từ mô tả nào mang lại kết quả tốt nhất. Các diễn đàn và máy chủ Discord trở thành nơi lý tưởng để trao đổi bí quyết cũng như giới thiệu những tác phẩm ấn tượng.

Những điểm chính cần ghi nhớ

Một số điểm quan trọng nổi bật từ việc hiểu lịch sử và bối cảnh của DALL-E 2:

• DALL-E 2 đại diện cho một cột mốc quan trọng trong việc tạo ảnh bằng AI khi ra mắt vào tháng 4 năm 2022, nhưng nhanh chóng bị thay thế bởi những mô hình có khả năng hơn.
• Kiến trúc sử dụng các mô hình Diffusion với hướng dẫn CLIP, một cách tiếp cận khác so với cả DALL-E ban đầu và những phương pháp dựa trên transformer hiện tại.
• Những hạn chế bao gồm các vấn đề về suy luận không gian, các vấn đề về hiển thị văn bản và những thách thức với việc kiểm soát chi tiết.
• Các mối quan ngại về đạo đức liên quan đến dữ liệu huấn luyện, bồi thường cho nghệ sĩ và bản quyền vẫn còn phù hợp với những hệ thống tạo ảnh bằng AI hiện nay.
• Sự phát triển nhanh chóng từ DALL-E 2 sang các giải pháp thay thế hiện đại cho thấy khả năng của AI tiến bộ nhanh như thế nào.
• Các ứng dụng chuyên nghiệp ngày càng tích hợp việc tạo ảnh vào những workflow tự động lớn hơn thay vì sử dụng nó như một công cụ độc lập.
• Thị trường hiện hỗ trợ nhiều công cụ chuyên dụng cho các trường hợp sử dụng khác nhau thay vì cố gắng tìm kiếm những giải pháp phù hợp cho tất cả.
• Các khung pháp lý đang bắt đầu giải quyết những mối quan ngại đã xuất hiện trong thời kỳ DALL-E 2, nhưng công nghệ vẫn tiếp tục phát triển nhanh hơn chính sách