Google Gemini là AI đa phương thức

Bài học số 5 đã đề cập đến Gems (những trợ lý AI tùy chỉnh) và các extension (dữ liệu thời gian thực từ những dịch vụ của Google). Những tính năng đó hoạt động với văn bản. Tuy nhiên, Gemini có khả năng xử lý trực tiếp hình ảnh, video, âm thanh và tài liệu - tất cả trong cùng một cuộc trò chuyện. Đây chính là điểm khác biệt về năng lực mà Gemini thực sự vượt trội so với các đối thủ cạnh tranh.

Hầu hết mọi người coi Gemini đơn thuần là một chatbot văn bản: Họ nhập câu hỏi và đọc câu trả lời. Nhưng thực tế, Gemini có thể xem ảnh, xem video, đọc tài liệu và tạo ra hình ảnh - tất cả đều được thực hiện ngay trong hệ thống mà không cần đến các công cụ hay extension bên ngoài.

Phân tích hình ảnh

Khi bạn upload một hình ảnh lên Gemini, nó không chỉ đơn thuần mô tả những gì nhìn thấy mà còn thực hiện quá trình suy luận về hình ảnh đó.

Những gì Gemini có thể thực hiện với hình ảnh:

• Nhận diện đối tượng và văn bản: Đọc biển báo, nhãn dán, chữ viết tay, code hiển thị trên màn hình
• Phân tích bố cục: Chất lượng ánh sáng, mối quan hệ về không gian, các đặc điểm kiến ​​trúc
• Trích xuất dữ liệu: Đọc biểu đồ, bảng biểu, sơ đồ và chuyển đổi chúng thành văn bản hoặc dữ liệu có cấu trúc 
• So sánh hình ảnh: Phát hiện sự khác biệt giữa hai phiên bản của một thiết kế, tài liệu hoặc bức ảnh
• Xác định vấn đề: Cảnh báo các lỗi hoặc vấn đề tiềm ẩn trong ảnh chụp màn hình giao diện (UI), tài liệu hoặc các vật thể thực tế

Các câu lệnh (prompt) hiệu quả khi làm việc với hình ảnh:

Hiểu nội dung video

Gemini xử lý video một cách trực tiếp - không chỉ đơn thuần là trích xuất các khung hình. Nó có khả năng hiểu chuyển động, bối cảnh và mạch nội dung của video.

Các nguồn upload: Video từ Google Drive, liên kết YouTube (thông qua extension) hoặc upload file trực tiếp.

Những gì Gemini có thể thực hiện với video:

• Tóm tắt toàn bộ video kèm các ý chính và mốc thời gian
• Trả lời câu hỏi về những khoảnh khắc hoặc cảnh cụ thể
• Trích xuất thông tin từ các bài thuyết trình, bài giảng hoặc video hướng dẫn
• Mô tả các hành động, minh họa hoặc quy trình diễn ra trong video
• Chuyển đổi lời nói thành văn bản và dịch nội dung đó

Các câu lệnh (prompt) hiệu quả cho video:

• "Hãy tóm tắt bài thuyết trình này. Với mỗi slide được thảo luận, hãy ghi lại ý chính và mốc thời gian tương ứng."
• "Người hướng dẫn giải thích về việc đánh chỉ mục cơ sở dữ liệu ở thời điểm nào trong video này?"
• "Liệt kê tất cả các sản phẩm xuất hiện trong video đánh giá này cùng với ý kiến ​​của người đánh giá về từng sản phẩm."
• "Những kỹ thuật nấu ăn nào được minh họa trong khoảng thời gian từ phút thứ 5 đến phút thứ 12?"

Lợi thế về cửa sổ ngữ cảnh 1 triệu token: Cửa sổ ngữ cảnh của Gemini có thể chứa nội dung video dài hàng giờ đồng hồ. Bạn có thể upload lên bản ghi cuộc họp dài 2 giờ và đặt câu hỏi về bất kỳ thời điểm nào - ví dụ: "Sarah đã nói gì về ngân sách Quý 3 vào khoảng phút thứ 45?". Việc truy xuất thông tin kiểu này rất khó thực hiện với các cửa sổ ngữ cảnh nhỏ hơn.

Xử lý tài liệu

Upload lên file PDF, ảnh chụp tài liệu hoặc file từ Google Drive để phân tích:

Quy trình xử lý tài liệu thực tế:

• Xem xét hợp đồng: "Đọc bản thỏa thuận bảo mật (NDA) này và liệt kê tất cả các nghĩa vụ, hạn chế và điều khoản chấm dứt hợp đồng"  
• Tổng hợp nghiên cứu: Upload lên 5 bài báo cáo/nghiên cứu và hỏi "Các tài liệu này đồng ý và bất đồng quan điểm về vấn đề X như thế nào?"
• Trích xuất dữ liệu: Upload lên biểu mẫu đã scan và trích xuất các trường thông tin thành dữ liệu có cấu trúc
• Dịch thuật: Upload lên tài liệu bằng một ngôn ngữ và yêu cầu phân tích hoặc tóm tắt nội dung đó bằng một ngôn ngữ khác

Phân tích đa tài liệu: Upload lên nhiều file trong cùng một cuộc trò chuyện. Gemini có thể đối chiếu, so sánh và tổng hợp thông tin giữa các tài liệu - giúp phát hiện những điểm mâu thuẫn, các chủ đề chung hoặc những thiếu sót mà nếu làm thủ công sẽ mất hàng giờ đồng hồ.

Xử lý âm thanh

Gemini xử lý nội dung âm thanh trực tiếp:

• Chuyển đổi giọng nói thành văn bản (Transcription): Chuyển âm thanh lời nói thành văn bản.
• Tóm tắt (Summarization): Cô đọng các bản ghi âm dài thành những ý chính.
• Phân tích (Analysis): Xác định người nói, sắc thái cảm xúc, các chủ đề chính.
• Dịch thuật (Translation): Hiểu và phản hồi về nội dung âm thanh bằng nhiều ngôn ngữ khác nhau.

Các trường hợp sử dụng phổ biến: Bản ghi âm cuộc họp, tập podcast, ghi chú bằng giọng nói, bản ghi chép phỏng vấn.

Tạo hình ảnh (Imagen 3)

Gemini tạo hình ảnh bằng mô hình Imagen 3 của Google. Bạn chỉ cần mô tả những gì mình muốn, và hệ thống sẽ tạo ra hình ảnh đó.

Các câu lệnh (prompt) tạo ảnh hiệu quả bao gồm:

• Phong cách: Minh họa phẳng (flat illustration), ảnh chân thực (photorealistic), màu nước, tối giản, phối cảnh đẳng cự (isometric)
• Chủ thể: Nội dung chính xác cần thể hiện trong ảnh 
• Bố cục: Khung hình, góc nhìn, hướng ánh sáng
• Màu sắc: Bảng màu cụ thể hoặc tông màu chủ đạo
• Loại trừ: Những yếu tố KHÔNG được xuất hiện

Ví dụ:

Tạo một hình ảnh minh họa phẳng về một người đang làm việc tại bàn đứng với hai màn hình. Bối cảnh văn phòng tại nhà hiện đại. Bảng màu: tông trung tính ấm áp kết hợp các điểm nhấn màu xanh mòng két (teal). Ánh sáng tự nhiên từ cửa sổ chiếu vào bên trái. Không có văn bản hay logo trong hình ảnh.

Các hạn chế cần lưu ý:

• Không tạo hình ảnh giống người thật (không tạo ảnh người nổi tiếng)
• Khả năng kiểm soát văn bản chính xác trong ảnh còn hạn chế
• Khuôn mặt người dạng ảnh chân thực có thể gặp lỗi hiển thị (artifacts)
• Kết quả có thể thay đổi - hãy tạo lại nếu kết quả đầu tiên không như ý muốn.

Kết hợp các phương thức (Multimodal)

Ứng dụng mạnh mẽ nhất của công nghệ đa phương thức (multimodal) là kết hợp các loại dữ liệu đầu vào trong cùng một cuộc hội thoại:

Ví dụ về quy trình làm việc - Phân tích ra mắt sản phẩm:

1. Upload lên ảnh sản phẩm của đối thủ → "Hãy phân tích ngôn ngữ thiết kế và bao bì của họ"
2. Upload lên file PDF nghiên cứu thị trường → "Nghiên cứu này xác định những phân khúc khách hàng nào?"
3. Upload lên video ghi lại buổi thảo luận nhóm (focus group) → "3 mối quan tâm hàng đầu mà người tham gia bày tỏ là gì?"
4. Đặt câu hỏi: "Dựa trên cả ba dữ liệu đầu vào này, định vị sản phẩm của chúng ta nên nhấn mạnh vào yếu tố nào?"

Gemini tổng hợp thông tin từ hình ảnh, tài liệu và video để đưa ra bản phân tích có tính đến tất cả các dữ liệu đầu vào cùng lúc. Không có trợ lý AI phổ biến nào khác xử lý quy trình này một cách trực tiếp như vậy.

Thử ngay: Bộ câu lệnh (prompt) phân tích đa phương thức

Hãy đóng vai chuyên gia phân tích Gemini đa phương thức của tôi. Thiết kế câu lệnh chính xác cho tác vụ đa phương thức hiện tại của tôi — hình ảnh / video / âm thanh / PDF / kết hợp — với các tính năng tích hợp sẵn: trích xuất dữ liệu + phát hiện vấn đề + xử lý đảm bảo quyền riêng tư.

Tác vụ của tôi:
- Loại dữ liệu đầu vào: [hình ảnh / PDF / video / âm thanh / kết hợp]
- Nguồn nội dung: [của tôi / khách hàng / công khai / nhà tuyển dụng]
- Mục tiêu: [tóm tắt / trích xuất dữ liệu / dịch thuật / so sánh / phát hiện vấn đề / phân loại / khác]
- Đầu ra mong muốn: [JSON có cấu trúc / tóm tắt dạng văn bản / bản đã che thông tin nhạy cảm / danh sách hành động cụ thể]
- Mức độ nhạy cảm: [công khai / cá nhân / bảo mật / chịu sự quản lý pháp lý]
- Đối tượng nhận kết quả: [tôi / nhóm / khách hàng / công chúng / cơ quan quản lý]

Kết quả trả về:
1. Câu lệnh đa phương thức sẵn sàng để sao chép, được cấu trúc theo: vai trò, mô tả đầu vào, mục tiêu trích xuất, định dạng, hướng dẫn xác minh.
2. Kế hoạch che thông tin nhạy cảm: các loại dữ liệu PII/PHI/khuôn mặt/siêu dữ liệu cần loại bỏ khỏi dữ liệu đầu vào TRƯỚC KHI tải lên.
3. Các lỗi thường gặp đối với loại dữ liệu đầu vào này + bước xác minh (lỗi OCR, nhận diện sai khuôn mặt, lệch mốc thời gian, nghe nhầm âm thanh).
4. Kiểm tra pháp lý: giấy phép sử dụng dữ liệu đầu vào, sự đồng ý của người xuất hiện trong dữ liệu, bản quyền đối với nội dung được trích xuất.
5. Các yêu cầu công bố thông tin nếu xuất bản kết quả (nhãn "do AI tạo", trích dẫn nguồn, tuyên bố miễn trừ trách nhiệm về hạn chế của AI).

QUY TẮC BẮT BUỘC:
- Tuyệt đối không tải lên hình ảnh người thật nếu không có sự đồng ý. Việc phân tích khuôn mặt được coi là xử lý dữ liệu gần với dữ liệu sinh trắc học (thuộc phạm vi BIPA ở bang Illinois, hoặc danh mục dữ liệu nhạy cảm theo CCPA). Hãy loại bỏ các đặc điểm nhận dạng hoặc phải có sự đồng ý. 
- Tuyệt đối không tải hồ sơ y tế (ảnh chụp X-quang, kết quả xét nghiệm, hình ảnh bệnh lý) lên phiên bản Gemini dành cho người dùng cá nhân. Dữ liệu sức khỏe cá nhân (PHI) yêu cầu sử dụng Gemini phiên bản Workspace Enterprise kèm thỏa thuận BAA.
- Tuyệt đối không tải lên các báo cáo tài chính có chứa số tài khoản. Việc này liên quan đến các quy định GLBA và PCI.
- Không upload lên thẻ học sinh/sinh viên, bảng điểm hoặc Chương trình Giáo dục Cá nhân hóa (IEP). Cần tuân thủ FERPA và luật tiểu bang về dữ liệu học sinh.
- Không upload lên nội dung mật, thông tin nhạy cảm chưa được phân loại (CUI) hoặc nội dung chịu sự kiểm soát xuất khẩu. Cần tuân thủ các quy định ITAR, EAR và quy trình xử lý dữ liệu của liên bang.
- Đối với tài liệu pháp lý được bảo mật: quyền đặc quyền luật sư - thân chủ có thể bị mất hiệu lực nếu tiết lộ thông tin cho bên thứ ba là AI dành cho người dùng cá nhân. Hãy sử dụng Workspace Enterprise với các cơ chế ngăn cách thông tin (ethics-walls).
- Không tạo hình ảnh người thật nếu không có sự đồng ý bằng văn bản. Không tạo deepfake. Cần tuân thủ Đạo luật ELVIS (TN), Đạo luật NO FAKES, luật tiểu bang về quyền công khai hình ảnh cá nhân và luật về hình ảnh thân mật không có sự đồng thuận (NCII).
- Tuyệt đối không tạo hình ảnh trẻ vị thành niên. Luật về tài liệu lạm dụng tình dục trẻ em (CSAM - 18 USC §2256) được áp dụng nghiêm ngặt bất kể mục đích là gì.
- Không tạo hình ảnh "theo phong cách của [tên nghệ sĩ còn sống]". Cần lưu ý các vụ kiện đang diễn ra liên quan đến Andersen, Getty và NYT.
- Đối với đầu ra của Imagen 3 dùng cho mục đích thương mại: chỉ loại bỏ dữ liệu C2PA trong các trường hợp sử dụng được ủy quyền; chính sách nền tảng yêu cầu phải công khai thông tin này.
- Độ chính xác khi chuyển đổi âm thanh/video thành văn bản: cần xác thực các nội dung quan trọng. Bản ghi văn bản chỉ mang tính tương đối, đặc biệt là với các giọng vùng miền, thuật ngữ chuyên môn hoặc trường hợp có nhiều người nói.
- Đối với âm thanh có chứa hội thoại: tại các tiểu bang yêu cầu sự đồng ý của cả hai bên khi ghi âm (CA/FL/IL/MA/MD/MT/NH/NV/PA/WA và 18 USC §2511), bắt buộc phải có sự đồng ý TRƯỚC KHI ghi âm.
- Xử lý video và âm thanh dài: cần kiểm tra xem bản tóm tắt có nắm bắt được các ý chính hay không. Hiện tượng "mất thông tin ở giữa" (lost-in-the-middle) có thể xảy ra; hãy kiểm tra các mẫu dữ liệu ở phần giữa và phần cuối.
- Không sử dụng tính năng đa phương thức (multimodal) để "cải thiện" nội dung chất lượng thấp (ví dụ: làm sắc nét hình ảnh giám sát) nhằm sử dụng trong tố tụng pháp lý — hình ảnh do AI cải thiện từng bị phản đối tại tòa án và bị coi là không đủ điều kiện chấp nhận làm bằng chứng.
- Đối với hoạt động tiếp thị: cần công khai việc sử dụng hình ảnh do AI tạo ra theo Hướng dẫn về Xác nhận/Quảng bá của FTC. Các tuyên bố về y tế, tài chính hoặc sức khỏe cần có bằng chứng xác thực và các tuyên bố miễn trừ trách nhiệm đi kèm.
- Đối với người dùng tại EU: Điều 50 của Đạo luật AI EU yêu cầu phải công khai nội dung do AI tạo ra trong trường hợp người xem có thể bị nhầm lẫn hoặc lừa dối. 
- Không sử dụng Gemini Live (tính năng thoại thời gian thực) để sao chép giọng nói của người khác. Cần có sự đồng ý + tuân thủ Đạo luật ELVIS.
- Khi sử dụng để hỗ trợ người khuyết tật (ví dụ: chuyển đổi giọng nói thành văn bản để tăng khả năng tiếp cận): hãy kiểm tra độ chính xác — phụ đề tự động có thể bỏ sót thông tin quan trọng. Cần tuân thủ ADA và Mục 508.

Cách điền thông tin chi tiết: Thay thế các phần trong ngoặc vuông [] và những nội dung giữ chỗ bằng thông tin cụ thể từ tình huống thực tế của bạn. Đầu vào mơ hồ sẽ dẫn đến kết quả mơ hồ - hãy nêu thông tin cụ thể.

Những gì bạn sẽ nhận được: Một câu lệnh đa phương thức (multimodal prompt) sẵn sàng để sao chép-dán, kế hoạch che thông tin nhạy cảm, quy trình kiểm tra các lỗi tiềm ẩn, rà soát pháp lý và những yêu cầu công khai thông tin - tất cả đều tuân thủ các nguyên tắc: Không sử dụng hình ảnh/giọng nói người thật khi chưa có sự đồng ý + nghiêm cấm tuyệt đối nội dung CSAM + thận trọng với việc chuyển đổi phong cách + quy định ghi âm cần sự đồng ý của các bên + tiêu chuẩn C2PA + Đạo luật ELVIS + không dùng AI để chỉnh sửa bằng chứng pháp lý + quy định của FTC + Điều 5 của Đạo luật AI EU.

Cách xử lý kết quả: Lưu lại nội dung phản hồi vào file ghi chú. Hãy chọn ra một gợi ý mang lại hiệu quả cao nhất và thực hiện ngay trong tuần này - đừng cố gắng làm tất cả mọi thứ cùng lúc.

Nếu kết quả chưa phù hợp: Nếu các gợi ý có vẻ chung chung, hãy dán nội dung sau để yêu cầu bổ sung: "Hãy đưa ra gợi ý cụ thể hơn dựa trên bối cảnh thực tế của tôi. Bỏ qua những lời khuyên chung chung". Nếu hệ thống bỏ sót các chi tiết quan trọng mà bạn đã cung cấp, hãy thêm yêu cầu: "Bạn đã bỏ sót [X] trong bối cảnh của tôi - hãy thực hiện lại và coi đó là yếu tố ràng buộc chính".

Những điểm chính cần ghi nhớ

• Gemini xử lý trực tiếp hình ảnh, video, âm thanh và tài liệu mà không cần công cụ hay plugin bên ngoài
• Khả năng phân tích hình ảnh vượt xa việc mô tả thông thường: bao gồm trích xuất dữ liệu, so sánh, nhận diện vấn đề và suy luận không gian
• Khả năng hiểu video bao gồm tóm tắt kèm mốc thời gian, tìm kiếm các khoảnh khắc cụ thể và phân tích nội dung kéo dài hàng giờ
• Cửa sổ ngữ cảnh 1 triệu token cho phép xử lý toàn bộ bản ghi video hoặc các bộ tài liệu đồ sộ trong cùng một cuộc hội thoại
• Tính năng tạo ảnh (Imagen 3) đạt hiệu quả tốt nhất khi nhận được các chỉ dẫn cụ thể về phong cách, chủ thể, bố cục và màu sắc
• Việc kết hợp đa phương thức (hình ảnh, tài liệu, video) trong một cuộc hội thoại tạo ra kết quả tổng hợp mà không một loại dữ liệu đầu vào đơn lẻ nào có thể đạt được