Neural Engine của Apple là gì? Hoạt động như thế nào?

iPhone, iPad, Mac và Apple TV của bạn sử dụng NPU (Neural processing unit) chuyên dụng có tên là Apple Neural Engine (ANE) nhanh và tiết kiệm năng lượng hơn nhiều so với CPU hoặc GPU.

ANE có thể tạo ra các tính năng nâng cao trên thiết bị như xử lý ngôn ngữ tự nhiên và phân tích hình ảnh mà không cần khai thác vào đám mây hoặc sử dụng năng lượng quá mức.

Hãy cùng khám phá cách ANE hoạt động và quá trình phát triển của nó, bao gồm khả năng suy luận và trí thông minh mà nó cung cấp trên các nền tảng của Apple cũng như cách những nhà phát triển có thể sử dụng nó trong các ứng dụng của bên thứ ba.

Apple Neural Engine (ANE) là gì?

Apple Neural Engine là tên tiếp thị cho một cụm lõi điện toán chuyên dụng cao được tối ưu hóa để thực thi hiệu quả năng lượng của Deep neural network trên các thiết bị của Apple. Nó tăng tốc các thuật toán machine learning (ML) và trí tuệ nhân tạo (AI), mang lại lợi thế về tốc độ, bộ nhớ và sức mạnh to lớn so với CPU hoặc GPU chính.

ANE là một phần quan trọng giải thích tại sao iPhone, iPad, Mac và Apple TV mới nhất phản hồi nhanh và không bị nóng trong quá trình tính toán ML và AI nặng. Thật không may, không phải tất cả các thiết bị của Apple đều có ANE - Apple Watch, máy Mac dựa trên Intel và các thiết bị cũ hơn năm 2016 đều thiếu ANE.

ANE đầu tiên ra mắt trong chip A11 của Apple trên iPhone X năm 2017 đủ mạnh để hỗ trợ Face ID và Animoji. ANE mới nhất trong chip A15 Bionic nhanh hơn 26 lần so với phiên bản đầu tiên. Ngày nay, ANE kích hoạt các tính năng như Siri ngoại tuyến và các nhà phát triển có thể sử dụng nó để chạy những mô hình ML được đào tạo trước đó, giải phóng CPU và GPU để tập trung vào các tác vụ phù hợp hơn.

Neural Engine của Apple hoạt động như thế nào?

ANE cung cấp logic điều khiển và số học được tối ưu hóa để thực hiện các hoạt động điện toán mở rộng như phép nhân và tích lũy, thường được sử dụng trong các thuật toán ML và AI như phân loại hình ảnh, phân tích media, dịch máy, v.v...

Theo bằng sáng chế của Apple có tên "Multi-Mode Planar Engine for Neural Processor", ANE bao gồm một số lõi neural engine và một hoặc nhiều mạch phẳng đa chế độ.

Thiết kế được tối ưu hóa cho tính toán song song, trong đó nhiều hoạt động, chẳng hạn như phép nhân ma trận chạy trong hàng nghìn tỷ lần lặp, phải được thực hiện đồng thời.

Để tăng tốc độ suy luận trong các thuật toán AI, ANE sử dụng những mô hình dự đoán. Ngoài ra, ANE có bộ nhớ cache riêng và chỉ hỗ trợ một số loại dữ liệu, giúp tối đa hóa hiệu suất.

Các tính năng AI do ANE cung cấp

Dưới đây là một số tính năng trên thiết bị mà bạn có thể quen thuộc với ANE.

• Xử lý ngôn ngữ tự nhiên: Nhận dạng giọng nói nhanh hơn, đáng tin cậy hơn cho tính  năng đọc chính tả và Siri; cải thiện việc học ngôn ngữ tự nhiên trong ứng dụng Dịch và trên toàn hệ thống; Dịch văn bản tức thì trong Photos, Camera và các ứng dụng iPhone khác.
• Thị giác máy tính: Tìm các đối tượng trong hình ảnh như địa danh, vật nuôi, thực vật, sách và hoa bằng ứng dụng Photos hoặc tìm kiếm Spotlight; Nhận thông tin bổ sung về các đối tượng được nhận dạng bằng cách sử dụng Visual Look Up ở những nơi như Safari, Mail và Messages.
• Thực tế tăng cường: People Occlusion và theo dõi chuyển động trong các ứng dụng AR.
• Phân tích video: Phát hiện khuôn mặt và đối tượng trên video trong các ứng dụng như Final Cut Pro.
• Hiệu ứng camera: Tự động cắt xén với Center Stage; làm mờ nền trong cuộc gọi video FaceTime.
• Game: Hiệu ứng chân thực trong video game 3D.
• Live Text: Cung cấp tính năng nhận dạng ký tự quang học (OCR) trong Camera và Photos, cho phép bạn dễ dàng sao chép chữ viết tay hoặc văn bản như mật khẩu WiFi hoặc địa chỉ từ hình ảnh.
• Nhiếp ảnh điện toán (computational photography): Deep Fusion phân tích các pixel để giảm nhiễu tốt hơn, dải động lớn hơn cũng như cải thiện độ phơi sáng tự động và cân bằng trắng, tận dụng Smart HDR khi thích hợp; chụp ảnh độ sâu trường ảnh nông, bao gồm chụp chân dung chế độ ban đêm; điều chỉnh mức độ mờ hậu cảnh bằng Depth Control.
• Thông tin chi tiết: ANE cũng được sử dụng cho Photographic Styles trong ứng dụng Camera, hiệu ứng phong cách và sắp xếp kỷ niệm trong Photos, các đề xuất được cá nhân hóa như đề xuất hình nền, chú thích hình ảnh VoiceOver, tìm hình ảnh trùng lặp trong Photos, v.v...

Một số tính năng được đề cập ở trên, chẳng hạn như nhận dạng hình ảnh, cũng hoạt động mà không có ANE nhưng sẽ chạy chậm hơn nhiều và làm hao pin thiết bị của bạn.

Nhà phát triển có thể sử dụng ANE trong ứng dụng như thế nào?

Nhiều ứng dụng của bên thứ ba sử dụng ANE cho các tính năng không khả thi. Ví dụ: trình chỉnh sửa hình ảnh Pixelmator Pro cung cấp các công cụ như ML Super Resolution và ML Enhance. Và trong djay Pro, ANE tách các nhịp, nhạc cụ và giọng hát khỏi bản ghi âm.

Tuy nhiên, các nhà phát triển bên thứ ba không có quyền truy cập cấp thấp vào ANE. Thay vào đó, tất cả các cuộc gọi ANE phải đi qua framework phần mềm của Apple dành cho machine learning, Core ML. Với Core ML, các nhà phát triển có thể xây dựng, đào tạo và chạy những mô hình ML của họ trực tiếp trên thiết bị. Một mô hình như vậy sau đó được sử dụng để đưa ra dự đoán dựa trên dữ liệu đầu vào mới.

"Sau khi một mô hình có trên thiết bị của người dùng, bạn có thể sử dụng Core ML để đào tạo lại hoặc tinh chỉnh mô hình đó trên thiết bị, với dữ liệu của chính người dùng đó", theo tổng quan về Core ML trên trang web của Apple.

Để tăng tốc các thuật toán ML và AI, Core ML không chỉ tận dụng ANE mà còn cả CPU và GPU. Điều này cho phép Core ML chạy một mô hình ngay cả khi không có ANE. Nhưng với sự hiện diện của ANE, Core ML sẽ chạy nhanh hơn nhiều và pin sẽ không bị cạn kiệt nhanh chóng.