Что такое Neural Engine и зачем он нужен в Айфоне
На презентации нового iPhone инженеры Apple частенько жонглируют непонятными терминами, одним из которых является «нейронный процессор»: из года в год его улучшают, увеличивая количество операций с нескольких сотен миллиардов до нескольких триллионов в секунду. Однако видимой пользы от нейронного сопроцессора для многих нет, поэтому не каждый пользователь знает о том, зачем нужен этот модуль и за что он отвечает. Между прочим, в 2022 году без него в вашем смартфоне не было бы львиной доли функций: объясняем, что такое Neural Engine и зачем он нужен.
Рассказываем, что такое Neural Engine в iPhone
Что такое Neural Engine
Apple начала разработку собственных процессоров в 2010 году, ведь именно тогда вышел iPhone 4 с чипом А4. Но эра нейронных сопроцессоров началась только в 2017 году с выходом iPhone X — недаром его считают одним из самых культовых в истории Apple: компания представила новый чип А11 Bionic с первым поколением Neural Engine, состоящее из двух ядер и выполняющее около 600 миллиардов операций в секунду — в A16 Bionic стало 16 ядер, а производительность выросла до 17 триллионов операций в секунду.
Neural Engine — отдельный сопроцессор, который отвечает за специальные вычисления в iPhone
Многие не поняли, зачем он нужен — ведь работал же Айфон как-то без него все эти годы. Однако в Apple отметили, что Neural Engine основан на нейронных сетях и используется для работы Face ID, элементов дополненной реальности вроде AniMoji и Memodji и других ресурсоемких задач. Оказалось, что для выполнения некоторых процессов вовсе не нужно использовать основное вычислительное ядро или видеокарту.
Зачем нужен Neural Engine
Первоначальной фишкой, для которой использовался Neural Engine, конечно же, был Face ID: за счет сопроцессора система строила систему точек лица человека для наиболее точного определения при разблокировке. Были попытки создать что-то похожее и у других производителей смартфонов на Android: получалось достаточно близко, но работало иначе (только за счет камеры) и не совсем безопасно, так как система могла элементарно разблокировать телефон даже по фотографии.
В iPhone X нейронный процессор использовался, в основном, только для работы Face ID
В дальнейшем Neural Engine приспособили и для других крутых фишек, например, для портретной съёмки, использования Siri, распознавания речи, подборке фотографий и Воспоминаний — да-да, все эти функции работают за счет нейронных сетей и машинного обучения.
Как уже говорилось выше, ни CPU, ни GPU не подходил для работы нейронных сетей. Но почему? Специфика такова, что при работе ИИ нужно производить параллельно большое количество довольно простых вычислений. С помощью Neural Engine это происходит параллельно от CPU и видеоядра, поэтому они не перегружаются лишними процессами, а заряд iPhone расходуется эффективнее.
Фишка Neural Engine еще и в том, что он работает автономно, не отправляя данные куда-то на сервера. Благодаря этому вы можете не подключаться к Интернету, а Face ID, ночная съёмка, подборки с фотографиями, размытие фона и другие функции продолжают работать офлайн.
Естественно, что Apple регулярно обновляет iOS с оглядкой на нейронные сети, поэтому при выборе iPhone важно ориентироваться не только на количество ядер CPU и GPU, но и Neural Engine — за счет него львиная доля повседневных функций, которыми вы пользуетесь, будет работать намного быстрее.
Искусственный интеллект в Айфоне
Появление нейронного сопроцессора — очередной тренд, который задала Apple. С тех пор в каждом мобильном чипе есть собственный движок, отвечающий за вычисления, поэтому в 2022 году ничуть не удивляет, что в дешевом Android-флагмане есть какая-нибудь «улучшалка» фотографий с помощью ИИ.
Между прочим, даже Neural Engine в A16 Bionic — далеко не самый шустрый на рынке: даже в Snapdragon 8+ Gen 1 встроен нейронный сопроцессор Hexagon, который способен выполнять до 27 триллионов операций в секунду, тогда как последний Neural Engine — лишь до 17 триллионов.
Neural Engine есть даже в M1 — он используется ровно для тех же задач, что и в iPhone
Одним из главных преследователей нейронного процессора Apple является разработка Google — Next-gen Tensor Processing Unit, который входит в фирменный чип Tensor G2. В частности, именно благодаря ему смартфоны Pixel имеют крутые функции, которых никогда не будет в iPhone.
Как говорилось выше, поначалу набор функций Neural Engine был довольно скудным, а ИИ использовался лишь для встроенных приложений. Однако сейчас его могут задействовать для своей работы и сторонние производители ПО: например, для идентификации голоса, распознавания лиц, изображений и многого другого.
В iOS 16 сделан огромный упор на использование нейросетей: в системе есть огромное количество функций, которые работают за счет искусственного интеллекта. Распознавание текста на фото и видео, возможность ровно вырезать объект со снимка, настроить эффект глубины на обоях экрана блокировки — для всего нужен Neural Engine.
Для чего в процессорах Apple нужны нейроядра Neural Engine. Третья сила магии iPhone
В закладки
Начиная с iPhone X, ко всем своим чипам серии A Apple добавляет приставку Bionic. Природная натура этого слова подкрепляется особенным модулем внутри процессора, который называется Neural Engine.
Он состоит из вычислительных блоков, которые помогают iPhone решать задачи, связанные с контекстом.
Перед Neural Engine не стоит задача решить уравнение или отобразить изображение. Это гораздо более тонкая технология, без которой наши смартфоны оставались бы скучными и не умели узнавать нас в лицо.
Ниже расскажу, почему Apple хвалится развитием этого элемента в своих чипах с такой же частотой, как с CPU и GPU. Объясню, зачем именно нужен Neural Engine в том числе в MacBook. А ещё проследим, как нейроядра внутри iPhone стали третьей необходимой силой после вычисления и графики.
Как устроены чипы. CPU и GPU на ПК отдельно, у мобильных вместе
В большинстве ПК, особенно домашних, установлены два главных чипа: CPU и GPU. Они физически находятся в разных частях системного блока и в большинстве случаев созданы разными производителями.
CPU расшифровывается как Central Processing Unit и переводится «центральное вычислительное устройство».
Отвечает за сложные и параллельные вычисления инструкций. Без него компьютер не заработает.
GPU расшифровывается как Graphic Processing Unit и переводится «графическое вычислительное устройство».
Формирует и выводит на монитор визуальную информацию, красиво отображает вычисления процессора и его ОС (операционной системы).
Иногда GPU встраивают прямо в CPU, такой элемент слабее и чаще всего служит временной заменой, чтобы вы видели происходящие внутри компьютера размышления, пока ищете замену дискретной видеокарте. Такие поставляются отдельными модулями.
В компактных устройствах железо работает не только на выдачу мощного результата, но и на сохранение энергии. Важно, чтобы устройство не перегрелось из-за избытка тепла от большой вычислительной нагрузки.
Тут встроенная в CPU графика уже главная, дополнительные процессоры, как правило, либо обрезаны в мощности, либо полноценно работают только при подключении к сети. В смартфонах и планшетах дискретного модуля GPU в принципе не бывает.
Единственный управляющий чип становится чем-то больше обычного CPU. Он превращается в комплексную систему.
И Apple уже добилась в этом лидирующей позиции, поэтому стала интегрировать в процессоры новый тип вычислительных транзисторов.
Есть CPU, есть GPU, а есть Neural Engine
История началась с процессоров для iPhone, в которые постепенно интегрировались новые элементы. Например, Neural Engine. Он ускоряет умные фишки камеры, помогает лучше анализировать голос для Siri и быстрее распознавать людей на ваших фотографиях.
Чуть позже тем же подходом Apple сделала комплексный чип M1 для своих Mac. Внутри него этих ядер ещё больше, и они ежедневно помогают решать те же задачи, что и в iPhone.
В потребительских устройствах для этих целей отдельный чип не ставили, но за ним постепенно закрепляется похожее название.
NPU расшифровывается как Neural Processing Unit и пока никак общепринято не переводится на русский.
Термин постепенно входит в употребление, но каждый производитель называет его по-своему. Будем опираться на формировку Apple, которая звучит как Neural Engine или «Нейронный процессор».
Он ускоряет распознавание речи, выявление фигур людей и конкретных личностей, точное определение пород кошек или видов цветов, отслеживание объектов в реальном времени и быстро решает операции, заточенные на интеллектуальное распознавание одного среди множества .
Должно соблюдаться условие: система, которую будут запускать на таком типе процессора, должна быть сначала натренирована на других примерах.
Первый Neural Engine использовали исключительно для Face ID
Apple полностью контролирует производство своих процессоров начиная с iPhone 4 и чипа внутри него A4, которые вышли в 2010 году.
Компания среди первых начала внедрять новые технологии в чипы на мобильных устройствах. Например, переход на 64-битную разрядную систему, интеграцию сопроцессора движения и фотографии, использование минимальных техпроцессов (7 нм, 5 нм).
Ключевым стал 2017 год, когда вышел iPhone X. На его презентации впервые пошла речь о небольшом нейросетевом модуле внутри чипа A11, который Apple впервые и до сих пор называет с приставкой Bionic.
Тогда этому маленькому блоку внутри чипа уделили каплю внимания, чтобы рассказать, как он юрко отличает настоящее лицо от искусственной копии в виде театральной маски. Мы узнали о Neural Engine только то, что он способен обучаться по внешнему виду пользователя, и на этом всё.
С каждым новым поколением NPU значительно развивали и обучали новым возможностям.
В 2021 году он помогает искать определённых людей и создавать воспоминания в приложении Фото, анализировать 40 мимических лиц в реальном времени и создавать Киноэффект в iPhone 13.
Эволюция оказалась впечатляющей.
Как развивался Neural Engine в iPhone
Каждая презентация Apple не обходится без упоминания сопроцессора и без указания, насколько выросла его производительность.
Ниже будет полный список iPhone начиная с 2017 года, с описанием возможностей, которые добавляла компания вместе с улучшением Neural Engine и его ядер.
iPhone X
В чипе A11 внутри iPhone X технология появилась первые.
Два ядра, которые служили исключительно для того, чтобы корректно распознавать лица.
Производительность: 600 миллиардов операций в секунду.
iPhone XS и iPhone XR
В A12 внутри iPhone XS и iPhone XR поставили 8 нейроядер, к которым добавили машинное обучение в других приложениях кроме Face ID и «умную вычислительную систему».
Эта система распознаёт тип задачи, поступающей в процессор, и решает, на каких блоках её обрабатывать: в Neural Engine, CPU или GPU.
Машинное обучение улучшило:
• Предложения слов в клавиатуре
• Подборку фотографий в Воспоминаниях
• Вывод полезных мест в Картах
• Адаптацию экрана True Tone
• Поиск снимков в Фото.
А ещё Neural Engine второго поколения позволил выполнять машинное обучение в реальном времени .
Это было нужно для портретного режима с одной камерой на iPhone XR и для AR-эффектов камеры. Например, чтобы накладывать сценический свет или отслеживать движение 50-ти мышц лица во время звонка по Face Time.
Именно благодаря обучению «на ходу» режим портрета из iOS 15 в Face Time доступен на смартфонах с процессором A12 Bionic и новее.
Производительность: 5 триллионов операций в секунду.
iPhone 11 и iPhone 11 Pro
В A13 внутри iPhone 11 установлен Neural Engine снова из 8 ядер.
Тогда блоку повысили мощность на 20% и снизили потребление на 15% за счёт выборочной подачи энергии на разные области A13.
Вместе с машинным обучением NPU улучшил распознавание речи и стал быстрее справляться с трекингом лицевой мимики в реальном времени.
В этот раз в CPU добавили блоки для ускорения машинного обучения, которые стали в 8 раз быстрее проводить матричные вычисления. Вероятно, именно они дали ускорение нейроядрам.
Производительность: 6 триллионов операций в секунду.
iPhone 12 и iPhone 12 Pro
В A14 из iPhone 12 Neural Engine стал в два раза больше и состоял из 16 ядер.
NPU стал на 80% быстрее того, который был установлен в A13.
Эти улучшения помогли внедрить Deep Fusion во все камеры iPhone, включая фронтальную и сверхширокоугольную. Последняя, несмотря на то, что физически была идентична прошлому поколению, стала снимать более чёткие фотографии.
Этот же NPU установлен во все чипы серии M1 от Apple для Mac.
Производительность: 11 триллионов операций в секунду.
iPhone 13 и iPhone 13 Pro
В A15 из iPhone 13 Neural Engine остался с теми же 16 ядрами. Но они стали заметно мощнее. Даже в новых M1 Pro и M1 Max такого нет.
На этой презентации Apple напомнила, что установленные в Neural Engine элементы для машинного обучения работают эффективно за счёт блоков их ускорения в разделе CPU.
На данный момент это самый мощный NPU среди продуктов Apple. Главной его возможностью стала запись видео с глубоким размытием. Режим в приложении Камера в любом из iPhone 13 называется Киноэффект.
Ещё он помогает Siri распознавать диктовку и корректировать навигатор внутри Apple Maps, делать трекинг предметов в реальном времени, распознавать виды растений и ускорять перевод текста с фотографии в письменный.
Производительность: 15,8 триллионов операций в секунду.
В чём ещё помогает Neural Engine в смартфонах
Многие считают Siri отстающей в развитии по сравнению с другими ассистентами, но на самом деле за этой технологией стоят сложные процессы.
Раньше, когда вы задавали вопрос «Скажи курс доллара к рублю», смартфон записывал данные и отправлял их на сервер с сопроводительными данными вроде обладателя голоса, местоположения, времени суток, чтобы было проще сформулировать ответ. Позже ответ обрабатывался и отправлялся обратно.
Сейчас нейросетевой чип в смартфоне берёт обработку натуральной голосовой модели на себя. Он в реальном времени превращает речь в запрос сам, и в некоторых ситуациях берёт на себя его полную обработку. Он сам понимает, что пользователь хочет узнать и сам же формирует сценарий, по которому будет отвечать.
Например, если вы попросите смартфон сделать сложные расчёты, он справится с ними намного быстрее, чем раньше, потому что сделает это без отправки на сервера. А расчёт начнёт до того, как вы закончите говорить.
Своими рассчётами Neural Engine приближает смартфон к граничным вычислениям . Это метод сложных распределительных вычислений, когда источник информации и вычислительные мощности для их сетевой обработки находятся как можно ближе друг к другу, чтобы ускорить выдачу результата.
Зачем Neural Engine в Mac
Огромный кусок главных функций M1 занимает Neural Engine в правом верхнем углу
Apple постепенно переводит компьютеры Mac на свои процессоры. Год назад, в ноябре 2020-го представили чип M1, в октябре 2021-го к ним добавились M1 Pro и M1 Max.
Несмотря на разницу в производительности CPU и GPU, в каждом из них установлен один и тот же NPU из 16 ядер с мощностью 11 триллионов операций в секунду. То есть он дублирует таковой из A14 внутри iPhone 12.
Выделенные нейроядра в Mac ускоряют процессы в работе профессионалов, завязанные на машинном обучении.
Фотографы могут применить их в Pixelmator Pro, который увеличивает разрешение изображения с помощью процессов машинного обучения, которые активирует Neural Engine.
Видеографы могут использовать функцию умного отслеживания объектов в Final Cut Pro X, чтобы быстрее обрезать видео.
Для разработчиков, учёных и инженеров в их специализированных расчётах и преобразованиях данных, постановки виртуальных экспериментов он тоже будет полезен.
Например, на базе машинного обучения работает платформа TensorFlow. Она помогает внедрять в приложения такие технологии, как распознавание жестов, понимание контекста в естественных вопросах, перенос стиля одного изображения на другое. Чем быстрее будет железо, сделанное для него, тем лучше заработают эти функции.
Часть iPhone, которая делает его iPhone
Apple не устаёт повторять, что её сильная сторона кроется в трепетной связке ПО и железа.
Компания внедряет в свои смартфоны всё больше функций, которые полагаются на заточенные под них ядра. Среди них процессор обработки фото, управления дисплеем, портами и Neural Engine.
«Нейронный движок» помогает смартфону на лету понимать речь, подбирать трогательные Фото в виджете на рабочем столе и выдавать релевантные Воспоминания, отслеживать объекты в кадре Smart HDR, режима портрета и Киноэффекта.
Neural Engine формирует быструю и корректную выдачу данных в Spotlight, распознаёт текст из Камеры, может различать разные виде растений и породы собак.
И в целом он превращает смартфон в устройство, которое с каждым поколением всё лучше распознаёт контекст запроса без подключения к интернету.
Это одна из самых сильных вычислительных сторон iPhone помимо CPU и GPU. И она развивается сумасшедшими темпами из года в год.
Сложно предсказать, на что нейроядра будут способны через 10 лет. Но пока они выполняют свою работу бесшовно и незаметно для пользователя, Apple всё ещё может называть эту технологию магией.
В закладки
О технологии Neural Engine в чипах Apple А и M серии
Приставка «Bionic» к названию процессоров появилось не просто так. На кристалле стал размещаться еще один процессор, который маркетинг Apple назвала «нейронным движком» (Neural Engine).
- 1. Для чего нужен Neural Engine
- 2. Первое поколение
- 3. Второе поколение
- 4. Третье поколение
- 5. Четвертое поколение
- 6. Пятое поколение
Он основан на нейронных сетях, которым еще лет 20 назад пророчили лидирующую роль в вычислительной технике.
Позже на помощь Neural Engine пришли блоки AMX, но об этом ниже.
Для чего нужен Neural Engine
Отдельный процессор NPU значительно ускоряет работу таких ресурсоёмких задач как: дополненная реальность (поддерживаемая фреймворком Apple ARKit), машинное обучение и построение нейронных сетей (поддерживаемые фреймворком Apple Core ML).
Технология позволяет Apple реализовать нейронную сеть и машинное обучение более энергоэффективным способом, чем использование основного или графического процессора. CPU и GPU не предназначены для работы с ИИ.
- Используется в камерах iPhone для обработки изображений в самом высоком разрешении и с максимальной плавностью, а также в отделении фона в устройствах с одной камерой;
- При подборке воспоминаний в приложении Фото;
- При распознавании лиц, как и для Face ID, так и в приложениях;
- В дополненной реальности, Apple ARKit;
- В предиктивной клавиатуре устройства;
- При использовании Siri;
- Распознавая речь или музыку;
- В съемке в режиме Киноэффект.
Первое поколение
Впервые нейронный процессор появился в Apple A11 Bionic. Предыдущий чип Apple A10 имел приставку Fusion.
- Apple A11 Bionic.
Это первое поколение Neural Engine, которое было встроено чип Apple. В него установлено 2 ядра и оно может выполнять до 600 миллиардов операций в секунду. Появившемуся Face ID он был необходим.
Сторонние приложения не могут использовать нейронный движок этого поколения, что приводит к аналогичной производительности нейронной сети для старых iPhone.
Второе поколение
Следующее поколение сделало достаточно большой рывок по сравнению с предыдущим.
Процессор Apple A12
Процессор Apple A12X
- Apple A12 Bionic;
- Apple A12X Bionic;
- Apple A12Z Bionic.
Вторая версия включает в себя “нейронный движок» следующего поколения, который установлен сразу в трех чипах компании Apple.
Это поколение имеет целых 8 ядер и может выполнять до 5 триллионов операций в секунду, что до 9 раз быстрее по сравнению с Apple A11.
Нейронный процессор очень пригодился iPhone XR с его одной основной камерой для портретного режима.
В отличие от Neural Engine 1-го поколения, 2-ое поколение предоставляет доступ для сторонних приложений.
Третье поколение
Третье поколение не сильно продвинулось по сравнению со вторым, но улучшения есть.
- Apple A13 Bionic.
Следующий процессор Apple A-серии также включает в себя Neural Engine нового поколения.
Имеет 8 ядер, как и ранее, которые стали на 20% быстрее и на 15% меньше потребляют энергию. Производительность доходит до 6 триллионов операций в секунду.
Apple добавила в 3 – е поколении специальный ускоритель — блоки AMX. Они ориентированы на выполнение ключевых задач машинного обучения.
Присутствует доступ для сторонних приложений.
Четвертое поколение
Это поколение стало первым для Mac. Neural Engine этого поколения стал сильно лучше в задачах с использованием ИИ.
- Apple A14 Bionic;
- Apple M1; ; .
Четвертая версия содержит в себе нейронный процессор более нового поколения.
В нем установлено 16 ядер, больше чем ранее в целых два раза. Они выполняют до 11 триллионов операций за 1 секунду, что по утверждениям Apple на 80% быстрее.
В этом поколении нейронный процессор пригодился для функции Deep Fusion для всех камер iPhone 12.
В чипах использующих это поколение, как и в A13, установлен специальный ускоритель — блоки AMX. Они ориентированы на выполнение ключевых задач машинного обучения.
Присутствует доступ для сторонних приложений.
Пятое поколение
Следующее обновление Neural Engine снова не стало большим, после серьезного его улучшения в A14 Bionic, но прирост есть.
- Apple A15 Bionic; .
Следующие чипы Apple A-серии и M-серии также включает в себя Neural Engine нового поколения.
В нем установлено как и ранее 16 ядер, здесь ничего нового. Они способны выполнять до 15.8 триллионов операций за 1 секунду, что существенно больше по сравнению с предыдущим поколением.
Новый режим Киноэффект в iPhone 13 активно использует нейронный процессор.
В чипах использующих это поколение, как и в A13, установлен специальный ускоритель — блоки AMX. Они ориентированы на выполнение ключевых задач машинного обучения.
What is Apple Neural Engine and why it’s important
Artificial intelligence and machine learning are slowly taking over the world. The applications are numerous. From energy optimization in data centers to taking better pictures, the artificial intelligence of today is the electricity of tomorrow.
The most exciting progress is happening in the artificial neural network field. Artificial neural network algorithms try to imitate the human brain. But computers don’t work like the brain, we have to build specialized hardware for it.
Nvidia has a graphic card series specialized in parallel computation while Google has done something similar with their TPUs.
In 2017, Apple released the A11 chip that has a “Neural Engine”. The Neural Engine helps to use neural networks and machine learning in a more energy-efficient manner. This has a tremendous advantage over using a CPU or a GPU (graphic card).
What is Apple Neural Engine?
A Neural Engine is hardware, a piece of metal, that is responsible for accelerating and optimizing machine learning and neural network tasks for speed and energy efficiency.
It can be used to accelerate video analysis, voice recognition, and image processing. It should be also great to run machine learning models that have been trained previously.
Can third-party apps use the neural engine?
At first, the neural engine was used for Apple’s internal applications like face id and animated emojis (Animoji). Apple has mentioned that third-party apps could use the neural engine but initially, this technology was mainly used for Apple’s proprietary applications.
Core ML, an apple framework for machine learning, can now support the use of Neural Engine when possible.
Is Apple Neural Engine faster than the GPU and CPU?
Yes! It is faster and more energy-efficient. But the real advantage is in a further separation of concerns.
Using the Apple Neural Engine on resource-intensive tasks, like real-time video analysis, will leave the iPhone cold and responsive. Additionally, the battery won’t be drained as quickly as using the GPU or…