Depth camera что это

Зачем нужен датчик глубины в смартфоне, кроме съемки портретов?

Обычно, когда упоминают, что у смартфона есть датчик глубины (ToF), подразумевается, что он нужен для размытия фона при фотосъемке. Но на самом деле у него есть еще несколько функций, о которых далеко не все знают.

Мы уже подробно рассказывали, как работает датчик измерения глубины? в том числе при съемке портретов: он замеряет время, которое свет тратит, чтобы отразиться от объекта, и вычисляет расстояние до последнего.

Да, нельзя просто взять и включить датчик глубины для каких-то целей, но программные алгоритмы используют его не только для размытия фона. Вот еще несколько сценариев его применения:

• Измерение расстояния. У некоторых смартфонов есть уже встроенные приложения с виртуальной рулеткой, а иногда их можно установить из магазина приложений. Суть одна — при помощи датчика измерения глубины (и камеры) они помогают измерить размеры реальных предметов в пространстве. При хорошем освещении замеры довольно точные.
• Некоторые смартфоны используют ToF-датчик для распознавания жестов, хотя эта функция и не очень распространена.
• Создание 3D-моделей. В настоящее время нам уже предлагают Animoji и аналоги, которые с помощью ToF-камеры повторяют ваше выражение лица. Кстати, продвинутые модели смартфонов используют датчик глубины для распознавания лица при разблокировке.
• Дополненная реальность тоже задействует датчики ToF, и это направление сейчас активно развивается — игр и приложений на основе AR становится все больше. И именно камера глубины позволяет в полной мере ощутить все прелести дополненной реальности.
• Для смартфонов существуют приложения, имитирующие камеру ночного видения — и это тоже благодаря датчику ToF. Все дело в том, что он использует инфракрасный свет и может создать точную карту окружения, в отличие от обычной ИК-камеры.
• Иногда ToF-камера используется в качестве датчика приближения (например, именно он отвечает за блокировку дисплея во время телефонного разговора) — она работает точнее обычного ИК-датчика.

Но все-таки будьте внимательны. Не всегда в смартфонах используется настоящий ToF-датчик: производители могут красиво рассказывать о «сенсоре глубины», но на деле из экономии просто комплектуют свои аппараты сомнительными датчиками разрешением 2 Мп. В таком случае для размытия фона (прямо скажем, не очень точного) алгоритм задействует дополнительную широкоугольную камеру.

Камеры глубины. Обзор устройств.

В этой заметке мы разберемся, какие устройства для 3D сканирования доступны рядовому пользователю, и на что способны мобильные камеры глубины. Обзор инструментов, подходящих для сканирования помещений.

Часть 1 \ Часть 2

Есть отрасли, где геометрия объекта и понимание того, насколько далеко объекты расположены от зрителя и относительно друг друга, играет ключевую роль: протезирование, инженерия, связанные с проектированием деталей задачи, беспилотные автомобили и даже криминалистика — сканирование места преступлений. Для маркетинга и мультимедиа представление объектов в 3D расширяет границы возможностей — пример тому набравшие популярность 3D туры по музеям, оцифровка экспонатов и достопримечательностей.

При сканировании, модель и сцены создаются не художником или конструктором, а берутся из реального окружения. С помощью устройства, снабженного различными камерами и датчиками, физические свойства объекта или пространства (форма, цвет) переносятся в цифровую среду. Отсканированные модели можно использовать как основу для дальнейшей доработки или другого анализа, в том числе семантического. Такой подход будет экономить время и деньги, а силы специалистов в результате можно будет направить на решение более творческих задач — все это ведет к автоматизации, к которой мы все так стремимся.

Описание задачи

Перед нами стояла задача — быстрое и качественное сканирование помещений. Необходимо:

— иметь возможность зайти в помещение и быстро, не более чем за пару минут, получить 3D модель комнаты;

— осуществить доступ к полученной 3D модели для редактирования и отображения каких-либо данных, связанных с объектами внутри комнаты.

Задача не новая, но для нас был особенно важен следующий ее аспект — как добиться цели, не приобретая дорогой производственный 3D cканер, с наилучшим соотношением цены и качества?

Для того, чтобы построить 3D модель, нам необходимо как-то получить карту глубины. То есть помимо цветной картинки с обычной камеры, нам понадобится камера глубины, благодаря которой каждому пикселю изображения будет ставиться в соответствие число — расстояние до этого пикселя.

Чтобы получить 3D модель, необходимо провести множество сканирований с разных сторон, а затем привести результаты к общей системе координат (сделать выравнивание).

Подробно про получение данных с камер, механизм сопоставления кадров, совмещение значений цвета и глубины, а также про другие нюансы при построении непосредственно 3D модели, вы сможете прочитать во второй части статьи.

А сейчас разберемся с тем, откуда брать глубину, какие технологии и устройства доступны сейчас на рынке.

Направления развития depth камер

Основные направления развития камер глубины, с обзором принципа их работы и современного применения, хорошо описаны тут. Поэтому не будем повторяться, лишь перечислим устройства, использующие наиболее активно развивающиеся технологии датчиков глубины.

Очевидно, что RGB-D камеры становятся важной частью современного рынка устройств. Есть даже приложение в Google Play для 3D сканирования.

Structured Light камеры

Structured Light камеры основаны на сканировании структурированным светом — с помощью проектора (обычно инфракрасного) формируется проекция световой сетки на объекте, и с помощью камеры фиксируются искажения сетки.

Примеры устройств:

• Компания Apple внедрила RGB-D камеру во фронтальную камеру iPhone и iPad Pro и назвала их TrueDepth. Камера обладает небольшим разрешением, и использовать её для полноценного сканирования пока нельзя, но уже можно применять в некоторых других задачах.

• Модель Huawei Mate 20 Pro обладает похожей системой, как iPhone. Камера также используется для распознавания лиц и не подходит для полноценного сканирования помещений, но может быть использована для сканирования небольших объектов.

Time of Flight камеры (ToF)

ToF основаны на измерении времени отклика лучей от поверхности объекта.

Примеры устройств:

• Huawei P30 Pro.

• Honor View 20.

• Samsung Galaxy Note 10+.

. . Более подробно про TOF камеры от Samsung. . Аналогично устройствам от Apple, используется для разблокировки телефона. Не очень подходит для задачи сканирования помещений. , у которого RGB камера (3) дополнена ToF камерой глубины (1).

• Совсем недавно на рынке появился бюджетный и компактный ToF лидар Intel RealSense LiDAR Camera L515

Depth from Stereo камеры

Depth from Stereo камеры схожи с принципом работы стереоскопического зрения человека — на основании различия в снимках двух камер, направленных в одном направлении, определяется расстояние до каждой точки изображения.
Примеры устройств:

и ZED mini от Stereolabs работают на основе стереопары.

• Смартфоны с двойной (тройной, четверной и т.д.) камерой сейчас производит практически каждый бренд.

С помощью стереоскопии на смартфоне не удастся сканировать помещения, но можно заметно увеличивать качество фотографий и менять глубину резкости, благодаря возможности выделения объектов на переднем плане.

• Камеры Intel RealSence оснащены инфракрасной стереокамерой и RGB камерой.

Light Field камеры

С помощью массива микролинз, расположенных перед сенсором камеры, в каждой точке фиксируется двумерный массив световых лучей, в результате чего получается четырехмерный кадр. Подробнее можно прочитать здесь. Мы не будем останавливаться на этой технологии, так как на данный момент из мобильных устройств она применяется только в Google Pixel 2, для выделения объектов на переднем плане и получения стереофото.

Обзорная таблица рассмотренных устройств

Мы сделали таблицу по рассмотренным камерам глубины, которая заполнялась в ходе экспериментов и изучения технических спецификаций устройств.

В таблицу входят некоторые устройства, которые не удалось протестировать или узнать достаточно характеристик, чтобы включить в обзор: Matterport Pro2 3D Cammera, Leica Geosystems BLK360, THE DPI-8S HANDHELD 3D SCANNER. “Нет информации” в ячейках означает, что в открытых источниках информация по этому пункту недостаточно полная.

Далее мы рассмотрим каждое устройство более подробно.

Обзор камер глубины

В наш обзор войдут устройства, оснащенные камерой для получения цвета, и камерой глубины, которые будут давать возможность в риал-тайм получать облако точек (point cloud) или полигональную модель с расстояния 1–4 метра в движении.

Для дальнейшей работы нам так же необходимо выбрать SDK или приложение для выгрузки полученной модели. На основании этих требований для ряда устройств, рассмотрим следующие характеристики:

• Стоимость
• Возможности SDK (получение облака точек, готовые реализации сканирования)
• Ограничение по дальности сканирования
• Максимальное разрешение depth сенсора
• Наличие ИК передатчика-приёмника (наличие камер чувствительных к инфракрасному свету и инфракрасный излучатель), чувствительность к освещению
• Возможность модификации используемых в SDK алгоритмов

Мы отдельно обращаем внимание на наличие инфракрасного передатчика-приемника —качество построения облака точек на устройствах без этого датчика сильно зависит от качества освещения сканируемого помещения.

Хотелось бы обратить внимание на то, что выбор 3D редактора, алгоритмов постобработки и анализа сцены (например, для автоматической расстановки меток с дополнительной информацией или для выделения плоскостей стен и пола) — это тоже отдельная и важная задача, которую мы не затрагиваем в этой статье.

Внимание! Указанные цены и сравнение результатов сканирования актуальны на момент написания статьи.

Structure Sensor by Occipital

От 399$. Цена зависит от комплектации.

• Рекомендуемый диапазон сканирования — не ближе 40 см, не дальше 3.5 метра (см. спецификацию).
• Максимальное разрешение 640×480.
• Есть ИК передатчик-приёмник, получает хорошие depth кадры при плохом освещении. Structure Sensor не предназначен для сканирования в уличных условиях.
• Есть возможность модифицировать алгоритмы, доступные в исходных кодах Occipital SDK. Нет доступа к исходным кодам Canvas (продуктовое решение).

Сам сенсор не имеет встроенной RGB камеры. Он использует камеру устройства.

Программное обеспечение

Canvas by occipital — продуктовое решение от Оccipital, позволяет сканировать помещения и получать меш без текстур (получение облака точек не предусмотрено).

• Модель можно отправить по почте в формате obj. Для получения текстурированной модели предлагается постобработка на внешних серверах.
• Качество меша — наилучшее среди рассматриваемых решений.
• Хорошее качество трекинга, сканирует быстро.
• Возможности сканирования ограничены оперативной памятью устройства.
• По большей части подходит для сканирования небольших помещений.
• Само приложение бесплатное. Есть внутренние платные предложения по обработке скана и его оптимизации.

Occipital SDK доступно при покупке structure sensor. Дает доступ к высокоуровневому SLAM алгоритму, который строит 3D сцену.

• В самом SDK нет готовых функций или достаточно простого способа получить облако точек — это нужно реализовывать самостоятельно.
• На наш взгляд, качество сканирования хуже, чем у Сanvas, хотя сенсор один и тот же.
• Достаточно хорошее качество трекинга, сканирует быстро.
• Есть ограничение пространства при использовании дефолтных настроек (нативно 10m x 6m x 10m) на тестовом приложении из SDK Room Capture.

Intel RealSense D435

Согласно характеристикам сенсора:

• Для модели D435 рекомендуемый диапазон: не менее 10 см, не более 10 м (на практике лучше не более 4–5м).
• Максимальное разрешение 1280×720.
• Есть ИК передатчик-приёмник, получает хорошие depth кадры при плохом освещении.
• Есть возможность модифицировать алгоритмы, доступные в исходных кодах Realsence SDK 2.0.

Программное обеспечение

В RealSense SDK 2.0 есть возможности для работы с RGB и depth кадрами. SDK открыто.

• Есть возможность получения облака точек с текущего depth кадра, но готовое решение для сканирования помещений в SDK не предусмотрено.
• Размер сканируемого пространства ограничен объёмом оперативной памяти устройства.

ZED mini

• Рекомендуемый диапазон: минимальный 15 см, максимально заявленный 12м (на практике — лучше до 4–5 метров).
• Максимальное разрешение 2K.
• Нет ИК передатчика-приёмника. При использовании в плохо освещенном помещении качество падает. Хорошо подходит для сканирования в уличных условиях.
• Есть встроенный гироскоп и акселерометр.
• Нет возможности модифицировать используемые в ZED SDK алгоритмы.

Программное обеспечение

ZED SDK от Stereolabs дает доступ к широким возможностям по работе как с самими камерами, так и с различными алгоритмами обработки. В частности, реализован алгоритм построения 3D сцены, предусмотрены методы для получения облака точек и текстурированного меша.

Мы тестировали SDK, используя имеющуюся камеру ZED mini и тестовое приложение для 3D сканирования, написанное разработчиками SDK для С++. Результаты сканирования получились неудовлетворительными:

• Меш и облако точек получаются довольно бесформенными при сканировании сложного окружения.
• Заметны геометрические искажения.
• В меше присутствуют дырки, а облако точек получается слишком разрезанным, даже с настройкой для высокой плотности.

Такие результаты, по всей видимости, связаны с отсутствием ИК модуля на самом устройстве — информация о глубине со стереокамер выходит весьма условной. Такое решение подойдет скорее для сканирования относительно простых сред, например, фасадов домов.

Устройство сканирует медленнее, чем решения от Occipital, иногда теряет сцену, после чего уже довольно сложно продолжать сканирование. При резких движениях можно потерять позицию. Размер сканируемого пространства ограничен объёмом оперативной памяти устройства.

Нет доступа к исходным кодам SDK.

Lenovo Phab2 Pro (project Tango)

• Есть ИК передатчик-приёмник.
• Есть возможность модифицировать алгоритмы, доступные в исходных кодах SDK.

Программное обеспечение

RTAB-Map — SDK и автономное приложение, которое можно использовать в построении 3D скана помещения. Полностью открытый код. Можно выбирать SLAM алгоритмы, множество настроек.

• Позволяет сканировать большие помещения.
• Используется визуальная одометрия для отслеживания перемещения камеры. Из каждого кадра RGB изображения извлекаются признаки для определения смещения.
• Есть возможность оптимизации итогового скана и его фильтрации в приложении, при экспорте в распространённые форматы. Итоговые сканы без фильтрации могут занимать достаточно большой объём на жёстком диске.

Приложение возможно использовать на устройствах project Tango. Тестировали RTAB-Map Tango на Lenovo Phab 2 Pro.

• Качество сканирования и трекинга хорошее, так как используются датчики с устройства, работает плавно, позиция не теряется.
• Размер сканируемого пространства ограничен объёмом оперативной памяти устройства.

На Lenovo Phab 2 Pro удалось просканировать довольно большое помещение (

150 м²). Так же существует возможность склеить отсканированные на мобильном устройстве части помещения через RTAB-Map на компьютере, но требуется соблюдать предложенные рекомендации по сканированию.

К сожалению, в нашем распоряжении не было всех устройств, заслуживающих внимания. Выше мы описали результаты сканирования на основе наших собственных тестов, с имеющихся в распоряжении камер. Ниже перечислим ещё несколько устройств, потенциально пригодных для решения нашей задачи, исходя из примеров с сайтов производителей, технической спецификации и документации.

Structure Sensor Mark II

От 419$ (для iPad Pro)

Улучшенная версия Structure Sensor.

• Рекомендуемый диапазон: не ближе 30 см, не дальше 5 метра. (см. спецификацию).
• Максимальное разрешение 1280×960
• Есть ИК передатчик-приёмник, получает хорошие depth кадры при плохом освещении. Согласно официальной спецификации, Structure Sensor Mark II можно использовать на улице.
• Есть встроенный гироскоп и акселерометр.
• Есть возможность модифицировать алгоритмы, доступные в исходных кодах Occipital SDK. Нет доступа к исходным кодам Canvas (продуктовое решение).

Программное обеспечение

Используются те же SDK, что и для Structure Sensor.

Azure Kinect

• 0.25–5 м. Ограничения по расстоянию разные, и зависят от режима работы.
• Максимальное разрешение 1024×1024.
• Есть ИК передатчик-приёмник.
• Имеется акселерометр, гироскоп, микрофон.
• Базовая часть SDK доступна для модификации. Некоторые дополнения распространяются в виде скомпилированных файлов.

Программное обеспечение

Неизвестно, будет ли в Azure Kinect Sensor SDK решение для сканирования помещений. Согласно описанию, есть возможность использовать инструменты Azure. Примеры отсутствуют, но в SDK есть функционал получения облака точек каждого кадра. Исходный код открыт.

Заключение

Из обзора можно сделать вывод, что при использовании дешевых открытых решений, качество сканирования в основном оставляет желать лучшего — для его проведения требуется соблюдение особых условий (объем сканирования, условия освещения) или доработка алгоритмов. Например, доработав алгоритм позиционирования с помощью RTAB-Map в Occipital SDK, теоретически можно добиться такого же качества, что и в закрытом решении Сanvas для того же устройства. Нам показалось, что этот вариант даст наилучший результат.

Если вы не хотите тратить время и силы на переписывание исходных кодов под свои задачи, и в приоритете использование готового решения, то Lenovo Phab 2 Pro + RTAB-Map — приемлемый вариант. Хоть Project Tango это уже давно закрытый проект, качество скана в процессе тестирования у нас получилось лучше, чем во многих других современных решениях из нашего обзора. А если сделать связку с какой-либо современной моделью телефона и RTAB-Map, качество может получиться еще лучше, но будет необходим разбор вопроса с интеграцией RTAB-Map.

В заключении хотелось бы еще раз отметить, что помимо сканирования объектов и помещений, камеры глубины активно используются в AR, распознавании жестов, распознавании лица, построении скелетной анимации. Если вам интересно почитать про другие кейсы использования устройств—ознакомьтесь с нашей статьей о создании 2.5D видео (ссылка будет добавлена немного позже).

Надеемся, что наш материал помог вам справиться с поставленной задачей! Будем рады получить фидбек или вопросы по проведенным вами экспериментами 🙂

Машинное зрение и 3D-камеры глубины

Способы получения 3D-изображений в двумерном формате на основе нескольких базовых технологий и применении камер машинного зрения известны уже достаточно давно и традиционно использовались в научной и военной сферах. Но современное стремительное развитие и рост аппаратных возможностей в области цифровой обработки значительно ускорили внедрение таких систем в сферу автоматизации процессов контроля и систем безопасности, в том числе и производственной.

Системы, основанные на машинном зрении, уже сейчас широко применяются в области аналитики, автоматизации и контроля, беспилотного движения, и даже в игровой индустрии. Для любого человека понятна и привычна двумерная модель отображения и передачи изображения – именно так мы видим все, что нас окружает. Однако в ряде технологических процессов и при анализе состояния объекта двумерного отображения критически недостаточно. Именно этот «недостаток» и восполняют системы машинного зрения, элементом которых и являются камеры глубины.

Где и зачем использовать камеры глубины?

Основа камер глубины заключается в определении расстояния до объектов, идентификации и распознавании положения и объема. Иными словами, в вычислении глубины сцены и объекта, при этом двумерное изображение трансформируется в трехмерное. Можно сказать, что двумерное изображение дополняется параметром глубины. При этом информация об объекте представляется не просто в единицах яркости, а параметрами «пиксель/дальность». Это камеры, которые снимают видео, в каждом пикселе которого хранится не цвет, а расстояние до объекта в точке съемки. Такое представление весьма отличается от привычного нам «зрения» бионических систем.

Варианты применения на основе технологий машинного зрения могут быть почти повсеместны: логистика, контроль качества, навигация, робототехника, точное распознавание лиц (в том числе и скрываемых), системы защиты и безопасности, системы, предотвращающие производственный травматизм, системы видеонаблюдения. Такая технология решает многие проблемы, с которыми сегодня сталкиваются традиционные 2D-устройства.

Именно сочетание данных о глубине с высоким разрешением наряду с мощными алгоритмами классификации открывает широкие перспективы и возможности использования камер глубины в перечисленных областях.

Исходя из прикладного применения, весьма условно можно выделить несколько основных технологий в развитии таких устройств:

• Time-of-flight. Камеры, основанные на измерении задержки отраженного света.
• Depth from Stereo. Камеры построения глубины из стереосенсора.
• LiDAR. Технология представляет собой активный дальномер оптического диапазона, работающий на принципе измерения задержки отраженного света.
• Structured Light. Камеры структурного света, когда есть проектор (часто инфракрасный) и камера, снимающая структурный свет проектора.
• Light Field. Камеры светового поля, или пленоптические камеры.

Рассмотрим подробнее каждую технологию.

Рис. 1. Оригинальное 2D-изображение и карта глубины

Камеры Time-of-flight

Технология 3D Time-of-Flight (ToF) основана на измерении времени задержки света. Суть метода в том, что при освещении сцены модулированным источником света можно обнаружить и измерить фазовый сдвиг между прямым освещением и отраженным светом.

Зная скорость света, длину модулируемой волны и время накопления заряда на матрице сенсора, можно с достаточной точностью вычислить разность хода лучей, а следовательно, и расстояние до объекта, от которого произошло отражение. Из известных величин легко определить, что световая волна проходит 1 мм примерно за 3,3 пикосекунды и столько же в обратном направлении до сенсора. Отсюда следующее следствие: для правильной синхронизации в ToF-камерах используются чипы с тактовой частотой не меньше 1 Ггц, что по современным меркам уже давно не является проблемой.

Чаще всего освещение осуществляется светодиодом или твердотельным лазером, работающим в ближнем инфракрасном диапазоне (

850 нм), невидимом для человеческих глаз. В реальной практике более распространена прямоугольная модуляция, так как ее легче реализовать с помощью современных цифровых преобразователей.

Датчик изображения, предназначенный для работы в том же спектре, принимает свет и преобразует фотонную энергию в электрический сигнал.

Следует отметить, что, увеличивая количество сенсоров с разным временем накопления заряда, можно существенно повысить точность измерения расстояния до объекта. При этом информация о расстоянии (глубине) слабо подвержена помехам и практически не зависит от общей освещенности сцены.

Рис. 2. Технология 3D Time-of-Flight (ToF)

Эта технология нашла широчайшее применение в промышленных роботах, системах контроля и автоматизации, для которых ToF-камеры – идеальное решение. ToF-технологии также используются в системах проектирования и построения 3D-моделей, то есть везде, где есть необходимость быстрого и точного трехмерного описания сложной поверхности, от стоматологии до сложных конструкторских разработок.

Нашлось применение ToF-камерам и в системах видеонаблюдения: независимость от внешнего освещения делает такие камеры просто незаменимыми при охране особо важных объектов. Обмануть их в темноте или прямой засветкой объектива просто невозможно, в том числе и в аналитических системах распознавания лиц или заданных объектов.

Например, оригинальное решение по применению камеры ToF нашла одна тайваньская компания, использовав времяпролетную (ToF) камеру в системах подсчета пассажиропотока. Особенностью такой системы подсчета стала легкая масштабируемость, то есть не было ограничения по количеству дверей в транспортном средстве или месте установки. При этом достигалась очень высокая точность распознавания и подсчета.

Рис. 3. Принцип действия стереокамер

Камеры Depth from Stereo

Стереоскопическое зрение – это более простая технология по отношению к ToF. Как видно из названия метода, он основан на применении двух разнесенных сенсоров, и реализация такого классического решения известна достаточно давно.

В современных стереокамерах есть существенные различия. Понятно, что для построения и оценки глубины требуются как минимум две видеокамеры, разделенные определенным расстоянием. Подобно человеческому глазу, любая точка в пространстве будет находиться в разных положениях в каждой камере. И если в системах «доцифрового» периода стереоизображение формировалось исключительно оптическим преобразованием (стереоочки), то сейчас система уже вычисляет положение этой точки в пространстве математически, используя весьма сложные алгоритмы для составления истинной карты глубины.

Основным преимуществом стереоскопических систем является то, что для них, как правило, не требуется активного освещения, то есть подсветки собственным источником света, в большинстве случаев достаточно внешнего освещения. Кроме того, солнечный свет при этом даже очень полезен, так как является естественной подсветкой во всем видимом спектре. К тому же подобные системы дешевле, потому что для сбора данных требуются только две камеры без сложного аппаратного решения, хотя для нахождения соответствующей точки и разработки трехмерного изображения может понадобиться сложный прикладной процессор. Еще один важный положительный момент заключается в том, что эти системы могут выводить для фиксации (например, для хранения данных) еще и обычные двумерные изображения с высоким разрешением.

Рис. 4. Карта глубины со стереокамеры

Основной недостаток стереокамер – требование контраста в наблюдаемой сцене. То есть, если нет явного контраста между изображениями с двух камер, расстояние не может быть рассчитано достаточно точно, например в средах с монохромным покрытием, где нет контраста между тем, что видят две камеры, и в средах с недостаточным освещением при отсутствии собственной подсветки. Очевидно, что такой метод измерения глубины эффективен только на небольших расстояниях, так как увеличение расстояния до объекта увеличивает погрешность карты. Для решения этой проблемы потребуется разносить сами камеры, что не всегда возможно. Именно поэтому производители сборных стереомодулей обязательно указывают такой важный параметр, как допустимая глубина съемки. Как уже отмечалось, глубина из стерео – самый дешевый метод, так как сами камеры недорогие. Сложность в том, что дальнейшая обработка намного более ресурсоемкая, чем при других способах.

Рис. 5. Карта глубины с кругового лазера

Рис. 6. Карта глубины, создаваемая SSL-лидаром

LiDAR-технологии

Light Detection and Ranging – это обнаружение и определение дальности с помощью света. Именно такая транслитерация определяет еще один метод построения глубины или 3D-карты.

Изначально это были уже давно известные активные лазерные дальномеры – стационарные или вращающиеся в горизонтальной плоскости. Принцип работы лидара аналогичен ToF-устройствам и заключается в замере запаздывания отраженного света с вычислением расстояния до объекта. В итоге получалось круговое изображение с хорошо просматриваемыми объектами в плоскости сканирования.

До появления твердотельных лидаров (Solidstate LiDAR) развитие этого направления шло медленно, в первую очередь из-за высокой стоимости. Новая технология лидаров не имеет подвижных частей, которые очень уязвимы при установке на транспортное средство. Как следствие, новое поколение стало в разы надежнее и при этом намного дешевле. Более того, лидары получили объем! Это связано с тем, что изображение с SSL теперь прямоугольное, как у обычной камеры, и более удобное для анализа.

На рис. 6 показано, как выглядит изображение глубины, снятое современным лидаром.

Стоит отметить важную особенность в работе лидаров: сканирование матрицы работает с бегущим затвором, что вносит ощутимые искажения при съемке быстродвижущихся объектов. Поэтому все лидары, помимо вычислительной процедуры по созданию карты глубины, используют и мощный функционал для коррекции получаемого изображения.

Технологии SSL постоянно совершенствуются, и одно понятно точно: именно появление твердотельных лидаров придало мощный импульс развитию беспилотной техники, как наземной, так и воздушной. Область внедрения поистине безгранична, и нас еще ждет настоящий бум беспилотников, роботов и терминалов, «видящих» мир с помощью миниатюрных лидаров. И сейчас совсем не фантастично увидеть, например, сельскохозяйственный уборочный комбайн, перемещающийся по полю без участия водителя или оператора и при этом выполняющий свои основные функции. А беспилотные пассажирские автобусы и поезда уже сейчас курсируют в мегаполисах мира.

Камеры Structured Light

Это один из самых простых, распространенных и недорогих способов измерения глубины. Метод структурированного света работает по принципу проецирования точек или линий на объект. Проецируемая сетка синхронизирована по эталонному образцу и с известным чередованием. При попадании на трехмерный объект этот эталонный образец искажается, а 2D-камера фиксирует подобное искажение. Потом искажение сравнивается с эталонным шаблоном, и на основе уровня искажения в каждой точке вычисляется карта глубины.

Конечно же, и у этого метода есть свои недостатки, основные из которых – появление слепых зон при разнесенных камере и проекторе и засветы от посторонних источников. Вследствие этого появляются «смазанные» участки, возникающие из-за теневого эффекта, или ложные артефакты. Поэтому такой метод построения карты глубины максимально хорош на небольших расстояниях до объекта и при стабильном фоновом свете.

Однако именно этот метод 3D-сканирования получил самое массовое применение, и сегодня почти у каждого из нас есть в кармане устройство с камерой Structured Light. Правильно! Это смартфоны и планшеты!

Именно в этих устройствах метод структурированного света раскрыл весь свой потенциал, ведь технология FaceID – это типичная камера глубины с типичным инфракрасным генератором точек и инфракрасной камерой. При этом совершенно понятно, почему использована технология 3D в идентификации лиц. Во-первых, теперь нельзя обмануть детектор, показав фото лица (или видео с планшета). Во-вторых, лицо сильно меняется при изменении освещения, а его форма – нет, что позволяет вместе с данными с RGB-камеры точнее идентифицировать человека.

Рис. 7. Метод структурированного света работает по принципу проецирования точек или линий на объект

Еще одно массовое применение камер глубины – распознавание жестов. Уже сейчас появились модели телевизоров, приставок и роботов-пылесосов, которые в состоянии воспринимать не только голосовые команды, как умные колонки, но и жестовые указания.

Рис. 8. Принцип работы камеры структурированного света

Рис. 9. Камеры структурированного света используются в смартфонах и планшетах

Камеры Light Field

И наконец, самый сложный и не широко известный метод построения глубины – камеры светового поля, или пленоптические камеры. Ключевое понятие для пленоптической съемки – это световое поле. При этом в каждой точке фиксируется не цвет пикселя, а двумерная матрица пикселей, превращая двумерный кадр в четырехмерный.

Рис. 10. Световое поле в 4D-формате при отсутствии препятствий

На практике съемку четырехмерного кадра светового поля обеспечивает массив микролинз, расположенный перед сенсором камеры. В итоге получаем кадр, в котором можно менять дистанцию фокусировки уже после того, как сделан сам кадр! Причем вся информация о массиве данных, характеризующих этот кадр, с разной фокусировкой и даже изменяемой диафрагмой, содержится в самом кадре.

Первой в мире пленоптической кинокамерой стала Lytro Cinema, снимавшая видео в 755 Мпк (в RAW). Такие фантастические возможности востребованы не только в киноиндустрии и студийном телевидении, но также актуальны в смартфонах и микроскопии (можно делать вычисляемые стереомикроснимки с большой глубиной резкости).

Рис. 11. Пленоптическая кинокамера

Со стремительным развитием аппаратной производительности становится возможным использование нейросетей для вычисления больших объемов графических данных.

Реализация не заставила себя долго ждать: компания Google уже несколько лет назад выпустила серию смартфонов с пленоптическими сенсорами. Снимок, сделанный таким смартфоном, показан на рис. 12. Хорошо видна изменяемая глубина резкости на правом снимке – это заслуга пленоптической камеры.

Рис. 12. Фото смартфона с пленоптической камерой

Пленоптика актуальна и для промышленных камер, особенно если нужно делать фото полупрозрачных многоуровневых объектов. Область применения пленоптических систем может быть очень широкой, так как при этом любой кадр может быть повернут, сдвинут по вертикали или увеличен один относительно другого и отличаться по резкости.

Какую камеру выбрать?

В качестве итога приведем сравнительные результаты по характеристикам различных методов и, как следствие, сферам их применения:

1. По разрешению лидирует глубина из стерео, но очень сильно зависит от сцены (максимальный результат достижим при достаточной «рельефности» объекта).
2. По точности лидары вне конкуренции. У пленоптики точность наихудшая.
3. По сложности обработки «непосредственно» получают глубину только ToF-камеры и лидары. Получение глубины у стерео и пленоптики требует большого аппаратного ресурса для вычислений.
4. По FPS лидируют ToF-камеры и стереокамеры, способные выдавать до 300 кадр/с. Лидары сильно отстают.
5. По результатам в условиях низкой освещенности проигрывают стерео и пленоптика.
6. При работе на улице лидары лучшие, а плохо работают ToF и камеры структурированного света.

В заключение можно сказать, что стремительное развитие камер глубины и технологий, связанных с ними, обусловлено высокой потребностью в тех возможностях, которые они предоставляют. И сферы их применения достаточно широки.

What is a Depth Camera?

A depth camera, also known as a time-of-flight camera, is a type of camera that can measure the amount of distance between itself and objects in the frame. It may or may not be able to take photographs in addition to this.

My name is Caleb, and I’ve been a photographer for more than four years. I’ve primarily specialized in sports photography, shooting games at both the semi-pro and college levels.

In this article, I’ll explain what a depth camera is, how they work, and what they’re useful for. If you’ve ever wondered about this term or are thinking of getting a smartphone with a depth camera, keep reading.

What Is A Depth Camera?

A depth camera is any camera that measures distance, also called depth. Sometimes, these are called time-of-flight cameras.

Generally, they work with a form of LIDAR, or Light Detection And Ranging. This means the camera quickly shines an infrared light and then measures the time taken for the light’s reflection to reach the lens.

Through this method, the camera can tell how far away an object is. Because of how fast light travels, this can all be done very quickly without delays.

This technology is used by both of the biggest manufacturers in the smartphone business, Apple and Samsung. Apple refers to it as TrueDepth, while Samsung calls their own version of this technology DepthVision.

Simple tech tips and tricks about cameras. As an Amazon Associate, I earn from qualifying purchases.