Какие возможности обеспечивает сканер lidar на iphone 13 pro
Обновлено: 19.05.2024
LiDAR установлен в iPhone 12 Pro и 12 Pro Max, а также в iPad Pro. Он сканирует пространство и определяет очертания объектов в поле зрения.
В новых смартфонах, к примеру, именно благодаря ему портретный режим работает вместе с ночным, а в приложении «Рулетка» появляются новые фишки.
Сканер окружения повышает точность взаимодействия с дополненной реальностью и открывает массу дополнительных возможностей. Чтобы раскрыть их на 100%, разработчики массово взялись за новый софт. Мы собрали первые интересные программы в App Store, которые заточены под использование LiDAR.
Обратите внимание: некоторые из приложений в подборке без LiDAR вообще не работают, а другие ограничивают набор своих возможностей.
1. «Рулетка» — быстрое измерение человеческого роста
В стандарте приложение «Рулетка» должно быть установлено на iPhone 12 Pro. Тем не менее, если вы удаляли его на предыдущем смартфоне и использовали восстановление данных для перехода на новый, велика вероятность, что его снова придется загружать из App Store. Благо, это бесплатно.
Остальные возможности программы можно попробовать на любых других смартфонах: рост также получится измерить на них, но лишь вручную.
2. RoomScan LiDAR — создание поэтажных планов дома
Разработчики RoomScan LiDAR утверждают, что новый сенсор Apple идеально подходит для сканирования домов и создания поэтажных планов. Именно поэтому они переработали свой инструмент для работы с дополненной реальностью специально под iPhone 12 Pro, а также актуальную линейку iPad Pro.
Чтобы ускорить процесс сканирование помещений, разработчики RoomScan LiDAR также подключили движок Metal и решили максимально задействовать чипсеты Apple A12z Bionic и Apple A14 Bionic. Результат удивляет: вы можете создать подробный план дома в 3D и спланировать его ремонт.
Создатели приложения отдельно подчеркивают, что технологии, которые они используют в данном приложении, подкреплены патентом соответствующего Бюро США.
3. magicplan — планирование ремонта и документация
Еще одно приложение, которое заточено под дизайнеров интерьера и владельцев недвижимости, озадаченных ремонтными работами. Оно также сканирует пространство для создания поэтажных планов помещения. Тем не менее, предлагает больше инструментов для перенесениях их из трех измерений в два.
Разработчики настаивают, что с помощью их приложения работа в полевых условиях упрощается. Речь про создание черновых планов помещения на месте, чего от дизайнера часто требуют заказчики. С iPhone 12 Pro или iPad Pro и LiDAR это можно сделать быстро — для этого же получится использовать отдельные лазерные дальномеры.
Функциональный набор приложения, кроме прочего, также включает работу со сметной и другой документацией, которая точно пригодится подрядчику.
4. LiDAR Scanner 3D — быстрый сканер пространства
Это приложение, которое заточено под работу с iPhone 12 Pro и iPad Pro, представляет собой максимально быстрый 3D-сканер. С помощью него можно практически моментально превратить стену своего дома в трехмерную модель и сохранить полученный результат в форматах USDZ, OBJ, STL, PLY.
Отсканированные модели не содержат цветов и предназначены для дальнейшего использования в приложениях для работы с трехмерной графикой на компьютере или мобильных устройствах. По идее, это должно ощутимо сократить потраченное время на создание объектов с нуля.
Без LiDAR это приложение, увы, не работает. Поэтому его есть смысл устанавливать только на iPhone 12 Pro и iPad Pro.
5. Heges 3D Scanner — определение объектов через LiDAR и Face ID
Еще одно приложение от предыдущего разработчика, которое может использовать не только LiDAR, но и Face ID. Собственно, поэтому его получится использовать не только на iPhone 12 Pro и iPad Pro, но также на iPhone X, XS, XR, 11, 11 Pro. Готовые «картинки» оно умеет сохранять в форматах STL и PLY.
Кроме прочего, оно также поддерживает возможность шаринга экрана. Это нужно для того, чтобы использовать фронтальную «батарею» камер True Depth, превратив в видоискатель любой другой девайс. Да, с LiDAR весь процесс значительно упрощается, но он пока доступен на ограниченном числе гаджетов.
Кстати, бесплатно с приложением можно только познакомиться. Чтобы активировать запись объекта, эту возможность придется оплатить.
6. 3d Scanner App — сканирование объектов в 3D
Еще один сканер для объектов, который переносит их в трехмерное визуальное пространство и дает возможность использовать в форматах USDZ, OBJ, GLTF, GLB, DAE, STL. Их получится перенести в место, смоделированное на любом другом устройстве.
Описанные выше форматы можно добавить в Blender, 3dsMax, SketchUp, Maya и другой подходящий софт для трехмерного моделирования. Важной особенностью приложения является возможность сохранения размеров объектов, которые определяются при сканировании.
Приложение можно использовать абсолютно бесплатно без каких-либо ограничений.
7. AR COPY & PASTE — копирование и вставка трехмерных объектов
Данное приложение предназначено для копирования и вставки трехмерных объектов на iPhone 12 Pro и iPad Pro с помощью LiDAR. Ни на каких других гаджетах, по понятным причинам, оно полноценно не функционирует — можете даже не пробовать.
Собственно, суть программы проста: отсканировать объект и сохранить его или скопировать в другое пространство через дополненную реальность.
8. Hello How Low — видео с дополненной реальностью
Любопытный способ разнообразить свои видеоролики с помощью эффектов, завязанных на дополненной реальности. С помощью LiDAR приложение определяет очертания человека или другого главного объекта и дает возможность вставлять его на любой интересный фон. Получается неординарный результат.
С помощью встроенным покупок в приложении можно значительно расширить список встроенных фильтров.
9. Record3D — ролики с дополненной реальностью
Еще одно любопытное приложение для создания роликов с использованием дополненной реальности. Оно сканирует объект с помощью Face ID или LiDAR и дает возможность использовать его в видеозаписях. Результат получается сюрреалистическим, но вполне интересным.
Отдельного внимания заслуживает возможность сохранения полученных изображений в формате RGBD для их дальнейшего использования в другом поддерживаемом софте.
Для того, чтобы бесплатно протестировать LiDAR в iPhone 12 Pro или iPad Pro, приложение предлагает три видеозаписи. В дальнейшем его придется приобрести.
10. CyberWave — музыкальная визуализация через LiDAR
Без LiDAR данное приложение не работает. С помощью него же оно может создавать визуализацию музыкальных композиций в окружающем пространстве. Достаточно лишь включить программу и активировать воспроизведение любимых треков. Окружающий мир тут же начнет меняться через экран мобильного устройства.
Главное ограничение приложения: оно работает только с музыкой, которая не оснащена через DRM. Поэтому, увы, Apple Music в пролете.
? Используй лидар и держи свой айфон в красивом чехле:
▪️ Слева пластиковый Guess — 2 990 руб.
▪️ В центре кевларовый Pitaka — 5 990 руб.
▪️ Справа силиконовый Apple — 4 990 руб.
Если появление дополнительной камеры в iPhone или iPad явно заметно, то оснащение новых устройств Apple датчиком LIDAR многими игнорируется. Что это за технология такая и насколько нужна она широкому кругу пользователей?
Что такое LiDAR?
Само слово LiDAR (Light Detection and Ranging) дословно расшифровывается, как «обнаружение и определение дальности с помощью света». Эта технология активно используется в геодезии, картографии, где излучателем света является лазер.
В системах же ближнего радиуса действия его успешно заменяют светодиоды. Принцип действия LiDAR довольно прост – излучатель испускает световые волны, а приемник получает возращенный от тела отраженный сигнал, при этом учитывается воздействие рассеивающей среды. На основании времени отклика можно определить расстояние до объекта.
Так видит LiDAR окружающий мир:
Появившийся в марте 2020 года iPad Pro (обзор) и осенью – iPhone 12 Pro и iPhone 12 Pro Max как раз и получили датчик LiDAR на блоке тыловых камер.
LiDAR в iPhone 12 Pro и iPhone 12 Pro Max
LiDAR на iPad Pro
Для чего LiDAR в iPhone 12 Pro и iPad Pro?
LiDAR на iPhone может быть востребован уже сегодня и выполнять практические задачи. Можно говорить о применении технологии в съемке максимально естественных портретов с натуральным эффектом боке. LiDAR помогает волосам, ушам и другим частям тела человека или животных оставаться в фокусе. В будущем возможности этой технологии могут быть расширены и на портретные видео. Но это произойдет в следующих релизах операционной системы или даже с выходом новых моделей iPhone.
Видится возможным использовать LiDAR для сверхточного измерения физических расстояний. В практической жизни любой владелец актуального iPhone или iPad с такой технологией сможет без проблем точно измерить габариты своей квартиры: длину и высоту стен, кривизну пола. Но дело тут не в удовлетворении любопытства, такая информация может оказаться полезной при проведении строительных работ. Обычно там требуются дальномеры и нивелиры, но смартфон с лидаром может их подменить. Есть уже и приложения, которые с помощью лидара сканируют контуры рабочего пространства и затем создают модель производственного помещения, помещая туда трехмерные объекты.
А с учетом факта отличной работы сенсора LiDAR не только в светлое время суток, но и в темное, эта камера используется для улучшения Ночного режима съемки в iPhone 12 Pro и iPhone 12 Pro Max. Датчик отлично распознает объекты, что позволяет до 6 раз быстрее наводиться автофокусу. В результате резко уменьшится число ночных фотографий, в которых фокус оказался сбитым.
Есть и еще одна сфера применения технологии LiDAR. По утверждению компании, этот элемент был недостающим для реализации революционных приложений дополненной реальности. Датчик LIDAR от Apple способен измерять дистанцию до объектов на расстоянии до 5 метров, работая как в помещении, так и на улице. Операционная система объединяет эту информацию с данными камер, датчиков движения и обрабатывает с помощью алгоритмов компьютерного зрения. Это помогает iPhone и iPad Pro быстрее и лучше размещать на проанализированной сцене объекты дополненной реальности. Можно не сомневаться, что благодаря LIDAR уровень AR вырастет, даруя новые ощущения от возможностей техники Apple.
Надо сказать, что компания давно уже пытается освоить поле дополненной реальности, работая над соответствующим программным и аппаратным обеспечением еще с 2017 года. Тогда была представлена платформа ARKit для разработки под iOS подобных приложений. С тех пор каждое крупное обновление операционной системы появляется с демоверсией технологии AR, будь то Minecraft или Lego. И каждое улучшение камер или процессора неявно обещает и очередное улучшение технологии. Но пока еще не так много реальных возможностей ее применения.
Созданное на основе ARKit приложение автоматически и мгновенно получает информацию о размещении объектов в поле зрения камеры, улучшенный захват движения для вовлечения людей. Появление датчика LIDAR привело к обновлению ARKit и появлению нового Scene Geometry API, которое как раз и позволит использовать новый сканер для реализации невозможных ранее сценариев.
Вполне возможно, что датчик LIDAR даст новый импульс этой истории. И уже появляются приложения, использующие новую возможность устройств Apple. Так, в Apple Arcade появилась игра Hot Lava, которая превращает жилую комнату в игровую поверхность.
Устройство сканирует помещение и размещает в нем виртуальное поле из лавы и платформы для прыжков персонажа. Приложение Shapr3D дает возможность отсканировать комнату, а потом создает ее трехмерную модель для последующего редактирования. Похожий функционал и у IKEA Place, которая после анализа комнаты поможет подобрать для нее мебель.
Сканер LIDAR улучшит приложение Рулетка для вычисления габаритов материальных объектов. В нем появилась виртуальная рулетка для более детальных измерений.
В iPad Pro 2020 года впервые появился LiDAR — сканер, измеряющий расстояние до окружающих объектов. Он, начиная с iPhone 12, присутствует в каждой Pro-модели айфона. Где можно применить эту фишку и как она работает?
Что за LiDAR и как он работает?
LiDAR (Light Detection And Ranging) испускает волну инфракрасных точек, измеряя время полёта каждой до ближайшего объекта и обратно. Это позволяет определить размеры пространства. Похожим образом функционирует камера TrueDepth, используемая в Face ID, однако LiDAR способен работать на большем расстоянии (до 5 м). Времяпролётные камеры во многих Android-гаджетах функционируют по схожему принципу, но там применяется один световой импульс, что снижает точность замеров.
Есть ли конкретная польза от LiDAR в iPhone? Конечно. Эта технология применяется во множестве сценариев.
LiDAR для фото
Времяпролётные камеры в смартфонах, как правило, используются для повышения точности и скорости фокусировки. LiDAR делает то же самое. Apple обещает ускорение фокусировки при слабом освещении до шести раз. Определение глубины тоже используется для улучшения качества работы портретного режима в темноте.
LiDAR для измерения расстояний
С появлением сканера заметно улучшилась работа приложения «Рулетка»: теперь оно точнее, быстрее и удобнее. Для этого в интерфейсе предусмотрены вертикальные и боковые направляющие. Специальный режим, обнаруживая в видоискателе человека, тут же измеряет его рост. Как утверждают обзорщики, точность «Рулетки» в некоторых ситуациях соответствует реальности, хотя чаще имеется небольшая погрешность. Впрочем, использовать приложение в профессиональном строительстве всё же не стоит.
LiDAR для приложений и гейминга
Преимущества датчика хорошо раскрываются в сторонних утилитах. Например, бесплатный Canvas: Pocket 3D Room Scanner позволяет сканировать помещение, чтобы получить 3D-проекцию и рассматривать её с любой точки. Snapchat открыл документацию по созданию линз с использованием LiDAR, а приложение IKEA Place помогает размещать виртуальные элементы интерьера из каталога магазина в квартире пользователя.
Возможность точного нанесения виртуальных объектов на реальные пригодится и на сайте Apple: для некоторых продуктов доступно их изучение в дополненной реальности. Так можно узнать, как будет смотреться iMac на рабочем столе.
В iPhone 12 Pro Max, который стоит 130 тыс. руб., установлены три камеры, один фонарик и лидар. Лидар — это сенсор, который посылает в пространство пучки невидимого света. Зачем? Чтобы лучше видеть это же пространство. Сегодня технология лидара чаще всего упоминается в контексте «зрения» беспилотного автомобиля, но зачем она смартфону? Apple объясняет необходимость технологии так:
- во-первых, благодаря лидару камера будет лучше ловить фокус фото и видео ночью;
- во-вторых, дополненная реальность, как бы странно это ни звучало, становится более реальной.
Фотосъемка с лидаром
Фото, сделанное ночью на телефон с лидаром более четкое: на смартфоне без лидара изображение «шумит». Главное отличие iPhone 12 Pro Max от других смартфонов — у него есть ночной режим портретной съемки.
Качество видеосъемки
Тут iPhone 12 Pro Max сравним с камерой Sony Alpha A6600. Однако iPhone «вытягивает» все, что позади человека, осветляя фон. Sony же при этом сохраняет цвета, как в реальности. Примерно такие же результаты показал эксперимент по сравнению смартфона Sony уже с новым iPhone без лидара.
Вывод: для качественной видеосъемки лучше купить фотоаппарат со светочувствительным объективом.
Дополненная реальность
Что еще можно делать с помощью лидара? Два года назад Apple представила новое приложение «Рулетка».
Итак, представим, что нам нужно что-то измерить — например, столешницу на кухне. У нас есть iPhone без лидара, iPhone с лидаром и совсем обычная рулетка. В ходе эксперимента телефон без лидара сперва не различил стену, но потом все же сумел измерить ширину и длину столешницы: 58 и 91 см соответственно.
Смартфон с лидаром ориентируется быстрее. Главное отличие — вибрацией он дает понять, где стена, а где — конец столешницы. Правда, линию ведет не очень ровно. Результат: 60 и 93 см.
Обычная рулетка показала 57 и 92 см соответственно. Получается, что iPhone 12 Pro Max ошибся на несколько сантиметров.
По задумке Apple, многие бытовые проблемы можно решить с помощью дополненной реальности. Компания всеми силами способствует тому, чтобы технология дорабатывалась и ей пользовались люди. Но все же пока единственное достойное применение технологии в быту — примерить какую-нибудь мебель в квартире. Например, у IKEA есть приложение, позволяющее выбрать мебель и посмотреть, как она будет выглядеть в том или ином месте вашей квартиры.
Лидар может совершить прорыв и в области сканирования: с помощью технологии можно отсканировать какую-либо вещь, а затем распечатать на 3D-принтере ее модель.
Подписывайтесь также на Telegram-канал РБК Тренды и будьте в курсе актуальных тенденций и прогнозов о будущем технологий, эко-номики, образования и инноваций.
Датчик глубинного сканирования iPhone 12 Pro, основанный на LiDAR, предоставляет множество возможностей для 3D-приложений. Новый сканер Canvas, предназначенный для сканирования дома, использует LiDAR для повышенной точности и детализации моделей. Но приложение будет работать и с не-Pro версиями iPhone.
Приложение Canvas, созданное компанией Occipital из Боулдера (кстати говоря, подразделение данной компании в Москве также принимало активное участие в разработке сканера), первоначально было выпущено для iPad Pro, чтобы воспользоваться преимуществами лидарного сканирования. Демонстрация возможностей этой программы показывает как технология Apple для измерения глубины может быть применена в настоящих консьюмерских решениях.
С момента дебюта iPhone 12 Pro с LiDAR появилось несколько оптимизированных приложений, предлагающих 3D-сканирование объектов, крупномасштабную фотографию со сканированием пространства (так называемую фотограмметрию) и дополненную реальность Но Canvas на iPhone 12 Pro показывает лучшие результаты и выглядит удобнее, чем приложения для 3D-сканирования, с которыми нам удалось поработать ранее.
По словам вице-президентов Occipital по продуктам Алекса Шиффа и Антона Якубенко, iOS 14 от Apple предоставляет разработчикам более широкий доступ к лидарным данным iPhone. Это позволило Occipital создать собственные алгоритмы для наилучшего использования карты глубины нового телефона Apple. Причем, новый SDK от Apple позволяет создавать более классные решения для сканирования объектов даже без использования LiDAR.
Сканирование трехмерного пространства без датчика LiDAR для карт глубины возможно, и такие компании, как 6d.ai (приобретенная Niantic), уже используют его. Но Шифф и Якубенко говорят, что LiDAR по-прежнему позволяет получать более точные результаты. По данным Occipital, версия Canvas для iPhone 12 Pro делает более качественные сканы, чем первая версия для iPad Pro.
В основном это связано с более глубоким доступом iOS 14 к лидарной информации. Новейшая версия с поддержкой LiDAR имеет точность в пределах 1%, в то время как сканирование без датчика глубины дает точность в районе 5% (что буквально делает iPhone 12 Pro ПРОфессиональным апгрейдом).
Чтобы далеко ходить, мы ранее уже делали обзор на Structure Sensor от той же компании Occipital. Этот сенсор представлял собой отдельный гаджет, который крепился на iPad. А теперь представьте на мгновение, что практически все то, что предлагало отдельное устройство, можно получить прямо из коробки, и прямо в телефоне миниатюрного размера! А самое главное – все работает весьма качественно, и уже сейчас применяется на практике.
Демонстрация работы Canvas на презентации iPhone 12 Pro
Сканы комнат, сделанные с помощью Canvas, можно преобразовать в рабочие модели САП (Система Автоматического Проектирования), что занимает около 48 часов, но Occipital также работает над более быстрым преобразованием изображений и добавлением семантических данных (например, распознавания дверей, окон и других деталей помещений) с помощью ИИ. То, над чем раньше работали проектировщики и дизайнеры несколько суток, можно сделать самостоятельно с помощью смартфона – магия!
По мере того, как все больше 3D-сканов и 3D-данных начинают появляться на iPhone и iPad, тем больше будет иметь смысл использовать более распространенные форматы файлов для обмена и редактирования моделей. В какой-то момент 3D-сканирование может стать таким же стандартизированным, как PDF-файлы. И отсканировать какой-то объект станет таким же обыденным действием, как и сделать скан документа сейчас.
Надеемся, что в этой статье мы все-таки ответили на вопрос о том, зачем в iPhone 12 Pro нужен LiDAR. За этим определенно будущее. Раньше для сканирования помещений необходимо было вызывать обученных людей со специальным оборудованием, теперь это сделать можете вы с помощью своего телефона самостоятельно. И такой сценарий можно наложить практически на любую сферу деятельности.
Читайте также: