Как работает сканер лица на телефоне
Обновлено: 03.05.2024
Интернет буквально переполнен статьями на тему того, как работает разблокировка по лицу (Face ID) на iPhone. Если вы хотя бы немножко интересовались этим вопросом, то сразу же вспомните все эти, набившие оскомину, термины: лазерный проектор, ИК-излучатель, 30 тысяч точек и т.п.
Все популярные ресурсы (The Verge, Wired, Engadget) как под копирку пишут одно и то же, повторяя слова, сказанные еще на презентации первого iPhone с технологией Face ID.
Если ваше любопытство полностью удовлетворяется этими общими фразами, порой искаженными и далекими от реальности, тогда эта статья не для вас. Здесь же я расскажу о том, что в действительности происходит, когда вы пытаетесь разблокировать свой смартфон при помощи распознавания лица.
Надеюсь, эта статья ответит на многие вопросы!
Эти слова, как мантру, повторяют блогеры, пытаясь объяснить работу Face ID. Но давайте задумаемся на минуточку, что это значит.
В процессе обучения, нейросеть начнет выставлять веса таким образом, чтобы на выходе всегда активировался один нейрон, отвечающий за конкретное животное.
А теперь представьте себе такой процесс обучения на iPhone или Android. Вам нужно показать телефону тысячи своих фотографий с разной прической и макияжем, разной мимикой и аксессуарами. Ведь, как иначе смартфон будет вас узнавать? А затем нужно показать еще сотню тысяч других лиц, уточнив при этом, что это не вы и не следует этих людей пропускать.
Приятно, конечно, тешить себя мыслью, что ваш смартфон такой умный и сам обучается в процессе использования, но в реальности он проходит обучение еще до того, как попадет на прилавки магазинов. И ваше лицо, естественно, не имеет к этому процессу никакого отношения.
Для обучения нейросетей нужны очень мощные графические процессоры и много времени. Поэтому, на телефон загружают уже обученную нейросеть. Которая способна лишь незначительно адаптироваться в процессе своей работы.
Но как же тогда Android-смартфоны и iPhone за пару секунд запоминают лицо пользователя и в дальнейшем распознают его мгновенно, вне зависимости от выражения лица, освещения и даже макияжа? Где же тысячи фотографий и длительное обучение?
Как работает Face ID и распознавание лица?
Вся нейросеть состоит из слоев: на первый слой подается изображение с лицом, на втором слое применяются свертки, дальше идет выделение отдельных признаков, после чего на последнем (выходном) слое определяется конкретный человек.
Но нам не нужен последний слой. То есть, нейросеть не будет пытаться узнать конкретного человека или расу, а всё должно заканчиваться сбором признаков. Другими словами, Apple или любой другой Android-разработчик обучает нейросеть лишь собирать признаки лиц:
Однако же, само по себе умение собирать признаки еще не позволяет нам реализовать идентификацию пользователя по лицу.
Если признаков будет 3, то получим трехмерный вектор, который также очень легко изобразить в пространстве (добавится третья координата глубины).
Нейросеть на смартфоне собирает гораздо больше признаков, соответственно и размерность вектора также намного выше. Вообразить себе точку в таком пространстве невозможно, так как наш мозг ограничен только тремя измерениями. Но это не суть важно, главное, что искусственный интеллект работает с этим без малейших проблем.
Когда нейросеть научилась это делать, ее можно загружать на iPhone или Android-смартфон.
Теперь пользователь включает функцию распознавания лица (или Face ID) и происходит первоначальная настройка. Обученная нейросеть уже знает, какие именно нужно выделить признаки и создает, образно говоря, их вектор в пространстве. Телефону уже не нужны тысячи ваших фотографий или десятки тысяч снимков других людей, чтобы научиться различать лица (делать классификацию). Вектор признаков вашего лица всегда будет находиться примерно в одном и том же месте скрытого пространства.
Если же другой человек попытается разблокировать ваш телефон, нейросеть создаст новые признаки, вектор которых будет находиться гораздо дальше от сохраненного. Соответственно, аппарат не разблокируется.
Подведем небольшие итоги
Смартфон не умеет классифицировать лица, как например, его камера определяет сцену (цветок, собака, кошка и пр.):
Как вы уже догадались, смартфон не хранит фотографии своего владельца, так как в этом нет никакого смысла. Сохраняются лишь вектора (наборы чисел), расстояния между которыми и сравниваются при каждой разблокировке.
В чем разница между Face ID на iPhone и Распознаванием лица на Android?
Обе технологии используют один и тот же принцип работы, о котором я рассказал чуть выше. Наличие одной лишь селфи-камеры на Android-смартфонах и целый набор датчиков на iPhone могут ввести в заблуждение пользователей касательно самого процесса распознавания лица.
На самом деле, все дополнительные датчики на iPhone нужны только для обнаружения витальности (или жизненности). Помимо распознавания признаков лица, еще более сложной задачей является определение того, находится ли перед камерой смартфона живое (настоящее) лицо или же это фотография/видео/маска.
Android-смартфоны с одной селфи-камерой определяют жизненность лица при помощи определенных алгоритмов. Скорее всего, вам не удастся обмануть современную разблокировку по лицу простой фотографией или даже видео с экрана. Особенно, если камера видит очертание телефона или фотографии/бумаги в ваших руках. Подобные примитивные методы моментально обнаруживаются нейросетью.
Смартфон пытается определить характерные для стекла или бумаги блики, которых не может быть на реальном лице. Также в расчет берется текстура области лица или предмета, которым вы пытаетесь заменить лицо. Анализируется муар, расфокусировка и дисторсия на снимке.
Может даже использоваться анализ микромимики, когда смартфон делает несколько снимков подряд, а затем попиксельно ищет различия.
С другой стороны, iPhone использует гораздо более эффективный метод защиты. При помощи дополнительных датчиков он строит карту глубины, то есть, видит ваше лицо в трехмерном пространстве. Соответственно, все обманные методы, связанные с использованием 2D подделок (фотографии, снимки с экрана, видео), отпадают сразу же. Остается лишь использование масок. Но и здесь нейросеть пытается обнаружить подделку.
Метод 3D-сканирования однозначно безопаснее 2D-сканирования, но не стоит полагать, что распознавание лица на Android-смартфонах очень легко обмануть. Особенно, когда речь идет о флагманах, вычислительной мощности которых достаточно для работы глубоких нейросетей.
Основные технологии распознавания лиц
В завершение хотелось бы просто перечислить самые популярные методы распознавания лиц:
Не так давно пользователи Pixel 4 сделали небольшое открытие, установив кастомные приложения камер. Они позволяют переключиться на инфракрасную камеру устройства и взглянуть на мир совсем по-другому. А всё благодаря открытости Android. Например, подобное никогда бы не дали провернуть владельцам iPhone. Один из владельцев Pixel 4 протестировал IR-камеру, сняв небольшое видео того, как работает эта камера и что она видит. Давайте же изучим её.
Как работает сканер отпечатков пальцев в смартфоне?
Выглядит картинка с инфракрасной камеры следующим образом:
IR-камера Pixel 4
Как работает разблокировка по лицу в современном телефоне на примере Pixel 4?
Инфракрасная камера не видит привычный человеческому глазу свет, поэтому любые источники света для такой камеры не существуют. Свет для такой камеры исходит от специального мини-прожектора Flood Illuminator. Возле него в противоположных углах устройства располагаются две инфракрасные камеры. Рядом с ними располагается проектор точек, он проецирует точки на лицо пользователя.
Чтобы оценить работу проектора точек, автор видеоролика взял iPhone жены, так как Pixel 4 в момент съемки не может использовать разблокировку.
iPhone проецирует на лицо человека 30 тысяч точек. Сразу и не скажешь, однако можно заметить, что они спроцесировались даже на стену сзади, что говорит о широкой области действия такого проектора, что позволит разблокировать устройство на большом расстоянии и под большим углом.
В iPhone используется обычная разблокировка, в Pixel 4 речь идёт о 3D-разблокировке именно благодаря наличию двух инфракрасных камер. За счёт разницы в расстоянии между ними устройство может создавать карту глубины, что делает разблокировку по лицу точнее.
Забавно, но инфракрасная камера не способна видеть краски картины. А вот с современными кухонными плитами всё иначе:
Вот так выглядит современная индукционная плитка, снятая на IR-камеру
Оценить, как видят привычные объекты инфракрасные камеры, можно в этом видео:
Самым интересным может показаться красное вино, которое в инфракрасной камере выглядит как вода.
Почему же именно IR-камеры? Дело в том, что они способны работать при любом видимом человеку освещении. Видимый свет не может ослепить такую камеру, а отсутствие света ей не помеха при наличии собственного невидимого человеческому глазу источника света. Простыми словами, IR-камеры могут видеть в полной темноте. IR-проектор в смартфонах излучает инфракрасный свет определённой длины волны. Чтобы он не был заметен человеческому глазу, используют длины волн 850 нм и 940 нм.
Вот так работает FaceID в iPhone. Принцип работы полностью схож с тем, как работает разблокировка лица в Pixel 4.
Безопасен ли сканер лица для глаз?
Да. Использование сканера лица не вредит вашему зрению. Не стоит беспокоиться на этот счёт.
Microsoft была первой?
В 2015 году Microsoft представила Lumia 950. Устройство оснащалось сканером глаз на основе инфракрасной камеры. Аппарат можно назвать первым в своём роде с подобной технологией. И лишь спустя 2 года компания Apple смогла показать улучшенный версию с проектором точек на лицо пользователя для более точного анализа.
Чего ждать в будущем?
Уже сейчас производители научились встраивать камеры под дисплей смартфона. Вероятно, в будущем все остальные датчики, отвечающие за 3D-разблокировку лица, также будут помещены под экран, что позволит отказаться от широких рамок.
Кроме того, не исключено, что для большей точности инфракрасные камеры будут устанавливаться во всех четырех углах смартфона по всему периметру, это позволит более точно создавать карту глубины, что сведёт к минимуму вероятность ошибки во время разблокировки.
Свободное общение и обсуждение материалов
Сегодня невозможно оставить смартфон без блокировки. Даже если вы не очень стеснительный человек и в принципе не против, если кто-то может залезть в галерею и посмотреть ваши фотографии, есть много других причин, чтобы защитить свой аппарат от посторонних. SMS с операциями покупок, коды подтверждения транзакций, заметки с расходами, банковские приложения, бесконтактные сервисы оплаты - всё это хранится в телефоне, и это нельзя не защитить. Поэтому абсолютное большинство пользователей устанавливают пароли на свои смартфоны, а, чтобы не вводить их каждый раз, подменяют их биометрией. Но ведь иногда случается так, что биометрия отключается, и пароль приходится вбивать вручную. А что делать, если ты его просто забыл?
Обновление Qualcomm в середине цикла 2021 года представлено моделью Snapdragon 888 Plus. Но с учетом того, что телефоны появятся не раньше, чем через несколько месяцев, и будут иметь довольно скромные преимущества, возникает вопрос - а стоит ли вообще ждать новых смартфонов? Или, может быть, проще купить смартфон на обычном Snapdragon 888 уже сейчас? Однозначного ответа нет, но порассуждать на эту тему точно стоит. Тем более, вторая половина года обещает нам несколько интересных новинок, которые привлекают внимание сами по себе, вне зависимости от того, какой процессор в них установлен. Давайте разберемся в этом.
За последний год технология распознавания лица стала одной из самых обсуждаемых в сфере мобильных гаджетов. Одни эксперты заявляют, что разблокировка по лицу лучше и эффективнее классических паролей и даже считывания отпечатка пальцев. Другие убеждены, что в датчиках смартфонов, которые сканируют индивидуальные особенности мимики, еще хватает недостатков и уязвимостей.
Тем не менее, производители смартфонов делают большую ставку на распознавание лица. В современном гаджете хранится огромное количество личной информации, от номеров телефонов до реквизитов банковских карт. А сочетание технологии узнавания с искусственным интеллектом и возможностью самообучения дает возможность создать умное, компактное и максимально надежное устройство, привязанное к уникальному пользователю.
Как появилась технология распознавания лица
Функция распознавания лица – отнюдь не достижение последних лет. Первые опыты по созданию данной технологии проводились еще в 60-х годах XX века. Тогда компьютеры пытались научить распознавать уникальные особенности человеческого лица на основе анатомических особенностей.
Однако ученые столкнулись с несколькими серьезными проблемами, для решения которых понадобилось почти 40 лет. Компьютерные системы не воспринимали изменения мимики, да еще и отказывались работать при слабом освещении. Кроме того, обработка лица происходила очень медленно из-за нехватки мощностей процессоров.
В конце 90-х годов электронные системы научились выделять одно лицо из множества. Анализируя сотни тысяч фотографий, компьютеры распознавали очертания лица с разных ракурсов, не обращая внимание на усы, бороду или очки. Технологию стали активно внедрять в цифровые фотокамеры и охранные системы. Однако даже тогда погрешность систем была порой довольно значительной, так как основой для сличения с оригиналом служили двухмерные изображения.
Настоящий же прорыв в разработке технологии распознавания лица произошел, когда был создан метод трехмерного сканирования.
Как работает разблокировка по лицу
Человеческое лицо – это набор определенных параметров, вроде формы подбородка, носа и надбровных дуг, расстояния между глазами и так далее, сочетание которых дает уникальный рисунок. Совмещая эти параметры, система распознавания по лицу создает определенную математическую формулу. Решив такую формулу за доли секунды, система и определяет пользователя.
Сам процесс распознавания лица и разблокировки смартфона на его основе можно разделить на 4 шага:
- С помощью встроенной камеры или сенсора смартфон делает трехмерный слепок лица.
- На основе уникальных метрик создается шаблон для распознавания.
- Готовый алгоритм сопоставляется с аналогичными изображениями.
- Система определяет, насколько шаблон совпадает или не совпадает с новыми данными. Соответствие и служит сигналом для разблокировки.
Почему распознавание лица многими техническими экспертами считается более надежным, чем отпечаток пальца? Дело в том, что сканер смартфона ввиду своего небольшого размера сканирует не весь отпечаток, а лишь его часть. Исследования, проведенные в Нью-Йоркском университете и Университете штата Мичиган, показали, что на 800 участков отпечатков приходится 92 сходных фрагмента, что увеличивает риск обхода дактилоскопической идентификации.
Почему Face ID от Apple – самая передовая технология распознавания лица?
Разблокировка по лицу в iPhone X в 2017 году вызвала настоящий переворот в области безопасности персональных данных. Разработчики из Купертино не просто взяли готовую и работоспособную технологию, но усовершенствовали ее, создав сложную, компактную и эффективную систему. Естественно, что данная технология применяется и в новинке 2018 года iPhone XS.
Особенности Face ID
Аппаратно-программная технология Face ID включает 6 модулей. «Умная» камера TrueDepth проецирует на лицо пользователя сетку из 30 000 точек. При этом инфракрасная подсветка дает возможность использовать Face ID даже в полной темноте.
Самообучающаяся адаптивная система Neural Engine учитывает возрастные изменения, нанесенный макияж и появление растительности на лице. Как показали испытания, преградой для разблокировки не становятся даже наличие шляпы и темных очков.
Насколько это надежно?
Для срабатывания системы Face ID камера смартфона должна видеть глаза, нос и рот пользователя. Трехмерная сетка позволяет распознавать анатомические черты с различных ракурсов, так что вы сможете разблокировать смартфон, даже если он лежит у вас на коленях. Кстати, гаджет нельзя снять с блокировки, поднеся его к лицу спящего человека – система понимает, когда человек смотрит в камеру.
По словам разработчиков, усовершенствованный модуль обработки данных Secure Enclave сводит вероятность ошибки при распознавании лица к 1 на 1 000 000, в то время как дактилоскопический сканер дает вероятность 1 к 50 000. Во время тестов Face ID смог отличить даже близнецов с одинаковыми чертами лица.
Стоит также упомянуть сложный эксперимент, который провели сотрудники авторитетного журнала Wire, чтобы основательно испытать Face ID на прочность.
С лица подопытного журналиста были сняты 5 анатомически точных масок из различных материалов, имитирующих кожу. Для большей достоверности на каждой маске была с точностью воспроизведена форма бровей из искусственных волосков. Меняя ракурс и освещение, каждую маску подносили к сканеру смартфона. И Face ID ни разу не ошибся!
Технология разблокировки по лицу на Android-смартфонах
Первые попытки внедрить распознавание лица в смартфонах на ОС Android были предприняты еще в 2011 году. Тогда в спецификации 4-й версии Андроида Ice Cream Sandwich была включена функция Face Unlock. Правда, на тот момент никто не воспринял данную технологию всерьез – система работала очень медленно, сильно зависела от ракурса и освещения и легко взламывалась с помощью фотографии.
После триумфального анонса Apple производители Android-смартфонов признали, что разблокировка по лицу станет одним из самых актуальных трендов в ближайшие годы. Следовательно, технологию нужно улучшать и активно внедрять. При этом разблокировку по лицу можно найти сейчас не только в топовых флагманах, но и в бюджетных моделях.
Разблокировка по лицу у Samsung
Пожалуй, самых перспективных результатов по внедрению распознавания лица в Android-смартфоны добился основной конкурент гиганта из Купертино – южнокорейский бренд Samsung. Опробовав сканер радужки глаза на Galaxy Note 7, Note 8, S8 и S8+, компания применила усовершенствованную технологию в своем флагмане 2018 года Samsung Galaxy S9+.
Здесь последовательно используется два сканера. Первый сканирует лицо пользователя через трехмерную модель. Если лицо не совпадает с установленным шаблоном, запускается улучшенный сканер радужки глаза. Пользователи отмечают довольно высокую скорость срабатывания обеих систем – даже рисунок радужки распознается не более 2 секунд. Кроме того, смартфон без труда узнает своего владельца даже в темноте.
Разблокировка по лицу у Xiaomi
Функцию разблокировки по лицу вы найдете и в шустром бюджетнике Xiaomi Redmi 5 Plus. В данном смартфоне технология «Face Unlock» реализована за счет улучшенной фирменной оболочки Miui 9 и работает через фронтальную камеру гаджета посредством нейросетевой обработки.
Сканер лица в фотомодуле определяет объем лица, а также шарфы и головные уборы, довольно быстро считывает пользователя даже в темноте и не реагирует на фотографию. Кроме того, программа определяет, когда глаза человека закрыты.
Разблокировка по лицу у Honor
Перспективную функция распознавания лица позаимствовала и модель Honor View 10. Интеллектуальная система камеры с быстро определяет лицо пользователя за счет улучшенной системы трехмерного сканирования Structured Light.
Чтобы воспользоваться технологией разблокировки по лицу, при первичной настройки необходимо посмотреть в камеру с нескольких ракурсов. После этого смартфон опознает своего владельца, даже если лежит на столе.
Разблокировка по лицу у Huawei
Среди моделей Huawei особенно шустрым сканером с функцией Face Unlock обладает Huawei P20 Pro с нейросетевым модулем процессора Kirin 970. Как показали испытания, по скорости распознавания китайский гаджет почти не уступает iPhone XS, особенно при хорошем дневном освещении.
Скорость распознавания обусловлена еще и тем, что смартфон знает, когда вы берете его в руку. К тому моменту, как вы подносите гаджет к лицу, он уже готов просканировать его. В настройках можно определить параметр запуска смартфона после распознавания – он либо покажет уведомления о звонках и СМС, либо сразу перенесет владельца на рабочий стол.
Разблокировка по лицу у OnePlus
Новинка осени OnePlus 6 получил доработанный сканер распознавания лица, который уже применялся в предыдущей модели OnePlus 5. Судя по отзывам технических экспертов, система разблокировки по лицу в смартфоне срабатывает меньше чем за секунду даже в темноте. При этом пользователю даже необязательно смотреть в камеру – умный модуль автоматически определяет очертания лица.
Разблокировка по лицу у Nokia
Одним из первых в линейке смартфонов Nokia функцию распознавания лица получила 6-я номерная модель. Доступный смартфон Nokia 6 не получил специальных сканеров, так что функция разблокировки осуществляется с помощью фронтальной камеры после обновления программного обеспечения.
Заключение
Самыми перспективными являются Face ID от Apple и технология сканирования радужки глаз от Samsung. Они уже позволяют использовать идентификацию пользователя по лицу для самых сложных операций, например, для банковских переводов через приложения на смартфоне.
Решения от других производителей пока не отличаются 100-процентной надежностью. Как правило, производители смартфонов в спецификациях указывают, что разблокировку по лицу лучше использовать в качестве дублирующей для пароля или отпечатка пальцев.
Тем, кто беспокоится о сохранности своих личных данных, переживать не стоит. Электронный слепок лица находится в отдельном блоке памяти и недоступен для сторонних программ и электронных устройств.
Особенности, преимущества и недостатки технологии распознавания лиц.
Еще 5 лет назад для защиты личных данных в смартфоне использовались стандартные пароли — числовые комбинации и графические ключи. Данные вводились пользователями на экране блокировки. Чтобы получить доступ к устройству, достаточно было узнать 4-значный пароль. На смену классическим способам защиты телефона пришли сканеры отпечатки пальцев. Это более надежный способ блокировки гаджета — чтобы разблокировать смартфон, нужно приложить палец владельца устройства.
Как работает технология распознавания лиц на смартфоне?
Технология использует 2D или 3D-датчик (зависит от модели смартфона), который сканирует лицо человека. При первой настройке телефона датчик запоминает лицо владельца: расстояние между глазами, контур губ, размер носа, подбородок и другие отличительные особенности внешности.
Полученная информация преобразуется в цифровые данные — в смартфоне создается трехмерная модель лица владельца устройства. После этого, когда мы хотим разблокировать телефон, алгоритм начинает сравнивать созданную модель и лицо, которое отсканировал 2D или 3D-датчик.
Сам датчик для распознавания лиц находится на лицевой части мобильного устройства — в верхней части. Его часто можно увидеть возле фронтальной камеры — небольшая точка, которую иногда можно принять за дополнительный динамик.
На бюджетных смартфонах для распознавания лица может использоваться фронтальная камера. У этой технологии меньше преимуществ, чем у 3D-сканирования. При разблокировке смартфона с плохим освещением (ночью, в комнате с выключенным светом или пасмурную погоду) телефон может выдать ошибку, что не может распознать владельца. В этом случае нужно поднести фронтальную камеру ближе к лицу или использовать альтернативный вариант — ввести классический пароль, графический ключ или воспользоваться сканером отпечатков пальцев (если он есть в гаджете).
Технология распознавания лиц, встроенная в камеру, запоминает меньше деталей внешности человека. Возможности функции ограничены разрешением камеры.
Читайте также: