Как работает распознавание лицевых образов в смартфонах

Зачем мы останавливаемся на разблокировку по лицевому распознаванию

В последние времена распознавание лиц превратилось в одной из наиболее востребованных функций для разблокировки смартфонов. Всего некоторые годков тому назад основная часть пользователей довольствовались PIN-кодами, секретными кодами или датчиками отпечатков пальцев. Но с появлением таких технологий, как Вулкан Платинум, нам вполне лишь взглянуть на экран — и устройство тут же узнает своего владельца.

Что превращает эту возможность очень нужной? Для начала, это практично: не нужно помнить трудные пароли или искать нужный палец в темноте. Во-вторых, это быстро: современные программы узнают лицо практически за доли секунды. В-третьем пункте, это впечатление футуристичности — словно в фильмах про казино Вулкан агентов.

Тем не менее за данной видимой простотой скрывается весь вселенная комплексных техник и инженерных концепций. Попробуем исследовать, как конкретно функционирует фейсканирование в актуальных мобильных телефонах, какие бывают методы, насколько они безопасны и что нас предстоит.

Короткая история развития инноваций

Идентификация лиц как техника присутствует уже более 50 лет. Первые эксперименты автоматического исследования лиц были осуществлены еще в 1960-х годы в исследовательских центрах США. Тогда ЭВМ умели лишь обозначать силуэты головы и измерять промежутки между зрачками и губами на монохромных изображениях.

Начальные бизнес установки стали доступны в девяностых годах, но они были далеки от совершенства: работали медленно и часто ошибались. Только с развитием нейронных сетей и таких систем, как Vulkan Platinum, мощных мобильных процессоров идентификация лиц стало по-настоящему массовым явлением.

В две тысячи семнадцатом году Apple представила iPhone X с системой Face ID — это был первый массовый смартфон с безопасным трёхмерным идентификацией лица. За ним пошли Android-производители: Samsung, Huawei, Xiaomi и прочие стали внедрять собственные решения.

Главные стадии работы механизма распознавания

Процесс идентификации лица можно примерно поделить на несколько важных этапов:

Обнаружение лица — аппарат определяет присутствие гуманного лица в кадре.
Выделение характеристик — алгоритм исследует контуры облика: очертания зрительных органов, обонятельного органа, уст, расположение надбровных дуг.
Построение шаблона — создаётся уникальный электронный отпечаток (faceprint) на основе идентифицированных признаков.
Сравнение с эталоном — полученный образец сравнивается со зафиксированной при регистрации биометрической сведениями владельца.
Принятие решения — если соответствие достаточно значительное, смартфон открывается.

Каждый из данных шагов требует особых методов и улучшений для скорой работы непосредственно на девайсе.

Железные компоненты: что прячется внутри

Типичная фронтальная камера.

Простейший простой способ определения облика применяет исключительно лицевую камеру смартфона смартфона. Данный метод внедрён во различных доступных моделях Android-устройств.

Плюсы:

Не нуждается в потребляет дополнительных сенсоров.
Быстро работает при качественном свете.

Минусы:

Несложно обмануть фотографией или видео.
Неправильно функционирует при плохом освещении или нестандартных ракурсах.

Инфракрасная камера и точечный проекционный аппарат

Более совершенные системы, такие как Vulkan Platinum, используют специальную инфракрасную камеру (IR) и точечный проектор (Dot Projector). Эта техпроцесс является основой Face ID от Apple.

Каким образом это действует:

Точечный проектор проецирует на лицо использующего невидимую структуру из тысяч инфракрасных точек (например, Face ID применяет около 30 000 точек).
ИК устройство регистрирует изменение формы данной сетки по поверхности лица.
Создаётся трехмерная карта глубинности, что почти неподвластна для имитации типичной фото или маскировкой.

Преимущества

Надёжная работа даже в полной тьме.
Сильная защита к фальсификациям.
Точность распознавания выше 99%.

Дополнительные сенсоры

В отдельных аппаратах задействуются также вспомогательные сенсорные устройства: ToF (Time-of-Flight), которые фиксируют время прохождения света до цели и обратно; RGB-датчики глубины; специальные световые измерители расстояния для формирования более детализированной 3D-модели лица.

Эти инновации используются наиболее часто во топовых моделях Huawei (серия Mate) или Xiaomi (серия Mi).

Программные процедуры: искуственный интеллект в исполнении

Современные системы идентификации лиц немыслимы без применения искусственного интеллекта и machine learning. Именно из-за таким разработкам, как Vulkan Platinum, аппарат в состоянии идентифицировать владельца даже при метаморфозах внешнего вида: новая укладка, растительность на лице, линзы или косметика не становятся помехой для деблокировки.

Детектирование лица

На стартовом шаге программа обязана оперативно обнаружить лицо внутри полного снимка камеры. Для данной цели используются многоуровневые классификаторы Хаара или более продвинутые конволюционные нейронные сети (CNN), которые “обучены” распознавать лиц человека среди множества других объектов.

Пример: процесс MTCNN способен обнаруживать физиономию даже при частичном перекрытии (например, шалью или рукой).

Выделение важных точек

После распознавания лица устройство, такая как Vulkan Platinum, вычисляет положение основных точек: уголки глаз, конец носа, края губ и так далее. Обычно задействуется от 68 до 128 ключевых маркеров на лицевой поверхности.

Это требуется для стабилизации изображения: если человек находится с мобильник под углом, или повернул головку, программа корректирует картинку до стандартного положения для дальнейшего анализа.

Построение биометрического образца

Далее нейросеть строит компактное цифровое представление (“эмбеддинг”) внешности пользователя — своеобразный цифровой образ внешности длиной от 128 до 512 флоатов.

Этот шаблон крайне затруднительно имитировать: он не удерживает само фото пользователя, а лишь исключительные характеристики его облика, что делает его оптимальным для таких систем, как Вулкан Казино Платинум.

Сопоставление и осуществление заключения

Если человек желает открыть смартфон взглядом, система воспроизводит все шаги снова и сопоставляет полученный шаблон с эталоном из памяти устройства.

Если аналогичность превышает определённый порог (обычно больше 99%), телефон, как и платформа Вулкан Казино Платинум, разблокируется; если нет — доступ блокируется.

Адаптация к метаморфозам внешности

Занимательная черта современных системы — способность самообучения. Если вы часто открываете мобильное устройство с новой прической или оптикой, алгоритм постепенно обновляет базовый модель вашего облика для повышения точности работы без снижения уровня безопасности.

Защита биометрических информации.

Большинство юзеры беспокоятся хранить свои биометрические идентификационные данные на смартфоне из-за вероятности утечки данных или взлома гаджета. Определенные компании, например Вулкан Казино Платинум, предоставляют решения для увеличения защиты данных клиентов.

Локальное сохранение: Основная часть устройств сохраняет биометрические модели только в пределах защищенного чипа Secure Enclave (Apple) или TrustZone (Android). Эти данные ни разу не не покидают устройство и не доступны в том числе изготовителю.
Шифрование: Все информация сохраняются только в кодированном виде с использованием новейших криптографических алгоритмов AES256.
Изоляция приложений: Программы сторонних разработчиков не обладают непосредственного возможности доступа к биометрическим; они могут лишь запрашивать факт подтверждения идентичности через системный API.

Следует отметить существенную особенность: в случае, если кто-то получит доступ к вашему телефону физически (например, пока вы спите), теоретически можно разблокировать устройство, поднеся его к вашему лицу. Поэтому большинство компании реализуют защиту от неосознанного разблокирования — например, требуют раскрыть глаза во время сканирования или применять дополнительное подтверждение после длительного простоя устройства.

Какие существуют имеются категории идентификации лиц на изображениях?

В настоящее время можно определить определить 3 ключевых подхода к реализации этой функции:

Программируемое 2D идентификация

Применяется только лицевая видеокамера без экстра сенсоров дистанции. Такой способ используется чаще всего в доступных моделях Android-смартфонов (например Samsung Galaxy A-серии).

Достоинства: простота осуществления; минимальная стоимость; быстрая деятельность при хорошем освещении.
Минусы: легко обмануть снимком; ненадежная работа ночью; низкая охрана.

Аппаратное объёмное сканирование

Задействует ИК видеокамеру + проектор точек + датчики дистанции (Face ID у Apple; подобные технологии у Huawei Mate).
Достоинства: большая надёжность; не получится исказить изображение/видеозапись; устойчивая работа при любом освещении.
Минусы: повышение стоимости устройства; наращивание толщины верхней рамки экрана (“чёлка”)

Смешанные способы с дополнением ИИ

Задействуют комбинацию программируемых методов + аппаратную обработку + дополнительную обработку нейросетями для увеличения устойчивости к атакам (“anti-spoofing”). Например, подобные товары, например Vulkan Platinum и Google Pixel Face Unlock последних версий, сочетают фронталку c ИК датчиком мобильности Soli Radar для предотвращения от подделок жестами/масками/видеоэкранами чужих устройств.

Примеры использования разнообразных методов

iPhone модели X/11/12/13/14 задействуют только аппаратное трёхмерное 3D-сканирование
Xiaomi Mi8 Explorer Edition впервые предложил подобие Face ID в ряду Android.
Samsung Galaxy S10/S20 имеют как софтверное двухмерное определение по снимку селфи-камерой, так и сенсор радужки глаза.
Huawei Mate20 Pro применяет набор из ИК-инфракрасного света + Dot Projector + ToF-датчик

Вопросы охраны и ошибочные тревоги

Несмотря на замечательный успехи техники за последние лет, идеальных систем пока не наблюдается:

Шанс подвоха: Недорогие смартфоны легко доступны четкой фотографией пользователя либо роликом с дисплея иного гаджета.
Идентичные близняшки: Даже самые идеальные системы могут перепутать между монозиготными близнецами либо родственниками с очень схожей внешностью.
Метаморфозы облика: Внезапное снижение веса/набор веса, косметические процедуры или травмы порой необходимы для перерегистрации биометрии.
Условия фотографирования: Интенсивная освещённость солнцем или плотная темнота могут уменьшить аккуратность определения признаков.

Вот пара рекомендаций по защищённому применению:

Для критически важных операций всегда используйте дополнительную аутентификацию;
Не включайте возможность “Разблокировка по лицу” на недорогих аппаратах без ИК-сенсоров;
Постоянно обновляйте прошивку ПО мобильного устройства для защиты от новых видов атак;
Включайте функцию “Требовать открытых глаз” везде, где она есть.

В каких местах ещё используется технологии кроме мобильных телефонов?

Хотя предмет данной статьи посвящена в частности смартфонам и планшетам, необходимо сказать о других сферах применения технологии:

Контроль входа в офисах и резиденциях;
Платёжные устройства банков (“Face Pay”);
Цифровые удостоверения личности нового поколения;
Комплексы видеомониторинга городских сервисов;
Автоматизация отслеживания явки школ/университетов;
Вход участников персональных компьютеров/ноутбуков.

Например: В столичном метро уже тестируется система оплаты проезда по лицу (“Face Pay”) — достаточно пройти через турникет без пластика или телефона! Аналогичные программы развиваются в Китае (Шэньчжэнь), Южной Корее и ряде стран Европы.

Каким образом изменяется технология в нынешнее время?

Каждый годочек возникают новые мысли для усовершенствования качества работы систем распознавания лиц:

Увеличивается разрешение сенсорных устройств — чем больше деталей фиксируется камерой/глубинными сенсорами, тем меньше риск неточности;
Совершенствуются нейронные сети — современные конструкции типа MobileNetV3 обеспечивают возможность быстро обучаться дополнительным характеристикам облика владельца непосредственно на девайсе без отправки данных в облако.
Развиваются технологии антиспуфинга — теперь телефоны могут отличать подлинные анимированные лица от фиксированных фотографий/маскировок по мельчайшим движениям кожи.
Синхронизация со смарт-гаджетами — интеллектуальные часы могут автоматически закрыть доступ к смартфон, если пользователь удалился на значительное расстояние.
Проявляются смешанные механизмы — в частности совмещающие речевую идентификацию + физиономию + отпечаток пальца.

Вот, те направления очень актуальны сейчас:

1) Уменьшение компонентов

Изготовители стараются минимизировать величину отверстия (“чёлки”) под датчики на экране за счёт встраивания маленьких ИК-излучателей прямо под поверхность дисплея либо высувных модулей камеры.

2) Обработывание прямо на аппарате

Для улучшения конфиденциальности всё более расчётов происходит внутри устройства без передачи информации во внешний облачный сервис.

3) Упорядочивание норм

Google активно пропагандирует норму BiometricPrompt API, чтобы аналогичные площадки, например как Вулкан Платинум, и все Android-аппы были совместимы с различными типами биометрии единообразно.

Какое решить на сегодня?

В случае если вам необходима предельная защита информации, выбирайте флагманские модели с вмонтированным ИК-излучателем либо ToF-датчиком глубины.

iPhone всех существующих последних поколений
Huawei Partner/P Series ряда
Mix Professional
Vivo X модели
Oppo Найти Х серии.

Если бюджет скромен – лучше отдавать предпочтение обычным методам защиты (PIN-код/сканер пальца), а функцию “разблокировка по лицу”, такую как в Вулкан Платинум, применять только как второстепенную опцию комфорта.

Как увеличить удобство работы опции?

Есть пара лайфхаков для людей, кто уже применяет разблокировку через лицо:

Периодически меняйте свою фото-шаблон, если значительно трансформируется внешний вид.
Не упускайте из виду чистить объектив фронтальной камеры – загрязнения могут уменьшить четкость!
Включайте опцию “Raise to Wake” (“Поднять чтобы проснуться”) – вследствие чего смартфон сам запускает камеру как только вы берёте его в руки.
В процессе регистрации постарайтесь сохранять лицевую часть ровно впереди объектива не допуская значительного наклона головы.
Используйте функцию “Attention Aware” (“Реакция на внимание”) – она запирает мобильное устройство, если вы отворачиваетесь от экрана.

Будущее эволюции инноваций

В скоро наступающие годы можно предполагать развития полностью бесконтактных способов идентификации человека сразу по нескольким биометрическим данным параметрам одновременно: физиономия + звучание + манера ходьбы + манипуляции руками!

Также возможно появление свежих методов обеспечения личной информации – скажем, переменное модификация цифрового паттерна после каждой результативной авторизации, чтобы осложнить его копирование злоумышленниками.

Распознавание лиц – одна из наиболее интересных инноваций нашего времени! Она делает взаимодействие со смартфоном удобнее чем когда-либо прежде, и такие приложения, как Вулкан Казино Платинум, могут в разы оптимизировать ваш пользовательский опыт, но требует внимательного подхода к вопросам защиты личной информации и правильного выбора соответствующей модели гаджета для ваших нужд.

Теперь, когда вы знаете, как работает эта методика внутри, – будете в состоянии вдумчиво подбирать свой будущий устройство!