TECH · 25 октября 2017, 14:15 · Отдел информации dev.by
Как мы это сделали: Banuba SDK — платформа для внедрения AR-возможностей в приложения

За полтора года с момента создания Banuba разработала целый комплекс мобильных технологий Banuba SDK. Руководитель компании Вадим Нехай рассказал dev.by о некоторых секретах компании.

Фото: Banuba

ПО Babuba предназначено для встраивания быстрого и корректного распознавания лиц людей, мимики, эмоций, жестов, 3D-объектов и невербальных сигналов. Технологии также могут отслеживать направления и движения взгляда и расстояние до экрана. Всё это можно использовать в мобильных приложениях самых разных направлений и функционала.

Banuba — не первая компания, работающая в сфере AR и распознавания мимики лица на базе мобильных устройств. Так, в мессенджере Snapchat есть возможность наложения эффектов не только на лица, но и на сторонние объекты. AR-фильтры и видеоэффекты применяются и в мобильных приложениях от Facebook. Технологии Banuba отличаются от Snapchat и Facebook и по многим показателям превосходят их, что подтверждают тесты.

Мы давно работаем с компьютерным зрением, включая обнаружение, отслеживание и классификацию объектов. Одна из наиболее сильных сторон компании — tracking: технологии позволяют отслеживать и идентифицировать практически любые объекты, как в фоне, так и на первом плане. В качестве примера можно привести face tracking. Snapchat использует определение 2D-точек на лице для создания фильтров, после чего выстраивает 3D-модели головы с использованием нагруженной системы нелинейных уравнений. В решении Banuba 3D-модель головы строится сразу, без промежуточного этапа. Соответственно, нам удалось избавиться от ошибок, связанных с этим преобразованием. «Это намного лучше, чем Snapchat», — самый частый комментарий, который нам приходится слышать от клиентов.

Алгоритмы Banuba SDK позволяют с очень высокой точностью измерять расстояние до различных точек сканируемой поверхности и понять её форму. Алгоритм распознаёт открытые и закрытые глаза пользователя, шесть ключевых эмоций человека (грусть, злость, радость, удивление и т.п.). Сделать это удалось благодаря продолжительному обучению ИИ на разнообразных моделях. Сейчас идёт работа над распознаванием микровыражений.

Фото: Banunba

Мы планируем добавить и такие функции, как распознавание жестов рук и тела человека, различных предметов, домашних животных. Среди долгосрочных планов — семантическое распознавание самых разных сцен, включая беседу, прогулку и прочие «социальные явления».

В качестве ещё одного примера реализации технологий можно привести точное определение наклона и движения головы человека вплоть до 90 градусов. Технология создает 3D-модели, которые в точности повторяют движения пользователей и объектов, попадающих в объектив камеры. Здесь важную роль играет балансировка наборов данных, чего было весьма непросто добиться.

Недавно мы разработали мобильную технологию отслеживания взгляда человека и даже подали заявку на регистрацию патента (к слову, Banuba имеет около 20 патентных заявок в различных странах). Технология позволяет не просто «смотреть», куда направлен взгляд человека, но и позволять пользователю управлять функциями телефона при помощи взгляда. Для этого используется специальный алгоритм распознавания микродвижений зрачков в режиме реального времени. Он очень точно отмечае определённые точки глаз человека, а для затем используется анализ множества показателей для построения вектора направления взгляда.

Фото: Banuba

Что касается iOS 11 и нашумевшего ARKit, стоит отметить, что Apple прекрасно реализовала работу с тыловой камерой. Но при этом фронтальной камере уделено не так много внимания, как хотелось бы. Разработчики Banuba стараются исправить этот дисбаланс и активно работают над максимизацией возможностей обеих камер.

В планах компании создание большого количества разных AR-приложений и разработка собственной блокчейн-системы верификации пользователей Banuba login.

90 процентов телефонов имеют слабую конфигурацию, несмотря на развитие эпохи новых технологий. Из-за этого далеко не все устройства способны полноценно работать с AR и VR. Все наши технологии предназначены для работы на Android и iOS, поэтому одной из ключевых задач компании является оптимизация алгоритмов для использования на мобильных устройствах с более слабой производительностью.

AR — это соревнование самых самых сильных разработчиков.

Читайте также: «Хотим создать большую AR-экосистему». Banuba и Inventain запускают продуктовую компанию

Источник: dev.by
Новые комментарии

Обсуждение

Missing
+1

неплохо. сумели повторить msqrd. следующий логичный шаг - призма?

69d92b468ae32c21d7a540357e1b2b8b?1509003678
Вадим Нехай
– Руководитель проекта в Banuba Development

не, зачем? все будет гораздо интересней ;-)

Picture?type=square
-1

призму кстати не смогли пристроить никуда - более 50 млн установок и ничего - закрутился конфликт интересов и фэйсбук дал взадний ход)

следующий шаг продаться микрософту, которые еще не знают как openCV обучать)))

фонX намертво убивает всю инновационность своими технологиями боюсь)

как показывают все последние местные продажи - главное личные связи и социальный капитал - а все остальное пыль)

Missing
+1

Дизайнеры у вас отличные, а где маски на реальных видео, а не только на рекламном?

И не слишком понятно, как сильно у вас дергаются точки. Маска у снапчата и фэйсбука вроде сидят без подергиваний, а точки у вас колбасит немного (вполне возможно, что это из-за типа налаживаемого изображения, но все же). Тест неликвиден.

093e089c91f183049994214e7c4ed749?1398265251
-1

AR уже не хайповая тема. Вот сделали бы Blockchain + AI, тогда срубили бы денег.

А если серьезно, платформа только для распознавания лиц? Какое применение? Делать клоны маскарада? Смысл?

Если это полноценная платформа, то чем лучше продуктов от Apple и Google?

Как много клиентов уже использует решение?

Missing

Впечатляет! Одна из не многих мною уважаемых компаний. Это не аутсорс, а реальный продукт - sdk, на базе которого можно клепать кучу других продуктов в разных сферах. Не соглашусь с предыдущим аратором, тема еще какая хайповая. Маски, распознование лиц - это просто демонстрация для обывателей.


Авторизуйтесь, чтобы оставлять комментарии

Использование материалов, размещенных на сайте, разрешается при условии прямой гиперссылки на dev.by. Ссылка должна быть размещена в подзаголовке или в первом абзаце публикации.
datahata — хостинг в Беларуси