Как мы это сделали: Banuba SDK — платформа для внедрения AR-возможностей в приложения

7 комментариев
Как мы это сделали: Banuba SDK — платформа для внедрения AR-возможностей в приложения

За полтора года с момента создания Banuba разработала целый комплекс мобильных технологий Banuba SDK. Руководитель компании Вадим Нехай рассказал dev.by о некоторых секретах компании.

Читать далее

Фото: Banuba

ПО Babuba предназначено для встраивания быстрого и корректного распознавания лиц людей, мимики, эмоций, жестов, 3D-объектов и невербальных сигналов. Технологии также могут отслеживать направления и движения взгляда и расстояние до экрана. Всё это можно использовать в мобильных приложениях самых разных направлений и функционала.

Banuba — не первая компания, работающая в сфере AR и распознавания мимики лица на базе мобильных устройств. Так, в мессенджере Snapchat есть возможность наложения эффектов не только на лица, но и на сторонние объекты. AR-фильтры и видеоэффекты применяются и в мобильных приложениях от Facebook. Технологии Banuba отличаются от Snapchat и Facebook и по многим показателям превосходят их, что подтверждают тесты.

Мы давно работаем с компьютерным зрением, включая обнаружение, отслеживание и классификацию объектов. Одна из наиболее сильных сторон компании — tracking: технологии позволяют отслеживать и идентифицировать практически любые объекты, как в фоне, так и на первом плане. В качестве примера можно привести face tracking. Snapchat использует определение 2D-точек на лице для создания фильтров, после чего выстраивает 3D-модели головы с использованием нагруженной системы нелинейных уравнений. В решении Banuba 3D-модель головы строится сразу, без промежуточного этапа. Соответственно, нам удалось избавиться от ошибок, связанных с этим преобразованием. «Это намного лучше, чем Snapchat», — самый частый комментарий, который нам приходится слышать от клиентов.

Алгоритмы Banuba SDK позволяют с очень высокой точностью измерять расстояние до различных точек сканируемой поверхности и понять её форму. Алгоритм распознаёт открытые и закрытые глаза пользователя, шесть ключевых эмоций человека (грусть, злость, радость, удивление и т. п.). Сделать это удалось благодаря продолжительному обучению ИИ на разнообразных моделях. Сейчас идёт работа над распознаванием микровыражений.

Фото: Banunba

Мы планируем добавить и такие функции, как распознавание жестов рук и тела человека, различных предметов, домашних животных. Среди долгосрочных планов — семантическое распознавание самых разных сцен, включая беседу, прогулку и прочие «социальные явления».

В качестве ещё одного примера реализации технологий можно привести точное определение наклона и движения головы человека вплоть до 90 градусов. Технология создает 3D-модели, которые в точности повторяют движения пользователей и объектов, попадающих в объектив камеры. Здесь важную роль играет балансировка наборов данных, чего было весьма непросто добиться.

Недавно мы разработали мобильную технологию отслеживания взгляда человека и даже подали заявку на регистрацию патента (к слову, Banuba имеет около 20 патентных заявок в различных странах). Технология позволяет не просто «смотреть», куда направлен взгляд человека, но и позволять пользователю управлять функциями телефона при помощи взгляда. Для этого используется специальный алгоритм распознавания микродвижений зрачков в режиме реального времени. Он очень точно отмечает определённые точки глаз человека, затем используется анализ множества показателей для построения вектора направления взгляда.

Фото: Banuba

Что касается iOS 11 и нашумевшего ARKit, стоит отметить, что Apple прекрасно реализовала работу с тыловой камерой. Но при этом фронтальной камере уделено не так много внимания, как хотелось бы. Разработчики Banuba стараются исправить этот дисбаланс и активно работают над максимизацией возможностей обеих камер.

В планах компании создание большого количества разных AR-приложений и разработка собственной блокчейн-системы верификации пользователей Banuba login.

90 процентов телефонов имеют слабую конфигурацию, несмотря на развитие эпохи новых технологий. Из-за этого далеко не все устройства способны полноценно работать с AR и VR. Все наши технологии предназначены для работы на Android и iOS, поэтому одной из ключевых задач компании является оптимизация алгоритмов для использования на мобильных устройствах с более слабой производительностью.

AR — это соревнование самых сильных разработчиков.

Читайте также: «Хотим создать большую AR-экосистему». Banuba и Inventain запускают продуктовую компанию

Хотите сообщить важную новость?

Пишите в наш Телеграм

Горячие события

Вебинар «Советы от рекрутеров: как найти квалифицированную работу в Европе»
4 июня

Вебинар «Советы от рекрутеров: как найти квалифицированную работу в Европе»

Тренинг Professional Scrum Master I (PSM I) Online
4 июня — 5 июня

Тренинг Professional Scrum Master I (PSM I) Online

Минск
 Туториал: новые фичи CatBoost
4 июня

Туториал: новые фичи CatBoost

Читайте также

AR-стартап Magic Leap увольняет 1000 сотрудников и уходит с потребительского рынка
AR-стартап Magic Leap увольняет 1000 сотрудников и уходит с потребительского рынка

AR-стартап Magic Leap увольняет 1000 сотрудников и уходит с потребительского рынка

1 комментарий
Facebook закрывает приложение MSQRD
Facebook закрывает приложение MSQRD

Facebook закрывает приложение MSQRD

3 комментария
Калифорнийский стартап создал линзы с дополненной реальностью
Калифорнийский стартап создал линзы с дополненной реальностью

Калифорнийский стартап создал линзы с дополненной реальностью

3 комментария
Business Insider очень странно вспомнил MSQRD
Business Insider очень странно вспомнил MSQRD

Business Insider очень странно вспомнил MSQRD

1 комментарий

Обсуждение

1

неплохо. сумели повторить msqrd. следующий логичный шаг - призма?

Вадим Нехай
Вадим Нехай . в Banuba Development
0

не, зачем? все будет гораздо интересней ;-)

-1

призму кстати не смогли пристроить никуда - более 50 млн установок и ничего - закрутился конфликт интересов и фэйсбук дал взадний ход)
следующий шаг продаться микрософту, которые еще не знают как openCV обучать)))
фонX намертво убивает всю инновационность своими технологиями боюсь)
как показывают все последние местные продажи - главное личные связи и социальный капитал - а все остальное пыль)

4

молодцы ребята!

1

Дизайнеры у вас отличные, а где маски на реальных видео, а не только на рекламном?
И не слишком понятно, как сильно у вас дергаются точки. Маска у снапчата и фэйсбука вроде сидят без подергиваний, а точки у вас колбасит немного (вполне возможно, что это из-за типа налаживаемого изображения, но все же). Тест неликвиден.

-1

AR уже не хайповая тема. Вот сделали бы Blockchain + AI, тогда срубили бы денег.
А если серьезно, платформа только для распознавания лиц? Какое применение? Делать клоны маскарада? Смысл?
Если это полноценная платформа, то чем лучше продуктов от Apple и Google?
Как много клиентов уже использует решение?

0

Впечатляет! Одна из не многих мною уважаемых компаний. Это не аутсорс, а реальный продукт - sdk, на базе которого можно клепать кучу других продуктов в разных сферах. Не соглашусь с предыдущим аратором, тема еще какая хайповая. Маски, распознование лиц - это просто демонстрация для обывателей.

Спасибо! 

Получать рассылки dev.by про белорусское ИТ

Что-то пошло не так. Попробуйте позже