Google создала алгоритм распознавания жестов с помощью камеры смартфона

Оставить комментарий
Google создала алгоритм распознавания жестов с помощью камеры смартфона

Команда Google AI опубликовала алгоритм машинного обучения, который распознаёт жесты в реальном времени. Для вычислений ему не требуются мощные десктопные или облачные среды: он способен работать на мобильных устройствах, пишет TechCrunch.

Сложность распознавания жестов для AI состоит в том, что руки и пальцы могут заграждать друг друга, более того, жестикуляция может быть слишком быстрая и недостаточно чёткая, из-за чего распознавать их точно и мгновенно для алгоритмов очень сложно.

Чтобы ускорить процесс, исследователи решили уменьшить объём данных, которые алгоритм должен обработать. К примеру, они отказались от распознавания руки целиком: вместо этого от системы требуется найти ладонь, после чего проанализировать каждый из пяти пальцев. Отдельный алгоритм фиксирует 21 точку на полученном изображении, расстояние между ними и их взаимное расположение. Таким образом создаётся высокоточная «карта» ладони и пальцев. Причём одновременно алгоритм Google может распознавать несколько рук.

Далее новый распознанный жест сравнивается с базой уже известных жестов — от алфавита и цифр на языке глухонемых до жестов, символизирующих, например,  «рок» «мир», «ОК». Для этого исследователи создали датасет из 30 тысяч изображений с руками в разных жестах и под разным освещением, на которых вручную обозначили эту 21 координату.

В результате получился шустрый и точный алгоритм, который поддерживается любым смартфоном. Он работает внутри кроссплатформенного ML-фреймворка MediaPipe, который Google представила в июне. Однако в каких-либо продуктах компании алгоритм пока не задействован.

Документация доступна на GitHub.

Хотите сообщить важную новость?

Пишите в наш Телеграм

Читайте также

Google блокирует режим «картинка в картинке» в YouTube на iOS 14 — требует заплатить
Google блокирует режим «картинка в картинке» в YouTube на iOS 14 — требует заплатить
Google блокирует режим «картинка в картинке» в YouTube на iOS 14 — требует заплатить
1 комментарий
В Англии спущен на воду автономный корабль под управлением AI
В Англии спущен на воду автономный корабль под управлением AI
В Англии спущен на воду автономный корабль под управлением AI
3 комментария
Китай составил «черный список» технологий на экспорт
Китай составил «черный список» технологий на экспорт
Китай составил «черный список» технологий на экспорт
Самые популярные сайты 1993-2020
Самые популярные сайты 1993-2020
Самые популярные сайты 1993-2020
1 комментарий

Обсуждение

Комментариев пока нет.
Спасибо! 

Получать рассылки dev.by про белорусское ИТ

Что-то пошло не так. Попробуйте позже