Google создала алгоритм распознавания жестов с помощью камеры смартфона

Оставить комментарий
Google создала алгоритм распознавания жестов с помощью камеры смартфона

Команда Google AI опубликовала алгоритм машинного обучения, который распознаёт жесты в реальном времени. Для вычислений ему не требуются мощные десктопные или облачные среды: он способен работать на мобильных устройствах, пишет TechCrunch.

Сложность распознавания жестов для AI состоит в том, что руки и пальцы могут заграждать друг друга, более того, жестикуляция может быть слишком быстрая и недостаточно чёткая, из-за чего распознавать их точно и мгновенно для алгоритмов очень сложно.

Чтобы ускорить процесс, исследователи решили уменьшить объём данных, которые алгоритм должен обработать. К примеру, они отказались от распознавания руки целиком: вместо этого от системы требуется найти ладонь, после чего проанализировать каждый из пяти пальцев. Отдельный алгоритм фиксирует 21 точку на полученном изображении, расстояние между ними и их взаимное расположение. Таким образом создаётся высокоточная «карта» ладони и пальцев. Причём одновременно алгоритм Google может распознавать несколько рук.

Далее новый распознанный жест сравнивается с базой уже известных жестов — от алфавита и цифр на языке глухонемых до жестов, символизирующих, например,  «рок» «мир», «ОК». Для этого исследователи создали датасет из 30 тысяч изображений с руками в разных жестах и под разным освещением, на которых вручную обозначили эту 21 координату.

В результате получился шустрый и точный алгоритм, который поддерживается любым смартфоном. Он работает внутри кроссплатформенного ML-фреймворка MediaPipe, который Google представила в июне. Однако в каких-либо продуктах компании алгоритм пока не задействован.

Документация доступна на GitHub.

Хотите сообщить важную новость? Пишите в Телеграм-бот.

А также подписывайтесь на наш Телеграм-канал.

Горячие события

Gismart Online Meetup
9 декабря

Gismart Online Meetup

Минск

Читайте также

1995 — 2020: события, которые навсегда изменили ИТ-индустрию
1995 — 2020: события, которые навсегда изменили ИТ-индустрию
1995 — 2020: события, которые навсегда изменили ИТ-индустрию
Известный американский технический журнал Fast Company отмечает 25-летие. По этому поводу издание составило свой список важных событий в ИТ-сфере за четверть века, которые серьезным образом повлияли на развитие технологий. Выбрали самое интересное, некоторые пункты дополнили любопытными, на наш взгляд, фактами. 
Великобритания создаёт орган по контролю за бигтехом
Великобритания создаёт орган по контролю за бигтехом
Великобритания создаёт орган по контролю за бигтехом
Google лишит веб-версию Google Play платежных функций и введет комиссию за переводы
Google лишит веб-версию Google Play платежных функций и введет комиссию за переводы
Google лишит веб-версию Google Play платежных функций и введет комиссию за переводы
Франция начала собирать налог с бигтех-компаний
Франция начала собирать налог с бигтех-компаний
Франция начала собирать налог с бигтех-компаний
5 комментариев

Обсуждение

Комментариев пока нет.
Спасибо! 

Получать рассылки dev.by про белорусское ИТ

Что-то пошло не так. Попробуйте позже