Инженер научил солнцезащитные очки распознавать жесты и управлять умным домом

Оставить комментарий
Инженер научил солнцезащитные очки распознавать жесты и управлять умным домом

Американский инженер Ник Билд создал смарт-очки, которые понимают, на какое из устройств умного дома смотрит пользователь, и распознают его жесты по отношению к этому объекту. К примеру, можно взмахом руки включить лампу или музыку на колонке, пишет N+1.

Энтузиаст взял за основу обычные солнцезащитные очки и закрепил на одной из дужек камеру для Raspberry Pi, которую через провод подключил к плате NVIDIA Jetson Nano. Эту плату Билд разместил в картонной коробке, которую можно повесить на шею.

Жестовое управление устройствами реализовано с помощью двух сверточных нейросетей: первая распознает объекты в кадре, а вторая —  жесты руки. Если алгоритмы получают комбинацию из известного объекта и жеста, очки через Wi-Fi посылают команду на устройство.

Билд обучил алгоритмы на двух самостоятельно собранных датасетах, каждый из которых содержал более 10 тысяч кадров. Пока система воспринимает только одну команду — взмах руки. Но инженер опубликовал код и обучающие данные на GitHub, чтобы дообучить модель для своих жестов мог любой желающий.

Хотите сообщить важную новость? Пишите в Телеграм-бот.

А также подписывайтесь на наш Телеграм-канал.

Читайте также

Появилась нейросеть, которая распознаёт сарказм
Появилась нейросеть, которая распознаёт сарказм
Появилась нейросеть, которая распознаёт сарказм
Появилось приложение для видеозвонков, которое превращает пижаму в костюм, а пользователя — в кого угодно
Появилось приложение для видеозвонков, которое превращает пижаму в костюм, а пользователя — в кого угодно
Появилось приложение для видеозвонков, которое превращает пижаму в костюм, а пользователя — в кого угодно
2 комментария
Без строителей. EnCata собрали металлический дом на конвейере (стоит в Колодищах)
Без строителей. EnCata собрали металлический дом на конвейере (стоит в Колодищах)
Без строителей. EnCata собрали металлический дом на конвейере (стоит в Колодищах)
В MIT создали нейросеть, которая вычисляет бессимптомный COVID-19 по кашлю пациента
В MIT создали нейросеть, которая вычисляет бессимптомный COVID-19 по кашлю пациента
В MIT создали нейросеть, которая вычисляет бессимптомный COVID-19 по кашлю пациента
2 комментария

Обсуждение

Комментариев пока нет.
Спасибо! 

Получать рассылки dev.by про белорусское ИТ

Что-то пошло не так. Попробуйте позже