Инженер научил солнцезащитные очки распознавать жесты и управлять умным домом

Оставить комментарий

Американский инженер Ник Билд создал смарт-очки, которые понимают, на какое из устройств умного дома смотрит пользователь, и распознают его жесты по отношению к этому объекту. К примеру, можно взмахом руки включить лампу или музыку на колонке, пишет N+1.

Энтузиаст взял за основу обычные солнцезащитные очки и закрепил на одной из дужек камеру для Raspberry Pi, которую через провод подключил к плате NVIDIA Jetson Nano. Эту плату Билд разместил в картонной коробке, которую можно повесить на шею.

Жестовое управление устройствами реализовано с помощью двух сверточных нейросетей: первая распознает объекты в кадре, а вторая —  жесты руки. Если алгоритмы получают комбинацию из известного объекта и жеста, очки через Wi-Fi посылают команду на устройство.

Билд обучил алгоритмы на двух самостоятельно собранных датасетах, каждый из которых содержал более 10 тысяч кадров. Пока система воспринимает только одну команду — взмах руки. Но инженер опубликовал код и обучающие данные на GitHub, чтобы дообучить модель для своих жестов мог любой желающий.

Горячие события

Testing Stage 2020
26 марта — 28 марта

Testing Stage 2020

Киев
JSNation 2020 Amsterdam
3 июня — 5 июня

JSNation 2020 Amsterdam

Amsterdam

Читайте также

Microsoft обучила крупнейшую языковую модель на базе архитектуры Transformer
Microsoft обучила крупнейшую языковую модель на базе архитектуры Transformer

Microsoft обучила крупнейшую языковую модель на базе архитектуры Transformer

AI «апгрейдил» короткометражку братьев Люмьер 1896 года до 4К
AI «апгрейдил» короткометражку братьев Люмьер 1896 года до 4К

AI «апгрейдил» короткометражку братьев Люмьер 1896 года до 4К

IBM создала AI-инструмент для автоматической разметки изображений
IBM создала AI-инструмент для автоматической разметки изображений

IBM создала AI-инструмент для автоматической разметки изображений

Новый инструмент MIT предсказывает скорость выполнения кода на чипах
Новый инструмент MIT предсказывает скорость выполнения кода на чипах

Новый инструмент MIT предсказывает скорость выполнения кода на чипах

Обсуждение

Комментариев пока нет.