Инженер научил очки распознавать жесты и управлять умным домом
#1
[Изображение: 106e64eccc6e48e5eff31f011e1e4e2c.gif]

Американский инженер создал умные очки, понимающие, на что именно смотрит пользователь, и распознающие его жесты по отношению к этому объекту. К примеру, они позволяют взмахом руки включить лампу или музыку на колонке, рассказывает разработчик на странице проекта на GitHub.
На сегодняшний день существует множество систем умного дома, позволяющих управлять устройствами, не прикасаясь к ним. Многие из них работают на основе голосовых помощников и принимают команды в голосовом виде. Например, колонку Яндекса можно попросить включить умную лампу с помощью голосовой команды. Но если многие устройства в доме подключены к такой системе, возникает проблема: как определить, о каком именно устройстве говорит пользователь?
Инженер Ник Билд (Nick Bild) создал умные очки, понимающие, на какой именно предмет, подключенный к системе умного дома, показывает пользователь. Он взял за основу не готовые умные очки с камерой, а обычные солнцезащитные очки и дополнительную электронику. На одной из дужек он закрепил камеру для одноплатного компьютера Raspberry Pi, которая через провод подключена к плате NVIDIA Jetson Nano. Эту плату инженер разместил в картонной коробке, которую можно повесить на шею.


[Изображение: e8994c5b1f861f1091130fc173d14d66.jpg]

Разработчик реализовал управление устройствами жестами с помощью двух сверточных нейросетей. Одна из них распознает объекты в кадре, а вторая распознает жесты руки. Если алгоритмы получают комбинацию из известных объекта и жеста, очки с помощью Wi-Fi посылают команду на устройство.



Инженер обучил алгоритмы на двух самостоятельно собранных датасетах, каждый из которых содержал более 10 тысяч кадров. Пока разработчик научил систему принимать в качестве команды лишь взмах руки, однако он выложил код и обучающие данные на GitHub, поэтому любой желающий может дообучить модель для своих жестов.

В прошлом году редактор N+1 и инженеры из Яндекса и Московского театра мюзикла превратили обычную кофеварку в умную и управляемую голосом с помощью умной колонки «Яндекс.Станция», микроконтроллера и другой электроники.


Источник: nplus1.ru
Ответ
Thanks given by: Bearg , SX
#2
Интересный проект, интересно как технически реализация выглядит ?
Ответ
Thanks given by:
#3
Радуют исходники, кто задумывался сделать нечто подобное - почерпнут ценную информацию.
Ответ
Thanks given by:
#4
(08-20-2019, 06:54 PM)Bearg Написал: Интересный проект, интересно как технически реализация выглядит ?

посмотрите, здесь чуть подробней автор расписал
https://github.com/nickbild/shaides
Ответ
Thanks given by:


Перейти к форуму:


Пользователи, просматривающие эту тему: 1 Гость(ей)