Можно заметить, что большая часть человеческого общения — это жесты и выражения (иногда сокращенные). Казалось бы, машинам никогда не понять наш язык, но учёные из института робототехники доказали, что это не так.
Жестикуляцию не сложно захватить с помощью камер, но и тут есть проблема. Насколько быстро будет воспроизведено движение. Фразы и отрывки текста распознаются при помощи микрофона и синтеза речи, что уже не является инновацией.
Сам механизм обучения строится следующим образом. Машина выбирает только жесты и не запоминает объект исполнения, т.е. сначала идет идентификация жестикуляции, а потом определение нахождения объекта откуда поступали движения. Далее создаётся база жестов в которой имеется более трех тысяч комбинаций тела. И в конечном счете устанавливается множество камер, чтобы не упустить ни одной детали используя разные ракурсы.
Для того, чтобы захватить движение пальцев потребовалось более 30 камер высокого разрешения. Нужно понимать, что размеры пальцев малы по сравнению со всем телом. Все эти сложные механизмы нужны лишь на момент обучения машины. Далее движения будут различимы при использовании всего одной веб-камеры. В настоящий момент ученые работают над объединением 2D и 3D моделей жестов.
На данный момент времени пока не ясно в какой области будет использоваться технология. Вероятно, алгоритм будет пригоден на соревнованиях.
