Группа исследователей из Института робототехники университета Карнеги-Мелоун (Carnegie Mellon University) разработала программу, алгоритмы которой позволяют компьютеру в режиме реального времени читать “язык” тела человека, анализируя выражение лица, положение головы, туловища, ног и всех пальцев рук.
Данная программа была разработана и отлажена при помощи оборудования студии Panoptic Studio, купола, высотой в два этажа, на внутренней поверхности которого установлено 500 видеокамер.
“Человек выражает свое состояние и эмоции при помощи выражения лица, движений и позы тела не хуже, чем своим голосом” – рассказывает Ясер Шейх (Yaser Sheikh), ведущий исследователь, – “Но компьютеры до последнего времени оставались “слепы” по отношению к этому языку нашего тела”.
Пять сотен камер студии Panoptic Studio производят огромное количество информации даже при съемке одного кадра, и для анализа такого массива визуальной информации требуются значительные вычислительные ресурсы. Поэтому исследователям пришлось ограничиться анализом потоков данных от 31 высококачественной видеокамеры.
Следующими шагами, которые намерены сделать исследователи, станет переработка программного кода системы так, чтобы для ее работы было достаточно одной единственной камеры и ноутбука. При этом, система должна будет уметь расшифровывать язык тела не только одного человека, а целой группы людей, взаимодействующих друг с другом, при этом, поведение человека в данном случае уже перестает быть индивидуальным и подчиняется линии поведения группы в целом.
Кроме того, на снимках многочисленной группы людей порой даже людям тяжело определить, кому именно из людей принадлежит та или иная видимая часть тела. В этом заключается достаточно сложная проблема, но исследователи успешно справились с задачей, применив метод обратного анализа, что позволило “привязать” отдельные части тела на изображении, такие, как руки, ноги и лица к определенному человеку.
Разработанный исследователями метод расшифровки языка тела человека, исходный код программного обеспечения и собранные в студии Panoptic Studio находятся сейчас в открытом доступе. И, следует отметить, все это используется в практических целях более чем 20 группами, в том числе и компаниями из автомобильной отрасли. А более детальную информацию о своей разработке исследователи представят на конференции Computer Vision and Pattern Recognition Conference (CVPR) 2017, которая будет проходить в Гонолулу с 21 по 26
июля этого года.