Комп’ютер навчили робити відео з мовою жестів

Фахівці з Університету Суррея створили комп’ютерний алгоритм, який може генерувати фотореалістичне відео з мовою жестів на основі мови. Це допоможе полегшити комунікацію з людьми з обмеженими можливостями і усунути необхідність в спеціально навчених перекладачах.

Повідомляється, що дослідники використовували нейромережу, яка конвертує розмовну мову в мову жестів. Систему назвали SignGAN. Вона здатна створювати на основі даних по жестам 3D-моделі людських рук, які їх відтворюють на відео.

Розробники навчили алгоритм на відеороликах з справжніми перекладачами з мови жестів. Завдяки цьому вони домоглися реалістичності.

Нещодавно розробники Google створили систему, здатну розпізнавати мову жестів в відеодзвінках. Вона може відрізнити випадкові рухи рук від усвідомлених жестів.