Фахівці з Університету Суррея створили комп’ютерний алгоритм, який може генерувати фотореалістичне відео з мовою жестів на основі мови. Це допоможе полегшити комунікацію з людьми з обмеженими можливостями і усунути необхідність в спеціально навчених перекладачах.
Повідомляється, що дослідники використовували нейромережу, яка конвертує розмовну мову в мову жестів. Систему назвали SignGAN. Вона здатна створювати на основі даних по жестам 3D-моделі людських рук, які їх відтворюють на відео.
Розробники навчили алгоритм на відеороликах з справжніми перекладачами з мови жестів. Завдяки цьому вони домоглися реалістичності.
Нещодавно розробники Google створили систему, здатну розпізнавати мову жестів в відеодзвінках. Вона може відрізнити випадкові рухи рук від усвідомлених жестів.