Цифрові аватари навчилися створювати за допомогою звуку

Американські вчені навчилися сканувати обличчя людей за допомогою звуку. Про це повідомляє видання Engaget.

Про дослідження розповіли спеціалісти Корнельського університету (CU). Інженери розробили технологію EarIO, яка дозволяє відсканувати обличчя людини та захопити її міміку, щоб відтворити у вигляді цифрового аватара. Віртуальний зліпок, що вийшов, можна використовувати під час відеодзвінків.

Щоб зафіксувати риси обличчя та міміку, користувач повинен надіти спеціальні навушники на голову. Гарнітура почне відтворювати звук, потім луну, що відбивається від обличчя, будуть фіксувати мікрофони. На основі отриманих даних нейромережа зможе вибудовувати цифрову копію людського обличчя у реальному часі.

За словами провідного учасника дослідження Ченг Чжана, існують подібні системи, які працюють на основі камер. Однак камери зазвичай важкі та енергоємні, також вони збирають зайву інформацію, що може зашкодити конфіденційності користувача.

У ході тестування з’ясувалося, що EarIO коректно працює, коли людина перебуває у сидячому стані чи русі. Однак висока чутливість приладу створює деякі проблеми — цифровий аватар може змінюватись, коли користувач обертає голову.