Искусственный интеллект показал себя очень способным инструментом, если говорить о манипулировании видео с людьми.
Так называемые «дипфейки» с заменой лиц стали самым ярким примером, однако новые приложения появляются каждый день.
Самое последнее создает дипфейки для танцев — искусственный интеллект считывает танцевальные движения другого человека и накладывает его на целевое тело.
Научной стороной этого варианта занимались четыре исследования из Калифорнийского университета в Беркли.
Как они описывают в работе, опубликованной в arXiv, их система состоит из нескольких дискретных шагов.
Во-первых, записывается видео с целью и подпрограмма превращает ее движения в фигуру из палочек. (Для хорошего качества потребуется порядка 20 минут съемки на 120 fps).
Затем находится источник с видео и фигура с палочками снимает с него движения. Затем происходит обмен и нейросеть синтезирует видео с целевым индивидом, основываясь на движения фигуры из палочек.
Выглядит это потрясающе. Смотрите сами:
Нейросеть, которая создает ваш танец
Звучит все, конечно, просто, но на самом деле все намного сложнее. К примеру, есть подпрограмма, которая сглаживает движение фигур, так что танцоры не сильно дергаются, и совершенно отдельная нейросеть, предназначенная для повторного отслеживания лица цели для обеспечения реализма.
У программы есть и свои ограничения. Сеть не может точно моделировать свободные ткани, поэтому целевому человеку нужно надевать облегающую одежду. Встречаются и аномалии. В любом случае, работа впечатляющая. Источник