Створено нейромережу, яка генерує відео за текстовим описом

Китайські розробники створили нейронну мережу під назвою CogVideo, яка вміє генерувати короткі відео з текстового опису. CogVideo вміє створювати відео з відносно високою частотою кадрів – на 4 секунди відео доводиться 32 кадри.

На цей час нейромережа вже може створювати відео за запитами «лев, що п’є воду», «жінка верхи на коні в морі», «чоловік їсть піцу» і так далі. Що стосується принципу роботи, він схожий на те, що залучено в нейромережах DALL-E 2 та Imagine, які створюють зображення за текстовим описом.

Стверджується, що за якістю роботи навіть попередня версія CogVideo перевершує всі загальнодоступні моделі нейромереж. Поки що автори не надали ні вихідних кодів програми, ні моделей для навчання власних нейромереж.

А раніше вчені повідомили, що нейромережа у процесі роботи створила свою мову, при цьому фахівці не можуть її розшифрувати. Джерело