Google представила аудіокодек для голосових дзвінків по повільним каналам зв’язку

Компанія Google представила бета-версію аудиокодека Lyra, який використовує машинне навчання для досягнення максимальної якості передачі мови навіть при використанні дуже повільних каналів зв’язку. Вихідний код Lyra, а також приклади його роботи, компанія опублікувала на платформі GitHub. Відзначається, що для передачі необробленого звуку необхідний канал зв’язку зі швидкістю всього 3 Кбіт/с.

Код Lyra написаний на C++ з використанням фреймворку Bazel. У поточній версії аудиокодека використовується пропріетарна бібліотека libsparse_inference.so з реалізацією ядра для математичних обчислень в середовищі спеціалізованих інструкцій, доступних в 64-розрядних процесорах ARM. Компанія відзначає, що це тимчасовий захід і надалі планується розробити відкриту заміну вищевказаної бібліотеці і забезпечити підтримку різних платформ.

Кодек складається з кодувальника і декодувальник. Алгоритм роботи першого полягає в добуванні параметрів голосових даних кожні 40 мілісекунд, їх стиснення і передачі отримувачу по мережі. Завдання декодера зводиться до перетворення цих порцій даних назад в звукову хвилю, яку можна відтворити на стороні слухача.

За словами Google, архітектура Lyra більшою мірою схожа на архітектуру традиційних аудіокодеків, що використовують звичайні методи стиснення звуку. Перевага Lyra полягає в здатності декодеровщіка відновлювати високоякісний сигнал за допомогою генеративної системи машинного навчання. Вона дозволяє відтворювати інформацію, якої бракує на основі типових характеристик мови. Модель для генерації звуку навчена на основі декількох тисячах годин із записами голосів на більш ніж 70 мовах.

На думку Google, аудіокодек Lyra може застосовуватися в різних сферах. Наприклад, його можна застосовувати для архівування великих обсягів запису мови, для економії заряду акумулятора в смартфонах, а також для зниження навантаження на Мережу у випадках надзвичайних ситуацій. Джерело