Google представи аудио кодека с отворен код Lyra V2

Google представи аудио кодека Lyra V2, който използва алгоритми с машинно обучение, за да постигне максимално качество на речта чрез много бавни комуникационни канали. Новата версия включва преход към нова архитектура на невронни мрежи, поддръжка за допълнителни платформи, подобрен битрейт контрол, подобрения в производителността и по-високо качество на звука. Еталонната реализация на кода е написана на C++ и се разпространява под лиценза Apache 2.0.

По отношение на качеството на гласовите данни, предавани при ниски скорости на обмен на информацията, Lyra значително превъзхожда традиционните кодеци, които използват методи за цифрова обработка на сигнала. За да се постигне висококачествено предаване на човешка реч в условие на ограничено количество обменена информация, в допълнение към обичайните методи за аудио компресия и преобразуване на сигнала, Lyra използва речеви модел, базиран на система за машинно обучение, която дава възможност за пресъздаване на липсващата информация въз основа на типичните речеви характеристики.

Кодекът включва енкодер и декодер. Алгоритъмът на работа на енкодера извлича параметрите на гласовите данни на всеки 20 милисекунди, компресира ги и ги прехвърля към получателя по мрежа със скорост за обмен на информацията от 3,2 kbps до 9,2kbps. От страната на приемника декодерът използва генеративен модел за пресъздаване на оригиналния говорен сигнал въз основа на получените аудио параметри, които включват логаритмични спектрограми, отчитащи енергийните характеристики на речта в различните честотни диапазони и са предварително настроени според създадения модел на човешкото слухово възприятие.

Освен използването на друг генеративен модел, в новата версия на кодека се с използва и архитектура с няколко звена с RVQ (Residual Vector Quantizer) квантуване.

Новата архитектура намалява латентността на предаването на сигнала от 100 на 20 милисекунди. За сравнение, кодекът Opus за WebRTC демонстрира закъснения от 26,5 ms, 46,5 ms и 66,5 ms при тестваните битрейтове. Производителността на енкодера и декодера също е значително увеличена – в сравнение с предишната версия ускорение достига 5 пъти. Така например, при смартфона Pixel 6 Pro, новият кодек кодира и декодира 20-ms проба за 0,57 ms, което е 35 пъти по-бързо от необходимото за предаване в реално време.

Освен сериозно увеличение на производителността новият кодек значително подобрява и качеството на възстановяване на звука – според скалата MUSHRA, качеството на речта при побитови скорости от 3,2 kbps, 6 kbps и 9,2 kbps при използване на кодека Lyra V2 съответства на побитови скорости от 10 kbps, 13 kbps и 14 kbps при използване на кодека Opus.