Meta представи нов изкуствен интелект за клониране на гласове и генериране на звуци

Meta представи своя безплатен софтуер за клониране на глас – Audiobox. Продуктът е много добър в имитирането на гласовете на хората и на различни звуци, като например лай на кучета или пеене на птици. Той се базира на аудиозаписи и текстови подсказки. Но има уловка: Audiobox е забранен за търговска употреба, както и в някои региони като Тексас и Илинойс.

За да използвате програмата, трябва само да качите оригиналния аудиозапис и да въведете текстови подсказки. Можете да получите натурални резултати за различни ситуации – озвучаване на видеоклипове, запис на поздрави, научни доклади, песни и др. Хората, които имат проблеми с говора, могат да я използват, за да изразяват мислите си на глас и дори да предават емоции – софтуерът може да изобразява вълнение, възторг, гняв, уплаха. Софтуерът не използва гласове на известни личности, за да се избегнат възможните правни проблеми.

Продуктът се базира на цяло семейство генеративни изкуствени интелекти, които могат да генерират аудио. Някои от моделите копират и възпроизвеждат гласовете, а други отговарят за различните шумове и ефекти. Всички те се основават на един-единствен самообучаващ се модел – Audiobox SSL.

Той е обучен върху 160 000 часа аудиозаписи от хора в 150 държави, които говорят 200 езика, както и върху 20 000 часа музикални записи и 6 000 часа различни звукови ефекти – от капене до скърцане. Речевата част е включвала аудиокниги, подкастове, записи на лекции и публични речи, както и разговори в естествена среда. Изследователите не уточняват откъде са получили данните за обучение на модела и дали са получили съгласието на тези, чиито гласове са използвали. Медиите разбраха това едва сега, но обикновено подобна голяма компания се грижи да спазва закона.

За да демонстрират възможностите на Audiobox, разработчиците представиха редица интерактивни демонстрации. Една от тях позволява да се записва аудиото на потребител, който говори текст от около едно изречение, и да се озвучават дълги текстове с неговия глас. Тези, които вече са изпробвали иновацията, съобщават, че гласовете като цяло са подобни, но понякога се различават от оригинала.

Софтуерът също така ви позволява да генерирате напълно нови гласове въз основа на текстови описания, като например „нисък женски глас“, „висок глас на мъж от САЩ“ и т.н. Можете също така да добавяте нови ефекти към съществуващ запис, да променяте темпото на речта и стила на песните, както и още много други най-разнообразни ефекти и възможности.

Интересно е, че изходният код на Audiobox е затворен, въпреки че разработчикът по-рано обещаваше да издава прозрачни продукти с отворен код.