Nvidia представи нов експериментален генеративен AI-модел, който компанията описва като „швейцарски армейски нож за звука„. Моделът Fugatto (Fundational Generative Audio Transformer Opus 1) използва текстови подкани за генериране на нови или модифициране на съществуващи музикални, гласови и аудио файлове. Разработчици от цял свят участваха в създаването на проекта, което засили „многоакцентните и многоезични възможности на модела“.
„Искахме да създадем модел, който разбира и генерира звук по начина, по който хората го правят“ — каза участникът в проекта и мениджър по приложни изследвания на звука в Nvidia Рафаел Вале (Rafael Valle). Компанията предложи няколко сценария, при които моделът Fugatto може да бъде търсен:
- Музикалните продуценти могат бързо да създадат прототип на песен, която лесно да се редактира чрез изпробване на различни стилове, гласове и инструменти.
- Fugatto може да се използва за създаване на инструменти за изучаване на езици с избор на най-подходящия глас.
- Разработчиците на видеоигри могат да го използват, за да създават варианти на предварително записани ресурси, за да съответстват на промените в играта въз основа на избора и действията на играча.
Изследователите твърдят, че моделът, с някои допълнителни фини настройки, може да изпълнява и задачи, които не са били част от предишното му обучение. Моделът може да комбинира отделни инструкции, например генериране на реч с определена интонация и акцент или звук на пеене на птици по време на гръмотевична буря. Моделът може също да генерира звуци, които се променят с времето, като звук от приближаваща дъждовна буря или движещ се влак.
Fugatto не е първата генеративна AI-технология, която може да създава звуци от текстови подкани. Meta пусна преди това подобен AI-модел с отворен код. Google предлага свой собствен AI-инструмент за преобразуване на текст към музика — MusicLM, който може да бъде достъпен чрез сайта на компанията AI Test Kitchen.
Nvidia все още не е предоставила публичен достъп до Fugatto и се въздържа от коментар по този въпрос.
Всичко важно от света на технологиите, директно в пощата ти.
С абонирането приемате нашите Условия и Политика за поверителност. Може да се отпишете с един клик по всяко време.
Коментирайте статията в нашите Форуми. За да научите първи най-важното, харесайте страницата ни във Facebook, и ни последвайте в Google Новини, TikTok, Telegram и Viber или изтеглете приложението на Kaldata.com за Android, iPhone, Huawei, Google Chrome, Microsoft Edge и Opera!
