ИИ пресъздава песен на Pink Floyd с помощта на декодиране на мозъчните вълни

Пресечната точка между музиката и науката доведе до смели изследвания в областта на неврологията. Учени са успели да възстановят песента на Pink Floyd „Another Brick in the Wall“ чрез анализ на мозъчните вълни на слушателите. Това постижение, въпреки че включва само една композиция, предполага, че може да се използва за подпомагане на хора, които са загубили способността си да говорят, и е обещаваща стъпка напред в областта на мозъчно-компютърните интерфейси.

Сливането на неврологията и технологиите открива безпрецедентни хоризонти в разбирането ни за човешкия мозък. В епоха, в която технологиите и неврологията все повече се пресичат, изследователите предприеха смел експеримент: декодиране на легендарна композиция с помощта на мозъчните вълни на слушателите.

Вземайки за отправна точка песента „Another Brick in the Wall“ на Pink Floyd, изследователите не само демонстрираха осъществимостта на експеримента, но и очертаха потенциала на този подход, особено за хора, които са неми. Работата на екипа, ръководен от Калифорнийския университет (Бъркли), е публикувана в списание Plos Biology.

Процесът

Проучването е проведено върху извадка от 29 пациенти, които са под лекарско наблюдение заради повтарящи се епилептични припадъци. Имплантирани са електроди директно върху повърхността на техния мозък, за да се съберат прецизните данни за мозъчната активност. Докато слушали песента на Pink Floyd „Another Brick in the Wall“, тези устройства записвали електрическата активност, излъчвана от различни области на мозъка, отразявайки начина, по който всеки пациент възприема и обработва творбата.

След като данните са били събрани, те са анализирани с помощта на алгоритми с елементи на художествен интелект. Тези алгоритми са интерпретирали електрическите сигнали, за да реконструират аудиоверсията на песента, възприета от мозъка на участниците. Въпреки че тази реконструкция не възпроизвежда напълно оригиналната песен, тя предоставя звукова версия, която отразява сложността на мозъчните процеси, свързани със слушането на музика.

В съобщение за пресата Белие отбелязва, че проучването е идентифицирало нови области на мозъка, участващи в разпознаването на ритмите, като например звуците на китара, и е установило, че някои области на слуховата кора – в горната темпорална гируса, разположена точно зад и над ухото – реагират на началото на глас или синтезатор, докато други области реагират на продължителни звуци. Изследователите също така потвърдиха, че дясната страна на мозъка е по-чувствителна към музиката, отколкото лявата.

По-долу е представена оригиналната композиция след опростена обработка, която позволява оптималното ѝ сравнение с последователността, генерирана от изкуствения интелект:

По-долу е представен звукът, генериран от изкуствения интелект въз основа на спектрограмата:

Защо точно Pink Floyd?

Изборът на песента на Pink Floyd „Another Brick in the Wall“ за централна тема на това изследване не е случаен. Песента е известна със своето музикално богатство, съчетавайки сложни акорди, разнообразни инструменти и много ритми.

Тези елементи осигуряват плътен и разнообразен материал за анализ, позволяващ задълбочено изследване на реакцията на мозъка към различни музикални стимули. При хората тези музикални елементи, известни като прозодия – ритъм, ударение и интонация – носят смисъл, който думите не носят.

Трябва да се отбележи също, че личните предпочитания на изследователите към групата Pink Floyd също са изиграли роля в този избор, отразявайки всеобщото признание и влияние на групата върху музикалния свят.

Извън пределите на музиката

Основната цел на това изследване е да се проучи способността за декодиране на музиката чрез мозъчните вълни. Последиците от това изследване обаче надхвърлят обикновената сфера на музиката. Човешката реч, както и музиката, е богата на нюанси и вариации. Тя съдържа елементи като темпо, което определя скоростта на речта, или акцент, който подчертава определени срички или думи.

Освен това акцентите и интонацията играят решаваща роля за предаването на емоциите и намеренията в речта. Ако успеем да разкодираме тези нюанси с помощта на мозъчните вълни, това ще проправи пътя към разработването на имплантируеми декодери на реч. Такива устройства биха могли например да помогнат на неми хора да общуват по-естествено и изразително.

Ако мозъчно-компютърните интерфейси са способни да пресъздават речта с безпрецедентна емоционална точност, тогава хората, използващи тези интерфейси, биха могли не само да формулират изречения, но и да предават чувствата и нюансите, които ги съпътстват. По този начин простото „Обичам те“ няма да бъде просто признание, а ще бъде изпълнено с цялата страст, острота или нежност, които човекът иска да изрази, което ще открие неизследвани досега възможности за комуникация.

Бъдещите изследвания в тази област

Въпреки многообещаващите успехи, пътят към широкото им прилагане все още е осеян с подводни камъни. Едно от основните ограничения на настоящата технология е необходимостта от имплантирането на електроди директно в повърхността на мозъка, за да се получат точни електрически записи. Тази инвазивна процедура крие рискове, включително инфекции, кървене, нежелани реакции, и изисква деликатна хирургия.

Освен това, както обясняват изследователите, използваните днес интерфейси мозък-машина, които помагат на хората да общуват, когато не могат да говорят, могат да декодират думите, но изреченията се оказват роботизирани, като тези на Стивън Хокинг, когато използваше устройство за генериране на реч.

В момента се проучват по-малко инвазивни алтернативи. Провеждат се изследвания за повишаване на чувствителността на външните електроди, които могат да се поставят на скалпа, или за проучване на други техники за визуализиране на мозъка.