AI пресъздава клип на песен на Pink Floyd от записи на мозъчната дейност (аудио)

Изкуственият интелект може да познае как звучи дадена песен въз основа на моделите на мозъчна активност, записани, докато хората са я слушали

Ваня Милева Последна промяна на 16 август 2023 в 00:01 5500 0

Изкуствен интелект пресъздаде клип на песента на Pink Floyd Another Brick in the Wall, Part 1 от записи на мозъчна дейност

Кредит Ради

Кадър от концерта в София Another Brick in the Wall.

Изкуствен интелект (AI) е създал сполучлив кавър на песен на Pink Floyd, анализирайки мозъчната активност, записана, докато хората са слушали оригинала. Откритията задълбочават разбирането ни за начина, по който възприемаме звука, и в крайна сметка биха могли да подобрят устройствата за хора с говорни затруднения.

Робърт Найт (Robert Knight) от Калифорнийския университет в Бъркли и колегите му изследват записи от електроди, които са били имплантирани хирургически на повърхността на мозъка на 29 души за лечение на епилепсия.

Мозъчната активност на участниците е била записвана, докато те са слушали Another Brick in the Wall, Part 1 на Pink Floyd. Като сравняват мозъчните сигнали с песента, изследователите идентифицират записи от подгрупа електроди, които са строго свързани с височината, мелодията, хармонията и ритъма на песента.

След това обучават изкуствен интелект да открива връзки между мозъчната активност и тези музикални компоненти, изключвайки 15-секунден сегмент от песента от данните за обучение. Обученият изкуствен интелект генерира прогноза за неизлъчвания откъс от песента въз основа на мозъчните сигнали на участниците. Спектрограмата - визуализация на аудиовълните - на генерирания от AI клип била 43% сходна с реалния клип на песента.

Ето оригиналния клип на песента след проста обработка, за да може да се направи справедливо сравнение с генерирания от AI клип, който претърпява известно влошаване при преобразуването на спектрограмата в аудио:


А ето и клипът, генериран от изкуствения интелект:


Изследователите идентифицират област от мозъка в рамките на регион, наречен висш темпорален гирус, която обработва ритъма на китарата в песента. Те също така установяват, че сигналите от дясното полукълбо на мозъка са по-важни за обработката на музиката, отколкото тези от лявото полукълбо, което потвърждава резултатите от предишни изследвания.

Като задълбочава разбирането ни за начина, по който мозъкът възприема музиката, работата може в крайна сметка да помогне за подобряване на устройствата, които говорят от името на хора с говорни затруднения, обяснява Найт.

"За хората с амиотрофична латерална склероза [състояние на нервната система] или афазия [езиково състояние], които се затрудняват да говорят, бихме искали да има устройство, което наистина да звучи така, сякаш общувате с някого по човешки начин", обяснява Найт. "Разбирането на това как мозъкът представя музикалните елементи на речта, включително тона и емоциите, би могло да направи така, че подобни устройства да звучат по-малко роботизирано."

Инвазивният характер на мозъчните импланти прави малко вероятно тази процедура да се използва за неклинични приложения, посочва Найт. Въпреки това други изследователи наскоро са използвали изкуствен интелект, за да генерират клипове на песни от мозъчни сигнали, записани чрез сканиране с магнитен резонанс (МРТ).

Ако изкуственият интелект може да използва мозъчни сигнали за реконструиране на музика, която хората си представят, а не просто слушат, този подход може да се използва дори за композиране на музика, коментира Людовик Белие (Ludovic Bellier) от Калифорнийския университет в Бъркли, член на изследователския екип.

С напредването на технологията, базираното на изкуствен интелект пресъздаване на песни с помощта на мозъчната активност може да повдигне въпроси относно нарушаването на авторските права, в зависимост от това колко сходна е реконструкцията с оригиналната музика, отбелязва Дженифър Мейзъл (Jennifer Maisel) от адвокатската кантора Rothwell Figg във Вашингтон.

"Въпросът за авторството е наистина любопитен", заявява Мейзъл. "Дали човекът, който записва мозъчната дейност, ще бъде авторът? Може ли самата програма за изкуствен интелект да бъде автор? Интересното е, че авторът може да не е човекът, който слуша песента."

Дали човекът, който слуша музиката, е собственик на възстановката, може да зависи дори от съответните мозъчни области, посочва Джейхун Пехливан (Ceyhun Pehlivan) от адвокатската кантора Linklaters в Мадрид.

"Би ли имало някакво значение дали звукът произхожда от некреативната част на мозъка, като например слуховата кора, вместо от фронталната кора, която отговаря за творческото мислене? Вероятно съдилищата ще трябва да преценяват подобни сложни въпроси за всеки отделен случай", уточнява той.

Справка: Music can be reconstructed from human auditory cortex activity using nonlinear decoding models; 
Ludovic Bellier, Anaïs Llorens, Déborah Marciano, Aysegul Gunduz, Gerwin Schalk, Peter Brunner, Robert T. Knight
PLOS Biology; Published: August 15, 2023 https://doi.org/10.1371/journal.pbio.3002176 

Източник: AI recreates clip of Pink Floyd song from recordings of brain activity, New Scientist

Най-важното
Всички новини
За писането на коментар е необходима регистрация.
Моля, регистрирайте се от TУК!
Ако вече имате регистрация, натиснете ТУК!

Няма коментари към тази новина !