Учени съобщават, че за първи път са разработили метод, който използва записи от функционален магнитен резонанс на мозъка, за да се реконструира непрекъсната реч.
Откритията са следващата стъпка в търсенето на по-добри мозъчно-компютърни интерфейси, които се разработват като помощна технология за хора, които не могат да говорят или пишат.
В препринт, публикуван в bioRxiv, екип от Тексаския университет в Остин описва "декодер" или алгоритъм, който може да "чете" думите, които човек чува или мисли по време на сканиране на мозъка с функционален магнитен резонанс (fMRI). Въпреки че други екипи вече са докладвали за известен успех в реконструирането на реч или изображения въз основа на сигнали от импланти в мозъка, новият декодер е първият, който използва неинвазивен метод за постигане на това.
"Ако преди двадесет години бяхте попитали който и да е когнитивен невролог в света дали това е осъществимо, той щеше да ви се изсмее", разказва Александър Хът (Alexander Huth), невроучен от Тексаския университет в Остин и съавтор на изследването.
Използването на данни от ядрено-магнитен резонанс за този вид изследвания е трудно, тъй като методът е доста бавен в сравнение със скоростта на човешките мисли. Вместо да засичат изстрелването на невронните сигнали, което става в рамките на милисекунди, апаратите за ЯМР измерват промените в кръвния поток в мозъка като показател за мозъчната активност - за тези промени са нужни секунди. Според Хът схемата на това изследване е ефективна, защото системата не декодира езика дума по дума, а по-скоро разпознава смисъла на изречението или мисълта на по-високо ниво.
Хът и колегите му обучават своя алгоритъм с мозъчни записи от fMRI, направени, докато трима участници в изследването - една жена и двама мъже, всички на възраст 20-30 години - слушат 16 часа подкасти и радиоразкази: Сред използваните медии са "The Moth Radio Hour", беседи на TED и "Антропоценски преглед" на Джон Грийн. Хът разказва, че за да се създаде точен и широко приложим декодер, е било важно участниците в изследването да слушат широк спектър от медии. Той отбелязва, че обемът на събраните данни от fMRI съвпада с повечето други изследвания, в които се използват записи от fMRI, въпреки че в неговото изследване има по-малко участници.
Въз основа на обучението си по 16-часовите записи на ядрено-магнитен резонанс на собствения мозък на лицето, декодерът изготвя набор от прогнози за това как ще изглеждат показанията на ядрено-магнитен резонанс. Според Хът използването на тези "предположения" е било ключът към гарантирането, че декодерът е в състояние да превежда мисли, които не са свързани с някой от известните аудиозаписи, използвани при обучението. След това тези "предположения" са били сравнени със записа на ядрено-магнитен резонанс в реално време и прогнозата, която най-много е съответствала на реалното четене, е определила думите, които декодерът накрая е генерирал.
За да определят доколко успешен е декодерът, изследователите оценяват сходството на генерираните от декодера думи със стимула, представен на субекта. Те също така дават оценка на езика, генериран от същия декодер, който не е бил проверен спрямо запис от ядрено-магнитен резонанс. След това сравняват тези резултати и проверяват статистическата значимост на разликата между тях.
Резултатите показват, че процедурата на алгоритъма "познай и провери" в крайна сметка генерира цяла история от записите на ядрено-магнитен резонанс, която, както отбелязва Хът, съвпада "доста добре" с истинската история, разказана в аудиозаписа. Въпреки това той има някои недостатъци; например не е много добър в запазването на местоименията и често смесва първо и трето лице. Декодерът, заявява Хът, "знае доста точно какво се случва, но не и кой прави нещата".
Сам Настасе (Sam Nastase), изследовател и преподавател в Института по невронауки в Принстън, който не е участвал в изследването, казва, че използването на записи от ядрено-магнитен резонанс за този вид декодиране на мозъка е "умопомрачително", тъй като подобни данни обикновено са много бавни и шумни.
"Те показват с тази статия, че ако разполагате с достатъчно интелигентна рамка за моделиране, всъщност можете да извлечете изненадващо количество информация" от записите на fMRI, смята Настасе.
Тъй като декодерът използва неинвазивни записи на мозъка с fMRI, Хът посочва, че той има по-голям потенциал за приложение в реалния свят, отколкото инвазивните методи, въпреки че разходите и неудобствата, свързани с използването на машини за ядрено-магнитен резонанс, са очевидно предизвикателство.
Магнитоенцефалографията, друг неинвазивен, но по-преносим метод за изобразяване на мозъка, който е по-прецизен във времето от МРТ (Moiré Phase Tracking - технология за 3D проследяване), може потенциално да се използва с подобен компютърен декодер, за да се осигури метод за комуникация за хората, които не могат да говорят или пишат, отбелязва Хът.
Хът изтъква, че най-вълнуващият елемент от успеха на декодера е прозрението, което той дава за работата на мозъка. Например, отбелязва Хът, резултатите разкриват кои части на мозъка са отговорни за създаването на смисъл. Като използва декодера за записи на специфични области като префронталната кора или теменната темпорална кора, екипът може да определи коя част каква семантична информация представя. Едно от откритията им е, че тези две части на мозъка представят една и съща информация на декодера, а декодерът работи също толкова добре, когато използва записи от всяка от двете области на мозъка.
Най-изненадващото е, че декодерът е бил в състояние да реконструира стимули, които не използват семантичен език, въпреки че е бил обучен върху субекти, слушащи говорим език, добавя Хът. Например след обучението алгоритъмът успешно реконструира значението на ням филм, който изследваните лица са гледали, както и въображаемото преживяване на участник, който разказва история.
"Фактът, че тези неща са толкова припокриващи се [в мозъка], е нещо, което тепърва започваме да оценяваме", посочва изследователят.
Резултатите на лабораторията на Хът, макар все още нерецензирани, повдигат въпроси за това как декодерите обработват основния смисъл в сравнение с обработката на текст или реч.
Тъй като новият декодер открива смисъла или семантиката, а не отделни думи, успехът му трудно може да се измери, тъй като многобройни комбинации от думи могат да се считат за "добър" резултат, коментира Настасе. "Те представят интересен проблем".
Хът признава, че за някои технологията, която е в състояние ефективно да "чете мисли", може да бъде малко "страшна". Той уточнява, че екипът му е обмислил задълбочено последиците от изследването и от загриженост за неприкосновеността на личния живот на мислещите хора е проучил дали декодерът би работил без доброволното съдействие на участника. При някои опити, докато се възпроизвежда аудиозаписът, изследователите помолили участниците да отвлекат вниманието си, като изпълняват други ментални задачи, например да броят, да назовават и да си представят животни и да си представят, че разказват друга история. Установено е, че назоваването и представянето на животни е най-ефективно за намаляване на неточността на декодирането.
Забележително от гледна точка на защитата на личните данни е и това, че декодерът, обучен на мозъчни сканирания на един човек, не може да възстанови мисълта на друг човек, отбелязва Хът, връщайки "на практика никаква използваема информация" в изследването. Така че човекът ще трябва да участва в продължителни тренировъчни сесии, преди мислите му да бъдат точно декодирани.
За Настасе фактът, че изследователите са търсили доказателства за защита на психичната неприкосновеност, е окуражаващ.
"Много лесно бихте могли да публикувате тази статия преди шест месеца без нито един от тези експерименти [за защита на личните данни]", коментира Настасе.
Въпреки това Настасе добавя, че не е убеден, че авторите окончателно са доказали, че неприкосновеността на личния живот няма да бъде проблем, тъй като бъдещите изследвания биха могли да намерят начини за заобикаляне на психическите предпазни механизми, описани подробно от изследователите.
"Въпросът е дали ползите от подобна технология надвишават възможните капани", отбелязва Настасе.
Справка: Semantic reconstruction of continuous language from non-invasive brain recordings
Jerry Tang, Amanda LeBel, Shailee Jain, Alexander G. Huth
doi: https://doi.org/10.1101/2022.09.29.509744
Източник: Researchers Report Decoding Thoughts from fMRI Data, The Scientist
Още по темата
Човекът
Шокиращ експеримент показва, че мозъците ни използват квантови изчисления
Математика
Водещ световен учен с лекция за невроинформатика, невронни мрежи и неврокомпютри на 18 октомви в БАН
Човекът
Деградацията на една държава започва с деградацията на нейния език
Коментари
Моля, регистрирайте се от TУК!
Ако вече имате регистрация, натиснете ТУК!
Няма коментари към тази новина !
Последни коментари