В три статии, публикувани на сървъра за препринтове bioRxiv, три различни екипа изследователи демонстрират, че могат да декодират говор от записи на невронната активност, съобщава в обобщаваща статия списание Science.

Във всяко изследване се записва невронната активност с електроди, поставени директно върху мозъка, докато пациенти с мозъчна операция слушат реч или четат думи на глас. След това изследователите се опитват да разберат какво чуват или казват пациентите. Във всеки случай изследователите са успели да превърнат електрическата активност на мозъка в поне малко разбираеми звукови файлове.

Първата статия, публикувана в BioRxiv на 10 октомври 2018 г., описва експеримент, в който изследователи са пуснали записи на реч пред пациенти с епилепсия, които са в мозъчна операция. (Невронните записи от експеримента са много подробни, за да могат да бъдат интерпретирани. И това ниво на детайлност е налично само при редки обстоятелства, когато мозъкът е открит и електродите са поставени директно върху него, както например при мозъчна операция. 

Докато пациентите слушат звуковите файлове, изследователите записват неврони, активиращи се в частите на мозъка на пациентите, които обработват звука. Учените опитват различни методи за превръщане на тези данни от невронните импулси в реч и установяват, че "дълбокото самообучение" - при което компютърът се опитва да реши проблем повече или по-малко без надзор - работи най-добре. Когато възпроизвеждат резултатите чрез вокодер, който синтезира човешки гласове, за група от 11 слушатели, които успяват правилно да интерпретират 75% от думите.

Тук може да чуете аудио от този експеримент.

Второто изследване, публикувано на 27 ноември 2018 г., разчита на невронни записи от хора, претърпели операция за отстраняване на мозъчни тумори. Докато пациентите четат думи на глас, изследователите записват както звуците, излизащи от устата на участниците, така и невроните, активиращи се в мозъчните области, отговарящи за речта. Вместо да приложат дълбоко обучение за случая на всеки пациент, тези изследователи обучават изкуствената невронна мрежа да преобразува невронните записи в аудио, показвайки, че резултатите са поне разумно разбираеми и подобни на записите, направени от микрофоните. (Звукът от този експеримент е тук, но трябва да се изтегли като zip файл.)

Третата статия, публикувана на 9 август 2018 г., разчита на записването на невронната активност в областта от мозъка, която преобразува думите в мускулни движения. Записът от този експеримент не е достъпен онлайн, но изследователите съобщават, че могат да реконструират цели изречения (също записани по време на мозъчна операция при пациенти с епилепсия) и че хората, които слушат изреченията, могат да ги интерпретират правилно в 83% от случаите. Методът на този експеримент се основава на идентифициране на моделите, използвани за произвеждането на отделни срички, а не на цели думи.

Целта във всички тези експерименти е един ден да направи възможно хората, загубили способността си да говорят (поради амиотрофична латерална склероза или подобни състояния), да говорят чрез интерфейс компютър-мозък. 

Интерпретирането на невронните модели на човек, който просто си представя речта, е по-сложно от тълкуването на моделите на чутата и произнесената реч от някой. (Но авторите на втората статия твърдят, че е възможно да се интерпретира мозъчната дейност на човек, който си представя речта.)

Важно е също да имате предвид, че това са малки проучвания. Първата статия се основава на данни, взети само от пет пациента, втората разглежда шест пациента, а третата - само три. И нито един от невронните записи не продължава повече от час.

И все пак, науката се движи напред, а устройствата за изкуствена реч, свързани директно с мозъка, изглеждат реална възможност.

Оригиналната статия е на Live Science.

Още по темата

30/11/2018

Новини

Специалисти разкриват тайните на изкуствения интелект и заплахите, които го дебнат

18/06/2018

Технологии

Създаден е софтуер, която може "да предвиди" бъдещето пет минути напред

18/12/2017

Технологии

Как работи дълбокото самообучение на невронните мрежи?

04/04/2016

Технологии

Невронни мрежи се самообучават да оцветяват черно-бели снимки