Ved hjælp af teknologi til at scanne hjerneaktivitet, kunstig intelligens og en talesynthesizer har forskere fra Columbia University (USA) skabt en enhed, der er i stand til at oversætte menneskelige tanker til artikuleret tale. Forskningsresultaterne, der er offentliggjort i Scientific Reports, repræsenterer et vigtigt trin i forbedring af hjernecomputergrænseflader. I fremtiden kan sådanne enheder bruges af mennesker, der har mistet evnen til at tale som et resultat af skade eller sygdom.
For at udvikle en enhed, der kombinerer mulighederne for en talesynthesizer og kunstig intelligens, vendte undersøgelsesforfatteren, neurovidenskabsmand Nima Mesgarani og hans kolleger sig til de seneste fremskridt inden for dyb maskinlæring og talesyntese-teknologier. Resultatet af deres arbejde er en kunstig intelligens-baseret vocoder, der er i stand til at ganske nøjagtigt fortolke hjerneaktivitet direkte fra den auditive cortex og derefter oversætte den til forståelig tale. Forfatterne af værket bemærker, at tale i denne sag viser sig at være meget edb, men folk kan genkende ord i de fleste tilfælde.
Ifølge skaberne er den nye enhed, der bruges til at gengive den resulterende tale, baseret på den samme teknologi, der bruges i digitale assistenter som Alexa, Siri og Google Assistant.
Først uddannede eksperter vocoder til korrekt fortolkning af menneskelig hjerneaktivitet. Til dette inviterede forskerne fem frivillige, der var under behandling for epilepsi, til at deltage i eksperimentet. Alle fem af dem havde elektroder implanteret i den auditive cortex for at læse elektroencefalogram.
”Vi bad epileptiske patienter, der allerede gennemgår hjernekirurgi, om at lytte til sætninger, der siges af forskellige mennesker. Samtidig analyserede vi mønstre i patienternes hjerneaktivitet. Vokoderen blev trænet i de opnåede neurale modeller,”forklarer Mesgarani.
Patienterne blev bedt om at lytte til de optagelser, hvor skuespillerne læste sekvenser af numre fra 0 til 9. På samme tid indspilte forskerne hjernesignalerne og sendte dem derefter gennem vocoderen, hvis signaler blev korrigeret for at øge klarheden ved et neuralt netværk, der analyserede lyden af vocoder selv, som producerede lyde som svar på disse signaler. Som et resultat kunne man høre en robotstemme, der gentager en række talte tal. For at evaluere resultaterne inviterede forskerne 11 personer med fremragende hørelse.
”Det viste sig, at folk kan genkende ord omkring 75% af tiden, hvilket er meget bedre end alle tidligere forsøg. Den følsomme vocoder og kraftfulde neurale netværk genererede de lyde, som patienterne lyttede til med forbløffende nøjagtighed,”kommenterer Mesgarani.
Salgsfremmende video:
I fremtiden lærer Mesgaranis team det neurale netværk at udtale mere komplekse ord, sætninger og endda hele sætninger. Derefter ønsker de at udvikle et implantat, der kan oversætte en persons tanker til fuld tale.
”Hvis f.eks. Ejeren af implantatet tænker:” Jeg har brug for et glas vand”, læser vores system hjernesignalerne og oversætter dem til tale. Dette vil give alle, der har mistet evnen til at tale på grund af skade eller sygdom, en ny mulighed for at kommunikere med verden omkring dem,”tilføjer Mesgarani.
Nikolay Khizhnyak