AI förvandlar tankar till text

Forskare vid University of Texas i Austin har utvecklat ett nytt artificiell intelligenssystem som kallas en "semantisk avkodare" som har förmågan att översätta hjärnaktivitet av en person i en kontinuerlig ström av text.

Denna innovativa teknik har potential att hjälpa människor som är mentalt medvetna men inte kan utveckla tal, till exempel de som har försvagats av stroke.

När man lyssnar på en berättelse eller i tysthet föreställer sig berättelsen systemet avkodar hjärnans signaler och omvandlar dem till text, vilket möjliggör uttryck för dessa människors idéer och tankar.

Denna lovande prestation kan öppna nya perspektiv för kommunikation och livskvalitet för individer som står inför talproblem på grund av medicinska tillstånd eller skador.

Studien, som resulterade i utvecklingen av den "semantiska avkodaren", genomfördes av Jerry Tang, student vid i datavetenskap, och Alex Huth, biträdande professor i neurovetenskap och datavetenskap vid universitet.

Resultaten av denna forskning publicerades i tidskriften Naturens neurovetenskap, en av de mest respekterade vetenskapliga publikationerna på området.

Tang och Huths gemensamma ledning av forskningen lyfter fram samarbetet mellan datavetenskap och av neurovetenskap, som söker betydande framsteg i gränssnittet mellan den mänskliga hjärnan och intelligens artificiell.

Arbetet som utförs av forskarna använder sig av en transformatormodell, liknande de som används i system som Bard – från Google – och ChatGPT – från OpenAI.

Systemet som utvecklats av forskarna är dock annorlunda eftersom det inte kräver kirurgiska implantat hos försökspersonerna, vilket gör det till en icke-invasiv metod. Dessutom, till skillnad från andra språkavkodningssystem under utveckling, är deltagarna inte begränsade till en föreskriven lista med ord att kommunicera.

Hur fungerar 'mind reader'-metoden?

Efter omfattande dekoderträning, där patienten lyssnar på timmar av podcasts på skannern, mäts hjärnaktiviteten med en fMRI-skanner.

Senare, om deltagaren är villig att få sina tankar avkodade, kan maskinen generera motsvarande text från enbart hjärnaktivitet, oavsett om du lyssnar på en ny berättelse eller föreställer dig att berätta en ny. historia.

Forskarna designade avkodningssystemet för att fånga essensen av vad som sägs eller tänks, snarare än att ge en exakt ord-för-ord-transkription.

Även om det är ofullkomligt har systemet visat förmågan att producera text som approximerar, och ibland exakt, de avsedda betydelserna av de ursprungliga orden.

Den av forskarna utvecklade avkodaren tillåter kontinuerlig avkodning av språk under långa tidsperioder, med komplexa idéer.

Under ungefär hälften av tiden som avkodaren tränades för att övervaka en deltagares hjärnaktivitet, maskingenererad text som återspeglade de önskade betydelserna av ord, vilket bidrar till effektivare kommunikation och begriplig.

Enligt Huth representerar detta tillvägagångssätt ett betydande framsteg jämfört med tidigare metoder, som ofta var begränsade till enstaka ord eller korta meningar.

Systemet eftersträvar inte en bokstavlig ord-för-ord-transkription, utan att fånga essensen av det som sägs eller tänks, även om det är ofullkomligt.

Även om det nuvarande systemet är beroende av användningen av en funktionell magnetisk resonanstomografi (fMRI), som begränsar dess livskraft utanför laboratoriemiljön, forskare tror att deras arbete kan anpassas för mer bärbara hjärnavbildningssystem som funktionell nära-infraröd spektroskopi (fNIRS).

Enligt Huth mäter fNIRS blodflödet i hjärnan vid olika tidpunkter, vilket i huvudsak är samma typ av signal som fMRI upptäcker.

Därför kunde metoden som användes i studien tillämpas på fNIRS. Trots denna begränsning tror man att kärnan i metod utvecklat av forskarna kan anpassas för fNIRS, vilket banar väg för ett mer portabelt och tillgängligt system för avkodning av hjärnaktivitet.

Älskar av filmer och serier och allt som rör film. En aktiv nyfiken på nätverken, alltid kopplad till information om webben.