Generativ AI skapar video baserat på en persons tankar

Under de senaste åren har vi sett stadiga framsteg i kapaciteten hos maskiner utrustade med artificiell intelligens (AI), inklusive när det gäller att läsa mänskliga sinnen.

Följaktligen har forskare använt AI-baserad videogenereringsteknik för att ge en "riktig" bild av vad som pågår i våra sinnen.

se mer

Dessa är de 4 stjärntecknen som älskar ensamhet mest, enligt...

Google utvecklar AI-verktyg för att hjälpa journalister i...

Tolkningen av luftsignaler drivs främst av förhoppningen att vi en dag ska kunna erbjuda nya sätt att kommunicera för personer i koma eller med olika former av förlamning.

Dessutom kan tekniken också skapa mer intuitiva gränssnitt mellan människor och maskiner, med möjliga applikationer för friska människor.

Hittills har den mesta forskningen fokuserat på att återskapa patienters interna monologer genom att identifiera orden de tänker på genom AI-system.

Även om de mest lovande resultaten har erhållits med hjälp av invasiva luftimplantat, är detta tillvägagångssätt osannolikt det som de flesta använder.

AI används för att skapa "mind-videor"

Forskare vid National University of Singapore och Chinese University of Hong Kong uppnått genombrott genom att kombinera icke-invasiva inbäddade skanningar med bildgenereringsteknik. AI-bilder.

De kunde skapa korta videoklipp som är slående lika de klipp som deltagarna tittade på när deras radiella data samlades in.

För att uppnå detta resultat tränade forskarna först en modell med hjälp av stora datamängder som samlats in med hjälp av fMRI-antennskannrar.

De kombinerade sedan den modellen med bildteknik AI Stabil Diffusion, öppen källkod, för att skapa motsvarande bilder.

Ett artikel nyligen publicerad på arXiv prepress-server har ett liknande tillvägagångssätt som författarnas tidigare forskning.

Men den här gången anpassade de systemet för att tolka radiella dataströmmar och konvertera dem till videor istället för stillbilder.

Till en början följde forskaren träningen av modellen med hjälp av omfattande datamängder fMRI så att han kunde få kunskap om de allmänna egenskaperna hos dessa skanningar elektrisk.

Sedan utökade de utbildningen så att modellen kunde bearbeta en sekvens av fMRI-skanningar istället för att behandla dem individuellt.

Därefter behölls modellen för en ny utbildning, denna gång med hjälp av kombinationen av fMRI-skanningar, videoklipp som framkallade denna hjärnaktivitet och textsekvens motsvarande.

I ett separat tillvägagångssätt anpassade forskaren den förtränade modellen Stabil diffusion att generera videor istället för stillbilder.

Denna modell utsattes sedan för en ny träning med samma videor och textsekvens som användes för att träna den första modellen.

Därefter kombinerades och monterades de två modellerna med hjälp av fMRI-skanningar och deras respektive tillhörande videor.

Sökresultat

Efter att ha kombinerat och finjusterat modellerna kunde det resulterande systemet utföra nya fMRI-skanningar som inte tidigare varit tillgängliga. tidigare hittat och genererat videor som hade avslöjat likheter med klippen som de mänskliga deltagarna hade betraktade.

Även om det fortfarande finns utrymme för förbättring, är AI-utgången i allmänhet mycket nära originalvideorna, exakt återgivning av scener av grödor eller hästflockar, och bibehåll visualisering med färgpaletten Begagnade.

Forskarna bakom studien säger att detta forskningsområde har potentiella tillämpningar både inom grundläggande neurovetenskap och i framtida hjärn-maskin-gränssnitt.

Men de erkänner också behovet av statliga regleringar och ansträngningar från forskarvärlden för att skydda biologiska datas integritet och förhindra potentiell skadlig användning av denna teknik som godkänts i deras arbete.

Denna forskningslinje banar väg för framsteg som kan nå förståelsen av det mänskliga sinnet och utveckling av teknologier som kan etablera mer sofistikerade gränssnitt mellan hjärnan och maskiner.

Även om det finns viktiga överväganden att ta itu med, som att skydda personuppgifter och förhindra missbruk, är den potentiella vetenskapliga och tekniska nyttan lovande.

Älskar av filmer och serier och allt som rör film. En aktiv nyfiken på nätverken, alltid kopplad till information om webben.

Vad är logik?

När Aristoteles definierade människan som djuret med ordet (logotyper), menade han att bara vi ka...

read more
Newtons första lag: vad det är, exempel, övningar

Newtons första lag: vad det är, exempel, övningar

DE förstlagiNewton, också känd som principgertröghet, säger att hela kroppen förblir i sitt vilot...

read more

Florida. Delstaten Florida

Florida ligger i den sydöstra regionen i USA och är den sydligaste kontinentala staten i landet. ...

read more