Forskere bruger kunstig intelligens til at omdanne tanker til billeder, 80 % nøjagtighed

Kunstig intelligens kan skabe billeder baseret på tekstprompter, men videnskabsmænd afslørede et galleri af billeder, som teknologien producerer ved at læse hjerneaktivitet.

Den nye AI-drevne algoritme rekonstruerede omkring 1,000 billeder, inklusive en bamse og et fly, fra disse hjernescanninger med 80 procent nøjagtighed.

Forskere fra Osaka University brugte den populære stabile diffusionsmodel, inkluderet i OpenAI's DALL-E 2, som kan skabe ethvert billede baseret på tekstinput.

Holdet viste deltagerne individuelle sæt billeder og indsamlede fMRI-scanninger (funktionel magnetisk resonansbilleddannelse), som AI derefter afkodet.

Vi viser, at vores metode kan rekonstruere billeder i høj opløsning med høj semantisk troskab ud fra menneskelig hjerneaktivitet," fortalte holdet i undersøgelsen offentliggjort i bioRxiv.

'I modsætning til tidligere undersøgelser af billedrekonstruktion, kræver vores metode ikke træning eller finjustering af komplekse deep-learning-modeller.'

Algoritmen trækker information fra dele af hjernen, der er involveret i billedopfattelse, såsom occipitallapperne og tindingelapperne, ifølge Yu Takagi, der ledede forskningen.

Holdet brugte fMRI, fordi det opfanger blodgennemstrømningsændringer i aktive hjerneområder, Science.org rapporter.

FMRI kan detektere iltmolekyler, så scannerne kan se, hvor i hjernen vores neuroner - hjernenerveceller - arbejder hårdest (og trækker mest ilt), mens vi har tanker eller følelser.

I alt fire deltagere blev brugt i denne undersøgelse, som hver så et sæt på 10,000 billeder.

AI'en begynder at generere billederne som støj svarende til tv-statisk, som derefter erstattes med kendelige funktioner, som algoritmen ser i aktiviteten ved at referere til de billeder, den blev trænet på, og finde et match.

"Vi demonstrerer, at vores enkle rammeværk kan rekonstruere billeder i høj opløsning (512 x 512) fra hjerneaktivitet med høj semantisk troskab," ifølge undersøgelsen.

'Vi fortolker hver komponent i en LDM kvantitativt fra et neurovidenskabeligt perspektiv ved at kortlægge specifikke komponenter til forskellige hjerneregioner.

Vi præsenterer en objektiv fortolkning af, hvordan tekst-til-billede konverteringsprocessen implementeret af en LDM [en latent diffusionsmodel] inkorporerer den semantiske information udtrykt af den betingede tekst, samtidig med at den bibeholder udseendet af det originale billede.'

Læs hele historien her ...