Olyan mesterséges intelligencia-alapú dekódert fejlesztettek ki, amely képes az agyi aktivitást folyamatos szövegfolyamra fordítani, és ezzel olyan áttörést értek el, amely először teszi lehetővé, hogy non-invazív módon olvassák az emberek gondolatait – írja technológiai rovatában a The Guardian.

A dekóder képes volt a beszédet hátborzongató pontossággal rekonstruálni, miközben az emberek egy történetet hallgattak – vagy akár némán elképzeltek egyet –, kizárólag az fMRI-vizsgálat adatai alapján, amely egy úgynevezett funkcionális mágneses rezonanciavizsgálat. A korábbi nyelvi dekódoló rendszerek sebészeti implantátumokat igényeltek, és a legújabb előrelépés új módszereket helyez kilátásba a beszéd helyreállítására azoknál a betegeknél, akik stroke vagy motoros neuronbetegség miatt küzdenek a kommunikációval.

Dr. Alexander Huth, az Austin-i Texasi Egyetem idegkutatója, a munka vezetője elmondta: "Eléggé megdöbbentett bennünket, hogy ez ilyen jól működik. Már tizenöt éve dolgozom ezen, ezért volt sokkoló és izgalmas, amikor végre működött."

Az eredmény az fMRI egyik alapvető korlátját küszöböli ki, ami abban áll, hogy bár a technika hihetetlenül nagy felbontással képes az agyi aktivitást egy adott helyre leképezni, van egy velejáró időbeli késleltetés, ami lehetetlenné teszi az aktivitás valós idejű követését.

A késleltetés azért van, mert az fMRI-vizsgálatok az agyi aktivitásra adott véráramlási választ mérik, amely körülbelül tíz másodperc alatt tetőzik és tér vissza az alapvonalra, ami azt jelenti, hogy még a legnagyobb teljesítményű szkenner sem tud ezen javítani. "Ez az idegi aktivitás zajos, lassú helyettesítője" – mondta Huth.

Ez a korlát akadályozta a természetes beszédre adott agyi aktivitás értelmezését, mivel az egy néhány másodpercre elosztott "információhalmazt" ad.

A nagyméretű nyelvi modellek – az OpenAI ChatGPT alapjául szolgáló mesterséges intelligencia – megjelenése azonban új utat nyitott. Ezek a modellek számokban képesek reprezentálni a beszéd szemantikai jelentését, lehetővé téve a kutatók számára, hogy megvizsgálják, hogy a neuronális aktivitás mely mintázatai felelnek meg egy adott jelentésű szavak sorozatának, ahelyett, hogy megpróbálnák szóról szóra kiolvasni az aktivitást.

A tanulási folyamat intenzív volt: három önkéntesnek tizenhat órán át kellett egy szkennerben feküdnie, és podcastokat hallgatnia. A dekódert egy nagy nyelvi modell, a GPT-1, a ChatGPT előfutára, segítségével képezték ki az agyi aktivitás és a jelentés megfeleltetésére.

Később ugyanezeket a résztvevőket egy új történet hallgatása vagy egy történet elmondásának elképzelése közben szkennelték, és a dekódert arra használták, hogy pusztán az agyi aktivitásból szöveget generáljon. Az esetek körülbelül felében a szöveg szorosan – és néha pontosan – megfelelt az eredeti szavak szándékolt jelentésének.

"A rendszerünk az ötletek, a szemantika, a jelentés szintjén működik" – mondta Huth. "Ez az oka annak, hogy nem a pontos szavakat kapjuk ki, hanem a lényeget". Amikor például egy résztvevőnek lejátszották a "Még nincs meg a jogosítványom" szavakat, a dekóder úgy fordította le őket, hogy "Még nem kezdtem el vezetni tanulni".

emTV.hu // The Guardian //