Machine learningmodel raadt filmscène op basis van hersenscans

AI-onderzoekers hebben geprobeerd om scènes van de serie Doctor Who te reconstrueren door machine learning-algoritmes hersenscans in beeld te laten vertalen. Het onderzoek vond plaats onder leiding van promovendus Lynn Le van de Radboud Universiteit.

De onderzoekers legden een man in een speciale MRI-scanner, waar hij vervolgens 30 afleveringen van Doctor Who moest kijken. De scans werden aan een neuraal netwerk gevoerd. Dit machine learningmodel, Brain2pix, voorspelde vervolgens wat voor scène de proefpersoon uit Doctor Who keek door alleen maar gebruik te maken van de informatie uit de hersenscan.

AI kan niet echt iemands gedachten lezen of vaststellen wat voor beeld iemand in zijn hoofd heeft. In plaats daarvan moet het algoritme het moment zien te recreëren dat net in Doctor Who plaatsvond op basis van de gemeten hersenactiviteit. Activiteit in een specifiek gedeelte van de hersenen correleert met de ‘pixels’ die je waarneemt in de fysieke ruimte. Door de activiteit in de scans te nummeren en in kaart te brengen krijgt de AI een idee van wat iemand ziet.

Gevaarlijke alien

Dat beeld ziet er wel heel anders uit dan in de werkelijkheid, zegt Le tegen vaknieuwssite The Register. Het personage Amy Pond ziet er op de afbeelding van de AI meer uit als een gevaarlijke alien dan een echt mens. Wel wordt de AI er steeds beter in om de beelden te koppelen aan de juiste scène.

Op dit moment kan de AI nog geen scènes reconstrueren die het zelf nog niet ‘gezien’ heeft. Ook is het onderzoek niet zomaar uit te voeren met een ander persoon, de AI raakt ingesteld op de hersenactiviteit van een specifiek persoon. Toch denken de onderzoekers dat hun werk in de toekomst van nut kan zijn. Het is weer een volgende stap in het in kaart brengen hoe de hersenen de omgeving interpreteren. Hopelijk kan het onderzoek ooit helpen bij mensen die nog wel hersenactiviteit vertonen, maar niet meer kunnen communiceren. Of om, ooit, blinde mensen te helpen weer te kunnen zien.