‘Onderzoek met AI moet transparanter worden’

Onderzoekers maken zich zorgen over de herhaalbaarheid van wetenschappelijk onderzoek waarbij gebruik wordt gemaakt van kunstmatige intelligentie. Dat schrijft MIT Technology Review. Een van de pilaren van wetenschappelijk onderzoek is dat wetenschappers buiten het onderzoek zelf de studie exact moeten kunnen herhalen, om te controleren of ze dan dezelfde uitkomst krijgen. AI lijdt volgens onderzoekers aan het ‘black-box problem’: het is vaak onmogelijk te zeggen hoe of waarom een machine-learning model tot bepaalde resultaten komt.

Volgens het 2020 State of AI-rapport deelt slechts 15 procent van de AI-studies de code die ze hebben gebruikt. Vooral de grote techbedrijven doen dit niet, terwijl zij vaak juist heel interessant onderzoek kunnen doen omdat ze toegang hebben tot dure clusters van computers die buiten het bereik zijn van de meeste universiteiten.

Joelle Pineau, een computerwetenschapper bij Facebook AI Research en McGill University, is een van de drijvende krachten achter de roep om AI-onderzoek op een betere manier te publiceren. Zo heeft ze geholpen bij het opstellen van een checklist waaraan onderzoekers moeten voldoen als ze onderzoek willen aanmelden bij NeurIPS, een van de grootste AI-conferenties. Volgens de checklist moeten onderzoekers onder meer hun code en gedetailleerde beschrijvingen van het experiment publiceren.

Herhaalbaarheid-challenges

Ook heeft Pineau geholpen om een paar ‘herhaalbaarheid-challenges’ te lanceren, waarbij onderzoekers proberen de resultaten van gepubliceerde onderzoeken te herhalen.

Het is lastig om onderzoekers te stimuleren hun resultaten te publiceren, zeker als er geen concrete beloningen of straffen staan op het weglaten van code of andere informatie. Maar na het opstellen van de checklist voor NeurIPS bleek dat het aantal papers waarbij de code werd toegevoegd steeg van minder dan de helft tot ongeveer driekwart.