> Workshop Computational Mathematics and Machine Learning <
In oktober kwamen tientallen wiskundigen een week lang bijeen met experts op het gebied van neurale netwerken en kunstmatige intelligentie (AI) in het Leidse Lorentz Center. AI boekt op gebieden als beeldherkenning en vertaling grote successen, maar loopt elders tegen hardnekkige problemen op. AI moet begrijpelijker, fysischer en wiskundiger, was de voorzichtige consensus.
Neurale netwerken en deep learning – software of hardware die in bepaalde opzichten de architectuur en het functioneren van de hersenen nabootst – hebben de afgelopen tien jaar prachtige successen geboekt. Ze zijn heel goed in sommige klussen die gewone computerprogramma’s niet onder de knie krijgen: gezichten herkennen, bijvoorbeeld, of woorden onderscheiden in gesproken taal, of tumoren opsporen in MRI-scans.
Neurale netwerken moeten meer leren met minder data
Maar ondanks deze successen wordt steeds duidelijker, dat de huidige aanpak tegen zijn grenzen oploopt. In zijn openingspresentatie somde Wil Schilders, een van de organisators van de workshop, enkele hardnekkige problemen op:
- deep learning is afhankelijk van de beschikbaarheid van enorme hoeveelheden data, vaak in de vorm van miljoenen correct gelabelde voorbeelden.
- In sommige domeinen, met name de gezondheidszorg, zullen zulke grote datasets nooit beschikbaar komen
- robots kunnen niet met miljoenen keren trial and error getraind worden, simpelweg omdat ze verslijten voordat de training voltooid is
De hamvraag is, volgens Schilders, hoe neurale netwerken meer kunnen leren met minder data. Statistiek en ingeprogrammeerde ‘voorkennis’ zullen daarbij waarschijnlijk een sleutelrol spelen.
De manier waarop neurale netwerken geschikt gemaakt worden voor een bepaalde taak is zowel hun grote kracht als hun grote zwakheid: een neuraal netwerk bestaat uit een input-laag en een output-laag, met daartussen meerdere lagen knooppunten met verbindingen ertussen. Elk knooppunt krijgt signalen binnen van andere knooppunten in de laag daarboven, verwerkt die, en geeft als gevolg daarvan zelf een signaal af naar knooppunten verder ‘stroomafwaarts’.
De intelligentie van het netwerk zit ‘m in de ‘gewichten’ van al die verbindingen. Als een gewicht 0 is, is er geen verbinding tussen twee knooppunten, als een gewicht hoog is, heeft een knooppunt een sterke invloed op een knooppunt stroomafwaarts. Neurale netwerken kunnen vele duizenden knooppunten bevatten, waarvan de werking wordt bepaald door miljoenen gewichten.
Maar die gewichten worden niet door de maker van het netwerk bepaald; die ontstaan door het netwerk te trainen met voorbeelden van input (zoals foto’s) en de gewenste uitkomst (bijvoorbeeld een menselijk gezicht onderscheiden).
AI zit nog in de puberale fase
Het bouwen en trainen van een neuraal netwerk is een ambacht zonder formele, overkoepelende theorie; voor sommige taken lukt dat heel goed, voor andere taken nauwelijks. Robbert Dijkgraaf, directeur van het Institute for Advanced Study in Princeton, schreef onlangs een essay over de staat van het vakgebied AI in Quanta Magazine waarin hij onder andere Turing Award winnaar Yann LeCun aanroept. Volgens LeCun gaat AI door een ‘puberale’ fase heen, die zich kenmerkt door vallen en opstaan, verwarring, zelfoverschatting en een gebrek aan echt inzicht. Wat dat betreft, stelt Dijkgraaf, is AI een soort 21ste eeuwse alchemie: ingenieurs schrijven hun computercodes op basis van eenzelfde wishful thinking en wanbegrip als waarmee de 16e eeuwse alchemisten hun toverdranken samenstelden.
Conclusie, aldus Schilders: ‘Echte intelligentie is nodig om kunstmatige intelligentie te laten werken’
AI zou fysische concepten als ruimte en tijd moeten begrijpen
Simpel gesteld, zoeken neurale netwerken in grote hoeveelheden data naar patronen, zonder enige notie vooraf welk soort patroon er uit de data moet gaan opduiken. Afhankelijk van de taak waarvoor men het neurale netwerk wil inzetten, kan dit heel effectief zijn – zoals om bepaalde objecten in digitale beelden te onderscheiden – of het kan een fiasco zijn.
Karen Willcox, een van de keynote sprekers op de workshop, formuleerde dit in Nature Computational Science aldus: “We moeten oppassen dat we niet alleen maar koersen op de successen van data-science en machine learning in zulke enorm verschillende domeinen als sociale media, online amusement, online verkoop, beeldherkenning, automatische vertaling en het verwerken van natuurlijke taal – domeinen met een overvloed aan data en waarvoor geen fysieke modellen bestaan.”
Zo blijkt het vrijwel ondoenlijk om een neuraal netwerk 3D-simulaties te laten doen van, bijvoorbeeld, de luchtstroom rond een vliegtuig. Puur in theorie bestaat de in- en output uit een begin- en een eindtoestand – de druk en snelheid van de lucht in elke kubieke centimeter op twee tijdstippen – met de 3D-vorm van het vliegtuig daar tussenin. Maar de data-omvang en de ‘oplossingsruimte’ van het probleem is zo gigantisch, dat het voor een ‘blanco’ neuraal netwerk niet te behappen is.
Als het netwerk daarentegen elementaire kennis van fysische wetten had – zoals ruimte, tijd en causaliteit – zou het veel doelgerichter kunnen zoeken naar relevante patronen in de data. Physics Inspired Neural Networks (PINNs) worden daarom als een belofte voor de toekomst gezien.
Een recent voorbeeld daarvan is DeepOnet (‘deep operator network‘), in maart dit jaar gepresenteerd in Nature Machine Intelligence .
DeepOnet functioneert op een hoger abstractieniveau dan gewone neurale netwerken, waarbij het leert hoe inputdata onder invloed van bepaalde operatoren veranderen. Deze operatoren zijn bijvoorbeeld de differentiaalvergelijkingen die fysische processen beschrijven.
Tijdens de workshop liet Paris Perdikaris zien, hoe DeepOnet en soortgelijke neurale netwerken in de nabije toekomst mogelijk gecompliceerde fysische experimenten snel en goedkoop kunnen simuleren, en wel zo betrouwbaar, dat ze niet meer in het echt gedaan hoeven te worden (of veel minder vaak).
Hoe omzeil je het privacyprobleem van medische data?
AI heeft de afgelopen jaren veelbelovende resultaten opgeleverd op medisch terrein. Nu het sequencen van het genoom van mensen veel goedkoper geworden is, zijn grote hoeveelheden genetische informatie beschikbaar gekomen. Neurale netwerken zijn in principe goed in het ontdekken van relaties tussen combinaties van genen en medische aandoeningen, wat mogelijkheden biedt voor personalised medicine.
Een ander terrein met veelbelovende ontwikkelingen is het analyseren van allerlei medische scans. Neurale netwerken zijn binnen bepaalde randvoorwaarden net zo goed als menselijke experts in het herkennen van, bijvoorbeeld, een tumor in een scan van de longen.
Maureen van Eijnatten, biomedisch onderzoeker aan de TU Eindhoven, hield een voordracht over de potentiële rol van AI bij het maken en analyseren van driedimensionale medische beelden, en het maken van gepersonaliseerde, driedimensionale implantaten. Die zijn bijvoorbeeld nodig voor patiënten waarvan de kaak is aangetast door een tumor.
De rode draad in haar betoog was, dat de medische praktijk weerbarstig blijkt: “Veel projecten resulteren in mooie publicaties, maar blijken niet toepasbaar in klinische situaties.”
Een pilot project waarin een neuraal netwerk getraind wordt met één set data kan weliswaar goede resultaten opleveren, maar daarna moet het ook werken in een veel rommeliger omgeving met data van andere merken scanners en met andere scan-protocollen. Dan zijn ze nog niet betrouwbaar genoeg om hoog-risicobeslissingen op te baseren.
Daarnaast zijn de zeer strikte privacy-regels voor medische data een struikelblok: volgens de Europese General Data Protection Regulation (GDPR) mogen patiëntdata in principe niet het ziekenhuis verlaten waarin ze gegenereerd zijn, om bijvoorbeeld neurale netwerken te trainen.
Ook de Medical Device Regulation (MDR) legt zeer strikte regels op aan de certificering van AI-systemen die daadwerkelijk worden gebruikt voor diagnoses of therapieën.
Het is zelfs de vraag, of een voor medische doeleinden goedgekeurd neuraal netwerk dat opnieuw getraind wordt met een nieuwe dataset, niet opnieuw het hele certificeringstraject moet doorlopen, wat uiteraard zeer tijdrovend is.
Van Eijnatten besprak twee manieren om de privacy-barrière te omzeilen. Ten eerste is het ook mogelijk om neurale netwerken te trainen met synthetische data van een GAN, een generative adversarial network.
Een bekend voorbeeld is StyleGAN, dat ‘levensechte’, maar niet-bestaande gezichten genereert.
Dat doet StyleGAN door informatie uit twee bronnen te combineren: één die attributen als geslacht, leeftijd en wel/niet brildragend weergeeft, en een tweede bron met echte gezichten. Het neurale netwerk combineert die twee bronnen tot nieuwe gezichten die niet te herleiden zijn tot de oorspronkelijke.
Op een vergelijkbare manier kunnen GANs synthetische beelden van allerlei medische scans genereren waarvoor geen privacy-beperkingen gelden.
Andere mogelijkheid: federated learning. Een neuraal netwerk raakt beter getraind, naarmate er meer trainingsdata beschikbaar zijn. Normaliter worden dus data uit allerlei bronnen in een databank verzameld. Maar het kan ook anders. Van Eijnatten: “Neem niet de data, maar het neurale netwerk mee uit het ziekenhuis.” Het is zelfs niet nodig om het neurale netwerk zelf – dat meestal trouwens gesimuleerd wordt op een gewone computer – mee te nemen: het effect van alle trainingsdata zit op een diffuse manier opgeslagen in de gewichten tussen de knooppunten, wat in wezen niet meer is dan een zeer lange rij getallen. Die kun je in een ander neuraal netwerk implementeren, en weer verder trainen met nieuwe data.
China, de zwijgzame reus op het gebied van AI?
Oktober 2021 was een van de tegenwoordig schaarse maanden dat fysieke bijeenkomsten weer toegestaan waren. En zoals iedere wetenschapper weet, zijn de informele contacten, in de kantine bij een kop koffie of in de wandelgangen, minstens zo belangrijk als de meer formele informatie-overdracht tijdens de lezingen.
Wat ook bleek uit de discussie na afloop van een van de lezingen. Op het gebied van AI is China een van de koplopers in de wereld, zeker qua budgetten. Onder meer door de taalbarrière hebben Westerse onderzoekers daar niet altijd goed zicht op. Vandaar de vraag aan een Chinese deelnemer aan de workshop: “Zien wij baanbrekende ontwikkelingen in China over het hoofd?”
“Ik denk het niet,” antwoordde deze onomwonden. “Ze hebben alleen een voorsprong omdat ze een hoop data hebben.”