Om de 120 aanwezige data professionals te prikkelen, geeft Smeets (hoogleraar wetenschapscommunicatie aan Universiteit Leiden) de nodige stof tot nadenken. Met ongemakkelijke, soms lachwekkende, maar ook rake praktijkvoorbeelden illustreert ze de impact van AI op ons dagelijks leven en hoe dit vaak misloopt. Om ook na afloop van de Datadag meer dan genoeg gespreksstof te hebben, deelt ze tips. Van een AI game tot museumbezoek.
Maar eerst geeft Smeets context en valt meteen met de deur in huis met het onderwerp etnisch profileren. “Een tijdje geleden wilde ik een column schrijven over etnisch profileren. Een gevoelig onderwerp, dus bedacht ik een land ver weg van hier. Wiskundig gezien een ideaal land, want de bevolking bestaat uit twee gelijke groepen: de Huffelpuffers en de Ravenklauwers. Ook de criminaliteitscijfers zijn opvallend. Van de Huffelpuffers is 51 procent betrokken bij criminele activiteiten. En bij de Ravenklauwers is dat 49 procent. In de misdaadstatistieken is dan ook 51% Huffelpuffer en 49% Ravenklauwer."
"De politie besluit datagedreven preventieve controles uit te voeren en elke maand 100 mensen staande te houden. Omdat volgens de statistieken 51% van de criminelen een Huffelpuffer is, zorgen ze ook dat 51% van de mensen die ze staande houden een Huffelpuffer is. In de eerste maand houdt de politie dus 51 Huffelpuffers staande, waarvan 51 procent crimineel is (afgerond 26 misdadigers). Ook worden er 49 Ravenklauwers gecontroleerd en daarvan is 49 procent crimineel (ook weer afgerond 24 misdadigers)."
Ze vervolgt: “De politie concludeert hieruit dat hun methode werkt. Ze zien dat de afgelopen maand zelfs 52 procent van de 100 criminelen een Huffelpuffer was: 26 van de 50 is immers 52% van het totaal. De volgende maand worden er daarom 52 Huffelpuffers en 48 Ravenklauwers gecontroleerd. En ja, die maand blijkt dus zelfs 53 procent van de gevonden misdadigers een Huffelpuffer te zijn.” Welke impact heeft deze aanpak van de politie op langere termijn?
Na eerste maand: 52% Huffelpuffers en 48% Ravenklauwers bij de gevonden criminelen.
Na tweede maand: 53% Huffelpuffers en 47% Ravenklauwers bij de gevonden criminelen.
Na 1 jaar: 63% Huffelpuffers en 37% Ravenklauwers bij de gevonden criminelen.
Na 5 jaar: 90% Huffelpuffers en 10% Ravenklauwers bij de gevonden criminelen.
Na 7 jaar: 97% Huffelpuffers en 3% Ravenklauwers bij de gevonden criminelen.
Terwijl al die tijd in werkelijkheid de verdeling 51% versus 49% blijft. Dat kleine verschil wordt langzaam maar zeker helemaal opgeblazen in dit systeem.
“Nu hoop ik dat je denkt: dit is toch wel echt een hele domme manier van werken”, zegt Smeets. Ze ontving dan ook veel reacties op deze column. Zelfs een aantal boze brieven, want dit voorbeeld is volgens lezers wel héél erg fictief… of toch niet? “Het is fictief en de meetmethode dom, maar in de praktijk gebeurt het nog vaak genoeg. Wil je weten waar? Lees dan eens het boek Weapons of Math Destruction van Cathy O’Neill. Hierin beschrijft ze de maatschappelijke impact van algoritmen. Waar gaat het fout en wat betekent dat voor mensen?” Smeets noemt de Toeslagenaffaire als bekend Nederlands voorbeeld en laat een quote zien van Cynthia Liem, universitair hoofddocent Kunstmatige Intelligentie, die betrokken is geweest bij de reconstructie:
‘Toeslagen controleerde alleen de hoogste risicoscores die door het model werden bepaald. De uitkomsten daarvan werden gebruikt om het model verder te trainen. Het model versterkt zo zijn eigen vooroordelen: als het vermoedt dat bij lagere inkomens meer kans is op fraude, worden vooral die aanvragen gecontroleerd en zoomt het steeds verder in op lage inkomens.’
Met andere woorden: bij het opsporen van fraude of criminaliteit is het belangrijk om modellen te hertrainen, om te voorkomen dat je zelfversterkende feedbackloops creëert. Gelukkig blijken verzekeraars zich daar bewust van, maar het voorbeeld illustreert precies hoe makkelijk het fout kan gaan.
Waarom het nog steeds fout kan gaan met algoritmen, wordt volgens Smeets onder andere duidelijk in de columns van Ilyaz Nasrullah, een informaticus die veel aandacht heeft voor ethiek en data. In één van zijn columns schreef hij: ‘In het gepruts van de Belastingdienst zag ik duidelijk de hand van mijn verdwaalde vakgenoten, die geloven dat álle vraagstukken door zelflerende algoritmen beantwoord kunnen worden zolang er maar voldoende data beschikbaar zijn. Al vanaf hun studententijd zien ze de maatschappelijke impact en ethische implicaties van de systemen die zij ontwikkelen als slap geouwehoer waar ‘échte bèta’s’ zich niet mee bezig moeten houden. Homo informaticus, noem ik deze mensen.’
Het zijn allemaal lachwekkende, soms tenenkrommende, maar ook rake voorbeelden die aanzetten tot beter nadenken over AI. “Dat is belangrijk,” vindt smeets, “want er kan tegenwoordig heel veel, maar stel jezelf altijd de vraag: wil ik het ook echt?” Met deze tips geeft ze zeker weten stof tot nadenken:
Am I the asshole?
Een Reddit-forum waar je te weten komt of je gelijk of ongelijk had in een ruzie of meningsverschil. Andere gebruikers van het forum geven antwoord op jouw vraag en oordelen. Zodra de discussie wordt gesloten, volgt een algemeen oordeel. Je krijgt antwoord op die ene vraag: Am I the asshole? Een fascinerend voorbeeld van hoe AI een moraal zou kunnen ontwikkelen. “Er is een algoritme dat dit forum gebruikt heeft om een moraal te ontwikkelen en ik vind het dus een heel dom idee, maar geweldig amusant om dat orakel te gebruiken.”
Do scientists understand the public?
Eén van haar favoriete papers is Do Scientists Understand the Public? van de American Academy of Arts and Sciences, geschreven door Chris Mooney. Volgens Smeets interessant omdat de vraag vaak andersom wordt gesteld: begrijpt het publiek de wetenschap? In dit paper vind je veel cases over technologie en wetenschap en de betrokkenheid van de samenleving en concrete tips over hoe je ervoor zorgt dat je met nieuwe technologie goed aansluit bij de samenleving.
Universal Paperclips
Een AI game gemaakt door Frank Lantz van de New York University. Tijdens het spelen ben jij een AI. Je krijgt één opdracht: produceer paperclips. Simpel, toch? Maar gedurende het spel moet je keuzes maken om ervoor te zorgen dat je paperclips blijft produceren en verkopen. Het laat zien dat als er onvoldoende nagedacht is over de definitie van succes van het algoritme, de zaken gigantisch uit de hand kunnen lopen. Je zal belanden in space wars. Op zoek naar grondstoffen voor paperclips, met alle gevolgen van dien.
BrAInpower, Rijksmuseum Boerhaave
Van deepfakes, streamingdiensten en dating apps tot gezichtsherkenning, zelfrijdende auto’s en medische toepassingen. We kunnen niet meer om AI heen. Het verandert onze levens, zoals ooit stoommachines ten tijde van de industriële revolutie deden. Museum Boerhaave in Leiden ontwikkelde met filosoof Bas Haring een expositie die laat zien waar AI met succes kan worden ingezet, hoe we er de vruchten van plukken, maar belicht ook de schaduwkanten. Te zien van 9 september 2022 t/m 5 maart 2023.
"Blijf jezelf de vraag stellen: wil ik het ook?"
Smeets sluit af met een quote van haar favoriete informaticus Edsger W. Dijkstra. In de jaren 70 zei hij al: ‘As the power of available machines grew by a factor of more than a thousand, society’s ambition to apply these machines grew in proportion. And it was the poor programmer who found his job in this exploded field of tension between ends and means.’
“Deze uitspraak van Dijkstra is vandaag de dag nog steeds toepasselijk,” merkt Smeets op. “Ik ben er daarom van overtuigd dat je de best mogelijke programmeur wordt als je beseft hoe moeilijk het is. En als je er bewust van bent dat er heel veel kan, maar jezelf de vraag blijft stellen: wil ik het ook? Sta vervolgens ook op als het management of de baas verkeerde dingen wil doen met data. Ik vind het Ethisch kader voor verzekeraars echt hoopgevend, dus neem als sector het voortouw. Mijn advies in deze tijden is, laat zien waar je mee bezig bent, zodat anderen ervan kunnen leren. Praat erover. En ik hoop dat ik jullie vandaag genoeg stof tot nadenken en dialoog heb gegeven.”
Tekst: Ellen Jonges | Portretfotografie: Ivar Pel