Klous is naast hoogleraar Big Data en Ecosystemen aan de Universiteit van Amsterdam ook partner bij KPMG. Hij staat bekend als dé Big Data-expert van Nederland. Niet zo gek dus om hem te vragen hoe verzekeraars de algoritmes kunnen of moeten auditen.
Navigatiesysteem
Voor een goed begrip neemt Klous de deelnemers eerst een stapje mee terug in de wereld van algoritmes. Terwijl hij een plaatje laat zien van een auto die zichtbaar de verkeerde straat in is gereden en met zijn wielen afdrukken maakt in het nog natte asfalt, gaat hij dieper in op data en algoritmes. “Zo ongeveer bij alles wat we doen en ondernemen, zijn data in het spel. Een bekende filosoof noemde dat eens onzichtbaar prikkeldraad, omdat we door data en algoritmes worden gestuurd, soms in de verkeerde richting. We zijn bijvoorbeeld geneigd om de data heel slaafs te volgen en rijden zelfs op nat asfalt, omdat het navigatiesysteem ons nou eenmaal die weg in stuurt.”
"Data en algoritmes sturen ons ook wel eens verkeerd"
Volwassen worden
Die ontwikkeling, waarin data min of meer leading zijn voor ons hele leven, levert ook verplichtingen op. Voor organisaties en bedrijven, en dus ook voor verzekeraars. “Iedereen moet de juiste voorbereidingen treffen, zorgen voor een goede data-inrichting in de organisatie en de algoritmes op de juiste manier laten controleren.”
Het gebruik van algoritmes vraagt met andere woorden om de juiste zorg. Klous noemt dat ook wel ‘het werken aan volwassenheid’. “Je moet als organisatie door een aantal fases heen om volwassen te worden. Dat betekent ten eerste dat je technisch volwassen moet zien te worden.”
Van datawarehouse naar raffinaderij
Hij laat weer een plaatje zien. “Het datawarehouse kennen we inmiddels allemaal wel als centraal punt om data te verzamelen. De wereld van vandaag bevat echter zoveel data dat het niet meer gestructureerd en met de juiste kwaliteit in het warehouse past. De data die er al zijn, worden immers geschoond, gecombineerd met andere bronnen, vervolgens weer onderzocht (welke bron heeft gelijk?), geharmoniseerd, verrijkt en uitgebreid. Dat betekent dat organisaties in toenemende mate voor hun databeheer overstappen van een relatief klein datawarehouse naar een veel grotere dataraffinaderij.”
Datascience
De tweede stap op weg naar volwassenheid die Klous noemt, is de procesvolwassenheid. “Je wilt als organisatie graag procesmatig meeliften op nieuwe ontwikkelingen, waaronder datascience. Deze nieuwe manier van dataverwerking zorgt voor meer flexibiliteit, maar dat geeft uitdagingen voor het gebruik ‘in de operatie’. Aan de ene kant moet je de creativiteit van de datascientist een plek geven en aan de andere kant moet je er scherp op zijn dat het meerwaarde oplevert voor de organisatie. Vindt de datascientist niet voor de vijfde keer eenzelfde soort wiel uit?”
"Datascience zorgt voor meer flexibiliteit, maar levert ook uitdagingen op"
Schuivende verantwoordelijkheid
De volgende stap is dan ook die naar organisatorische volwassenheid. “Bij de meeste met name grotere organisaties ontwikkelt de datascience zich ad hoc, vaak op meerdere plekken. Op een gegeven moment ontstaat er daardoor een behoefte om meer samen te werken, kennis te delen en langzaam maar zeker te standaardiseren. Dus niet tien platforms aanleggen, maar één bibliotheek. Uiteindelijk ontstaat er een soort van hub voor data-analyse. Mooi, maar zo’n hub kun je ook niet oneindig opschalen. Dus ontstaat er weer de neiging naar opdelen, terwijl er in die eerdere stap juist geschoven was met verantwoordelijkheden. Veel organisaties vinden dat schuiven met verantwoordelijkheid lastig en maken die stap niet goed af. Ze gunnen zichzelf niet de tijd om de hub volwassen te laten worden en dat is jammer, want daardoor doen ze een stap terug in plaats van vooruit. Vaak blijkt zelfs – achteraf – dat alle tijd, energie en de gemaakte kosten voor niks te zijn geweest.”
Risicomanagement
De vierde en laatste stap op weg naar volwassenheid is die van risicomanagement. “Daar is bij datascience weinig aandacht voor in vergelijking met andere domeinen, zoals het financiële domein”, meent Klous. “Veel organisaties denken dat datascientists het allemaal wel zelf kunnen en dat betrouwbaarheid kan worden bereikt door simpelweg de transparantie te verbeteren. Dat is natuurlijk niet zo!”
Hij laat weer een plaatje zien, dit keer van een pak melk. “Op dat pak staat een verloopdatum. Die vertrouwen we allemaal wel, maar als ik mensen vraag of ze weten hoe die datum is berekend, weet niemand dat. Het boeit ze ook niet, want ze hebben al jarenlang ervaren dat de datum wel klopt. Als het pak ten minste van de Melkunie is, want een onbekend merk van een onbekende supermarkt vertrouwen ze een stuk minder. Het heeft dus meer met reputatie en merk dan met transparantie te maken. Datzelfde geldt natuurlijk ook voor een audit. Het kan niet zo zijn dat je zelf een stempeltje zet en dan moet de rest van de wereld er maar op vertrouwen dat het stempeltje klopt.”
"Vertrouwen heeft meer met reputatie dan met transparantie te maken"
Model van vertrouwen
De vraag rijst. Kunnen verzekeraars dat ‘model van vertrouwen’ adopteren voor hun eigen algoritmes? “Het antwoord is simpel”, aldus Klous. “Dat is ja. Voor algoritmes werkt het namelijk niet anders dan voor andere domeinen. Je kunt precies dezelfde methoden die je voor andere audits gebruikt ook voor algoritmes inzetten. Bijvoorbeeld het principe van ‘opzet, bestaan en werking’. Als je een fantastisch algoritme hebt bedacht, maar het is slecht ontwikkeld, dan is het niks waard. Zelfs de uitdagingen bij een audit zijn hetzelfde. Je moet bijvoorbeeld wel kunnen uitleggen waarom je tot een bepaalde uitkomst bent gekomen en dan ook nog een beetje toegespitst op degene aan wie je het uitlegt. Een andere datascientist of auditor kan een technische uitleg wel waarderen, maar een rechter wil liever weten of je wel voldoende hebt getest. De laatste jaren zie je een golfbeweging, van groot enthousiasme over de nieuwe mogelijkheden van Big Data en AI in het begin, naar een hele kritische houding vanwege het onzichtbare prikkeldraad nu. De meest recente ontwikkeling is juist weer een positievere houding. Doordat er betere controles op algoritmes plaatsvinden, realiseren mensen zich dat een algoritme vaak niet zelf het probleem is, maar dat het juist een probleem blootlegt dat er al was. Zo kan een algoritme bijvoorbeeld helpen om bestaande vooroordelen in het recruitment-proces te identificeren en kan het proces op basis van die inzichten worden verbeterd.”
Hoe audit je een algoritme?
Het is een big issue voor verzekeraars en daarom had Sander Klous zijn KPMG-collega Frank van Praat meegenomen die dieper inging op het auditen van een algoritme. Volgens Van Praat start het met de vraag wanneer het wel en wanneer niet interessant is om een algoritme te auditen. Daarbij zijn drie factoren van belang:
1. Complexiteit - “Je zal onder andere moeten uitzoeken of er bijvoorbeeld sprake is van machine learning. Dit verhoogt de risico’s. Al is de impact van een algoritme altijd belangrijker dan de complexiteit.”
2. Invloed - “Wat is het gevolg van de toepassing? Als je met deep learning een lift zo efficiënt mogelijk over de diverse verdiepingen wilt laten zoeven, is dat een complexe operatie, maar het heeft niet zoveel impact.”
3. Autonomie – “In hoeverre is de mens nog betrokken bij de besluitvorming?”
Er komt een audit – en dan?
Als het besluit eenmaal is genomen dat er een audit komt, vindt deze plaats op verschillende niveaus die Van Praat vergelijkt met de volwassenheid uit het verhaal van Klous. “Ook dat zijn er weer drie: governance, processen en controls en tenslotte het algoritme zelf. Bij de governance moet je je vooral afvragen waar je wel of niet algoritmiek voor wilt gebruiken, of je dit zelf doet of uitbesteedt en hoe je de juiste mensen in huis krijgt. Er is immers nog geen standaard voor wat een goede datascientist moet kunnen. Bij het tweede niveau wordt gekeken naar de proces- en monitoringcontrols. Welke ontwikkelmethode wordt gevolgd? Het derde en laatste niveau betreft het beoordelen van het geïmplementeerde algoritme zelf. Als je kijkt naar de opzet, het bestaan en de werking van het algoritme, is de output dan conform de verwachting?”
Vier stappen
Van Praat benadrukte een aantal malen tijdens zijn relaas dat het “een aanpak in vogelvlucht” is, maar hij ging er wel iets dieper op in. Voor het laatste niveau, het beoordelen van het algoritme zelf, zijn er vier stappen te doorlopen. Te beginnen met het beoordelen van de data. Van Praat: “Om een algoritme te ontwikkelen, heb je vaak veel data nodig die juist, volledig en van geschikte kwaliteit moet zijn om het doel te behalen.”
De tweede stap bestaat uit het begrijpen van de opzet van het algoritme. “Waar is het algoritme voor bedoeld? Is het zogenaamde echte wereld probleem goed vertaald naar een AI-probleem? Welke keuzes en afslagen zijn gemaakt?” In dit stadium is het volgens Van Praat ook belangrijk om te bepalen of AI echt nodig is of dat je het ook anders had kunnen doen.
Stap drie omvat het beoordelen van de implementatie. De gereedschapskist van de auditor biedt daarvoor verschillende tools. “De meest eenvoudige vorm is natuurlijk inspectie en interview, maar beter is het om het als auditor zelf te reperformen of onafhankelijk te testen.”
Ten slotte volgt de vierde en laatste stap die is gericht op de continue werking van het algoritme. Bijvoorbeeld door te onderzoeken of een organisatie periodiek handmatige steekproeven uitvoert om de juiste werking te monitoren, of dat er bepaalde plausibiliteitscontroles worden gedaan. “Cruciaal is immers dat het algoritme blijft opereren in lijn met de succescriteria”, besluit Van Praat.