Kan het? Mag het? Wil ik het?
Smit: “Tijdens een hackaton enige jaren geleden werkten mijn collega’s en ik aan een applicatie waarmee we een ‘Bewijs van leven’ konden opvragen bij klanten. De applicatie werkte op basis van computer vision, je moest je gezicht voor de camera houden en je paspoort tonen. Op de testdag ging het direct mis. Mijn collega van buitenlandse komaf kreeg de foutmelding ‘Dit is geen geldig paspoort’. Toen ik het probeerde, ging het goed. We kwamen tot de conclusie dat wij dachten dat we het model hadden geleerd wat een geldig paspoort is. Wat we in werkelijkheid hadden gedaan, was het model leren wat een geldig Nederlands paspoort is.”
Dat zette Smit aan het denken. En het was de aanloop naar het ethisch kader van NN. Dat kader is een belangrijke set regels en geeft in wezen antwoord op drie kernvragen over de inzet van Artificial Intelligence (AI): Kan het, technisch gezien? Mag het, in wettelijk opzicht? En wil ik het, vanuit ethisch perspectief?
Van theorie naar praktijk
Het ethisch kader van NN is gebaseerd op de 7 principes van betrouwbare AI die zijn opgesteld door de High-Level Expert Group on Artificial Intelligence, een adviesorgaan van de Europese Commissie. Dat zijn: Menselijke autonomie en controle. Technische robuustheid en veiligheid. Privacy en data governance. Transparantie. Diversiteit, non-discriminatie en rechtvaardigheid. Maatschappelijk welzijn. En tot slot Verantwoording. “De vertaling naar de praktijk maken we steeds door middel van een checklist die we nauwgezet aflopen,” legt Smit uit. “Ook in deze checklist komen de 7 principes terug. We gebruiken het bij de ontwikkeling én na livegang van ieder product.”
Bias voorkomen in Antifraudemodel
“Eén van de dataprojecten waarbij het ethisch kader cruciaal is, is de ontwikkeling en het gebruik van ons Antifraudemodel,” vertelt Smit. “Dat model voorspelt geen fraude, maar voorspelt het risico op fraude. Als het een risicovolle schadeclaim detecteert, wordt deze vervolgens onderzocht door een fraudeonderzoeker. Diegene stelt aan de hand van onderzoek vast of er daadwerkelijk fraude is gepleegd of niet.”
Bias meten in classificatiemodel
De ontwikkeling van een model zoals het Antifraudemodel is volgens Van de Ven (Senior Data Scientist) complex en kost tijd. “Voordat we dit model in gebruik konden nemen, hebben ontwikkelaars uitgebreid onderzoek gedaan naar Bias. Het is een classificatiemodel en als we in zo’n model Bias willen meten, moeten we kijken naar verschillende groepen klanten. En hoe zij door het model worden behandeld. Bijvoorbeeld mannen en vrouwen, de Nederlandse of niet-Nederlandse nationaliteit, een hoge of lage inkomensgroep etc. Het lastige is dat je niet altijd alle data hebt om deze checks te doen. Dat betekent dat je soms gebruik moet maken van statistieken van het Centraal Bureau voor de Statistiek (CBS). Dat leidt misschien tot wat extra werk, maar is wel belangrijk en zeer de moeite waard om te doen.”
False Positives
“Eén manier om Bias te meten in een classificatiemodel, is het opnieuw beoordelen van de verhouding tussen de voorspelling en de realiteit met behulp van een Confusion Matrix,” legt Van de Ven uit. “Je zet het werkelijke label ‘Was er wel of geen fraude gepleegd?’ dan tegenover het voorspelde label ‘Was er volgens jouw model wel of geen fraude gepleegd?’ Vervolgens is het interessant om te bekijken welke mensen in de matrix het False Positive-label krijgen. Want die mensen val je lastig met een controle, terwijl er met hun claim niets aan de hand is.”
Bij directe discriminatie wordt er direct onderscheid gemaakt naar een van de discriminatiegronden. Een voorbeeld van directe discriminatie op grond van geslacht: u doet hetzelfde werk als een collega, maar u krijgt minder geld omdat u een vrouw bent. Direct onderscheid is verboden en kan wettelijk bestreden worden.
Bij indirecte discriminatie wordt er onderscheid gemaakt dat in eerste instantie neutraal lijkt. Maar de neutrale regel of werkwijze pakt toch uit als discriminatie. Een voorbeeld van indirecte discriminatie op grond van handicap: in een restaurant worden honden niet toegelaten. Hierdoor wordt indirect onderscheid gemaakt op grond van handicap: mensen met bijvoorbeeld een blindengeleidehond mogen niet naar binnen. Indirect onderscheid is alleen toegestaan als er een objectieve rechtvaardigingsgrond is. Met andere woorden: voor het onderscheid moet een goede reden zijn. Dit moet per geval worden beoordeeld.
Bron: www.discriminatiemeldpunt.nl.
Op zoek naar proxies
“Als het met verschillende meetmethoden is gelukt om de direct discriminerende variabelen te verwijderen, ben je er nog niet. Er kunnen namelijk nog proxies in de data zitten,” waarschuwt Van de Ven. “Dat zijn ogenschijnlijk neutrale factoren die zorgen voor indirecte discriminatie van bepaalde groepen.
Het lastige van proxies is dat ze niet direct zichtbaar zijn voor data scientists. Denk bijvoorbeeld aan een verhoogd risico als een niet-polishouder belt over een schade. Voor een verzekeraar is dat over het algemeen een red flag, een indicator dat er mogelijk een hogere kans is op fraude. Maar soms is het helemaal niet gek dat een niet-polishouder contact opneemt met een verzekeraar. Bijvoorbeeld in gezinnen waarvan de ouders de taal niet of nauwelijks spreken. Je wil in die gevallen natuurlijk voorkomen dat dit leidt tot een fraudeverdenking. Daarom is het belangrijk om niet alleen te kijken naar direct discriminerende factoren, maar ook op zoek te gaan naar mogelijke proxies.”
Bias mitigeren
Hoe sleutel je proxies uit het classificatiemodel, zonder het hele model overboord te gooien? Het verminderen van Bias kan op verschillende manieren, maar vraagt om zorgvuldig nadenken. Van de Ven: “Zo kun je bijvoorbeeld de invoerdata voor het model aanpassen. Het idee daarachter is dat de invoerdata beter gebalanceerd zijn en dan ook het daaropvolgende model minder of geen Bias zal vertonen. Je kunt dat bijvoorbeeld doen door een ander gewicht te geven aan variabelen die voor Bias zorgen én het gelijktrekken van de False Positive / False Negative (evenveel fouten) ratio. Je doet dat met een zogeheten ‘reweighting algorithm’ die bepaalde data meer of minder gewicht geeft, afhankelijk van de analyse. Dit is overigens één voorbeeld en laat zien dat er dus ook data science-tools zijn om bias te herstellen.”
Accepteren of terug naar de tekentafel?
De duidelijke richtlijnen voor omgaan met AI en ethiek binnen NN, de product teams die dialoog stimuleren, de menselijke controles én het onderzoek naar Bias en proxies maken het volgens Smit en Van de Ven mogelijk om risico’s goed in kaart te brengen. Het maakt inzichtelijk waar over na is gedacht, wat er is berekend en welke risico’s overblijven. De belangrijke vraag die uiteindelijk overblijft is: willen we die risico’s accepteren of moeten we terug naar de tekentafel? Het is duidelijk dat NN er alles aan doet om Bias te voorkomen, maar het vraagt wel om voortdurende aandacht.