“Wat eigenlijk het belangrijkste is, is dat verzekeraars wanneer ze AI gebruiken moeten nagaan of ze aanbieder zijn of gebruiksverantwoordelijke. De wet maakt hier namelijk onderscheid in. Aanbieders, dit zijn partijen die AI-tools verkopen of maken voor eigen gebruik, moeten voldoen aan de regels die gelden voor het voorbrengen van AI-systemen. Dit betekent onder andere dat ze moeten werken met representatieve data, bias moeten voorkomen, de mogelijkheid moeten bieden om uitspraken uit te kunnen leggen en ook is er menselijk toezicht nodig. Daarnaast moet de software-ontwikkelstraat aan regels voldoen. Kort samengevat betekent dit dat aanbieders alles in het werk moeten stellen om ervoor te zorgen dat het systeem veilig, betrouwbaar en accuraat is. Uiteindelijk moet het systeem getest worden met een conformiteitstoets. Als de AI-tool ‘slaagt’, komt deze in aanmerking voor een CE-keurmerk.
Wanneer een verzekeraar gebruiksverantwoordelijke is, betekent dit dat de verzekeraar het AI-systeem gebruikt van een derde partij. Als dit het geval is, moet je vooral zorgen dat de inputdata klopt. Ook heb je verplichtingen op het gebied van menselijk toezicht en is het belangrijk om je aan de gebruiksinstructies te houden.”
Houd je je niet aan de gebruiksinstructies, dan kun je aansprakelijk zijn voor de consequenties van verkeerde beslissingen of kun je worden aangemerkt als aanbieder. “Als je bijvoorbeeld een hr-systeem gebruikt voor de selectie van kandidaten, mag je het niet zomaar gebruiken voor de promotie of demotie van eigen personeel. Verder moet je je houden aan de toegestane inputdata. Dit heeft ermee te maken dat AI-systemen leren van trainingsdata. Wanneer de karakteristieken van de inputdata sterk afwijken van de trainingsdata dan krijg je inaccurate uitkomsten. Wanneer een hr-tool bijvoorbeeld getrained is op de karakteristieken van een werkende populatie tussen de 17 en 65 jaar, moet je niet de gegevens van gepensioneerden erin stoppen, want dan is de kans groot dat de uitkomsten niet kloppen, omdat deze populatie afwijkt van de populatie waarop getrained is. Kortom, houd je aan de regels van de aanbieder en zorg dat je op de hoogte blijft.”
"Houd je je niet aan de gebruiksinstructies, dan kun je aansprakelijk zijn voor de consequenties van verkeerde beslissingen of kun je worden aangemerkt als aanbieder"
Schermer verduidelijkt dat een en ander vooral geldt voor hoog-risico AI. Hier hoort onder ander premiebetaling voor zorg- en levensverzekeringen bij en ook alles wat er met AI gebeurt in de context van het inhuren en de selectie van mensen. Kredietwaardigheidstoetsen en het accepteren van nieuwe verzekerden hoort er ook bij. Opvallend is dat het nu alleen verzekeringszaken in de domeinen leven en zorg betreft en schadeverzekeringen niet.
De hoogleraar geeft aan dat lastige aan de AI-act is dat het gaat om productregulering. “Als AI systemen op het lijstje staan, zijn ze ‘hoog risico’, als ze niet op het lijstje staan, dan niet. Fraudedetectie lijkt bijvoorbeeld niet onder de hoogrisicosystemen te vallen, terwijl het wel te maken heeft met de toegang tot essentiële publieke diensten (een hoogrisicocategorie). Als je uit je verzekering wordt geknikkerd door de AI-tool, kun je wat mij betreft spreken van hoogrisico omdat de uitkomst van het systeem grote consequenties kan hebben voor verzekerden. Bovendien: wat vandaag hoogrisico is, kan morgen geen hoogrisico meer zijn. Dat maakt het lastig. De Europese Commissie kan hoogrisico-toepassingen toevoegen en dit kenbaar maken via gedelegeerde wetgeving. Houd dit dus goed in de gaten. Tot slot is het belangrijk om te weten dat de AI-act geldt naast de regels van de Wft en de AVG.”
“Het kan best lastig zijn en dat is het moeilijke met productregulering. Dit gaat namelijk uit van fysieke producten, terwijl het bij AI uiteraard subtieler ligt. Als je bijvoorbeeld AI laat ontwikkelen door een ict-bedrijf, wordt je nog steeds als aanbieder beschouwd omdat je het laat ontwikkelen. Als vragende partij ben je dan verantwoordelijk. Kijk ook goed in de contracten en de gebruiksinstructies wat je allemaal kan en mag met het systeem, want als je het bijvoorbeeld aanpast, dan kun je ook aanbieder worden. Als je zelf een product koopt of in gebruik neemt ben je gebruikersverantwoordelijke. Je kunt ook beide zijn. Eventueel kun je er als verzekeraar ook voor kiezen om een andere partij een en ander te laten onderzoeken, want het is al snel gecompliceerd.”
Het Verbond publiceerde al in januari 2021 een ethisch kader voor datagedreven toepassingen. Het Ethisch kader datagedreven besluitvorming vraagt van verzekeraars om een aantal extra checks te doen bij de inzet van moderne technologieën zoals kunstmatige intelligentie, chatbots en automatische besluitvorming.
Schermer is enthousiast over dit kader. “Met het ethisch kader lopen jullie voorop. Veel van de uitgangspunten en verplichtingen uit het kader worden met de AI Act ook wet, bijvoorbeeld bepalingen over data governance en menselijk toezicht. Verzekeraars die dit kader hebben geïmplementeerd zijn waarschijnlijk dus al goed op weg met de compliance met de AI Act. Tegelijkertijd is het wel van belang om goed de AI Act te bestuderen, omdat de regels uit deze wet een stuk concreter zijn dan die uit het kader.”
“Wat je hebt draaien, moet compliant zijn. De eerste actie die je moet doen is alle AI-systemen in kaart brengen. Onderzoek per systeem of het onder de definitie van een AI-systeem valt en vervolgens of het binnen de hoogrisicocategorie past. Machine learning en complexe modellen horen hier al snel bij. Je scope kan hierbij beter te groot dan te klein zijn.”
Verder is het volgens Schermer van belang om te bepalen of je aanbieder of gebruikersverantwoordelijke bent en daarna de regels te checken. Voor laagrisico zijn er overigens geen regels op grond van de AI-Act, maar wel transparantieverplichtingen. Belangrijk is bijvoorbeeld aan verzekerden duidelijk te maken dat ze met een chatbot te maken hebben in plaats van met een echte klantenservicemedewerker.
“Ik verwacht dat er de komende twee jaar een hoop geschreven gaat worden door wetenschappers, consultants en de EU zelf. Houd dus zeker de site van het Verbond in de gaten en maak gebruik van guidance van het Europees AI-bureau. Standaardisatie-instituten zullen ook met publicaties komen. Hopelijk wordt de komende twee jaar meer duidelijk. Tot die tijd zou ik intern al richtlijnen opstellen en voor jezelf bepalen wat jij vindt dat onder AI valt. Het is vervelend om overal aan te moeten voldoen, maar uiteindelijk gaat het wel om regels die AI beter en betrouwbaarder moeten maken; dit heb je ook als doel als verzekeraar.”
“Er komt een systeem met markttoezichthouders. Betrokken partijen kunnen bijvoorbeeld zijn de DNB, de AFM en de directie Coördinatie Algoritmes (DCA), wat onderdeel is van de Autoriteit Persoonsgegevens. Dat er verschillende toezichthouders een rol spelen, heeft te maken met dat een en ander afhangt van waarvoor of waarbij AI gebruikt wordt. Deze partijen kunnen boetes uitdelen en ook producten uit de handel halen.”
"Het is vervelend om overal aan te moeten voldoen, maar uiteindelijk gaat het wel om regels die AI beter en betrouwbaarder moeten maken; dit heb je ook als doel als verzekeraar."
“Uiteraard kan dit. Belangrijk is om ook alert te zijn op de innovatie op de werkvloer. Je ziet nu heel veel dat er allerlei innovatieteams en datalabs zijn binnen organisaties. Hierin zitten vaak (ook) stagiaires bij die een AI-tool ontwikkelen die dan wordt ingezet. Op dat moment ben je dus aanbieder en moet je voldoen aan alle regels uit de AI-Act.
Het kan dus zijn dat je een potentieel gevaarlijk systeem inzet, en wellicht ook een hoogrisicomodel hebt gemaakt. Je moet het maar willen. Waarschijnlijk is het eenvoudiger en veiliger dat je niet zelf het wiel uitvindt, maar iets koopt en dan gebruikt, waarbij je goed op het CE-keurmerk moet letten.” Wanneer je wel zelf AI- systemen wilt ontwikkelen, zorg er dan voor dat je het hele proces van het bouwen en in productie brengen van AI-systemen (‘ML Ops’) deugdelijk hebt ingericht en gedocumenteerd."
“Uitgangspunt is niet doen. Als je het met nepgegevens kan doen, of geanonimiseerde data of met pseudoniemen is dat beter. Ik vind de lijn van AP overigens wel wat te rigide; er kunnen situaties zijn waarbij de karakteristieken van de data niet gelijk zijn met de daadwerkelijke gegevens; dan zal je toch moeten testen met ‘echte’ persoonsgegevens. Het uiteindelijke doel is de bescherming van persoonsgegevens. Als je niet goed kunt testen omdat je geen representatieve productiegegevens kon gebruiken, dan is de kans dat het in productie toch mis gaat groter. De schade die je dan veroorzaakt is waarschijnlijk een stuk groter dan het testen met de persoonsgegevens. De AI-Act verbiedt het ook niet, zolang het gebeurt in een gecontroleerde omgeving. Ik denk dat de soep dus iets te heet wordt opgediend. Belangrijk hierbij is de toezichthouder serieus te nemen, maar tegelijkertijd te beseffen dat de toezichthouder niet de rechter is. Op het moment dat jij een goed verhaal hebt, waarom je toch met persoonsgegevens moet testen en dit goed onderbouwt, heb je een goede kans bij de rechter.”
“Ik verwacht met name in de eerste twee jaar veel vragen en discussies. In eerste instantie zal het gaan om definities, daarna gaat het vooral om de technische inrichting. Belangrijk is ook wat er gaat gebeuren in onderhandelingen met partijen; bijvoorbeeld tussen verzekeraars en aanbieders van AI-systemen. Ik zou de inkoop- en contractjuristen daarom goed bekend laten worden met de AI-Act. Je moet de contracten en gebruiksinstructies namelijk goed kunnen beoordelen.”
Tot slot stelt de hoogleraar dat hij het wel even mooi vindt qua Europese wetgeving. “Het
absorptievermogen van de markt van al die wetgeving is ook niet oneindig. Je moet wel de tijd en de mankracht hebben om een en ander te implementeren.”
Met name de combinatie van stukken wetgeving (DORA, DMA, Data Act, AVG, AI-Act), maakt het volgens hem lastig. “Vanuit de EU gaat handhaving en toezicht dan weer een probleem worden. De AP heeft het nu al te druk met de AVG door gebrek aan mensen en middelen. De EU onderschat wat voor menskracht daarvoor nodig is. Misschien kunnen ze het oplossen met AI”, besluit hij lachend.
[Tekst: Christel Dieleman, foto's: Ivar Pel]
Dit is de tijdlijn van de AI Act:
