Welke datadocumentatie vereist de EU AI Act?

In het kort

• De meest uitgebreide verplichtingen rond datadocumentatie gelden voor aanbieders van AI-systemen met een hoog risico, op basis van artikel 10 en bijlage IV van de AI Act.
• Organisaties die een hoogrisicosysteem van een andere aanbieder gebruiken, hebben ook verantwoordelijkheden voor de invoerdata en automatisch gegenereerde logs waarover ze controle hebben.
• De technische documentatie moet actueel blijven. Bronnen en verantwoordelijken bijhouden is dus een doorlopende werkwijze, geen eenmalig dossier bij de ingebruikname.

Voor welke AI-systemen gelden de dataregels?

De gedetailleerde datagovernanceregels van de AI Act zijn bedoeld voor AI-systemen met een hoog risico. De indeling volgt uit artikel 6 en de bijlagen I en III. Voorbeelden zijn bepaalde toepassingen voor personeelsselectie, de beoordeling van de kredietwaardigheid van natuurlijke personen en toegang tot essentiële diensten. Of een concrete toepassing als hoog risico geldt, hangt af van de wettelijke voorwaarden en eventuele uitzonderingen.

Niet elke AI-toepassing in een onderneming valt in die categorie. Een chatbot die intern beleid samenvat of een model dat voorraadniveaus voorspelt, valt doorgaans niet onder de hoogrisicoregels, afhankelijk van het beoogde gebruik. De eerste stap is daarom bepalen welke van je toepassingen wel en niet als hoog risico kwalificeren.

De verordening maakt ook een onderscheid tussen twee rollen. Een aanbieder ontwikkelt een AI-systeem, of laat het ontwikkelen, en brengt het onder de eigen naam of het eigen merk op de markt of stelt het in gebruik. Een gebruiksverantwoordelijke gebruikt een AI-systeem onder de eigen verantwoordelijkheid. Een Benelux-bedrijf kan voor de meeste toepassingen gebruiksverantwoordelijke zijn en voor enkele intern ontwikkelde systemen aanbieder.

De verwijzingen naar de AI Act hieronder zijn beknopte samenvattingen van de verordening, geen juridisch advies. De concrete verplichtingen hangen af van je rol, het systeem en de toepasselijke bepalingen.

Wat vraagt artikel 10 over trainingsdata?

Artikel 10 behandelt data en datagovernance voor AI-systemen met een hoog risico. Voor systemen waarbij modellen met data worden getraind, moeten trainings-, validatie- en testdatasets onder passende datagovernance- en databeheerpraktijken vallen, afgestemd op het beoogde doel. Die praktijken omvatten onder meer:

1. De relevante ontwerpkeuzes.
2. Hoe de data verzameld zijn, waar ze vandaan komen en, bij persoonsgegevens, het oorspronkelijke doel van de verzameling.
3. De voorbereidingsstappen, zoals annotatie, labelling, opschoning, actualisering, verrijking en aggregatie.
4. De aannames, met name over wat de data geacht worden te meten en weer te geven.
5. Een beoordeling van de beschikbaarheid, hoeveelheid en geschiktheid van de benodigde datasets.
6. Een onderzoek naar mogelijke vertekeningen en passende maatregelen om die op te sporen, te voorkomen en te beperken.
7. De vastgestelde hiaten of tekortkomingen in de data en hoe die worden aangepakt.

Volgens artikel 10 moeten de datasets relevant en voldoende representatief zijn en, voor zover mogelijk, vrij van fouten en volledig in het licht van het beoogde doel. De bepaling houdt ook rekening met de personen of groepen voor wie het systeem bedoeld is. Voor hoogrisicosystemen die niet met technieken voor modeltraining worden ontwikkeld, gelden de relevante eisen uit artikel 10 voor de testdatasets.

Let op wat deze lijst beschrijft. Het gaat niet alleen over het model, maar over de data: de herkomst, de verwerking en de bekende zwakke plekken. Dat sluit aan bij het werk van een datagovernanceteam, vastgelegd voor een specifiek AI-systeem.

Wat moet de technische documentatie over data bevatten?

Artikel 11 verplicht aanbieders van hoogrisicosystemen om technische documentatie op te stellen voordat het systeem op de markt wordt gebracht of in gebruik wordt gesteld, en die documentatie actueel te houden. Bijlage IV beschrijft de inhoud.

Voor data vraagt punt 2(d) van bijlage IV onder meer informatie over de gebruikte trainingsmethoden en -technieken en over de trainingsdatasets. Daarbij gaat het om hun herkomst, omvang en belangrijkste kenmerken, hoe de data verkregen en geselecteerd zijn en welke procedures voor labelling en opschoning zijn gebruikt. Artikel 12 vult dit aan met registratievereisten: hoogrisicosystemen moeten technisch toelaten om tijdens hun levensduur automatisch gebeurtenissen te loggen.

Een hardnekkig misverstand is dat AI Act-documentatie een eenmalig compliancedossier is dat de modelbouwer bij de lancering opstelt. De verordening vraagt actuele technische documentatie. Als een relevante databron een andere eigenaar krijgt, een nieuwe extractiestap doorloopt of wordt vervangen, moet je beoordelen welke aanpassing van het dossier nodig is.

Een voorbeeld: een kredietbeoordelingsmodel is getraind op een klantentabel die Finance beheert. Zes maanden later vertrekt de data-eigenaar en voegt een collega een filter toe. Zonder registratie beschrijft het dossier de actuele databron niet meer correct. Bewaar daarbij ook het onderscheid tussen de historische dataset waarmee het model getraind is en latere versies van de bron.

Wat moeten gebruiksverantwoordelijken documenteren?

Als je een hoogrisicosysteem van een leverancier gebruikt, liggen de verplichtingen uit artikel 10 en bijlage IV in beginsel bij de aanbieder. Je eigen verplichtingen zijn beperkter, maar raken ook aan data. In bepaalde omstandigheden, bijvoorbeeld bij een wezenlijke wijziging van een systeem, kan je rol veranderen.

Artikel 26 beschrijft de verplichtingen van gebruiksverantwoordelijken. Voor zover je controle hebt over de invoerdata, moet je ervoor zorgen dat die relevant en voldoende representatief zijn voor het beoogde doel van het systeem. Je moet ook de automatisch gegenereerde logs bewaren voor zover je daar controle over hebt. Laat de toepasselijke bewaareisen bevestigen door je juridisch adviseur, rekening houdend met de regels voor persoonsgegevens.

In de praktijk moet je dus weten welke datasets welk AI-systeem voeden, wie ervoor verantwoordelijk is en wat er verandert. Dat is een vraag over data lineage en eigenaarschap. Ze hoort niet alleen bij aankoop, maar ook bij het datateam.

Wat documenteren aanbieders van AI-modellen voor algemene doeleinden?

Aanbieders van AI-modellen voor algemene doeleinden, vaak aangeduid als GPAI-modellen, hebben eigen verplichtingen onder artikel 53. Het gaat onder meer om technische documentatie en een publiek beschikbare, voldoende gedetailleerde samenvatting van de inhoud die voor de training is gebruikt, volgens het sjabloon van het AI-bureau. Artikel 53 bevat voor bepaalde vrij en opensource aangeboden modellen uitzonderingen op enkele documentatieverplichtingen, maar niet op de verplichting om die trainingssamenvatting te publiceren.

De meeste ondernemingen bieden zulke modellen niet zelf aan, maar gebruiken ze. Relevante vragen zijn dan wat de aanbieder publiceert en hoe je eigen data in de toepassing worden gebruikt: via prompts, fine-tuning of het ophalen van informatie, ook retrieval genoemd. Dat data als invoer of via retrieval worden gebruikt, betekent op zichzelf niet dat ze ook voor modeltraining worden gebruikt.

Wie documenteert wat onder de AI Act?

Een praktisch raamwerk: inventariseer, breng bronnen in kaart, wijs toe, registreer en evalueer

• Inventariseer (Inventory): lijst je AI-toepassingen op en bepaal welke als hoog risico kwalificeren en of je per toepassing aanbieder of gebruiksverantwoordelijke bent.
• Breng bronnen in kaart (Source): noteer voor elke hoogrisicotoepassing welke datasets ze gebruikt en waar elke dataset vandaan komt.
• Wijs eigenaarschap toe (Own): duid per dataset één persoon aan die aanspreekbaar is op de inhoud en wijzigingen kan goedkeuren.
• Registreer (Record): houd een gedateerde historiek bij van wat er aan elke dataset verandert en wie de wijziging heeft uitgevoerd.
• Evalueer (Review): toets de documentatie op vaste momenten aan de werkelijkheid en telkens wanneer een bron, eigenaar of voorbereidingsstap verandert.

Maak documentatie een vaste werkwijze

Een belangrijk deel van de dataverplichtingen in de AI Act draait om inzicht in de herkomst van data, de uitgevoerde bewerkingen en de verantwoordelijkheid ervoor, met documentatie die actueel blijft. Teams die voor hun rapportering al bronnen en eigenaars registreren, hebben daarvoor een bruikbare basis. Dat vervangt de overige verplichtingen rond onder meer risicobeheer, testen en technisch bewijs niet. Begin met een inventaris en zorg dat het dossier mee evolueert.