Nieuwe wettelijke vereisten van kracht vanaf 2 februari 2025

AI-geletterdheid onder de EU AI-verordening

AI-geletterdheid onder de EU AI-verordening
  • Publicatie
  • 08 jan 2025

Op 1 augustus 2024 trad de Europese AI-verordening (AI-verordening) in werking. Het doel van de AI-verordening is ervoor te zorgen dat AI die ontwikkeld en gebruikt wordt op de interne markt van de Europese Unie betrouwbaar is (dat wil zeggen wettelijk, ethisch en robuust), met waarborgen ter bescherming van de gezondheid, veiligheid en fundamentele rechten van de mens. Dit artikel licht een van de eerste vereisten van de AI-verordening toe die aanbieders en gebruiksverantwoordelijken van AI-systemen op de EU-markt moeten naleven: AI-geletterdheid.

Door: Mona de Boer (Digital Trust, Data & Artificial Intelligence)

De EU AI-verordening introduceert een wettelijk vereiste voor AI-geletterdheid

De nieuwe AI-verordening introduceert geharmoniseerde regels voor (i) de ontwikkeling, (ii) het op de markt brengen en (iii) het gebruik van AI-systemen in de Europese Unie, en doet dat volgens een risicogebaseerde aanpak. Deze regels zullen in de komende jaren gefaseerd van kracht worden, waarbij de eerste bepalingen vanaf 2 februari 2025 van toepassing zijn. Een van deze eerste bepalingen is een wettelijke vereiste voor AI-geletterdheid, zoals uiteengezet in artikel 4 van de AI-verordening.

Aanbieders en gebruiksverantwoordelijken van AI-systemen moeten AI-geletterdheid vormgeven en realiseren

Artikel 4 van de AI-verordening vereist het volgende: ‘Aanbieders en gebruiksverantwoordelijken van AI-systemen nemen maatregelen om, zoveel als mogelijk, te zorgen voor een toereikend niveau van AI-geletterdheid bij hun personeel en andere personen die namens hen AI-systemen exploiteren en gebruiken, en houden daarbij rekening met hun technische kennis, ervaring, onderwijs en opleiding en de context waarin de AI-systemen zullen worden gebruikt, evenals met de personen of groepen personen ten aanzien van wie de AI-systemen zullen worden gebruikt.’ In het licht van deze vereiste betekent AI-geletterdheid: de vaardigheden, kennis en het begrip waarmee aanbieders, gebruiksverantwoordelijken en betrokken personen in staat zijn om – rekening houdend met hun respectieve rechten en plichten in het kader van de AI-verordening – te komen tot een geïnformeerde toepassing van AI-systemen, alsook bewustwording te ontwikkelen ten aanzien van de mogelijkheden en risico’s van AI en de potentiële schade die AI kan veroorzaken (Artikel 3 sub 56).

In het kort komt de vereiste van AI-geletterdheid in Artikel 4 neer op het volgende:

Om te bereiken dat...

...moeten de volgende AI-doelgroepen...

...worden voorzien van de noodzakelijke noties...

....om ze in staat te stellen...

...rekening houdend met...

de grootste voordelen worden gehaald uit AI-systemen, terwijl fundamentele rechten, gezondheid en veiligheid worden beschermd en democratische controle mogelijk wordt gemaakt

  • aanbieders
  • gebruiksverantwoordelijken
  • vaardigheden
  • kennis
  • begrip
  • zich bewust te worden van de kansen en risico’s van AI en de mogelijke schade die zij kan veroorzaken
  • AI-systemen op een geïnformeerde manier in te zetten
  • de technische kennis, ervaring en opleiding van de betrokken personen binnen de AI-doelgroepen
  • de context waarin de AI-systemen zullen worden gebruikt
  • de personen of groepen waarop de AI-systemen zullen worden toegepast.

De bepalingen van Artikel 4 zijn van toepassing op de volgende actoren in de AI-waardeketen:

  • aanbieders van AI-systemen, dat wil zeggen natuurlijke personen of rechtspersonen, overheidsinstanties, agentschappen of andere organen die een AI-systeem of een AI-model voor algemene doeleinden (laten) ontwikkelen en op de markt brengen, of die het AI-systeem onder hun eigen naam of handelsmerk in gebruik nemen, al dan niet tegen betaling (Artikel 3, sub 3);
  • gebruiksverantwoordelijken, dat wil zeggen natuurlijke personen of rechtspersonen, overheidsinstanties, agentschappen of andere organen die een AI-systeem onder eigen verantwoordelijkheid gebruiken, behalve wanneer het AI-systeem wordt gebruikt in het kader van een persoonlijke niet-professionele activiteit (Artikel 3, sub 4).

Met de recente opkomst van (Generatieve) AI in het bedrijfsleven, ligt het voor de hand dat de gemiddelde onderneming of organisatie onder de bepalingen van Artikel 4 van de AI-verordening zal vallen en dus vanaf 2 februari 2025 aan deze vereiste moet voldoen. Voor aanbieders en gebruiksverantwoordelijken van AI-systemen kan het echter een uitdaging zijn om de vereiste AI-geletterdheid vorm te geven en te bereiken, terwijl ze ook nog verantwoordelijk zijn voor de inspanningen die in dat traject worden geleverd (Artikel 4, ‘naar hun beste vermogen’) en het resultaat daarvan (Artikel 4, ‘een voldoende niveau van AI-geletterdheid waarborgen’).

Op dit moment biedt de AI-verordening geen verdere richtlijnen over de aard en diepgang van de vaardigheden, kennis en het begrip dat moeten worden bereikt via AI-geletterdheidsprogramma’s, noch over wat een ‘voldoende niveau’ van AI-geletterdheid inhoudt. De verwachting is dat deze zaken voorlopig ‘in beweging’ zijn en zullen blijven. Dat neemt niet weg dat organisaties hun AI-geletterdheidsprogramma’s moeten ontwerpen en implementeren en, indien van toepassing, moeten voldoen aan de wettelijke vereisten en deadlines. Om organisaties enig houvast te geven bij het implementatieproces, delen we in het volgende deel van dit artikel een aantal eerste inzichten in AI-geletterdheid, gebaseerd op de actuele ontwikkelingen in de praktijk en in de theorie rondom het onderwerp.

Relevante onderwerpen en competentieniveaus voor het vormgeven van AI-geletterdheidsprogramma’s

De definitie van ‘AI-geletterdheid’ in de AI-verordening (Artikel 3 sub 56) bevat drie noodzakelijke niveaus van competentie, die gericht zijn op het geïnformeerd gebruik van AI-systemen: (1) kennis, (2) begrip en (3) vaardigheden. In het kort komen deze niveaus neer op het volgende:

  1. het leren van feitelijke informatie over AI-concepten en -praktijken door middel van studie of ervaring (kennis);
  2. het begrijpen van het ‘waarom’ achter die feitelijke informatie, om dat inzicht vervolgens te kunnen toepassen op niet eerder voorgekomen en niet-standaard situaties en contexten (begrip); en
  3. het herhaaldelijk toepassen van die feitelijke informatie in de dagelijkse praktijk (vaardigheden).

Al deze drie competentieniveaus moeten worden behandeld als onderdeel van de leerdoelen van AI-geletterdheidsprogramma’s binnen organisaties.

Vervolgens is het de vraag welke onderwerpen relevante inhoudelijke bouwstenen zijn voor een geïnformeerd gebruik van AI-systemen. Hoewel de theorie en praktijk van moderne AI-geletterdheid momenteel nog in de kinderschoenen staan, zijn er op dit moment al een aantal belangrijke onderwerp aan te wijzen. De onderstaande tabel geeft een (niet-uitputtend) overzicht van deze onderwerpen:

 

Relevante onderwerpen voor AI-geletterdheid

Kennis

Begrip

Vaardigheden

1

Conceptueel begrip van AI

 

 

 

a

  • Introductie tot AI-algoritmes en -modellen
  • Definitie van (generatieve) AI
  • Fundamentele (generatieve) AI-principes, -concepten en -technieken
  • Basisprincipes van AI-ontwikkeling, -implementatie en -onderhoud
  • Praktische zakelijke toepassing van (generatieve) AI

X

X

 

2

Begrip van AI in een zakelijke context

 

 

 

a

Relevantie, kansen, waardedrijvers en gebruikstoepassingen van (generatieve) AI

X

X

 

b

Organisatorische of functiespecifieke (generatieve) AI-technologiestack en gebruikersomgeving

X

X

 

3

Begrip van AI-risico’s en betrouwbare AI

 

 

 

a

Ontwikkelingen in AI-regelgeving en de AI-verordening:
  • Doelstellingen en reikwijdte van de AI-verordening
  • Belangrijkste bepalingen en tijdlijnen
  • Rechten en verplichtingen van aanbieders, gebruiksverantwoordelijken en betrokken personen
  • Nalevingsvereisten en gevolgen van niet-naleving

X

X

 

b

Soorten bedrijfs- en maatschappelijke risico’s verbonden aan (generatieve) AI:
  • Wettelijkheid (bijvoorbeeld schending van gegevensprivacy, inbreuk op intellectueel eigendom, gebrek aan uitlegbaarheid)
  • Ethische kwesties (bijvoorbeeld oneerlijkheid, systematische vooringenomenheid, desinformatie en misbruik)
  • (Technische) robuustheid (bijvoorbeeld ongeldige data, onnauwkeurigheid van het AI-model, cybersecurity)
  • Klimaat/duurzaamheid (bijvoorbeeld energie- en waterverbruik van datacenters)

X

X

 

c

Strategieën voor AI-risicomanagement en -mitigatie:
  • Identificatie van (generatieve) AI-risico’s
  • Toepassing van risicobeoordelingsmethoden voor geïdentificeerde (generatieve) AI-risico’s
  • Toepassing van risicobereidheid voor geïdentificeerde risico’s
  • Ontwerpen en implementatie van maatregelen en technieken om (generatieve) AI-risico’s te beperken in overeenstemming met de risicobereidheid van de organisatie

X

X

 

d

(Generatieve) AI-risico’s op het applicatieniveau.

Bijvoorbeeld AI-hallucinaties, ongeautoriseerde toegang tot systemen en gegevens, risico’s voor gegevensprivacy, risico’s voor informatiebeveiliging, menselijke over-/onderafhankelijkheid van AI-systemen

X

X

 

e

Impact van het gebruik van AI op betrokken personen (burgers, klanten, patiënten, werknemers, etc.):
  • Begrijpen hoe beslissingen die genomen worden met behulp van (generatieve) AI invloed hebben op (verschillende groepen) betrokken personen
  • Strategieën toepassen om schade te minimaliseren en voordelen te maximaliseren in overeenstemming met externe en interne vereisten en beleid

X

X

 

4

Praktisch begrip van (betrouwbare) AI

 

 

 

a

Prompt engineering voor generatieve AI-tools
  • Dit omvat het ontwerpen van effectieve prompts of instructies om het gedrag van een generatief AI-model te sturen
  • Het creëren van prompts die gewenste resultaten opleveren en tegelijkertijd onbedoelde vooroordelen of ongewenste uitkomsten voorkomen

X

X

X

b

Context geven aan het gebruik binnen de organisatie van generatieve AI-modellen: Retrieval Augmented Generation

X

X

 

X

c

Het herkennen van door (generatieve) AI gegenereerde output/content

X

X

X

d

Toepassen van betrouwbare AI in praktijksituaties, zoals:
  • Casestudies van ethische dilemma’s op het gebied van AI
  • Het maken van afwegingen tussen betrouwbare AI-ontwerpprincipes zoals gegevensprivacy, nauwkeurigheid van AI-modellen en transparantie van AI-systemen
  • Het uitvoeren van algoritmische impactbeoordelingen en beoordelingen van de impact op fundamentele rechten (FRIA’s)

X

X

X

e

Menselijk toezicht over AI-systemen met een hoog risico:

  • Begrijpen van de achtergrond en het beoogde gebruik van het AI-systeem
  • Begrijpen van de capaciteiten en beperkingen van het AI-systeem
  • Begrijpen van de soorten menselijk toezicht en de toepasbaarheid daarvan voor specifieke applicaties van het AI-systeem:
    • Human-in-the-loop
    • Human-on-the-loop
    • Human-in-control

evenals de noodzaak van peer reviews (bijvoorbeeld het vierogenprincipe bij menselijk toezicht)

  • Effectief gebruikmaken van de transparantie-informatie van het AI-systeem om de output van het systeem op passende wijze te interpreteren, kritisch te evalueren en effectief te gebruiken
  • Begrijpen hoe moet worden omgegaan met onzekerheden of afwijkingen die naar voren zijn gekomen uit de evaluatie van de output van het AI-systeem (dit omvat ook het niet gebruiken, negeren, overschrijven of terugdraaien van de output van het AI-systeem, of het onderbreken van de werking van het systeem om het systeem in een veilige staat te laten stoppen
  • Het monitoren van de werking van een AI-systeem op basis van de gebruikersinstructies

X

X

X

Zoals aangegeven, is dit overzicht niet uitputtend en (nog) niet afgestemd op specifieke subdoelgroepen van de organisatie (bijvoorbeeld (non-)executives, de business, datawetenschappers en -engineers, juridische en compliance-functies, risicomanagementfuncties, HR, interne audit). Andere onderwerpen die relevant kunnen zijn om te behandelen – afhankelijk van de specifieke omstandigheden en subdoelgroepen – zijn bijvoorbeeld AI-governance (het opzetten van interne AI-governancestructuren, rollen en verantwoordelijkheden in de AI-governance), AI-verantwoording (verantwoordingsmechanismes bij de ontwikkeling en het gebruik van AI, en de rapportage en controle van AI-systemen) en het mensgerichte ontwerp van AI (het ontwerpen van AI-systemen met oog voor de behoeften van gebruikers).

De eerste praktijkvoorbeelden van AI-geletterdheid wijzen uit dat sommige onderwerpen geschikt zijn om in de hele organisatie te behandelen (bijvoorbeeld conceptueel begrip van AI), terwijl andere het meest opleveren wanneer ze worden afgestemd op subdoelgroepen binnen de organisatie. Dit geldt vooral voor modules die gevoeliger zijn voor specifieke (generatieve) AI-toepassingen en -tools, of als verschillende gebruikersgroepen in de organisatie op verschillende manieren baat kunnen hebben bij AI-toepassingen en -tools voor algemene doeleinden. Deze overwegingen zijn belangrijk bij het vormgeven binnen organisaties van AI-geletterdheidsprogramma’s die voldoen aan de vereisten van de AI-verordening en rekening houden met de context waarin de AI-systemen zullen worden gebruikt.

AI-geletterdheid is een reis, niet een bestemming

Een effectief AI-geletterdheidsprogramma is essentieel om enerzijds werknemers voldoende bij te scholen zodat ze in staat zijn de (toekomstige) AI-strategie uit te voeren en AI verantwoord te gebruiken, maar ook om invulling te geven aan nieuwe wettelijke vereisten, ze te implementeren en na te leven. Zo’n werknemersbestand is een voorwaarde om echte transformationele waarde uit AI te behalen én dat proces te versnellen.

De weg naar AI-geletterdheid zal de komende jaren ongetwijfeld een voortdurende leerervaring zijn. Dit betekent dat een AI-geletterdheidsplan en -programma dat op korte termijn wordt ontwikkeld en uitgevoerd, ook een visie moet bevatten voor dit voortdurende leerproces (op de hoogte blijven van ontwikkelingen in AI, aankomende regelgeving en maatschappelijke ‘algoprudentie’) en moet voorzien in middelen die dit proces actief kunnen ondersteunen.

Contact us

Mona de Boer

Mona de Boer

Partner, Data & Artificial Intelligence, PwC Netherlands

Tel: +31 (0)61 088 18 59

Volg ons