Dit blogartikel is het vierde onderdeel van een reeks waarin wij de AI-verordening en het gebruik van AI-systemen bespreken. In deze blog gaan wij in op AI-systemen met een hoog risico en de verplichtingen van gebruiksverantwoordelijken. Over twee weken zal het vijfde onderdeel van de reeks verschijnen. Onderaan dit artikel vindt u de links naar de overige artikelen.
AI blogreeks deel IV – AI-systemen met een hoog risico en verplichtingen gebruiksverantwoordelijken
AI-systemen met een hoog risico kunnen negatieve gevolgen hebben voor de veiligheid en grondrechten van mensen. Daarom zijn in de AI-verordening specifieke verantwoordelijkheden vastgesteld voor de betrokken partijen. In de vorige blog schreven we over de algemene eisen en verplichtingen die gaan gelden voor aanbieders van AI-systemen met een hoog risico. In dit artikel gaan we in op de verplichtingen die van toepassing zijn op de gebruiksverantwoordelijken.
Verplichtingen gebruiksverantwoordelijken
Risico’s van AI-systemen ontstaan niet alleen door hoe ze zijn ontworpen, maar ook door hoe ze worden gebruikt. Degenen die AI-systemen met een hoog risico onder eigen verantwoordelijkheid gebruiken, oftewel de gebruiksverantwoordelijken, spelen daarom een belangrijke rol in het beschermen van de grondrechten.
Als gebruiksverantwoordelijke van een AI-systeem met een hoog risico heb je de volgende verplichtingen:
- Gebruik volgens gebruiksaanwijzingen: gebruiksverantwoordelijken moeten technische en organisatorische maatregelen nemen om AI-systemen volgens de gebruiksaanwijzingen te gebruiken;
- Menselijk toezicht: personen die toezicht houden op de AI-systemen moeten beschikken over de nodige bekwaamheid, opleiding en autoriteit;
- Inputdata: voor zover gebruiksverantwoordelijken controle hebben over de inputdata, moeten ze ervoor zorgen dat de data relevant en representatief zijn;
- Monitoring: gebruiksverantwoordelijken moeten de werking van AI-systemen regelmatig monitoren op basis van de gebruiksaanwijzingen;
- Bewaren logs: gebruiksverantwoordelijken moeten logs bewaren, die onder hun controle vallen, gedurende een periode die passend is voor het doel van het AI-systeem, of ten minste zes maanden;
- Mededeling werknemers: als een AI-systeem met een hoog risico op de werkplek wordt gebruikt, moet dit vooraf worden medegedeeld aan de werknemers;
- Informeren: gebruiksverantwoordelijken van AI-systemen die beslissingen met betrekking tot mensen (helpen) nemen, moeten de mensen informeren dat het systeem op hen wordt toegepast;
- Samenwerking autoriteiten: gebruiksverantwoordelijken moeten samenwerken met de relevante bevoegde autoriteiten.
Fundamental rights impact assessment
Naast bovengenoemde verplichtingen, moet een gebruiksverantwoordelijke in sommige gevallen ook een fundamental rights impact assessment (FRIA) uitvoeren. Dit is een beoordeling van de mogelijke risico’s voor de grondrechten van personen die waarschijnlijk getroffen worden door het gebruik van het AI-systeem.
De FRIA moet worden uitgevoerd voordat een AI-systeem met een hoog risico van de tweede categorie in gebruik wordt genomen. De verplichting geldt niet voor de eerste categorie AI-systemen met een hoog risico die (veiligheidscomponenten van) producten zijn.
Niet elke gebruiksverantwoordelijke hoeft een FRIA uit te voeren. De verplichting geldt alleen voor overheidsinstanties of partijen die openbare diensten verlenen. Daarnaast geldt de verplichting voor gebruiksverantwoordelijken van AI-systemen die gebruikt worden om kredietwaardigheid te beoordelen of risico’s te analyseren voor levens- en zorgverzekeringen.
De FRIA moet duidelijk maken in welke processen en hoe vaak de gebruiksverantwoordelijke het AI-systeem zal gebruiken. Daarnaast moet de FRIA beschrijven welke mensen mogelijk door het systeem beïnvloed worden en welke specifieke risico’s er zijn voor de rechten van deze personen. De gebruiksverantwoordelijke dient vervolgens te bepalen welke maatregelen getroffen moeten worden, wanneer die risico’s zich voordoen. Tot slot moet de gebruiksverantwoordelijke na uitvoering van de effectbeoordeling de relevante markttoezichtautoriteit daarvan in kennis stellen.
De FRIA vormt een aanvulling op de privacybeoordeling (DPIA) die op basis van de Algemene Verordening Gegevensbescherming (AVG) al verplicht kan zijn. Later in deze blogreeks zullen wij nader ingaan op de verhouding tussen de AI-verordening en de AVG.
Vragen over de AI-verordening?
Bent u benieuwd wat de AI-verordening voor u gaat betekenen of heeft u naar aanleiding van deze blog een vraag? Neem dan contact op met Alexandra van Beelen of Hester Ellemers.
Dit blogartikel is onderdeel van een reeks waarin wij de AI-verordening en het gebruik van AI-systemen bespreken. Klik hieronder om de overige delen van deze reeks te lezen.
Verboden AI-systemen (Deel II)
