Dit blogartikel is het tweede onderdeel van een reeks waarin wij de AI-verordening en het gebruik van AI-systemen bespreken. In deze blog staan we stil bij de definities en verboden AI-systemen. Over twee weken zal het derde onderdeel van de reeks verschijnen. Onderaan dit artikel vindt u de link naar het eerdere artikel.
AI blogreeks deel II – Definities, toepassingsgebied en verboden systemen
In de vorige blog schreven we dat de AI-verordening 1 augustus jl. in werking is getreden. De regels die gelden voor AI-systemen, verschillen per risiconiveau van het systeem: onaanvaardbaar, hoog of laag risico. Het is daarom relevant de risicoklassen afzonderlijk te bespreken. In deze blog bespreken Alexandra van Beelen en Hester Ellemers AI-praktijken met een onaanvaardbaar risico, oftewel verboden systemen. Om hier nader op in te kunnen gaan, is het relevant eerst de belangrijkste definities en het toepassingsgebied uit te leggen.
Definities en toepassingsgebied
De AI-verordening is van toepassing op verschillende partijen, die overkoepelend de operatoren worden genoemd. Deze operatoren zijn betrokken bij het in de handel brengen of in gebruik stellen van AI-systemen. Met het in de handel brengen wordt bedoeld dat het AI-systeem voor het eerst in de EU op de markt wordt aangeboden. Met het in gebruik stellen wordt de directe levering van een AI-systeem aan de gebruiksverantwoordelijke in de EU bedoeld.
Aanbieder
Ten eerste is de verordening van toepassing op de aanbieder die een AI-systeem of model in de Unie in de handel brengt of in gebruik stelt, hierbij is het irrelevant of diegene daar een betaling voor vraagt. Ook maakt het niet uit of de aanbieder in de EU of buiten de EU is gevestigd. Aanbieders die in derde landen zijn gevestigd moeten via een schriftelijke machtiging een gemachtigde aanwijzen in de Unie.
Ook in het geval een partij een AI-systeem laat ontwikkelen, kan deze gezien worden als aanbieder. Daarvoor is wel vereist dat de partij het systeem in de handel brengt of in gebruik stelt onder de eigen naam of merk.
Gebruiksverantwoordelijke
Ten tweede is de AI-verordening van toepassing op de gebruiksverantwoordelijke van AI-systemen die in EU zijn gevestigd. De gebruiksverantwoordelijke is diegene die het AI-systeem gebruikt binnen de EU. Dit kan een natuurlijk persoon, bedrijf, overheidsinstantie, agentschap of ander orgaan zijn die/dat het AI-systeem onder eigen verantwoordelijkheid gebruikt. Deze partijen worden gebruiksverantwoordelijken genoemd, zolang het AI-systeem onder eigen verantwoordelijkheid voor een beroepsactiviteit wordt gebruikt. Privégebruik is in de AI-verordening uitgezonderd.
De AI-verordening geldt niet alleen voor aanbieders en gebruiksverantwoordelijken van AI-systemen binnen de EU, maar ook voor diegenen buiten de EU, als de output van hun AI-systeem in de EU wordt gebruikt.
Importeur en distributeur
Ten derde vallen importeurs en distributeurs van AI-systemen onder de reikwijdte van de verordening. Met een importeur wordt de partij bedoeld die in de EU is gevestigd en een AI-systeem van buiten de EU op de Uniemarkt in de handel brengt. Een distributeur is vervolgens elke andere partij dan de aanbieder of de importeur in de toeleveringsketen, die een AI-systeem in de EU op de markt aanbiedt.
Fabrikant
In de vierde plaats is de AI-verordening van toepassing op fabrikanten van producten die samen met hun product en onder hun eigen naam of merk een AI-systeem in de handel brengen of in gebruik stellen.
Ten slotte worden naast de operatoren ook de getroffen personen genoemd op wie de inzet van AI-systemen effect heeft en die zich in de Unie bevinden.
Verboden AI-systemen
Bepaalde AI-systemen vormen een ernstige bedreiging voor de rechten van de mens, waardoor het in de handel brengen of het gebruiken van deze systemen verboden is. Deze verboden praktijken zijn te vinden in artikel 5 van de AI-verordening.
Verboden AI-systemen zijn systemen die:
- Gedrag manipuleren of misleiden, waardoor mensen beslissingen nemen die ze anders niet zouden nemen, met mogelijk schade als gevolg;
- Misbruik maken van kwetsbaarheden van mensen, bijvoorbeeld vanwege hun leeftijd, handicap of sociaal/economische situatie, waardoor zij beslissingen nemen die ze anders niet zouden nemen, met mogelijk schade als gevolg;
- Mensen beoordelen of indelen op basis van hun sociale gedrag of persoonlijke kenmerken, wat tot nadelige behandeling leidt;
- Risico’s inschatten op basis van profilering of persoonlijkheidseigenschappen om het risico dat een natuurlijke persoon een strafbaar feit pleegt te voorspellen;
- Databanken voor gezichtsherkenning aanleggen of aanvullen door ongerichte scraping van gezichtsafbeeldingen van internet of CCTV-beelden;
- Emoties detecteren ten behoeve van werk- en onderwijsinstellingen;
- Op afstand in real time in openbare ruimten gebruikmaken van biometrische identificatie voor rechtshandhaving, tenzij noodzakelijk voor specifiek genoemde doelstellingen.
Bovenstaande AI-systemen zijn dus in zijn geheel verboden, waardoor er geen specifieke verplichtingen gelden per operator. Voor de algemene bepalingen (zoals het toepassingsgebied en de definities) en verboden AI-praktijken geldt de ingangsdatum van 2 februari 2025. In onze volgende blog zullen we ingaan op de verplichtingen die gaan gelden voor AI-systemen met een hoog risico.
Bent u benieuwd wat de AI-verordening voor u gaat betekenen of heeft u naar aanleiding van bovenstaand artikel een vraag? Neem dan contact op met Alexandra van Beelen of Hester Ellemers.
Dit blogartikel is onderdeel van een reeks waarin wij de AI-verordening en het gebruik van AI-systemen bespreken. Klik hieronder om de overige delen van deze reeks te lezen.
Verboden AI-systemen (Deel II)
