Dit blogartikel is het negende onderdeel van een reeks waarin wij de AI-verordening en het gebruik van AI-systemen bespreken. In deze blog gaan wij in op het gebruik van AI in de zorg. Voorlopig is dit het laatste artikel van deze reeks. Onderaan dit artikel vindt u de links naar de overige artikelen.
Blogreeks deel IX – AI in de zorg
AI biedt veel mogelijkheden in de zorg. Denk aan systemen die gegevens analyseren om ziekten te detecteren, robotica die helpen in de operatiekamers en chatbots die vragen van patiënten beantwoorden. Maar om AI op een betrouwbare en veilige manier in te zetten in de zorg, moet worden voldaan aan de wet- en regelgeving. In deze blog gaan we in op de aandachtspunten die gelden voor het gebruik van AI in de zorg. Hierbij komt zowel de bestaande wetgeving als de nieuwe AI-verordening aan bod.
De AI-verordening
De AI-verordening heeft een algemeen karakter en is van toepassing op de ontwikkeling en het gebruik van AI-systemen in alle sectoren, waaronder de gezondheidszorg. Het heeft als doel om aan te sluiten bij de bestaande Europese wet- en regelgeving in specifieke sectoren waar AI-systemen gebruikt (kunnen) worden. In de gezondheidszorg vult de AI-verordening de Verordening betreffende medische hulpmiddelen (MDR) aan.
De MDR
Software kan op grond van de MDR kwalificeren als een medisch hulpmiddel als het bestemd is om gebruikt te worden voor de specifiek genoemde medische doeleinden. Het gaat dan bijvoorbeeld om het diagnosticeren, behandelen of voorspellen van een ziekte. De MDR is gericht op veilige toepassing van de hulpmiddelen en net als de AI-verordening opgedeeld in risicoklassen.
Op iedere risicoklasse zijn andere verplichtingen van toepassing. Een belangrijke verplichting is dat de fabrikanten van de tweede en derde risicoklassen de software via een aangemelde instantie moeten laten certificeren. In sommige gevallen kan software tegelijkertijd als een medisch hulpmiddel én als een AI-systeem kwalificeren.
AI-systeem met een hoog risico
De meeste AI-systemen in de zorg zullen naar verwachting in de risicocategorie ‘hoog’ vallen. Dit is ook begrijpelijk: onzorgvuldige toepassing van AI in de zorg kan immers nadelige gevolgen hebben voor de gezondheid en de veiligheid van personen. Een AI-systeem in de zorg kwalificeert als ‘hoog risico’ als dit systeem in een van de twee volgende hoofdcategorieën valt:
- Veiligheidsgerelateerde AI-systemen: AI-systemen die een (veiligheidscomponent van een) product zijn, vallen onder de toepassing van in bijlage I van de AI-verordening genoemde EU-wetgeving op het gebied van productveiligheid en waarvoor een conformiteitsbeoordeling door een derde partij moet worden uitgevoerd.
Bijlage I vermeldt onder meer de MDR. Een AI-systeem kwalificeert dus als hoog risico als het bedoeld is om gebruikt te worden als hulpmiddel voor medische doeleinden zoals genoemd in de MDR én daarvoor een conformiteitsbeoordeling door een derde partij moet worden uitgevoerd.
Dit heeft tot gevolg dat niet alle AI-systemen die onder de MDR vallen kwalificeren als hoog risico. Bij medische hulpmiddelen die in de eerste risicoklasse van de MDR vallen, mag de fabrikant namelijk zelf de conformiteitsbeoordeling uitvoeren. Voor in-house medischehulpmiddelen hoeft ook geen conformiteitsbeoordeling door een derde te worden uitgevoerd. Als een conformiteitsbeoordeling door een derde niet verplicht is, is er in principe geen sprake van een AI-systeem met een hoog risico, tenzij het AI-systeem valt onder de tweede hoofdcategorie.
- Autonome AI-systemen: AI-systemen opgenomen in bijlage III van de AI-verordening, die een groot risico vormen voor de gezondheid, veiligheid of grondrechten van personen.
Voorbeelden van dergelijke systemen die de AI-verordening noemt in relatie tot de zorgsector zijn AI-systemen die door of namens overheidsinstanties worden gebruikt om te beoordelen wie in aanmerking komt voor gezondheidsdiensten. Daarnaast worden AI-systemen voor de triage van patiënten in de spoedeisende zorg als hoog risico aangemerkt.
Verplichtingen
Als een AI-systeem in de risicoklasse ‘hoog’ valt, heeft dit tot gevolg dat er strenge verplichtingen gelden. Welke verplichtingen een zorginstelling heeft, hangt af van de rol die zij heeft op grond van de AI-verordening. In de meeste gevallen zal een zorginstelling gezien worden als gebruiksverantwoordelijke die een AI-systeem onder eigen verantwoordelijkheid gebruikt. Welke verplichtingen een zorginstelling dan heeft, lees je hier.
Dit is slechts anders als de zorginstelling een AI-systeem ontwikkelt of op maat laat ontwikkelen en dat systeem in gebruik stelt onder eigen naam. Dan kwalificeert de zorginstelling als aanbieder en gelden aanvullende verplichtingen, die staan uitgewerkt in een eerdere blog.
Naast de verplichtingen uit de AI-verordening en de MDR moeten zorginstellingen zich ook houden aan andere bestaande wet- en regelgeving zoals de AVG, de WGBO en de verschillende NEN- en ISO-normen. Het voorstel voor een verordening met betrekking tot de European Health Data Space (EHDS) zal in de toekomst ook veranderingen met zich meebrengen. Hier komen wij in een ander blog op terug.
Uitdagingen
Hoewel het gebruik van AI in de zorg zeker voordelen oplevert, moeten de nadelen ook niet vergeten worden. AI-systemen zijn complex door het blackboxeffect en lastig te doorgronden. Daarom is het van belang aandacht te besteden aan de betrouwbaarheid van de output. AI-systemen moeten transparant zijn en de resultaten moeten begrijpelijk uitgelegd kunnen worden. Daarnaast kan het gebruik van AI-systemen privacy- en beveiligingsrisico’s opleveren. Met name als er gebruik wordt gemaakt van persoonsgegevens.
Heeft u naar aanleiding van deze blog een vraag? Neem dan contact op met Alexandra van Beelen of Hester Ellemers, of laat uw vraag achter via onderstaand contactformulier. Onze advocaten hebben uitgebreide juridische kennis over de AI-verordening en andere ICT gerelateerde onderwerpen.
Dit blogartikel is onderdeel van de reeks waarin wij de AI-verordening en het gebruik van AI-systemen bespreken. Klik hieronder om de overige delen van deze reeks te lezen. Wij willen student-medewerker Ilona Kuipers hartelijk danken voor haar waardevolle bijdrage aan de totstandkoming van deze blogreeks.
Verboden AI-systemen (Deel II)
AI-systemen met een hoog risico (Deel III)
Verplichtingen gebruiksverantwoordelijken (Deel IV)
Aansprakelijkheid en AI (Deel VI)
Contactformulier
Velden met * zijn vereist
