Ga direct naar inhoud

IGJ roept zorgaanbieders op: ga zorgvuldig om met invoering van generatieve AI-toepassingen

Publicatie | 10-02-2025

De Inspectie Gezondheidzorg en Jeugd (IGJ) ziet de mogelijkheden van innovaties met generatieve AI in de zorg. Maar veel toepassingen op basis van generatieve AI zijn nog maar kort op de markt. Daardoor is de impact op de patiëntenzorg bij gebruik ervan nog (deels) onbekend. De IGJ roept zorgaanbieders op om generatieve AI in de eigen organisatie zorgvuldig en met aandacht voor eventuele risico’s in te voeren.

De relatieve onbekendheid met inzet van deze technologie vraagt om extra waakzaamheid. Ook geeft de inspectie mogelijke kaders voor aanschaf, invoer en gebruik van generatieve AI. De IGJ geeft in het toezicht aandacht aan verantwoorde introductie van generatieve AI. Dit gebeurt bijvoorbeeld bij inspectiebezoeken en daar waar potentiële risico’s bestaan voor de kwaliteit van zorg.

De opkomst van generatieve AI-modellen biedt zorgaanbieders mogelijkheden om tijd te besparen. Op basis van deze modellen worden systemen ontwikkeld die tekst, beeld en geluid automatisch genereren. Daarmee verschilt de toepassing van ‘traditionele’ AI, die zich vaak alleen richt op patroonherkenning en beslissingsondersteuning. 

Generatieve AI in de praktijk

Inmiddels experimenteren diverse zorginstellingen met generatieve AI. De eerste toepassingen hebben met name als doel de administratie te verlichten. Voorbeelden zijn geautomatiseerde verslaglegging via spraakherkenning, het samenvatten van patiëntendossiers of het ondersteunen van de communicatie met patiënten via chatbots. Deze toepassingen worden aangeboden door softwareleveranciers of ontwikkeld door de zorginstellingen zelf.

De inspectie adviseert zorgaanbieders om extra alert te zijn op de mogelijke impact van deze toepassingen op de (kwaliteit van) zorgverlening. Deze alertheid is zowel vóór de ontwikkeling of aanschaf, tijdens de implementatie én na ingebruikname belangrijk. Zorgaanbieders die generatieve AI gebruiken in de zorgverlening zijn wettelijk verantwoordelijk voor een zorgvuldige implementatie en gebruik hiervan. 

Uitgaan van bestaande kaders

In de kern is het in gebruik nemen van een toepassing gebaseerd op generatieve AI niet wezenlijk anders dan het starten met een andere nieuwe digitale toepassing. Aanschaf en ingebruikname van digitale producten en diensten horen te verlopen via een duidelijk beschreven proces (zie ook het toetsingskader Digitale Zorg) . Dat vergt onder andere aandacht voor het tijdig uitwerken van belangrijke eisen en randvoorwaarden, in kaart brengen van risico’s, training van gebruikers en testen van het nieuwe systeem.

Wél anders bij de inzet van generatieve AI kunnen de specifieke risico’s en benodigde randvoorwaarden zijn.. Zo is bijvoorbeeld bekend dat generatieve AI soms nieuwe en onjuiste informatie kan genereren. Dat komt doordat die informatie logisch is op basis van het gebruikte model. 

De ontwikkeling van normen, standaarden en handreikingen neemt, net als het aantal toepassingen, een grote vlucht. Deze bieden zorgaanbieders handvaten die helpen bij het zorgvuldig omgaan met generatieve AI. Daarom staat onderaan deze publicatie een aantal links met meer informatie hierover.

Waar rekening mee te houden als zorgaanbieder?

De inspectie verwacht dat de zorgaanbieder bij ingebruikname van AI-toepassingen voldoende kennis heeft over de risico’s en beperkingen ervan. Hierbij kan een risico-inventarisatie helpen. Het gaat bijvoorbeeld om risico’s die leiden tot fouten in de zorgverlening, zoals medicatiefouten als gevolg van onjuiste registratie. Of om risico’s die ertoe leiden dat de zorgverlener de patiënt beoordeelt op basis van onjuiste of ontbrekende informatie. De zorgaanbieder kan de risico’s in kaart brengen door de leverancier te bevragen, normen of leidraden te gebruiken en ervaringen van andere zorgaanbieders op te halen.

Onderstaande vragen kunnen hierbij helpen. Deze vragen zijn niet bedoeld als toetsingskader, maar om richting te geven bij de inkoop, invoer, het gebruik en beheer van dergelijke toepassingen.

Vragen over generatieve AI

Deze vragen hebben vooral te maken hebben met de veiligheid en kwaliteit van de zorgverlening. Daarnaast is het belangrijk om aandacht voldoende te hebben voor andere risico’s. Denk aan informatiebeveiliging, zoals de bescherming van persoonsgegevens. 

‘Algemene’ LLMs zijn meestal niet bedoeld voor toepassing in de zorgverlening

Large language models (LLMs) zijn gebaseerd op generatieve AI-modellen waarbij teksten worden gegenereerd (bijvoorbeeld voor gebruik in een chatbot). LLMs zijn ontwikkeld om grote hoeveelheden aan tekstuele data in te voeren. Dit heet het trainen van een AI-model. Door deze enorme hoeveelheid aan tekstvoorbeelden kan het AI-model leren om teksten zelf te maken.

Binnen de zorg kunnen bijvoorbeeld LLMs ontwikkeld worden op basis van patiëntenrapporten en ontslagbrieven. Zo kan dit model zelf automatisch samenvattingen maken. Maar de ‘kennis’ van het systeem wordt bepaald door de teksten die in het AI-model zijn ingevoerd. Hierdoor zijn de door het model gegenereerde teksten beperkt tot diezelfde kennis. Voor specifieke toepassingen, zoals in de zorg, heeft het systeem ook specifieke kennis nodig. Dan kan het bruikbare teksten opstellen met een beperkter risico op onjuistheden. Gebruik als zorginstelling een LLM daarom alleen als de leverancier aangeeft dat deze geschikt is voor de beoogde toepassing en als u rekening heeft gehouden met de eerdergenoemde vragen.

Let op: een generatieve AI-toepassing kan een medisch hulpmiddel zijn

Een AI-toepassing is een medisch hulpmiddel als deze een medisch doel heeft, zoals gedefinieerd in de Medical Device Regulation (MDR). De MDR kan van toepassing zijn op toepassingen zoals AI-geassisteerde diagnose van patiënten of voorschrijving van medicatie. 

Maar niet alle toepassingen zijn een medisch hulpmiddel, ook al worden ze gebruikt in de zorg. Bijvoorbeeld als de software alleen communicatie faciliteert of een logistiek doel heeft. Hierdoor kan er onduidelijkheid bestaan over of deze moet voldoen aan de MDR of niet. Daarnaast kan het grote gevolgen hebben voor een organisatie als een toepassing wordt gebruikt als niet-medisch hulpmiddel, terwijl deze wel zo gekwalificeerd moet worden. Belangrijk is dat de zorgaanbieder weet of een nieuwe toepassing (met generatieve AI) een medisch hulpmiddel is of niet. Zie ook: Is your software a Medical Device (Europese Commissie).

Hoe nu verder?

Nieuwe regels voor AI worden de komende jaren van kracht

De Europese AI-verordening wordt voor verschillende onderdelen tussen 2025 en 2027 van toepassing en stelt eisen aan ontwikkelaars en gebruikers van AI. De Europese Unie heeft de AI-verordening opgesteld zodat AI-systemen veilig werken en grondrechten beschermd zijn. Verdere communicatie over de impact van deze verordening volgt via de ministeries van Economische Zaken en Volksgezondheid, Welzijn en Sport.

Toezicht op gebruik generatieve AI in de zorg

De IGJ ziet het toezicht op toepassing van generatieve AI door zorgaanbieders als onderdeel van het onderwerp digitale zorg. Daaronder rekent de inspectie alle ICT die in het primaire zorgproces een rol speelt. Digitale zorg – en dus ook generatieve AI - kan veel voordelen bieden in de zorg. Tegelijkertijd kan het ook risico’s met zich meebrengen. Daarom vindt de IGJ het belangrijk dat zowel fabrikanten, leveranciers als zorgaanbieders zorgen voor goede randvoorwaarden voor veiligheid. Voor de toepassing van digitale zorg bij zorgaanbieders gebruikt de IGJ in het toezicht een toetsingskader.

In het thematisch toezicht op digitale zorg staat de IGJ de komende jaren – waar van toepassing – stil bij het gebruik van generatieve AI. Daarbij kijken we in ieder geval hoe de zorgaanbieder omgaat met risicobeoordelingen. Over de waarnemingen in het toezicht zal de inspectie publiceren. 

Relevante links