IGJ roept zorgaanbieders op om zorgvuldig om te gaan met generatieve AI
Samenvattingen van een patiëntendossier, gespreksverslagen van een consult tussen arts en patiënt, een chatbot waaraan patiënten vragen kunnen stellen over een medische behandeling: de mogelijkheden van generatieve AI in de zorg zijn divers en ontwikkelen zich snel. Deze kunnen zorginstellingen voordelen bieden, zoals tijdsbesparing en laagdrempelige communicatie met patiënten. De Inspectie Gezondheidszorg en Jeugd (IGJ) roept op tot zorgvuldigheid bij de invoering en het gebruik ervan.
Veel toepassingen zijn nog maar kort op de markt en de impact op de zorg is nog (deels) onbekend. Extra waakzaamheid van zorgaanbieders is nodig, aldus de inspectie in een publicatie over generatieve AI in de zorg.
Extra aandacht voor specifieke risico’s
De inspectie benadrukt dat bij het gebruik van generatieve AI dezelfde kaders van toepassing zijn als bij de invoering van elke vorm van digitale zorg. Maar daarnaast gelden er voor generatieve AI specifieke risico’s. Generatieve AI-modellen kunnen op basis van ingevoerde data zelf nieuwe informatie produceren. Dat kan ook onjuiste of onvolledige informatie zijn en leiden tot risico’s. Bijvoorbeeld op medicatiefouten of een onjuiste beoordeling van een patiënt door een arts.
Zorgaanbieders moeten beschikken over voldoende kennis over de risico’s en beperkingen van AI. De IGJ adviseert zorgaanbieders hierop alert te zijn, zowel bij de aanschaf, implementatie als gebruik van generatieve AI-toepassingen. Bijvoorbeeld door het vaststellen van het doel van de toepassing, bepalen welke data nodig zijn (en deze te valideren), controleren van resultaten en beoordelen van risico’s.
Voldoen aan MDR en AI-act
Een AI-toepassing kan een medisch hulpmiddel zijn, bijvoorbeeld een AI-programma dat helpt bij het stellen van diagnoses of ondersteunt bij een behandeling. Het is belangrijk dat zorginstellingen zich realiseren dat deze toepassingen moeten voldoen aan de wet- en regelgeving voor medische hulpmiddelen (MDR). Bovendien wordt de komende jaren de Europese AI-verordening van toepassing, die ook eisen stelt aan de ontwikkeling en het gebruik van AI.
Toezicht
De IGJ vindt het belangrijk dat zorgaanbieders, alsook fabrikanten en leveranciers, zorgen voor goede randvoorwaarden voor veiligheid van digitale zorg, inclusief generatieve AI. In het toezicht gebruikt zij daarvoor het toetsingskader Digitale zorg en kijkt daarbij ook naar invoer en gebruik van generatieve AI.