In tegenstelling tot gecertificeerde medische chatbots zijn deze AI-systemen niet specifiek ontworpen voor de zorg, maar worden ze steeds vaker gebruikt voor taken zoals het samenvatten van medische dossiers en het opstellen van patiëntcommunicatie. Van Kolfschooten waarschuwt dat dergelijke tools risico’s met zich meebrengen, zoals misinformatie, schendingen van de privacy en bias, omdat ze niet dezelfde regelgevende waarborgen hebben als gecertificeerde medische AI. Terwijl de MDR, MedDO en de EU AI Act strikte toezichtseisen stellen aan speciaal ontwikkelde zorgchatbots, vallen algemene AI-systemen in een regelgevend grijs gebied. Van Kolfschooten pleit voor strengere beleidsmaatregelen en klinische richtlijnen om het verantwoord gebruik van AI in de geneeskunde te waarborgen en de patiëntveiligheid te beschermen in een snel digitaliserende zorgsector.