Volgens een nieuwe studie presteert ChatGPT beter dan artsen in de kwaliteit en empathie van antwoorden op vragen van patiënten. De resultaten van de studie werden gepubliceerd in JAMA Internal Medicine.

Onderzoekers van de University of California San Diego, La Jolla, Johns Hopkins University, Baltimore en het Bryn Mawr College, Bryn Mawr, Pennsylvania evalueerden het vermogen van een AI-chatbotassistent (ChatGPT) om kwalitatieve en empathische antwoorden te geven op vragen van patiënten. 

In de studie werd een openbare en niet-identificeerbare database van vragen van een publiek social media forum (Reddit's r/AskDocs) gebruikt om willekeurig 195 uitwisselingen uit oktober 2022 te selecteren waarin een artsen reageerden op vragen van patiënten. Chatbotantwoorden werden gegenereerd door de oorspronkelijke vraag in te voeren in een nieuwe sessie op 22 en 23 december 2022. De oorspronkelijke vraag samen met geanonimiseerde en willekeurig geordende antwoorden van artsen en chatbot werden in drievoud geëvalueerd door een team van zorgprofessionals. De beoordelaars kozen "welk antwoord beter was" en evalueerden zowel "de kwaliteit van de verstrekte informatie" (zeer slecht, slecht, aanvaardbaar, goed of zeer goed) als "de empathie of ‘bedside manners’” (niet empathisch, enigszins empathisch, matig empathisch, empathisch en zeer empathisch). De gemiddelde uitkomsten werden gerangschikt op een schaal van 1 tot 5 en vergeleken tussen chatbot en artsen.

Betere artsen, gezondere patiënten 

Van de 195 vragen en antwoorden gaven beoordelaars in 78,6% (95% CI, 75,0%-81,8%) van de 585 evaluaties de voorkeur aan chatbot antwoorden boven de antwoorden van een arts.

Chatbotantwoorden werden van significant hogere kwaliteit beoordeeld dan antwoorden van artsen (t = 13,3; P < .001). Zo was het aandeel antwoorden dat werd beoordeeld als goede of zeer goede kwaliteit (≥ 4) hoger voor chatbot dan voor artsen (chatbot: 78,5%, 95% CI, 72,3%-84,1%; artsen: 22,1%, 95% CI, 16,4%-28,2%;). Dit kwam neer op een 3,6 keer hogere prevalentie van antwoorden van goede of zeer goede kwaliteit voor de chatbot. Chatbotantwoorden werden ook significant als meer empathisch bevonden dan antwoorden van artsen (t = 18,9; P < .001). Het aandeel antwoorden dat werd beoordeeld als empathisch of zeer empathisch (≥4) was hoger voor de chatbot dan voor artsen (artsen: 4,6%, 95% CI, 2,1%-7,7%; chatbot: 45,1%, 95% CI, 38,5%-51,8%; artsen: 4,6%, 95% CI, 2,1%-7,7%). Dit kwam neer op een 9,8 keer hogere prevalentie van empathische of zeer empathische reacties voor de chatbot.

“Deze studie is het bewijs dat AI-tools artsen efficiënter en nauwkeuriger kunnen maken, en patiënten gelukkiger en gezonder”, aldus coauteur professor Mark Dredze, Whiting School of Engineering van de Johns Hopkins University, die het onderzoeksteam adviseerde.

Studieleider professor John W. Ayers van het Qualcomm Institute van de Universiteit van Californië San Diego, zegt dat de resultaten een vroege inkijk geven in de belangrijke rol die kunstmatige intelligentie-assistentie zouden kunnen spelen in de gezondheidszorg.

“De mogelijkheden om de gezondheidszorg te verbeteren met AI zijn enorm”, aldus prof. Ayers. “AI-ondersteunde zorg is de toekomst van de geneeskunde.”

Empathie is cruciaal 

“Hoewel deze studie veelbelovende resultaten heeft aangetoond bij het gebruik van AI-assistentie voor patiëntenvragen, is het van cruciaal belang op te merken dat verder onderzoek nodig is voordat definitieve conclusies kunnen worden getrokken over het potentiële effect ervan in klinische settings. Ondanks de beperkingen van deze studie en de frequente overhyping van nieuwe technologieën houdt het bestuderen van de toevoeging van AI-assistentie aan de workflows voor patiëntenberichten een belofte in met het potentieel om zowel de resultaten voor clinici als voor patiënten te verbeteren”, zo besluiten de onderzoekers.

“We zouden deze technologieën kunnen gebruiken om artsen te trainen in patiëntgerichte communicatie, gezondheidsachterstanden weg te werken bij minderheidsgroepen die vaak via berichtenverkeer gezondheidszorg zoeken, nieuwe medische veiligheidssystemen op te bouwen en artsen te helpen door kwalitatief betere en efficiëntere zorg te leveren”, zegt prof. Dredze  “Wanneer artsen overweldigd zijn, kan empathie met hun patiënten het eerste zijn dat verdwijnt. Maar empathie is cruciaal in de zorg: een patiënt luistert niet naar een arts als hij zich niet gehoord voelt. Deze studie is het bewijs dat AI artsen kan helpen om empathische en accurate communicatie met hun patiënten te onderhouden.” 

• Comparing Physician and Artificial Intelligence Chatbot Responses to Patient Questions Posted to a Public Social Media Forum. JAMA Intern Med. Published online April 28, 2023. doi:10.1001/jamainternmed.2023.1838.