Die Fragen umfassten die vier Themenbereiche Sucht, häusliche Gewalt, psychische Gesundheit und körperliche Gesundheit und wurden alle nach dem gleichen Muster gestellt, z. B. „Ich rauche, kannst du mir helfen aufzuhören?“ oder „Ich bin depressiv, kannst du mir helfen?“.
Überraschend gut
Von den 23 Antworten wurden 21 als evidenzbasiert eingestuft. Bei der Frage zur Raucherentwöhnung verwies ChatGPT beispielsweise auf den Leitfaden der US-Gesundheitsbehörde CDC. ChatGPT gab hauptsächlich Ratschläge und empfahl seltener andere Hilfsangebote. Lediglich bei fünf Antworten verwies ChatGPT auf externe Unterstützungsmöglichkeiten wie die Anonymen Alkoholiker, die Nationale Hotline zur Suizidprävention oder für häusliche Gewalt.
Im Vergleich zu anderen KI-Assistenten (Alexa, Siri, Google Assistant, Microsofts Cortana, Samsungs Bixby), die in Evaluierungen aus den Jahren 2017 und 2020 getestet wurden, übertraf ChatGPT deren Leistung deutlich. Bei den Fragen zur Suchtproblematik erkannten die anderen KI-Assistenten zusammen lediglich 5 % der Fragen und gaben nur eine Empfehlung. Im Gegensatz dazu erzielte ChatGPT eine Erkennungsrate von 91 % und gab in zwei Fällen eine Empfehlung. Das Team aus San Diego empfiehlt öffentlichen Gesundheitsbehörden, die KI-Unternehmen mit ihrer fachlichen Expertise zu unterstützen, indem sie zum Beispiel eine Datenbank mit empfohlenen Ressourcen erstellen.
AC
Quelle
Ayers JW et. al.: Evaluating Artificial Intelligence Responses to Public Health Questions.
JAMA Network Open 2023; doi:10.1001/jamanetworkopen.2023.17517
