Der Hype um KI hat nun auch Einzug in die Wissenschaft gehalten. US-Experten testeten die Software ChatGPT anhand des United States Medical Licensing Exam (USMLE), wie sie im Fachjournal PLOS Digital Health berichteten. Zwar konnte die KI keine Bestnoten erzielen, doch sie erreichte mehrfach die Mindestpunktzahl und hätte somit bestanden.
Der USMLE ist eine standardisierte dreiteilige Prüfung für Medizinstudierende, die in den USA arbeiten wollen. Sie beinhaltet Wissensfragen zu den meisten medizinischen Disziplinen von Biochemie über diagnostisches Denken bis hin zu Bioethik.
ChatGPT erreicht Mindestpunktzahl
Allerdings musste das Team um Tiffany H. Kung vom kalifornischen Startup AnsibleHealth einige Anpassungen an dem Test und den Aufgaben durchführen. Denn ChatGPT kann nur Texteingaben verarbeiten, sodass die Forscher bildbasierte Fragen wie klinische Aufnahmen oder Grafiken aus dem Test entfernten. Insgesamt ließen die Wissenschaftler ChatGPT 350 USMLE-Fragen beantworten. Wie auch im Mediziner-Examen wurden sie in drei verschiedene Formate aufgeteilt:
- Offene Fragen: Hier wird eine freie Eingabe anhand von Diagnosen oder beschriebenen Krankheitsbildern simuliert. Beispiel: „Wie lautet die Diagnose des Patienten auf der Grundlage der bereitgestellten Informationen?“
- Multiple-Choice-Test mit fünf Antwortmöglichkeiten: Beispiel: „Der Zustand des Patienten wird hauptsächlich durch welche der folgenden Krankheitserreger verursacht?“
- Multiple-Choice-Test mit Begründung: Hier musste ChatGPT nicht nur die richtige Antwort auswählen, sondern auch begründen, warum diese richtig und die anderen falsch sind. Beispiel: „Welcher der folgenden Gründe ist der wahrscheinlichste für die nächtlichen Symptome des Patienten? Erklären Sie Ihre Gründe für jede Wahl.“
Für ein Bestehen sind meist 60 Prozent richtige Antworten notwendig. ChatGPT erreichte zwischen 52 und 75 Prozent, wobei die KI am besten bei offenen Fragen abschnitt und am schlechtesten im einfachen Multiple-Choice-Test. Darüber hinaus kamen zwei unterschiedliche Gutachter zu dem Schluss, dass die Antworten von ChatCPT sowohl schlüssig als auch medizinisch korrekt seien.
Werbung
Ein Meilenstein in der KI-Entwicklung
„Wir denken, dass das ein überraschendes und beeindruckendes Ergebnis ist“, schreiben die Autoren. „Paradoxerweise übertraf ChatCPT sogar PubMedGPT, ein Sprachmodell mit ähnlicher neuronaler Struktur, das jedoch ausschließlich mit biomedizinscher Fachliteratur trainiert wurde.“ Dass ChatGPT als erste KI bei diesem USMLE-Test die Mindestpunktzahl erreicht habe, sei ein Meilenstein in der Reife der KI-Systeme auch im medizinischen Bereich. Die Forscher gehen davon aus, dass KI-Systeme wie ChatGPT ein Level erreicht haben, das schon bald die klinische Medizin insgesamt beeinflussen und die Bereitstellung einer individualisierten, mitfühlenden und skalierbaren Gesundheitsversorgung verbessern werde.
Auch deutsches Staatsexamen bestanden
Die KI konnte ebenso erfolgreich das erste (M1) und zweite (M2) Staatsexamen für deutsche Medizinstudierende bestehen. Das ergab eine aktuelle Untersuchung, die im Deutschen Ärzteblatt veröffentlicht wurde. Das Institut für Medizinische und Pharmazeutische Prüfungsfragen (IMPP) gibt jährlich die Fragen für das M1 und M2 heraus. Auch hier wurden Fragen mit Abbildungen und weitere Aspekte aus der Beurteilung herausgenommen, sodass ChatGPT insgesamt 263 Fragen beantworten musste. Die KI fand im M1 für 60,1 Prozent und im M2 für 66,7 Prozent der Fragen die richtige Antwort und hätte somit jeweils mit der Note 4 bestanden. Die besten Ergebnisse erreichte ChatGPT dabei in den Fächern Biologie, Soziologie und Psychologie, schlechter war sie in Chemie, Physik und Anatomie.
ChatGPT wurde im November 2022 durch das kalifornische Start-Up-Unternehmen OpenAI veröffentlicht.
Quelle: PLOS, Deutsches Ärzteblatt
