(Wien, 06-10-2023) Die Arbeitsgruppe „Daten“ unter der Leitung von Oliver Kimberger, Professor für perioperatives Informationsmanagement an der Universitätsklinik für Anästhesie, Allgemeine Intensivmedizin und Schmerztherapie der MedUni Wien, untersuchte in einer Studie den Einfluss von Künstlicher Intelligenz auf Covid-Triage-Entscheidungen von Ärzt:innen. In der Simulation zeigte sich, dass Künstliche Intelligenzen das Entscheidungsverhalten von Ärzt:innen maßgeblich beeinflussen. Tatsächlich verschob die künstliche Intelligenz Sterblichkeits-Schätzungen der Anästhesist:innen im Mittel um etwa 30 Prozent in eine vorgegebene Richtung. Die Ergebnisse wurden im Journal BMC Medicine veröffentlicht.
Während der COVID-19-Pandemie wurden verschiedene klinische Entscheidungsunterstützungssysteme (CDSS) entwickelt, um bei der Patient:innentriage zu helfen. Es gibt jedoch bisher nur wenig Forschung zur Interaktion zwischen Entscheidungsunterstützungssystemen und menschlichen Expert:innen.
Für die Studie an der Universitätsklinik für Anästhesie, Allgemeine Intensivmedizin und Schmerztherapie der MedUni Wien wurden 32 Ärzt:innen rekrutiert, die anhand von Krankenakten die Überlebenswahrscheinlichkeit von 59 kritisch kranken Patient:innen zu beurteilen hatten. Anschließend teilte eines von zwei Systemen künstlicher Intelligenz der Ärztin/dem Arzt eine berechnete Überlebenswahrscheinlichkeit mit. Allerdings erläuterte nur eines dieser Systeme die Gründe für seine Entscheidung. In einem dritten Schritt überprüften die Ärzt:innen die Krankenakte erneut, um die endgültige Überlebenswahrscheinlichkeit zu ermitteln.
In den meisten Fällen lehnten die Ärzt:innen entweder die KI-Empfehlung ab oder wendeten einen "Kompromiss" an, aber 30 Prozent folgten in die Richtung der Vorschläge durch die KI.
Die Forscher:innen hatten im Vorfeld auch die Hypothese aufgestellt, dass ein erklärendes System einen größeren Einfluss auf die zweite Bewertung der Ärzt:innen haben würde. Bisher wurde vermutet, dass erklärender künstlicher Intelligenz (also künstliche Intelligenz, die ihre Entscheidung "erklärt") eher vertraut wird als sogenannten „black boxes“ (also künstliche Intelligenz, die ihre Entscheidung nicht "begründen kann"). Das Team konnte jedoch in seiner Studie zeigen, dass das Entscheidungsverhalten durch eine zusätzliche Erklärung der künstlichen Intelligenz nicht beeinflusst wurde. Ebenfalls nicht beeinflusst wurden die Entscheidungen der Ärzt:innen durch Ermüdung oder Ausbildungsstand.
„Tatsächlich bewirkte die künstliche Intelligenz unabhängig von einer eventuell vorhandenen Erklärung eine signifikante Beeinflussung der Ärzt:innen in der simulierten Covid-Triagesituation“, erklärt Oliver Kimberger. „Es braucht mehr Forschung an der Schnittstelle zwischen Ärzt:innen und künstlicher Intelligenz. Dieses Fachgebiet gewinnt durch die schnellen Fortschritte im Bereich von Machine Learning im Gesundheitssektor schnell an Bedeutung. Neuere Technologien wie klinische Denksysteme könnten den Entscheidungsprozess ergänzen, anstatt einfach unerklärte Vorurteile darzustellen.“
Die Arbeitsgruppe von Oliver Kimberger beschäftigt sich mit Fragen der Datenwissenschaften im Bereich der Anästhesie und Intensivmedizin sowie der Anwendbarkeit von künstlicher Intelligenz und Methoden des maschinellen Lernens auf den Gesundheitssektor. Die Gruppe arbeitet häufig vernetzt mit internationalen Partnern sowie dem Ludwig Boltzmann Institut Digital Health and Patient Safety. Mitglieder der Arbeitsgruppe sind Fachärzt:innen sowie Assistenzärzt:innen der Anästhesie und Intensivmedizin gemeinsam mit Studierenden der Doktoratsstudien, Medizinischen Informatik und Humanmedizin.
Publikation: BMC Medicine
The influence of explainable vs non-explainable clinical decision support systems on rapid triage decisions: a mixed methods study
Daniel Laxar, Magdalena Eitenberger, Mathias Maleczek, Alexandra Kaider, Fabian Peter Hammerle & Oliver Kimberger.
BMC Medicine volume 21, Article number: 359 (2023)
https://doi.org/10.1186/s12916-023-03068-2