Die Publikation von Hunter et al, 2023 gibt einen kritischen Überblick über KI in der medizinischen Statistik. Die Autoren geben eine Übersicht über 65 Publikationen. Sehr informativ ist eine Gegenüberstellung der konventionellen Statistik und der KI basierend Methodik. Die Unterscheidung der Methoden wird auch sehr schön visuell in zwei Graphiken dargestellt.
Die Publikation gibt durchaus eine kritische Einschätzung der KI. Sie argumentieren, dass die umfangreiche Flexibilität die in erster Linie sehr einleuchtend ist, auch ihre Kehrseiten hat. Warum? Die Möglichkeit sehr viele Parameter in eine KI basierende Analyse zu betrachten erfordert auch Sorgfalt, um eine Überanpassung, oder schlimmer noch, Fehlinterpretation des KI Algorithmus an die Daten zu vermeiden. Die Autoren empfehlen den Einsatz von vordefinierten Regeln und kontrollierter stochastischen Optimierung der Modellparameter. Die Benutzung eines zurückgehalten Teil des gesamten Daten Satzes als Test für das fitten nach dem Training wird streng empfohlen.
Techniken wie die Kreuzvalidierung und "Hold-out"-Stichproben um die Stabilität der Ergebnisse zu simulieren, haben den Nachteil, dass die Menge der verfügbaren Daten reduziert wird. Neue Techniken der konformen Inferenz (Conformal inference) sind vielversprechend, um eine Quantifizierung der Unsicherheit bei der Vorhersage zu erstellen.
Sehr gut ist die Hervorhebung, dass das KI-Modell datenbedingte Fehler machen kann, z. B. kann es die zeitliche Beziehung zwischen Exposition und Ergebnis falsch spezifizieren. Eine Variable als Predictor kann sowohl durch die Exposition als auch durch die Krankheit verursacht wird (ein "Collider“). Mit der Hilfe eines DAG (directed acyclic graphs) kann die Identifizierung, ohne KI, sehr leicht sein, jedoch wird die KI fälschlich den Collider ins Modell aufnehmen und damit einen falschen kausalen Zusammenhang vorschlagen. Das ist sehr beunruhigend. Deshalb ist es wichtig die Idee des Studien Ziels als Kausaldiagramme zu zeichnen, um potentielle Collider zu erkennen und aus dem KI Modell zu entfernen.
Manchmal kann es ratsam sein einen Collider ins Model aufzunehmen: Es hängt vom Ziel der Analyse ab. Ein Vorhersagemodell kann zum Beispiel einen Collider haben. Ein großes Risiko besteht bei der Kontrolle von Variablen nach der Randomsierung sogenannte zeitabhängige Variablen. Hier besteht ein großes Risiko eines Collider-Bias.
In der Publikation wird nicht zwischen supervised und unsupervised unterschieden. In meiner Erfahrung wird in der Medikamenten Entwicklung meist supervised Verfahren angewandt, da man die Label-Information der jeweiligen Variablen kennt.
Die Anwendung der KI in der Medizin-Statistik wird kritisch betrachtet. Fehler in den KI Modellen und deren Interpretationen können schwerwiegende Folgen für den Patienten haben. Berechtigterweise werden diesbezüglich Bedenken geäußert, im Besonderen wenn es für die Sicherheit eines Patienten in der medizinischen Forschung vorrangig ist.
Die Autoren vergleichen hierbei Anwendungen aus der Werbung, in denen fehlgeleitete KI nur dem Inserenten eine finanzielle Strafe auferlegt.
Der Autor folgert: „Daher ist die Bewertung der End-to-End Stabilität der Analyse, die sowohl das Data Engineering als auch die Modellwahl umfasst, von entscheidender Bedeutung“ .
Was nicht erwähnt wird, sind weitere Punkte, die in der Medizin Statistik zu beachten sind. Ergebnisse aus einem explorativen KI Modell können bestenfalls für weitere hypothesengenerierende wissenschaftliche Ziele hergenommen werden. Jede Analyse, ob mit KI oder traditionell deren Anspruch confirmatory zu sein, muss rigoros durch sorgfältige prä-Spezifikation (a-priori) der wissenschaftlichen Fragestellung erfolgen.
Die Autoren erklären die Schlüsselaspekte einer erklärbaren KI: KI-Systeme sollen für menschliche Experten transparent und verständlich sein, um sicherzustellen, dass die Entscheidungsprozesse nachvollziehbar und erklärbar sind. Es ist nötig, Vertrauen in ihre Ergebnisse zu bekommen, um schlussendlich Bedenken und Vorbehalten von Nutzern auszuräumen und damit die Akzeptanz zu erhöhen.
Interessant ist ein Beispiel einer KI generierten Analyse von 200 Mio US Amerikanern, in dem der Algorithmus „ungewollt“ diskriminierend war und Schwarze mit dem höchsten Risiko für erheblich Gesundheitsversorgungskosten selektierte. Die zugrundeliegende Ursache schien zu sein, dass schwarze Patienten mehr koexistierende Erkrankungen haben als weiße Patienten, aber sie nehmen die Gesundheitsversorgung weniger häufig in Anspruch. Was schlussendlich durch die fehlende Vorsorge zu höheren Gesundheitskosten bei Schwarzen führte.
Gegen Ende wenden sich die Autoren nochmals kritisch dem KI-Entwicklungszyklus zu. Ein schlechter Datensatz, im Jargon "Garbage in, Garbage out", kann das automatische maschinelle Lernen beeinträchtigen. Hier muss der Mensch weiterhin sorgfältig eingreifen und eine Dateneinschätzung vornehmen, um deren Validität zu bestätigen.
In seiner Schlussfolgerung am Ende richtet der Autor den Fokus wieder auf dem Menschen – dem Statistiker und der Expertise des Studienteams:
Ein Großteil der Kunst der angewandten Statistik und die Fähigkeiten eines ausgebildeten Statistikers oder Epidemiologen sind die Erfahrungen, die außerhalb der Daten liegen und daher nicht von datengesteuerten KI-Algorithmen allein erfasst werden können. Diese Erfahrungen sind die sorgfältige Planung von Experimenten, ein medizinisches Verständnis der wissenschaftlichen Frage und der Studienziele, sowie die a-apriori festgelegte Methodik der Analyse auf die Forschungsfrage. Und dann ein gesundes Misstrauen gegenüber Ergebnissen, die zu gut aussehen, um wahr zu sein, gefolgt von einer sorgfältigen Modellüberprüfung.
Schön wenn man den Menschen noch in den Vordergrund stellt mit des Schlussbemerkung: KI kann der medizinischen Wissenschaft viel bringen. Statistiker sollten sich KI zu Eigen machen, und im Gegenzug wird der Bereich der KI von einem verstärkten statistischen Denken profitieren.
Quelle: David J. Hunter, M.B., B.S., and Christopher Holmes, Ph.D.: Where Medical Statistics Meets Artificial, Intelligence, n engl j med 389;13, September 28, 2023
Kommentar schreiben