Was ist ein Systemfehler in einem KI System? Nun, da gibt es wahrscheinlich viele Möglichkeiten, dass solche Fehler in der Software (z. B. in Algorithmen) oder in der Hardware enthalten sind und erkannt werden können. Aber hier soll es um Systemfehler (dem sog. Bias) in Trainingsdaten für KI Systeme gehen, der eben nicht mehr im Output eines KI Systems nachweisbar ist. Dies ist dann auch schon kurz gesagt das erhebliche Problem von KI-gestützten Auswertungen z. B. von radiologischen Bildanalysesystemen.
Aber zunächst einen Schritt zurück. In einer Publikation von Seyyed-Kalamari et al 2021 wurde analysiert, wie ein KI System trotz tausenden von Aufnahmen des Brustkorbs von Patienten Krankheitsdiagnosen in bestimmten Untergruppen von Patienten (z. B. dunkelhäutige Frauen) zu wenig richtig diagnostiziert. Somit werden bestimmte Minderheiten von Patienten nicht nur falsch negativ diagnostiziert sondern auch ungleich im gesamten Datensatz behandelt. KI-gestützte Therapien können somit unzureichende Behandlungsmethoden für solche Minderheiten vorschlagen, ohne dass dies unbedingt im medizinischen Kontext auffällig wäre. Es gibt erste technische Ansätze Trainingsdaten anzureichern mit Daten von Minderheiten, um dem Datenbias als Systemfehler entgegen zu wirken.
Die Autoren eines Übersichtsartikels (Ferryman et al, 2023) diskutieren aber einen anderen - nicht auf technischen Lösungen basierenden - Ansatz, um den Bias entgehen zu wirken. Sie definieren insbesondere medizinische Daten als „Artefakte“, also nicht unbedingt vollständige Datensammlungen von Patienten. Interdisziplinäre Expertengruppen sollten daher von verschieden Standpunkten Trainingsdaten bewerten, bevor diese für KI-Algorithmen zum Einsatz kommen. Wie diese Bewertungen jedoch konkret aussehen könnte und wie diese die Daten gegeben falls anpassen könnte, wird leider nicht näher in der Publikation ausgeführt. Dies ist somit noch eher ein theoretisches Konstrukt aber dennoch wichtig für weitere Versuche den Bias besser zu kontrollieren.
Referenzen:
- Laleh Seyyed-Kalantari, Haoran Zhang, Matthew B. A. McDermott, Irene Y. Chen & Marzyeh Ghassemi: Underdiagnosis bias of artificial intelligence algorithms applied to chest radiographs in under-served patient populations, Nature Medicine volume 27, pages 2176–2182 (2021)
- Kadija Ferryman, Maxine Mackintosh, and Marzyeh Ghassemi: Considering Biased Data as Informative Artifacts in AI-Assisted Health Care, August 31, 2023 N Engl J Med 2023; 389:833-838
Kommentar schreiben