Lerninhalt zum Bias

1. Bias Arten und ihre Entstehung

1.3. Measurement Bias

Neben unausgewogenen Daten kann auch Measurement Bias entstehen, wenn die gewählten Indikatoren nicht das messen, was gemessen werden soll.

Beispiel

Im US-amerikanischen Gesundheitswesen kam ein Algorithmus zum Einsatz, der den Betreuungsbedarf von Patient:innen prognostizierte. Da als Maßstab die bisherigen Gesundheitskosten herangezogen wurden, schnitten schwarze Patient:innen schlechter ab. Diese Gruppen hatten jedoch nicht weniger medizinischen Bedarf, sondern aufgrund sozioökonomischer Barrieren geringeren Zugang zu medizinischen Leistungen. Das Modell reproduzierte somit gesellschaftliche Ungleichheiten, anstatt sie auszugleichen.

Verzerrungen und ihre Ursachen bei KI-Anwendungen im Gesundheitswesen
*Quelle: In Anlehnung an https://ubisglobal.com/blog/addressing-bias-in-ai-advancing-gender-race-and-age-equality/*

Die Grafik zeigt, wie sich Diskriminierung und Ungleichheit entlang des gesamten Lebenszyklus von KI-Systemen im Gesundheitswesen niederschlagen können. Sie beginnt mit realen gesellschaftlichen Ungleichheiten, die sich in den Daten widerspiegeln. Diese Daten enthalten oft Verzerrungen, weil bestimmte Gruppen unterrepräsentiert sind oder systematische Benachteiligungen bereits in den Daten verankert wurden. Auf dieser Grundlage entstehen fehlerhafte Design- und Entwicklungsprozesse: Modelle werden mit Ausschlüssen, Machtungleichgewichten und einseitigen Annahmen gebaut. Kommt es schließlich zur Anwendung, können sich die Probleme weiter verschärfen – etwa durch digitale Spaltungen, gefährliche Fehlanwendungen oder eine Verschärfung globaler Ungleichheiten.

Hinweis

Ein besonders kritischer Punkt ist die Datengrundlage. Wenn beispielsweise Bilddatenbanken zur Hautkrebsdiagnostik überwiegend hellhäutige Patient:innen enthalten, lernen die Modelle vor allem Muster heller Haut. Dunklere Hauttypen werden schlechter erkannt, was zu verspäteten Diagnosen und damit schlechteren Behandlungschancen führt. Hier zeigt sich, wie sich fehlende Repräsentativität in den Daten direkt in lebenswichtige Entscheidungen übersetzt.