Kurs: KI und Nachhaltigkeit | OnCourse UB

  • Lektion 5

    • Metriken zu Bias & Diskriminierung

    • Metriken werden eingesetzt, um die Fairness von KI-Systemen systematisch zu bewerten und zu verbessern. Sie dienen als objektive Kriterien, anhand derer überprüft werden kann, ob ein Modell bestimmte Gruppen benachteiligt oder bevorzugt.

      Da Verzerrungen (Bias) in unterschiedlichen Phasen entstehen können – etwa in den Trainings- oder Eingangsdaten, in den Modellarchitekturen oder im Designprozess – ermöglichen Fairness-Metriken eine strukturierte Analyse dieser Effekte. Auf diese Weise machen sie Unsichtbares messbar, schaffen Transparenz im Umgang mit KI-Systemen und bilden die Grundlage für Verbesserungen hin zu verantwortungsvoller und gerechter Technologie (vgl. Mehrabi et al. 2021; Robert et al. 2020).

      Hilfsmittel und Tools wie Fairlearn (Bird 2020) oder AI Fairness 360 stellen dabei konkrete Werkzeuge bereit, um diese Metriken praktisch anzuwenden.

      Evaluationskriterien wie Equalized Odds oder Equal Opportunity helfen zudem, verschiedene Dimensionen von Fairness präzise zu definieren und vergleichbar zu machen. Damit lassen sich problematische Muster identifizieren und gezielt Maßnahmen entwickeln, um Diskriminierung zu verringern und die Fairness von KI-Systemen zu steigern.

      In diesem Video erfährst du mehr über die beiden Evaluationskriterien

       

    • Obwohl Fairness-Metriken einen wichtigen Beitrag zur Bewertung von Diskriminierung in KI-Systemen leisten, zeigen sich in der wissenschaftlichen Diskussion deutliche Einschränkungen. Ein zentrales Problem besteht darin, dass unterschiedliche Metriken häufig zu widersprüchlichen Ergebnissen führen können und es mathematisch unmöglich ist, mehrere Fairness-Kriterien gleichzeitig vollständig zu erfüllen (vgl. Kleinberg et al. 2017). Dadurch entsteht ein Spannungsfeld, in dem die Wahl der Metrik selbst eine normative Entscheidung darstellt und damit politische und gesellschaftliche Implikationen trägt (vgl. Binns 2018).

      Zudem konzentrieren sich die gängigen Ansätze häufig auf statistische Paritätsmaße wie Equalized Odds oder Equal Opportunity, die jedoch die Komplexität sozialer Ungleichheit nur unzureichend abbilden. Fairness wird dabei auf messbare Größen reduziert, während tieferliegende strukturelle Ursachen von Diskriminierung – etwa historische Benachteiligungen oder Machtasymmetrien – unbeachtet bleiben (vgl. Barocas, Hardt & Narayanan 2019). Dies birgt die Gefahr, dass Fairness-Analysen eine trügerische Objektivität vermitteln und so bestehende Ungerechtigkeiten eher reproduzieren als abbauen.

    • Literatur

      Barocas, S., Hardt, M., & Narayanan, A. (2019). Fairness and Machine Learning. FairMLBook. http://fairmlbook.org

      Binns, R. (2018). Fairness in machine learning: Lessons from political philosophy. Proceedings of the 2018 Conference on Fairness, Accountability, and Transparency (FAT*), 149–159. https://doi.org/10.1145/3287560.3287598

      Bird, S., Dudík, M., Edgar, R., Horn, B., Lutz, R., Milan, V., ... & Walker, K. (2020). Fairlearn: A toolkit for assessing and improving fairness in AI.

      Buolamwini, Joy (2023): Unmasking the bias in facial recognition algorithms, Online: https://mitsloan.mit.edu/ideas-made-to-matter/unmasking-bias-facial-recognition-algorithms (assessed 12.09.2025)

      Campolo, A., Sanfilippo, M., Whittaker, M., & Crawford, K. (2017). AI Now 2017 Report. AI Now Institute. https://ainowinstitute.org/AI_Now_2017_Report.pdf

      Carey, S., Pang, A., & de Kamps, M. (2024). Fairness in AI for healthcare. Future healthcare journal, 11(3), 100177.

      Demiaux, V.; Si, A.Y. How Can Humans Keep the Upper Hand? The Ethical Matters Raised by Algorithms and Artificial Intelligence; The French Data Protection Authority (CNIL): Paris, France, 2017.

      Europäische Kommission. (2018). Ethics guidelines for trustworthy AI. https://digital-strategy.ec.europa.eu/en/library/ethics-guidelines-trustworthy-ai

      Jobin, A., Ienca, M., & Vayena, E. (2019). The global landscape of AI ethics guidelines. Nature Machine Intelligence, 1(9), 389–399. https://doi.org/10.1038/s42256-019-0088-2

      Kleinberg, J., Mullainathan, S., & Raghavan, M. (2017). Inherent trade-offs in the fair determination of risk scores. Proceedings of Innovations in Theoretical Computer Science (ITCS), 43:1–43:23. https://doi.org/10.4230/LIPIcs.ITCS.2017.43

      Mehrabi, N., Morstatter, F., Saxena, N., Lerman, K., & Galstyan, A. (2021). A survey on bias and fairness in machine learning. ACM Computing Surveys, 54(6), 1–35. https://doi.org/10.1145/3457607

      Selbst, A. D., Boyd, D., Friedler, S. A., Venkatasubramanian, S., & Vertesi, J. (2019). Fairness and abstraction in sociotechnical systems. Proceedings of the Conference on Fairness, Accountability, and Transparency (FAT*), 59–68. https://doi.org/10.1145/3287560.3287598

      Srinivasan, R., & Chander, A. (2021). Biases in AI systems. Communications of the ACM, 64(8), 44-49.

      Varona, D., & Suárez, J. L. (2022). Discrimination, bias, fairness, and trustworthy AI. Applied Sciences, 12(12), 5826.

Vorherige Lektion Nach oben Nächste Lektion