Voreingenommenheit in KI-Anwendungen – FRA
Die EU-Grundrechteagentur FRA hat sich in einem Bericht mit der Voreingenommenheit künstlicher Intelligenz (KI) und der damit verbundenen Diskriminierung befasst. Im Fokus der Untersuchung stehen eine Anwendung aus dem Bereich Predictive Policing (vorhersagebasierte Polizeiarbeit) sowie eine Anwendung zur Erkennung beleidigender Sprache.
Die FRA deckt in ihrem Bericht besondere Gefahren auf und gibt dazu Empfehlungen ab. Sie kommt zu dem Schluss, dass Algorithmen auf ihre Voreingenommenheit („bias“) vor und nach ihrem Inverkehrbringen untersucht werden müssen. Dabei muss ihr sich mit der Zeit ändernder Einfluss einbezogen werden. Ferner müssen Hilfestellungen dazu gegeben werden, wie Daten zu sensiblen Merkmalen gesammelt werden können. Die Untersuchung hat gerade auch legislative Entwicklungen im Blick, wie den sogenannten AI-Act, welcher derzeit das EU-Gesetzgebungsverfahren durchläuft.
Zu den aufgedeckten Gefahren zählen beispielsweise sogenannte Feedback Loops. Diese kommen zustande, wenn die Vorhersagen des Systems sich auf die Daten auswirken, die zum Update des Systems herangezogen werden. Die FRA empfiehlt dazu beispielsweise, dass der EU-Gesetzgeber die regelmäßige Überprüfung durch Anbieter und Nutzer verpflichtend als Teil der Risikobewertung und des Risikomanagements für sogenannte Hochrisiko-Anwendungen einführt.
Weiterführende Links:
- Bericht der FRA (EN) (Dezember 2022)
- Siehe hierzu auch Nachrichten aus Brüssel 22/2022, 19/2022