Künstliche Intelligenz kann das Gesundheitswesen voranbringen – sofern sie nicht die Vorurteile der Menschen zementiert.

Die Idee war gar nicht so schlecht – und eigentlich auch nicht neu: Die Ausgaben für das Gesundheitssystems ließen sich doch reduzieren, wenn man Menschen schon behandelt, bevor sie größere Kosten verursachen. Die alte Idee von Prävention also, aber als Prävention 4.0. Denn wer Prävention mit einer Prise Künstlicher Intelligenz würzt, kann sie auf eine neue Stufe heben: zielgerichtete Prävention statt Gießkannenprinzip. Am meisten sparen könnte man, indem man vorhersagt, wer in Zukunft die höchsten Kosten verursachen wird und dessen Leiden priorisiert behandelt. Schließlich kann Künstliche Intelligenz in Patientendaten aus der Vergangenheit ganz hervorragend Muster erkennen und für die folgenden Generationen vorhersagen, welche Symptome sich zu schweren – und damit vor allem teuren ­– Krankheiten entwickeln. Einige US-Versicherungen haben daher einen entsprechenden Algorithmus genutzt, um zu bestimmen, welche Patient:innen extra Leistungen zugesprochen bekommen.

Weniger Kosten = weniger krank?

Was kann schon schief gehen? Es geht ja nicht um Kürzungen, sondern um Zusatzleistungen. Wie der Arzt und KI-Forscher Ziad Obermeyer von der University of California allerdings in einer Studie zeigen konnte, diskriminierte dieser Algorithmus systematisch schwarze Patient:innen. Diese mussten deutlich kränker sein, bevor sie von der Versicherung die gleichen Leistungen genehmigt bekamen wie ihre weißen Mitmenschen. Welche Muster hatte der Algorithmus in den Daten bisheriger Patient:innen gefunden? »Ärmere Menschen verursachen weniger Kosten, weil sie weniger Zugang zur Gesundheitsversorgung haben«, erklärt Obermeyer, »und unter Ärmeren sind Nicht-Weiße übermäßig häufig vertreten.« Das System schlug logischerweise vor, weniger Ressourcen in diese Bevölkerungsgruppen zu investieren, da sie weniger krank zu sein scheinen – schließlich musste in der Vergangenheit auch weniger Geld in sie investiert werden.

Künstliche Intelligenz sucht stur nach Mustern in Daten, um aus den Eingangsdaten die gewünschten Ausgangsdaten zu berechnen – und treibt so die verzerrten Annahmen ihrer Entwickler:innen auf die Spitze, ohne sie je zu hinterfragen. Werden diese Tools dann real angewendet, verschärft sich das Problem für die Zukunft gar noch: Mit der Zeit wird immer weniger Geld ausgegeben für Ärmere und die Trainingsdaten der künftigen Algorithmen zeigen eine noch extremere Verzerrung. »Solche Algorithmen führen dazu, dass einige Patient:innen überdiagnostiziert sind, während andere gar nicht in unseren Daten erscheinen«, sagt Obermeyer. »Wir bauen all diese Vorurteile ein.«

Computer machen (keine) Fehler

Und es gibt ein weiteres Problem: Diese Computersysteme treffen auf Menschen, die davon ausgehen, dass Computer objektiv sind und keine Denkfehler machen – dass es also schon richtig sein müsse, wenn die KI vorschlägt, eine Patientin zu bevorzugen. Lange Zeit lag genau darin eine große Hoffnung: Während Menschen ihre Vorurteile mit sich herumtragen – die zwar häufig unterbewusst sind, trotzdem aber zu Diskriminierung führen können – interessiert Künstliche Intelligenz lediglich die Statistik. Doch hier kommt eine weitere große Schwachstelle maschinellen Lernens ins Spiel: die Trainingsdaten. Auch deren Auswahl kann dazu führen, dass KI-basierte Gesundheitsversorgung Benachteiligung in der Gesellschaft verschärft.

Dazu muss man wissen, wie Künstliche Intelligenz lernt: In der Regel bekommen entsprechende Algorithmen so genannte Input-Daten und Beispiele für den gewünschten Output vorgelegt. Wenn es beispielsweise darum geht, mittels Bilderkennung zu entschlüsseln, ob das Foto eines Muttermals auf Hautkrebs hindeutet – sei es, um künftig Ärzt:innen bei der Beurteilung zu helfen, welcher Patient möglicherweise Krebs hat, oder auch um unerfahrene Ärzt:innen zu unterstützen und auf mögliche heikle Stellen hinzuweisen – dann bekommt der Algorithmus in der Trainingsphase ungezählte Bilder von Hautflecken aller Art vorgelegt sowie dazugehörige Diagnosen. Das System findet dann selbständig Muster in den Bildern, denen die Diagnose Krebs angeheftet ist, um diese in künftigen Bildern selbst vorhersagen zu können.

Als deutsche Forscher 2018 eine Art »Wettkampf zwischen Mensch und Maschine« organisierten und feststellten, dass ein KI-System Hautärzt:innen in den allermeisten Fällen darin übertraf, Anzeichen von Hautkrebs auf entsprechenden Bildern zu erkennen, war die Hoffnung groß. Könnte dieses System nicht ein großes Problem lösen? In den USA diagnostizieren Hautärzt:innen gerade bei schwarzen Patient:innen Probleme häufig zu spät, so dass die Fünf-Jahres-Überlebensrate von schwarzen Hautkrebspatient:innen 73 Prozent beträgt. Von weißen Patient:innen hingegen überleben 90 Prozent die fünf Jahre nach der Diagnose.

Nur leider stellte sich heraus, dass die Datenbank, die die Forschenden für das Training ihrer Künstlichen Intelligenz genutzt hatten, vor allem Bilder von weißen Amerikaner:innen und Europäer:innen enthielt. Und so konnte auch die KI Hautkrebs auf dunkler Haut deutlich schlechter erkennen als auf heller Haut.

»Der weiße Mann ist das bestuntersuchte Subjekt.«

Das Gesundheitssystem unterliegt schon historisch bedingt rassistischen und sexistischen Verzerrungen. Seien es Medikamentenstudien oder Bilder von potentiellem Hautkrebs: Der weiße Mann ist das bestuntersuchte und -studierte Subjekt. So passen schon für Frauen Dosierungen von Medikamenten in der Regel nicht perfekt. Nicht nur, weil sie im Schnitt leichter sind als Männer, sondern auch, weil viele Vorgänge in Frauenkörpern anders ablaufen und beispielsweise von hormonellen Zyklen beeinflusst sind. Es gibt also bereits in den Trainingsdaten für Künstliche Intelligenz eine Verzerrung – die natürlich ihren Tribut zollt.

Das führt teilweise durchaus zu kontraintuitiven Ergebnissen. Ziad Obermeyer war beispielsweise ein Phänomen aufgefallen, nach dem schwarze Patient:innen häufig über Knieprobleme klagten, deren Ursache Ärzt:innen auf Röntgenbildern nicht erkennen können. Grund dafür ist aus seiner Sicht ebenfalls die rassistische Medizingeschichte: Der Schweregrad einer Arthrose wird mit dem Kellgren-Lawrence-Grad klassifiziert, einem System, das in den Fünfzigerjahren in der weißen britischen Bevölkerung entwickelt wurde – also anhand von europäischen Körpern und deren Schmerzen. Diese passen aber nicht zu den Körpern und Schmerzen schwarzer Menschen.

Offenbar war die Art der Diagnose nicht die richtige für manche Gruppen, sagt Obermeyer: »Unser medizinisches Wissen gilt nicht immer für alle, wenn es nur für eine bestimmte Bevölkerungsgruppe entwickelt wurde.«

»Unser medizinisches Wissen gilt nicht immer für alle.«

Obermeyer hat aber Hoffnung, dass KI auch Ungerechtigkeiten reduzieren kann. Etwa, indem man sie darauf trainiert, genau diesen historischen Bias in der Medizin zu ignorieren. Zusammen mit Kollegen trainierte er einen Algorithmus, der Muster finden sollte zwischen der subjektiven Stärke der Schmerzen eines schwarzen Patienten und dessen Röntgenbild. In Nature Medicine präsentierte das Team im Januar 2021 die Ergebnisse: Durch das Training des Algorithmus an einer heterogenen Gruppe von Patient:innen war dieser in der Lage, einen erheblichen Teil der Unterschiede zwischen den verschiedenen Knieschmerzen zu erklären. Er könnte also künftig schwarzen Patient:innen helfen, bei denen Ärzte ratlos waren.

Jener Denkfehler, den Obermeyer in der Idee fand, Kosten im Gesundheitssystem zu sparen, scheint ein verlockender zu sein. Schon kurze Zeit später fiel wieder jemand darauf herein: die US-Regierung. Bei der Entscheidung, wie viel Hilfen Krankenhäuser jeweils aus dem staatlichen CARES Act zur Bekämpfung der Corona-Pandemie bekommen, wurden die Einnahmen der Krankenhäuser zugrunde gelegt. »Wir haben einen großen, rassistischen Bias in der Verteilung gefunden«, sagt Obermeyer angesichts seiner neuesten Studie. Schließlich werden auf diese Weise Krankenhäuser benachteiligt, die ohnehin schon wenig Mittel zur Verfügung haben – und meist verhältnismäßig viele afroamerikanische Patienten behandeln, da diese aufgrund der historischen Rassendiskriminierung bis heute finanziell benachteiligt sind. »Ich bin eigentlich optimistisch, Künstliche Intelligenz in Zukunft im Gesundheitswesen einzusetzen«, sagt Obermeyer, »aber dafür müssen wir uns jetzt die Probleme genau anschauen.«

Erschienen am 11. März 2021