»Vielleicht ist das der moralische Test der Menschheit«

Die Politikwissenschaftlerin S.M. Amadae befasst sich hauptberuflich mit dem Ende der Welt, wie wir sie kennen. Sie leitet das Centre for the Study of Existential Risk (CSER) an der University of Cambridge. Das Institut erforscht ein breites Spektrum apokalyptischer Szenarien: von Pandemien und Vulkanausbrüchen über Atomwaffen und Künstlicher Superintelligenz bis hin zum gesellschaftlichen Klimakollaps. Amadae will dabei helfen, den Weltuntergang noch etwas aufzuschieben – und eine Denkweise entlarven, die der gemeinsame Ursprung drohender Weltuntergänge sein könnte.

Frau Professor Amadae, ich frage für einen Freund: Was würden Sie jemandem sagen, der sich ernsthaft Sorgen über den Zusammenbruch unserer Zivilisation macht?

Ich würde sagen, dass ich das verstehe. Im persönlichen Leben treffen wir ständig Vorkehrungen, um kleinere und größere Katastrophen zu vermeiden. Wir schützen uns selbst, unsere Familien und Gemeinschaften. Aber sobald wir das auf die planetare Ebene übertragen müssen, scheitern wir. Genau darin liegt für mich das Rätsel, das wir an unserem Institut lösen wollen.

Welche globale Bedrohung vernachlässigen wir derzeit am meisten?

Wir scheinen uns auf merkwürdige Weise an die Möglichkeit eines Atomkrieges gewöhnt zu haben. Dabei unterstützen europäische Staaten die Ukraine gerade in einem Krieg gegen eine atomare Supermacht. Die damit verbundenen Eskalationsrisiken sind erheblich – trotzdem sind sie kaum im öffentlichen Bewusstsein verankert.

Woran liegt das?

Wir leiden an einer Polykrisen-Risikoermüdung. Klimawandel, Pandemien, Atomkrieg, Künstliche Intelligenz – ein einzelnes Gehirn, ein einzelner Körper kann nicht alle Gefahren gleichzeitig verarbeiten. Und diese Risiken stehen nicht unabhängig nebeneinander. Sie überlagern und verstärken sich. Gleichzeitig scheinen Staaten weniger handlungsfähig: Verantwortung wird immer stärker auf Individuen und Unternehmen verlagert. Das macht es schwieriger, existenziellen Risiken gemeinsam zu begegnen.

Für viele der existenziellen Risiken heutzutage sind wir Menschen selbst verantwortlich. Was bedeutet das für unsere Spezies?

Mich fasziniert in diesem Zusammenhang das Fermi-Paradoxon. Der Physiker Enrico Fermi fragte, warum wir keine Spuren anderer technisch entwickelter Zivilisationen im All sehen. Statistisch gesehen müsste es sie doch geben. Der Astronom Frank Drake hat diese Frage später in einer Gleichung systematisiert. Einer der Faktoren darin lautet: Wie lange bleibt eine technische Zivilisation überhaupt bestehen? Vielleicht erreichen Zivilisationen eine kritische Phase, in der ihre technischen Fähigkeiten schneller wachsen als ihre Fähigkeit, Konflikte zu beherrschen. Sie könnten bereits ins All vordringen – verfügen gleichzeitig aber über Technologien, mit denen sie sich selbst vernichten können.

Und in dieser Phase befinden wir uns?

Vielleicht ist das der moralische Test der Menschheit. Wir müssen zeigen, dass wir reif genug sind, mit unseren Technologien zu leben, ohne uns selbst zu zerstören.

Technischer Fortschritt vergrößert allerdings unsere Fähigkeit, massiven Schaden anzurichten. Unsere politischen Kontrollmechanismen können damit nicht Schritt halten. Einer der Gründer Ihres Instituts, der Astronom Martin Rees, schätzte die Wahrscheinlichkeit, dass unsere Zivilisation bis zum Ende des Jahrhunderts einen katastrophalen Rückschlag erleben wird, deshalb auf fünfzig Prozent.

Ich bin eine ewige Optimistin. Klar könnte man angesichts der Gefahr, die Rees beschreibt, auch in Zynismus kippen. Aber das wäre eine sich selbst erfüllende Prophezeiung. Ich denke immer: Wir finden einen Weg.

Haben Sie gute Gründe für Ihren Optimismus?

Nehmen Sie etwa den Umgang mit dem Ozonloch: Im Rahmen des Montreal-Protokolls von 1987 wurde die Produktion von fast hundert ozonschädigenden Chemikalien verboten. Alle Staaten machen heute mit. Es gehört zu unserer Geschichte, dass wir gemeinsam handeln konnten, als eine globale Gefahr erkannt wurde. Wir haben also Belege dafür, dass kollektives Handeln möglich ist.

Zur Zeit des Abkommens war die Welt noch im Kalten Krieg verfangen. Warum gelang ausgerechnet damals, was heute zum Beispiel auf Klimakonferenzen so regelmäßig scheitert?

Die gleichberechtigte Zusammenarbeit zwischen Staaten war damals trotz allem robust. Mit dem Ende des Kalten Krieges im Jahr 1989 wurde die Welt einseitiger: Es gab mit den USA eine globale vorherrschende Macht, während Russland und China deutlich dahinter lagen. Die USA strebten nach einer umfassenden Dominanz, nicht zuletzt in militärischen Fragen. Außerdem stand der Neoliberalismus mit seinem Fokus auf Märkte, Wettbewerb, Privatisierung und individuelle Verantwortung noch relativ am Anfang. Später zog er nach und nach in Institutionen und Staatsapparate ein. Seitdem behandeln wir immer mehr gesellschaftliche Probleme so, als ließen sie sich über Marktmechanismen und individuelle Entscheidungen lösen. Güter wie Sicherheit, Vertrauen oder Klimaschutz lassen sich aber nicht sinnvoll auf Marktwerte reduzieren.

Sie sehen den Ursprung existenzieller Risiken also nicht nur im technologischen Fortschritt, sondern auch in der Art unseres Denkens?

Unbedingt. Mich stört vor allem die Vorstellung, dass strategischer Wettbewerb die natürliche Form menschlicher Rationalität sei. Das verdanken wir einer mathematischen Theorie, die nach dem Zweiten Weltkrieg extrem populär wurde: der Spieltheorie.

Die Spieltheorie ist einer ihrer Forschungsschwerpunkte. Ihrer Meinung nach steckt darin eine Antwort auf die Frage, warum es uns so schwerfällt, zu kooperieren, um existenzielle Risiken einzudämmen. Fangen wir mal von vorne an: Worum geht es bei der Spieltheorie?

Die Spieltheorie ist ein Modell, das Entscheidungssituationen modelliert, in denen mehrere Beteiligte handeln.Vorbilder waren Spiele wie Poker oder Schach, bei denen man die möglichen Züge der anderen mitbedenken muss, um eine eigene Strategie zu entwerfen. Das berühmteste Beispiel der Spieltheorie ist das Gefangenendilemma. Es dreht sich um zwei Gefangene, die getrennt voneinander verhört werden. Sie müssen entscheiden: Verrate ich den anderen oder halte ich dicht? Je nachdem, wie sie reagieren, fällt ihre Strafe eher mild oder eher hart aus.

Worin besteht ihr Dilemma?

Beide wären gemeinsam am besten dran, wenn keiner über den anderen aussagen würde. Jeder Einzelne kann aber noch besser abschneiden, wenn der andere schweigt, er selbst aber den anderen verrät. Aber keiner will riskieren, selbst dichtzuhalten, während der andere auspackt. Also wird der Verrat für beide zur plausibelsten Strategie – und beide stehen schlussendlich schlechter da, als wenn sie zusammengehalten hätten.

Das ist ein Gedankenexperiment. Inwiefern ist das für unsere Realität von Bedeutung?

Generationen von Fachleuten, Forschenden und politischen Entscheidungsträger:innen haben die Spieltheorie studiert und zur vorherrschenden Denkweise gemacht. Sie wurde gezielt auf strategisches Denken im militärischen Kontext angewandt. John von Neumann, einer der Väter der Theorie, war selbst am Manhattan Project beteiligt, in dessen Rahmen die Atombombe entwickelt wurde. Er gehörte zu einem Komitee, das über mögliche Ziele beriet. Ein stark reduziertes Modell menschlichen Handelns ist damit zur Grundlage für einige der folgenreichsten politischen Entscheidungen aller Zeiten geworden und liegt jetzt der Theorie der nuklearen Abschreckung zugrunde. Doch die Logik der Spieltheorie ist auch im mangelnden Klimaschutz oder dem aktuellen Wettrennen um die Künstliche Intelligenz zu erkennen. Sie lässt Konkurrenzdenken vernünftig erscheinen, als wäre es die einzige Option.

Aber aus dem Gefangenendilemma lernen wir doch eigentlich, dass Kooperation sich lohnen würde.

Dennoch erscheint die Möglichkeit der Kooperation von vornherein nur in der Logik des Eigennutzes. Die Spieltheorie beeinflusst unsere Vorstellung davon, was rationales Verhalten ist: Jeder ist ein Konkurrent, wertvolle Güter sind knapp, und wenn ich nicht versuche, meinen Vorteil zu sichern, wird es jemand anderes tun. Genau dadurch erscheint strategische Konkurrenz irgendwann unvermeidlich.

Sie halten das für falsch.

Wenn wir Politik nach dieser Logik organisieren, wird Kooperation zum Risiko: Wer zuerst kooperiert, muss fürchten, dass der andere seinen guten Willen ausnutzt. So entsteht eine Normalität, in der alle strategisch handeln, weil sie erwarten, dass alle anderen es ebenfalls tun. Das Modell beginnt, genau die konkurrenzorientierte Welt hervorzubringen, die es angeblich nur beschreibt. Gemäß der Spieltheorie wird selbst Kommunikation strategisch: Man sagt nicht unbedingt, was man glaubt, sondern das, was beim anderen den gewünschten Effekt erzielt. Damit verlieren wir etwas, das für eine demokratische Gesellschaft fundamental ist: Vertrauen.

Wie weit reicht der Einfluss dieser Denkweise heute?

Spieltheoretische Logik steckt in vielen Bereichen, von Auktionen und Vergabeverfahren über Steuerregeln, Finanzmärkte und Algorithmen bis hin zur nuklearen Abschreckung. Ein politisches Extrembeispiel sind die USA unter Donald Trump: Die Politik ist vollkommen darauf ausgelegt, amerikanischen Interessen zu dienen. Verhandlungen werden mit der schlimmsten glaubwürdigen Drohung begonnen, um für sich selbst das beste Ergebnis rauszuholen. Das ist ziemlich genau der Endpunkt, den ich erwarten würde, wenn wir spieltheoretische Rationalität zur einzigen Logik machen, nach der wir unsere sozialen Beziehungen, unsere Kommunikation, unsere Regierungsformen und unsere internationalen Beziehungen organisieren.

Wie kommen wir da bloß wieder raus?

Der Ausweg beginnt für mich damit, vertrauenswürdig zu sein. Wenn der andere kooperiert, kooperiere ich auch. Dazu kommen Solidarität und Verpflichtung – also gemeinsame Ziele zu verfolgen und Versprechen einzuhalten, statt jede Handlung danach zu berechnen, welchen strategischen Vorteil sie bringt. Finnland ist zum Beispiel ein Land, das von großem gegenseitigem Vertrauen geprägt ist. Ich unterrichte regelmäßig an der Universität in Helsinki und beobachte, dass die Logik der Spieltheorie den Studierenden dort eher fremd ist.

Jetzt müssen wir nur noch die ganze Welt zum Umdenken bewegen.

Auf jeden Fall müssen wir anerkennen, dass es andere Formen menschlichen Handelns gibt – und dass wir nicht dazu verdammt sind, strategische Konkurrent:innen zu sein. Im Moment bewegt sich die Welt aber in die andere Richtung. Ich beschäftige mich derzeit viel mit der Macht der Algorithmen und sehe, wie die KI die spieltheoretische Logik übernimmt und verstärkt.

Welche Rolle spielt die KI in Ihrer Forschung mittlerweile?

Leider wirkt sie als Beschleuniger existenzieller Risiken. Immer dann, wenn eine sehr leistungsfähige Technologie in die Hände von Akteur:innen gelangt, die nicht im Interesse der Menschheit handeln, kann sie bestehende Gefahren enorm vergrößern. Die KI könnte zum Beispiel helfen, das wissenschaftliche Wissen zu erlangen, das man bräuchte, um eine Pandemie auszulösen. Ähnliches gilt für biologische Waffen. Weil die KI zunehmend für strategische Analysen genutzt wird, kann sie aber auch im Hinblick auf militärische Konflikte ein zusätzlicher Risikofaktor werden: In Tests waren einige große Sprachmodelle verglichen mit Menschen eher bereit, Konflikte weiter zu eskalieren und schließlich auch nukleare Optionen zu wählen. Die KI selbst lebt ja nicht. Deswegen hat sie mit dem Ende allen Lebens potenziell weniger Probleme als ein Mensch.

Schon im Jahr 2023 warnten hunderte Expert:innen in einer gemeinsamen Erklärung vor dem »Risiko einer Vernichtung durch KI«, das ähnlich ernst zu nehmen sei wie Pandemien oder ein Atomkrieg. Sehen Sie die Gefahr einer Machtübernahme durch eine Art Superintelligenz?

Es braucht keine allmächtige künstliche Intelligenz, die unsere Systeme an sich reißt. Wir geben die Kontrolle freiwillig ab! Unsere Finanzmärkte, Banken, Lieferketten und Versorgungssysteme sind schon heute eng mit digitalen Netzwerken verflochten. Wenn wir immer mehr Entscheidungen und Steuerungsfunktionen an solche Systeme auslagern, werden wir von ihrem reibungslosen Funktionieren abhängig – und wissen im Notfall vielleicht nicht mehr, wie wir die Kontrolle zurückbekommen.

Wie könnte das konkret aussehen?

Stellen Sie sich einen Stromausfall von mehreren Wochen vor: Zahlungssysteme fallen aus, Warenströme stocken, dadurch wird Nahrung knapp und die Trinkwasserversorgung funktioniert nicht mehr. Auf der Straße kommt es zu Unruhen. Wir können dann nicht einfach zurück in eine Gesellschaft, die nicht von Computernetzwerken abhängig war. Ich könnte noch dystopischer werden…

Tun Sie sich keinen Zwang an.

Wir müssen uns fragen, über wen KI in Zukunft entscheidet. Je ärmer und sozioökonomisch verletzlicher jemand ist, desto stärker wird sein Leben möglicherweise automatisiert verwaltet. Wohlhabende Eliten könnten Wege finden, sich solchen Systemen zu entziehen. Andere nicht. Das ist eine Form von Macht, über die wir viel zu wenig sprechen. Und ich fürchte, die KI hat das Potenzial, unsere soziale Wirklichkeit zu zersetzen.

Wie das?

Indem sie zunehmend Einfluss auf unsere Sprache nimmt. Generative KI kann aufgrund der vielen Daten, die über uns gesammelt werden, Botschaften auf einzelne Menschen zuschneiden. Dafür braucht sie nur ein Ziel – Wähler:innen gewinnen, ein Produkt verkaufen oder jemanden zu einer Handlung bewegen. Die KI hat selbst keine Erfahrungen und keinen moralischen Kompass. Sie manipuliert Sprache gemäß dem Zweck, den sie verfolgt. Zunehmend verformt sie Wortbedeutungen. So nutzen wir Menschen vielleicht irgendwann noch dieselben Wörter, meinen aber nicht mehr dasselbe. Den besten Begriff dafür – »semantische Erschöpfung« – habe ich übrigens von einer KI. Ich wünschte, ich wäre selbst darauf gekommen.

Am CSER wollen Sie Gefahren wie diese nicht nur erforschen, sondern auch helfen, sie einzudämmen. Wie gehen die Expert:innen Ihres Instituts das an?

Wir versuchen, Menschen miteinander in Verbindung zu bringen, die im Ernstfall handeln müssen. Diejenigen mit dem Wissen zu existenziellen Risiken müssen Beziehungen zu denjenigen haben, die Entscheidungen treffen – möglichst schon bevor eine Krise eskaliert. Forschende entwickeln daher beispielsweise Simulationen gemeinsam mit Fachleuten aus Militär, Technologie und Politik. Anschließend können Menschen aus Regierungen und diplomatischen Diensten damit arbeiten.

Was müsste in den kommenden Jahren passieren, damit Sie sagen würden: Wir sind besser darin geworden, mit existenziellen Risiken umzugehen?

Im Moment wäre es schon ein Erfolg, bestehende Errungenschaften nicht zu verlieren. Bei Atomwaffen müssen wir Rüstungskontrolle und Nichtverbreitung stärken. Beim Klima müssen die Emissionen tatsächlich sinken. Bei KI brauchen wir konkrete Regeln darüber, welche Macht wir solchen Systemen geben wollen. Auch die zunehmende Konzentration von Ressourcen, Kapital und technologischer Macht auf wenige Akteur:innen bereitet mir Sorgen. Am Ende geht es darum, Risiken Schritt für Schritt zu verringern und Möglichkeiten zur Kooperation zu erhalten. Wir müssen aufhören zu glauben, dass Konkurrenz und Rücksichtslosigkeit die einzigen rationalen Möglichkeiten sind.

S.M. Amadae ist Politikwissenschaftlerin und seit März 2025 Direktorin des Centre for the Study of Existential Risk (CSER) an der Universität Cambridge. Sie forscht zu Atomkrieg und Sicherheit, Klimawandel und kollektivem Handeln sowie zu den Auswirkungen Künstlicher Intelligenz auf den Umgang mit katastrophalen Risiken.

Dieser Text ist Teil des Schwerpunkts Hallo Endzeit im Oktober 2026.