Leitplanken für militärische KI-Risiken

Bild einer Drohne im Flug

Anmerkung des Effektiv Spenden-TeamsDieser Beitrag wurde ursprünglich auf dem Founders Pledge-Blog auf Englisch veröffentlicht und vom Effektiv Spenden-Team ins Deutsche übersetzt. Die Originalversion dieses Blogbeitrags von Christian Ruhl findest du hier.

Anmerkungen zu einem Workshop über vertrauensbildende Maßnahmen für unbemannte und KI-gestützte militärische Systeme

Stell dir folgendes Szenario vor: In der nahen Zukunft hat China in den umstrittenen Gewässern des Südchinesischen Meeres Schiffe, Unterwasserfahrzeuge und Luftsysteme stationiert, darunter viele unbemannte und autonome bzw. KI-gestützte Waffensysteme. Als Reaktion auf Provokationen gegenüber den Philippinen entsenden die USA eine Trägerkampfgruppe und ihre eigenen unbemannten Systeme in das Gebiet. Die militärische Präsenz im Gebiet nimmt stetig zu, überall sind autonome Systeme im Einsatz, und die Rhetorik zwischen den USA und China wird immer hitziger. Ein Krieg scheint kurz bevorzustehen.

Welche Leitplanken können in einer solchen Konfrontation zwischen den USA und China helfen, eine katastrophale Eskalation durch autonome Waffensysteme zu vermeiden?

Kürzlich nahm ich an einem Workshop am Center for a New American Security (CNAS) in Washington, D.C. teil, der genau diese Frage stellte (u.a. mit der oben beschriebenen Szenario-Übung). Er versammelte Experten von KI-Unternehmen, nationalen Regierungen und Militärs sowie führende Wissenschaftler zum Thema KI-Risiken als Teil eines Projekts, das durch einen Grant des Founders Pledge Global Catastrophic Risks Fund und des Spendenfonds: Zukunft bewahren von Effektiv Spenden Anfang des Jahres ermöglicht wurde und sich auf vertrauensbildende Maßnahmen für autonome Waffensysteme konzentriert. Am Ende des Workshops bemerkte eine Person, dass ihrer Meinung nach an diesem Tag mehr Personenstunden damit verbracht wurden, über vertrauensbildende Maßnahmen für autonome Systeme nachzudenken, als dies vor dem Workshop insgesamt der Fall war.

Hintergrund

Anfang 2023 förderten wir das CNAS mit $100.000 auf der Grundlage unserer Forschung zu Großmachtkonflikten, KI, Autonomie und internationaler Stabilität. Der Förderzuschuss sollte die Durchführbarkeit eines International Autonomous Incidents Agreement“ und damit zusammenhängender vertrauensbildender Maßnahmen untersuchen, wie sie in unserem Bericht zu militärischer KI (S. 32-41) beschrieben werden. Konkret ging es bei der Förderung um die Frage, wie Erfolge bei der Vertrauensbildung im Stil des Kalten Krieges genutzt werden könnten, um mit aktuellen und zukünftigen KI-bezogenen Risiken umzugehen. Dem Spendenfonds: Zukunft bewahren von Effektiv Spenden (mit dem der GCR-Fonds eng zusammenarbeitet) haben wir ebenfalls eine zusätzliche großzügige Spende von $100.000 an das CNAS empfohlen, um diesen Workshop für Red-Teaming, Simulation und Stresstests der Ideen zu ermöglichen.

Hinter der Förderung stehen mehrere miteinander verbundene Ideen. Erstens glauben wir, dass Fortschritte in der KI zu den folgenreichsten technologischen Entwicklungen in der Geschichte der Menschheit gehören könnten und dass Forschung, Entwicklung und Anwendungen von KI, die von den Großmächten der Welt vorangetrieben werden, wahrscheinlich eine wichtige Rolle in der weiteren Entwicklung spielen werden (auch durch die Gestaltung des regulatorischen Umfelds privater KI-Labore, die „Frontier Models“ entwickeln). Zweitens erkennen wir an, dass große Kriege leider nicht der Vergangenheit angehören, sondern eine sehr reale Gefahr für die menschliche Zivilisation darstellen, und dass die großen Armeen heute über eine beispiellose Kriegskapazität verfügen, die – wenn sie entfesselt wird – eine globale Katastrophe, einschließlich eines Atomkriegs, herbeiführen könnte. KI-gestützte militärische Systeme stehen am Schnittpunkt dieser beiden drohenden Risiken, so dass die Sicherheit solcher KI-Anwendungen für Fördermittelgeber eine hohe Priorität haben sollte. Aufgrund ihrer Bedeutung für die nationale Sicherheit der USA sind sie möglicherweise auch leichter greifbar als allgemeinere Diskussionen über KI-Sicherheit in politischen Kreisen. Die Details dieser Risiken werden in dem oben erwähnten Founders Pledge-Bericht ausführlicher diskutiert.

Die Teilnehmer

Der Workshop bestätigte eine Einschätzung, die uns zu unserer Förderung veranlasst hat: Das CNAS ist sehr gut positioniert, um Experten zu diesem Thema aus verschiedenen Bereichen zusammenzubringen. Zu den Teilnehmern des Workshops (der nach der Chatham-House-Regel stattfand und einige nichtöffentliche Teile enthielt) gehörten:

  • Derzeitige und ehemalige hochrangige US-Politiker mit Fachwissen und Erfahrung in Bezug auf militärische KI und die US-Politik, darunter Vertreter des Verteidigungsministeriums, des Außenministeriums und anderer relevanter Bereiche der US-Regierung
  • Aktive und pensionierte hochrangige Militärs
  • Internationale diplomatische Experten
  • KI-Experten, auch aus führenden Entwicklungslabors
  • Wissenschaftler, Think-Tank-Analysten und Experten für vertrauensbildende Maßnahmen

Die Replicator Initiative und die Dringlichkeit militärischer KI-Risiken

Der Workshop fand im Nachgang einer neuen Ankündigung des US-Verteidigungsministeriums statt: der Replicator-Initiative. Nach den Worten der stellvertretenden Verteidigungsministerin Kathleen Hicks zielt die Initiative darauf ab, „innerhalb der nächsten 18 bis 24 Monate autonome Systeme in einer Größenordnung von mehreren Tausend [und] in mehreren Bereichen einzusetzen“. Die von Hicks beschriebene Initiative wird sich über alle Bereiche des militärischen Wettbewerbs erstrecken, mit autonomen Systemen zu Lande, zu Wasser und in der Luft („Schwärme von […] Systemen, die in allen möglichen Höhen fliegen und eine Reihe von Missionen ausführen, aufbauend auf dem, was wir in der Ukraine gesehen haben. Sie könnten von größeren Flugzeugen eingesetzt werden, von Truppen an Land oder auf See gestartet werden oder selbst abheben“) und sogar im Weltraum, „wo sie in so großer Zahl ins All geschleudert werden, dass es unmöglich wird, sie alle zu eliminieren oder zu zerstören“.

Das Ziel besteht ausdrücklich darin, Tausende von autonomen Systemen in Flotten und Schwärmen zu bauen und einzusetzen, um mit China konkurrieren zu können. Auch wenn vieles über diese Initiative noch unbekannt ist – und ich denke, es ist noch zu früh, um zu beurteilen, ob und wie sie sich auf die Konfliktrisiken auswirkt – unterstreicht Replicator die unmittelbare und dringende politische Relevanz des Projekts und des Workshops. Das Verteidigungsministerium entwickelt diese Systeme zu Tausenden, extrem schnell und im Rahmen des Wettbewerbs zwischen den USA und China.

Der Workshop

Der erste Teil des Workshops bestand aus einer inoffiziellen Diskussion beim Abendessen mit einem hochrangigen US-Regierungsbeamten. Der zweite Teil des Workshops befasste sich mit den Einzelheiten eines Berichtsentwurfs, den das CNAS den Teilnehmern zur Verfügung gestellt hatte. Thomas Shugart und Paul Scharre leiteten die Diskussionen. (Am nächsten Tag wurde Scharre als einer der TIME 100 Most Influential People in AI benannt.)

Der Berichtsentwurf bildete den Rahmen der Diskussion: 

„In früheren Zeiten militärischer Innovationen, internationaler Spannungen oder einer Kombination dieser oder anderer Faktoren ist es selbst verfeindeten Nationen gelungen, sich auf Regelwerke zu einigen, die Interaktionen standardisieren und steuern, die Kommunikation verbessern und die negativen Auswirkungen neuartiger Waffen und Plattformen abmildern. [Hervorhebung von mir] Die fortschreitende Einführung von autonomen und unbemannten Systemen, insbesondere in Zeiten zunehmender Spannungen zwischen Großmächten, erfordert die Entwicklung analoger Regelwerke und vertrauensbildender Maßnahmen (VBM), um die mit ihrem operativen Einsatz verbundenen Risiken zu mindern. Dieses Projekt zielt darauf ab, realistische und für beide Seiten vorteilhafte Regelwerke und vertrauensbildende Maßnahmen zu entwickeln, die von amerikanischen und internationalen Entscheidungsträgern in Betracht gezogen werden können.

Konkret wurde das Projekt wie folgt geplant:

  • Betrachtung der Entwicklungen über den Zeitraum der nächsten 5-15 Jahre
  • Priorisierung des Luft- und Seeraums (die Diskussion über Unterwassersysteme tauchte wiederholt auf, Wortspiel beabsichtigt)
  • Im Rahmen des Wettbewerbs zwischen den USA und China im indopazifischen Raum: „ein luft- und see-dominierter Schauplatz, in dem beide Akteure (und andere) über Nuklearwaffen verfügen, die die möglichen Folgen einer unbeabsichtigten Eskalation deutlich erhöhen. Zu diesem Wettbewerb gehören auch zwei Nationen, die bei der Entwicklung von künstlicher Intelligenz (KI) und unbemannten Systemen führend sind.“

Außerdem konzentrierte sich das Projekt auf unbemannte Systeme als umfassende Kategorie und nicht ausschließlich auf autonome Systeme. Der Begriff „unbemannt“ bezieht sich daher sowohl auf autonome als auch auf ferngesteuerte Systeme (d. h. Drohnen). Ein Grund dafür, diese Systeme als eine Kategorie zu behandeln, ist, dass ihre Unterscheidung in der Praxis aus der Ferne nicht möglich ist, da der Unterschied nur in der Softwaresteuerung liegt. Entsprechend ist die Unterscheidung für die Einordnung unter Gegnern, die einander nicht vertrauen, auch nicht geeignet. Meiner Meinung nach war diese Entscheidung für den Rahmen größtenteils richtig, auch weil wir erwarten können, dass viele (oder die meisten) zukünftigen ferngesteuerten Systeme über autonome Fähigkeiten verfügen werden, die im Falle von Kommunikationsunterbrechungen online gehen; wie es in dem Papier heißt: „Da sich beide Seiten im Falle eines bewaffneten Konflikts wahrscheinlich darauf konzentrieren werden, die Kommunikation der jeweils anderen Seite zu unterbrechen, wird eine gewisse autonome Fähigkeit notwendig sein, um die Kampfeffektivität sicherzustellen.“ (An diesem Punkt, nachdem ein Konflikt ausgebrochen ist und die Nationen auf die Kommunikation abzielen, werden sich Systeme, die über einige autonome Fähigkeiten verfügen, von denen unterscheiden, die dies nicht tun, da letztere möglicherweise nicht mehr angemessen funktionieren.)

Sowohl in der Diskussion als auch in dem Bericht wurde versucht, eine Reihe von Fragen im Zusammenhang mit vertrauensbildenden Maßnahmen zu beantworten:

  • Welche Informationen sollten zwischen den teilnehmenden Nationen ausgetauscht werden? Zum Beispiel Informationen über die Stationierung oder den Einsatz von autonomen Systemen in umstrittenen oder umkämpften Gebieten.
  • Wie könnten Informationen zwischen den teilnehmenden Nationen ausgetauscht werden? Zum Beispiel durch Kontakte von Militär zu Militär oder eine spezielle Hotline.
  • Wie könnten autonome Systeme ihren Autonomiegrad kommunizieren, z.B. durch standardisierte Signale oder Markierungen?
  • Sollte es bestimmte geografische Gebiete geben, in denen die Nutzung autonomer Systeme gegenseitig eingeschränkt oder verboten ist?
  • Wie sollten wir grundlegendes verantwortungsvolles Verhalten für autonome Systeme definieren?
  • Wie können wir die Ergebnisse von Unfällen oder Beinahe-Unfällen, die durch KI-gestützte autonome Systeme verursacht wurden, teilen?
  • Welche Arten von autonomen Systemen sind für ein internationales Abkommen über autonome Unfälle von größter Bedeutung?
  • Inwieweit muss das akzeptierte Verhalten für bemannte Systeme und Plattformen für autonome Systeme angepasst werden? Reicht es beispielsweise aus, wenn autonome Wasserfahrzeuge das Übereinkommen über die Internationalen Regeln zur Verhütung von Zusammenstößen auf See [bekannt als „COLREGs“] befolgen, um ein verantwortungsvolles Verhalten zu gewährleisten?
  • Welche einseitigen deklaratorischen Erklärungen könnten als Vorläufer für die vollständige Umsetzung internationaler Regeln nützlich sein? Zum Beispiel Staaten, die eine „shoot second“-Haltung kommunizieren, die besagt, dass bewaffnete autonome Systeme nicht zuerst schießen, sondern das Feuer erwidern, wenn auf sie geschossen wird.
  • Sollte die Autonomie von nuklearfähigen Systemen in einzigartiger Weise eingeschränkt werden? Wenn ja, wie? Wie würden solche Beschränkungen mit bestehenden Abkommen zur nuklearen Rüstungskontrolle interagieren? (Es ist anzumerken, dass es keine derartigen bilateralen Abkommen zwischen China und den USA gibt).

In dem Bericht wurden vertrauensbildende Maßnahmen (VBMs) für KI detaillierter behandelt als ich es bisher gesehen hatte. Die meisten früheren Beiträge zu solchen VBMs (z.B. im Abschlussbericht der National Security Commission on AI) bewegten sich auf einer abstrakten Ebene und wiesen auf das Versprechen von VBM-ähnlichen Instrumenten in einem Umfeld hin, in dem formelle Rüstungskontrolle und ein „Verbot“ höchst unwahrscheinlich sind. (Eine Ausnahme bildet ein kürzlich erschienenes Papier, das aus einer Zusammenarbeit zwischen dem Berkeley Risk and Security Lab – das Founders Pledge im Rahmen seines Förderzuschusses zu militärischen KI-Risiken gefördert hat – und OpenAI hervorgegangen ist.)

Das CNAS-Papier verweist auf konkrete Klauseln und Formulierungen in zwei Memoranda of Understanding (MOUs) zwischen den USA und China aus den Jahren 2014 und 2015, den Code for Unplanned Encounters at Sea (CUES), das UN-Seerechtsübereinkommen (UNCLOS) und mehr. Diese Regeln und Vorschriften verweisen in verwirrender Weise aufeinander. So verweist beispielsweise Abschnitt I der Absichtserklärung zwischen den USA und China von 2014 auf Artikel 29 des UNCLOS sowie auf den CUES-Absatz 1.3.3, um zu definieren, was „Militärschiff“ überhaupt bedeutet, und zwar in einer Weise, die unbemannte Systeme von den Definitionen auszuschließen scheint. Dies war die Art von detaillierter Analyse, die wir uns von dem Förderzuschuss erhofft hatten, um eine echte Grundlage für politische Entscheidungsträger zu schaffen, damit sie über die praktischen Aspekte der Aushandlung neuer VBM oder der Änderung bestehender VBM nachdenken können.

Die Diskussion konzentrierte sich dann auf die Stärken und Schwächen des Berichts. Einige Teilnehmer, die kürzlich an einem Track-II-Dialog zwischen den USA und China teilgenommen hatten, berichteten, was ihrer Meinung nach mit China machbar ist und was nicht. Andere, die sich mit der US-Bürokratie oder dem Militär auskannten, tauschten praktische Beobachtungen über die Durchführbarkeit verschiedener vorgeschlagener VBMs aus. Gelegentlich wurde auch die KI-Sicherheit selbst zum Diskussionsthema, einschließlich des Punktes, dass die Teilnehmer über die Auswirkungen der immer leistungsfähigeren KI-Modelle in naher Zukunft nachdenken müssen. Die Diskussion machte deutlich, wie wichtig es ist, diese verschiedenen KI-Risiken als miteinander verbunden und nicht als getrennt zu betrachten.

Der dritte Teil des Workshops konzentrierte sich auf eine Szenarioübung, die von Jacquelyn Schneider von der Hoover Institution geleitet wurde: Wir schreiben das Jahr 2030, und China führt auf den Spratly-Inseln im Südchinesischen Meer militärische Übungen mit scharfer Munition durch. Zur Unterstützung der Philippinen entsenden die USA Schiffe und Flugzeuge, um den Status quo wiederherzustellen und das Völkerrecht in diesem Gebiet zu wahren. Beide Seiten setzen eine beträchtliche Anzahl autonomer Systeme in der Luft und zur See ein; das Szenario erschien realistisch und nahe an einem Krieg. Die Teilnehmer wurden in verschiedene Gruppen eingeteilt und gebeten, sich vorzustellen, wie die Krise verlaufen könnte, je nachdem, welche Arten von VBM vor der Krise eingesetzt worden waren. Wie die Diskussion war auch diese Übung eindeutig dazu gedacht, die Ideen des Berichts zu testen, und ich denke, dass sie mehrere verbesserungswürdige Bereiche aufgedeckt hat.

Nächste Schritte zu KI und Großmachtkonflikten

Wie bereits erwähnt, bemerkte eine Person am Ende des Workshops, dass ihrer Meinung nach an diesem Tag mehr Personenstunden damit verbracht wurden, über vertrauensbildende Maßnahmen für unbemannte/autonome Systeme nachzudenken, als vor dem Workshop insgesamt aufgewendet worden waren. Ich denke, das ist richtig. Ich freue mich darauf, das Projekt weiter zu verfolgen, einschließlich seiner Verankerung in politischen Kreisen – um wirklich etwas zu bewirken und neue Leitplanken zu schaffen, müssen diese Ideen tatsächlich umgesetzt werden. Nach den Teilnehmern des Workshops zu urteilen, denke ich, dass viele der relevanten Entscheidungsträger bereits anwesend waren und nicht nur den Grundstein für eine bessere Politik in Bezug auf autonome militärische Systeme gelegt haben, sondern auch für Sicherheitsfragen bei leistungsfähigerer KI und für einen Wettbewerb zwischen den USA und China, der nicht in einer Katastrophe endet.

Über den Autoren

Avatar von Christian Ruhl

Christian ist Senior Researcher bei Founders Pledge. Christians Arbeit konzentriert sich auf das Verständnis globaler Katastrophenrisiken und vielversprechender Maßnahmen zu ihrer Minderung, einschließlich der Risiken durch Großmachtkonflikte und Massenvernichtungswaffen.

Weitere Blogposts

  • Klima schützen: Rückblick 2023

    Effektiver Klimaschutz in 2023: ein Rückblick auf die Arbeit und Erfolge unserer Top-Empfehlungen im Bereich Klima schützen.

  • Armut bekämpfen: Rückblick 2023

    Ein Rückblick auf die Arbeit und Erfolge unserer Top-Empfehlungen im Bereich Armut bekämpfen im Jahr 2023.

  • Demonstration gegen Rechtsextremismus in München
    Wirksam Spenden zum Schutz unserer Demokratie

    Unsere vorsichtigen Einschätzungen, welche Organisationen in der aktuellen Situation in Deutschland vielversprechend zum Schutz unserer Demokratie beitragen.