Fortgeschrittene KI: Chancen, Risiken und die Rolle der Philanthropie

Hinweis des Effektiv Spenden-Teams: Der folgende Text ist unsere Übersetzung der Zusammenfassung eines Artikels von Founders Pledge. Die externen Links verweisen weitestgehend auf Englische Quellen. Der Originalbeitrag kann auf Englisch hier nachgelesen werden. Die ungekürzte Version findet sich hier.

Kurze Zusammenfassung

Dieser Bericht untersucht die wichtige Rolle, die Philanthropen bei der Sicherstellung vorteilhafter Ergebnisse durch fortgeschrittene KI-Systeme spielen können. Der Bericht umreißt die wichtigsten Fähigkeiten und Risiken von KI-Systemen und hebt die Schlüsselbereiche hervor, in denen Philanthropinnen strategisch einen wesentlichen Einfluss ausüben können, wie z. B. die Stärkung der globalen Widerstandsfähigkeit, die Unterstützung technischer Forschung, die Erleichterung der internationalen Koordinierung und der Aufbau von Regierungskapazitäten zur wirksamen Regulierung von KI.

Zusammenfassung der Ergebnisse

Künstliche Intelligenz (KI) entwickelt sich in rasantem Tempo und bietet ein großes Potenzial zur Verbesserung von Gesundheit, Wohlstand und Wohlbefinden auf der ganzen Welt. Diese Fortschritte sind jedoch auch mit erheblichen Risiken verbunden, insbesondere da die KI-Systeme immer leistungsfähiger und autonomer werden. In diesem Bericht zeigen wir auf, wie die Philanthropie diese Risiken wirksam abmildern und positive Ergebnisse aus fortgeschrittene KI sicherstellen kann. Dieser Bericht gliedert sich in drei Abschnitte:

1. Zunächst fassen wir den gegenwärtigen Stand der KI zusammen und bewerten sowohl ihre Fähigkeiten als auch ihre Risiken.

Wir analysieren, wie Systeme immer fähiger werden und sowohl in ihrer Allgemeinheit als auch in ihrer Leistung zunehmen, mit immer größeren gesellschaftlichen Anwendungen. Darüber hinaus zeigen wir auf, wie die Rate der Verbesserung zunimmt, was darauf hindeutet, dass sich die KI-Entwicklung auf einem exponentiellen Weg befindet. Wir heben hervor, wie diese Trendlinie zu vollständig allgemeinen KI-Systemen auf menschlichem Niveau führen kann, die transformative Auswirkungen haben könnten.

Wir untersuchen dann die Risiken, die mit fortgeschrittenen KI-Systemen verbunden sind, und stellen fest, dass KI (neben anderen Schäden) Massenarbeitslosigkeit verursachen, Fehlinformationen verbreiten, Diskriminierung verschärfen, böswillige Akteure in die Lage versetzen, immensen Schaden anzurichten, und in unvorhersehbarer, unkontrollierbarer Weise mit katastrophalen Folgen handeln könnte.

2. Anschließend betrachten wir die Rolle, die die Philanthropie bei der Abschwächung dieser Bedrohungen spielen kann.

Wir stellen fest, dass große Technologieunternehmen sich mit der Entwicklung fortgeschrittener KI-Systeme beeilen, ohne angemessen in die Bewältigung der Sicherheits- und ethischen Herausforderungen zu investieren, die sie für die Gesellschaft im weiteren Sinne darstellen.

Außerdem stellen wir fest, dass demokratische Regierungen nicht darauf vorbereitet sind, diese Risiken abzumildern, da es ihnen an Fachwissen fehlt und sie anfällig für die Lobbyarbeit der großen Technologieunternehmen sind.

Wir argumentieren, dass angesichts der Grenzen des privaten und öffentlichen Sektors, diese Herausforderungen angemessen zu bewältigen, die Zivilgesellschaft – und insbesondere Philanthropen – sich der Herausforderung stellen müssen. Wir heben hervor, dass Philanthropinnen bereits in der Vergangenheit wichtige Themen im Bereich der neuen Technologien vorangetrieben haben, stellen jedoch fest, dass im Bereich der KI ein starkes Ungleichgewicht besteht: Auf einen US-Dollar, der für die Gewährleistung der Sicherheit von KI-Systemen ausgegeben wird, kommen 250 US-Dollar, die in die Steigerung ihrer Leistungsfähigkeit investiert werden. Außerdem stellen wir fest, dass die Mittel, die für KI-Risiken aufgewendet werden, effektiver eingesetzt werden könnten.

3. Abschließend empfehlen wir, dass Philanthropen, die sich mit fortgeschrittener KI befassen, ihre Bemühungen auf vier Schwerpunktbereiche konzentrieren sollten:

1. Stärkung der globalen Widerstandsfähigkeit, um für den schlimmsten Fall gerüstet zu sein, wenn Präventivmaßnahmen versagen.
2. Unterstützung der technischen Forschung, insbesondere zu offenen Herausforderungen, die von KI-Unternehmen übersehen werden.
3. Erleichterung der Koordinierung, sowohl zwischen Großmächten als auch zwischen führenden KI-Unternehmen.
4. Aufbau von Regierungskapazitäten, um die politischen Entscheidungsträgerinnen in die Lage zu versetzen, die für die Bewältigung der anstehenden Herausforderungen erforderlichen Vorschriften zu erarbeiten.

Wir kommen zu dem Schluss, dass es eine Vielzahl von Maßnahmen gibt, die Geldgeber ergreifen können, um sicherzustellen, dass fortgeschrittene KI sicher und nutzbringend entwickelt und eingesetzt wird. Wir argumentieren, dass bedeutsame Fortschritte bei der KI durch ehrgeizige, strategische und mutige Interventionen von Philanthropen gemacht werden können und gemacht werden müssen.

Einleitung: Wie sieht Erfolg aus?

An einem durchschnittlichen Tag sterben etwa 16.000 Kinder bevor sie ihren fünfzehnten Geburtstag erreichen. Oft sind solche Tragödien auf Krankheiten zurückzuführen, die leicht zu behandeln sind. Die Mehrheit der Weltbevölkerung lebt von weniger als 10 US-Dollar pro Tag – während die obersten 1 % der Verdiener ein Fünftel des gesamten weltweiten Reichtums mit nach Hause nehmen. In der Zwischenzeit werden täglich Hunderte von Millionen von Tieren getötet, von denen die große Mehrheit ihr ganzes Leben in Massentierhaltung verbringt. Und die durchschnittlichen Globaltemperaturen sind in den letzten Jahrzehnten in die Höhe geschnellt, was für Milliarden von Menschen Tod und Zerstörung bedeuten wird.

Fortgeschrittene KI-Systeme könnten – wenn sie sicher entwickelt und behutsam eingesetzt werden – Fortschritte bei diesen Problemen erzielen. Das Wirtschaftswachstum könnte dramatisch ansteigen und Millionen Menschen aus der Armut befreien. Fortgeschrittene Modelle der menschlichen Biologie könnten rasche medizinische Innovationen hervorbringen und die meisten menschlichen Krankheiten beseitigen, während technologische Durchbrüche bei der Energieerzeugung durch beschleunigte Forschung und Entwicklung dramatische Verbesserungen zur Eindämmung des Klimawandels ermöglichen könnten. Wenn wir es richtig anstellen, werden diese positiven Entwicklungen nicht nur einer kleinen Minderheit zugute kommen, sondern allen. Eine tiefgreifende Verbesserung der menschlichen Lebensbedingungen würde eintreten. Und das ist die untere Grenze dessen, was möglich ist.

Fortschritt ist jedoch nur möglich, wenn wir zuerst die Risiken beherrschen. Daher glauben wir, dass die größte Wirkung durch Minimierung der Risiken erzielt werden kann, um die Chancen zu maximieren. Gerade wegen des Potenzials der KI müssen wir auf ihre Gefahren achten.

Der aktuelle Stand der KI

In den letzten Jahren sind das Interesse und die Investitionen in KI explosionsartig gestiegen. Ende 2022 wurde ChatGPT die am schnellsten wachsende Verbraucheranwendung der Geschichte und erreichte 100 Millionen Nutzerinnen in nur zwei Monaten. Die Investitionen in generative KI sind drastisch gestiegen und werden 2023, 25 Milliarden US-Dollar erreichen. Im Folgenden untersuchen wir die zugrunde liegenden Trends, die den dramatischen Anstieg der KI vorantreiben, überlegen, wohin sie uns führen könnte, und analysieren die gesellschaftlichen Risiken, die sie mit sich bringt.

Fähigkeiten

In den letzten Jahren hat sich die Leistung von KI-Modellen außerordentlich gesteigert. Bei vielen Aufgaben sind die Leistungen von KI-Systemen inzwischen mit denen von Menschen vergleichbar, und die Geschwindigkeit, mit der sie sich verbessern, nimmt zu.

Diese schnellen Leistungssteigerungen sind in erster Linie auf das Trainieren immer größerer KI-Modelle ^[1] zurückzuführen. Tatsächlich hat sich die Größe der Modelle an der Grenze der Leistungsfähigkeit in den letzten Jahrzehnten dramatisch erhöht, wobei sich die Größe der fortgeschrittensten Systeme alle 10 Monate verdoppelt hat.

Die folgenden Abbildungen zeigen, wie diese Modelle mit zunehmender Größe (gemessen an der Anzahl der Parameter) neue Fähigkeiten freisetzen und sich in bestehenden Bereichen verbessern.

Wenn sich KI-Systeme in Bezug auf Leistung und Allgemeinheit weiter verbessern, könnten sie schließlich die menschlichen Fähigkeiten erreichen und sogar übertreffen. Wenn sich die derzeitigen Trends fortsetzen, könnte hochentwickelte künstliche allgemeine Intelligenz zu einem bestimmten Zeitpunkt in den nächsten Jahrzehnten oder sogar in den nächsten Jahren entwickelt und eingesetzt werden. Eine solche Aussicht bietet sowohl tiefgreifende Chancen als auch äußerst beunruhigende Risiken.

Risiken

Hochentwickelte KI kann zwar von großem Nutzen sein, ist aber auch nicht ohne Gefahr. KI-Systeme könnten den Lebensunterhalt von Arbeitnehmerinnen bedrohen, Fehlinformationen verbreiten, Diskriminierung verschärfen, böswilligen Akteuren die Möglichkeit geben, Schaden anzurichten und auf unvorhersehbare, unkontrollierbare Weise zu handeln.^[2] Es gibt ein ganzes Spektrum von Risiken, von denen, mit denen die Gesellschaft bereits heute konfrontiert ist, bis hin zu solchen, die in nicht allzu ferner Zukunft katastrophale Risiken darstellen könnten.

Störung des Arbeitsmarktes

Fortgeschrittene KI-Systeme werden die Arbeitswelt erheblich verändern, was sowohl positive als auch negative Auswirkungen haben kann. Einerseits kann die KI viele mühsame Aufgaben automatisieren, so dass die Arbeitnehmer mehr Zeit für wertvollere Projekte haben. Andererseits können ganze Arbeitsplätze automatisiert werden, was für die große Mehrheit der Arbeitnehmerinnen mit erheblichen Kosten verbunden ist, während eine kleine Minderheit außerordentliche wirtschaftliche Gewinne erzielt.

Verschlechterung des Informationsumfelds

Grenzwertige KI-Systeme können bereits realistische Bilder, Videos und Text erzeugen. Solche Systeme sind in der Lage, falsche oder irreführende Informationen zu erstellen und zu verbreiten und können so Schaden anrichten. In dem Maße, wie die KI-Fähigkeiten zunehmen, können sie Probleme wie Gewalt, Glaubwürdigkeit der Online-Medien, Krisen im öffentlichen Gesundheitswesen und politische Parteilichkeit verschlimmern.^[3] In Zukunft könnten solche Schäden das Ausmaß erreichen, dass sie die allgemeine epistemische Sicherheit untergraben – und damit einen Risikofaktor für katastrophale Resultate bilden.

Voreingenommenheit, Fairness und Repräsentationsschäden

KI-Systeme können bestehende Vorurteile, Ungerechtigkeit und Diskriminierung aufrechterhalten. Das liegt daran, dass KI-Systeme die Daten widerspiegeln, auf denen sie trainiert wurden, und somit die in den Trainingsdaten vorhandenen Vorurteile imitieren – dieselben Vorurteile, die auch in der breiteren Gesellschaft zu finden sind. Aufgrund der undurchsichtigen Natur aktueller KI-Systeme sind Vorurteile oft tief verankert und schwer zu beseitigen. Daher können KI-Systeme lang anhaltende Auswirkungen auf Ungerechtigkeit und Diskriminierung in der Gesellschaft haben.

Missbrauch

KI-Systeme könnten von bösen Akteuren mit katastrophalen Folgen missbraucht werden. So könnten böswillige Akteurinnen beispielsweise KI-Systeme nutzen, um neuartige, hochtödliche Viren zu entwickeln oder bösartige Software zu schreiben, die in der Lage ist, kritische Infrastrukturen zu stören – was wiederum Leben oder Existenzgrundlagen in großem Umfang bedrohen könnte. In dem Maße, wie KI-Systeme leistungsfähiger und weiter verbreitet werden (z. B. durch die Veröffentlichung von Open-Source-Software), wird die Zahl der Akteure, die Zugang zu diesen Fähigkeiten haben, zunehmen. Mit niedrigeren Eintrittsbarrieren steigt die Wahrscheinlichkeit, dass ein solches Ereignis eintritt.

Kontrollverlust

Fortgeschrittene KI-Systeme können in hohem Maße unvorhersehbar und unkontrollierbar sein, was eine wirksame Überwachung schwierig macht.

Wenn sich KI-Systeme weiter entwickeln, könnten sie schließlich in der Lage sein, die menschliche Leistung in einer Vielzahl von Bereichen zu übertreffen. Gleichzeitig könnten solche Systeme eingesetzt werden, um unabhängig weitreichende, komplexe Ziele zu verfolgen (aufgrund der wirtschaftlichen Vorteile, die dies mit sich bringt). In einer solchen Welt wird es schwer zu beurteilen sein, ob KI-Systeme das ursprünglich beabsichtigte Ergebnis verfolgen. Stattdessen könnten sie ein Ersatzziel verfolgen, das das Ziel nur oberflächlich erreicht – und damit eine Fehlanpassung erzeugt. Schlimmer noch, diese Fehlausrichtung kann den Personen, die für die Überwachung dieser KI-Systeme verantwortlich sind, verborgen bleiben. Wenn KI-Systeme hochgradig leistungsfähig und zielorientiert werden und dabei Ziele verfolgen, die nicht beabsichtigt waren, wird die menschliche Aufsicht unmöglich. In einer solchen Situation könnten uns leistungsstarke KI-Systeme, die auf eigene Faust arbeiten, in eine Katastrophe führen. Auch wenn die Wahrscheinlichkeit des Eintretens dieses Risikos umstritten ist, sind wir der Meinung, dass die potenziellen Schäden groß genug sind, um eine erhebliche philanthropische Aufmerksamkeit zu rechtfertigen.

Insgesamt besteht ein breiter Konsens darüber, dass die Abschwächung von Risiken durch fortgeschrittene KI-Systeme – bis hin zum Aussterberisiko – erhebliche Aufmerksamkeit verdient, neben anderen Risiken mit gesellschaftlichem Ausmaß wie Pandemien und Atomwaffen.

Die Rolle der Philanthropie bei der positiven Steuerung fortgeschrittener KI

Philanthropen können aktiv dazu beitragen, dass die fortgeschrittene KI zu positiven Ergebnissen führt, indem sie die globale Widerstandsfähigkeit stärken, die internationale Koordinierung erleichtern, staatliche Kapazitäten aufbauen und die technische Forschung beschleunigen. Kluge Philanthropen haben eine wichtige Rolle bei der Unterstützung dieser Bemühungen und können dort aktiv werden, wo Big Tech und Regierungen das Ziel verfehlen.

Große Technologieunternehmen haben einen Anreiz, unverantwortlich zu handeln

Während die KI-Unternehmen mit der Entwicklung leistungsfähiger KI-Systeme enorme Gewinne erzielen werden, werden die Kosten, die diese Systeme verursachen, von der Gesellschaft insgesamt getragen. Bei diesen Kosten handelt es sich um negative externe Effekte, wie sie der Öffentlichkeit von Chemieunternehmen auferlegt werden, die Flüsse verschmutzen, oder von großen Banken, deren Ausfall systemische Risiken birgt.

Außerdem neigen Unternehmen, die sich in einem harten Wettbewerb um die Entwicklung von KI-Systemen befinden, eher dazu, in einem Wettlauf um die niedrigsten Preise zu sparen. In einem solchen Wettlauf werden selbst wohlmeinende Unternehmen immer weniger Ressourcen zur Verfügung haben, um die Schäden und Bedrohungen, die ihre Systeme verursachen, zu bekämpfen. Natürlich können KI-Firmen einige Maßnahmen ergreifen, um die von ihren Produkten ausgehenden Risiken zu mindern^[4] – aber es gibt gut untersuchte Gründe für den Verdacht, dass sie zu wenig in solche Sicherheitsmaßnahmen investieren.

Regierungen sind auf KI-Risiken unvorbereitet

Wenn der Privatsektor nicht in der Lage ist, gesellschaftliche Herausforderungen zu bewältigen, ist es die Aufgabe der Regierung, einzugreifen. Im Falle des KI-Risikos gibt es jedoch mehrere Gründe für die Vermutung, dass ein solches Eingreifen nicht ausreichen wird, um die Bedrohungen zu bewältigen:

Politische Kurzsichtigkeit: In demokratischen Regierungen müssen die Politiker die Forderungen der Wähler erfüllen, um gewählt zu werden. Der Druck der Wähler kann dazu führen, dass kurzfristigen Ergebnissen Vorrang vor einer soliden langfristigen Politik eingeräumt wird.

Begrenzte technische Kapazitäten: Den Regierungen fehlt es an technischem Fachwissen, um KI-Systeme zu verstehen – und damit wirksam zu regulieren.^[5]

Regulatorische Vereinnahmung: Unter anderem aufgrund mangelnder Kapazitäten können Regierungen Zielscheibe für die Vereinnahmung durch große Technologieunternehmen sein, die KI-Systeme entwickeln (und daher in der Lage sind, politische Maßnahmen in ihrem eigenen Interesse durchzusetzen).

Regierungen haben eine wichtige Rolle zu spielen – aber es gibt zwingende Gründe, die dafür sprechen, dass sie schlecht gerüstet sein könnten. Philanthropen können sicherstellen, dass sie die nötige Unterstützung und Beratung erhalten.

Philanthropen haben bereits eine Schlüsselrolle bei der Entwicklung neuer Technologien gespielt und können dies auch weiterhin tun

Angesichts des Ausmaßes und der Komplexität der Herausforderungen im Bereich der künstlichen Intelligenz kann es schwierig sein, zu erkennen, wie man einen positiven Einfluss ausüben kann. Kluge Geldgeber haben jedoch schon früher bei gefährlichen neuen Technologien einen entscheidenden Unterschied gemacht und können dies auch wieder tun.

In den 1980er Jahren schlugen die Carnegie – und MacArthur-Stiftungen Alarm wegen „loose nukes“ – der Gefahr, dass Atomwaffen nach dem Zusammenbruch der Sowjetunion in gefährliche Hände fallen könnten. Darüber hinaus finanzierten sie die Entwicklung des Cooperative Threat Reduction Program, das vom US-Kongress verabschiedet wurde, um diesem Problem zu begegnen. Infolgedessen wurden Tausende von Atomsprengköpfen außer Dienst gestellt. Es ist sehr gut möglich, dass die US-Regierung ohne ihr Eingreifen das Problem der „losen Atomsprengköpfe“ nicht in den Griff bekommen hätte.

Das Beispiel von Carnegie und MacArthur zeigt, dass Philanthropen eine entscheidende Rolle bei der Abmilderung großer Risiken durch neue Technologien spielen können. Wir glauben, dass dasselbe auch für die Risiken fortgeschrittener KI gelten kann, wenn Philanthropen ihre Spenden mit Bedacht und Strategie einsetzen.

Für jeden 1 US-Dollar, der für die Sicherheit von KI-Systemen ausgegeben wird, werden 250 US-Dollar in die Steigerung ihrer Leistungsfähigkeit investiert

Wenn sowohl der private als auch der öffentliche Sektor bei der Lösung eines gesellschaftlichen Problems versagen, kommt der Philanthropie oft eine wichtige Rolle zu. Im Falle der Abschwächung von KI-Risiken ist die Finanzierung durch die Philanthropie jedoch besorgniserregend gering. McAleese (2023) schätzt, dass die KI-Sicherheit in den letzten Jahren etwa 100 Mio. $/Jahr an philanthropischer Unterstützung erhalten hat. Zum Vergleich: Für den Klimawandel geben Philanthropen etwa 3 Milliarden US-Dollar aus – etwa 30 Mal mehr als für die KI-Risikominderung.^[6]

In der Zwischenzeit wurden im Jahr 2023 etwa 60 Milliarden US-Dollar in die Entwicklung von KI investiert^[7] wobei etwa 24 Milliarden US-Dollar an der Grenze der Möglichkeiten liegen.^[8] Das bedeutet, dass für jeden US-Dollar, der für die Gewährleistung der Sicherheit von KI-Systemen ausgegeben wird, ~250 US-Dollar in die Verbesserung ihrer Fähigkeiten investiert werden.

Vorhandene Spendengelder könnten effektiver eingesetzt werden

Es gibt mehrere Gründe für die Vermutung, dass die bestehende philanthropische Landschaft in Bezug auf KI-Risiken verbessert werden könnte.

1. Hohe Zentralisierung: Mindestens 80 % der Finanzmittel für die Bewältigung von Risiken durch fortgeschrittene KI stammen von zwei Geldgebern.^[9] Bei einer so hohen Konzentration hätte der Zusammenbruch eines der beiden Geldgeber erhebliche Kosten zur Folge. Außerdem gibt es nur einen begrenzten Wettbewerbsdruck auf die Geldgeber, um vielversprechende Finanzierungsmöglichkeiten für KI-Risiken zu finden.

2. Begrenzte Kapazitäten: Zuschussgebern für KI-Risiken fehlt die Kapazität, potenzielle Zuschüsse zu bewerten, was den Einsatz von Finanzmitteln in diesem Bereich verlangsamt.^[10]

3. Interessenkonflikte: Bestehende Förderer, die sich mit den Risiken fortgeschrittener KI-Systeme befassen, haben enge Verbindungen zu KI-Firmen und KI-Sicherheitsorganisationen. Solche Verbindungen können einen potenziellen Interessenkonflikt darstellen, der die Unparteilichkeit von Finanzierungsentscheidungen beeinträchtigen könnte.

4. Geografische Voreingenommenheit: Die bestehenden Geldgeber sind fast ausschließlich in den USA ansässig und konzentriert. Während die Vereinigten Staaten potenziell von größter Bedeutung für die KI sind, kann die Spezialisierung auf diesen geografischen Raum dazu führen, dass andere hocheffektive, aber vernachlässigte Möglichkeiten in anderen Ländern außer Acht gelassen werden.

5. Voreingenommenheit gegenüber Regierungen: Die meisten Geldgeber, die auf fortgeschrittene KI abzielen, haben sich in der Vergangenheit eher auf technische als auf politische Lösungen konzentriert.^[11] Aber Regierungen spielen eine zunehmende Rolle bei der Regulierung von KI-Risiken.

Prioritäten für wirkungsorientierte Philanthropen

In diesem Abschnitt skizzieren wir eine Strategie für die Vergabe von Zuschüssen, die sich auf alle vorangegangenen Abschnitte stützt.^[12] Wir empfehlen:

1. Stärkung der globalen Widerstandsfähigkeit, um für den schlimmsten Fall gerüstet zu sein, wenn Präventivmaßnahmen versagen.
2. Unterstützung der technischen Forschung, insbesondere zu offenen Herausforderungen, die von KI-Unternehmen übersehen werden.
3. Erleichterung der Koordinierung, sowohl zwischen Großmächten als auch zwischen führenden KI-Unternehmen an der Front.
4. Aufbau von Regierungskapazitäten, um die politischen Entscheidungsträger in die Lage zu versetzen, die für die Bewältigung der anstehenden Herausforderungen erforderlichen Vorschriften zu erarbeiten.

Globale Widerstandsfähigkeit

Wir empfehlen Maßnahmen, die für den schlimmsten Fall geplant sind, d. h. Maßnahmen, die wirksam sind, wenn Präventivmaßnahmen das Auftreten von KI-Bedrohungen nicht verhindern können. Zur Konkretisierung skizzieren wir einige potenzielle Maßnahmen, die die Widerstandsfähigkeit gegen KI-Risiken erhöhen.

Entwicklung von Notfallplänen: Sicherstellen, dass es klare Pläne und Protokolle für den Fall gibt, dass ein KI-System ein unannehmbar hohes Risiko darstellt.^[13] Eine solche Planung könnte analog zur Planung in anderen Bereichen erfolgen, z. B. bei der Pandemievorsorge oder bei nuklearen Kriegsspielen.

Robuste Abschaltmechanismen: Investitionen in Infrastruktur und Planung, um die Abschaltung von KI-Systemen in Szenarien zu erleichtern, in denen sie ein unannehmbar hohes Risiko darstellen.

Stärkung der psychologischen Abwehrkräfte: Über den Schutz der physischen Infrastruktur hinaus sollten Sie in die Vorbereitung der Menschen auf die Abwehr von Überredung und Manipulation durch KI-Systeme investieren.^[14]

Bewältigung bestehender Bedrohungen: Auch ohne fortgeschrittene KI gibt es bereits Bedrohungen, die Anlass zu großer Sorge geben – wie Pandemien und Atomkrieg. Es ist plausibel, dass fortgeschrittene KI-Systeme eingesetzt werden können, um über diese bestehenden Bedrohungswege Schaden anzurichten. Um die Widerstandsfähigkeit gegenüber KI-Risiken zu erhöhen, sollten wir uns daher auch mit anderen Bedrohungen befassen.

Es gibt mehrere Gründe für die Vermutung, dass Resilienz ein vielversprechender Ansatz ist:

• Resilienz ist bedrohungsunabhängig: Interventionen, die die globale Resilienz erhöhen, bieten Schutz vor einer Vielzahl von Bedrohungen. So kann die Einschränkung des Einsatzes von KI in Bereichen, in denen viel auf dem Spiel steht (z. B. bei nuklearen oder biologischen Waffen), sowohl zur Verringerung der Verschärfung bestehender Risiken als auch zur Bekämpfung neuer KI-Bedrohungen beitragen.
• Investitionen in Resilienz kompensieren die Schwerpunktbereiche anderer Geldgeber: Wie bereits erwähnt, haben der Markt, die Regierungen und die bestehenden Philanthropen verschiedene Vorurteile, die sie dazu veranlassen, in eine begrenzte Anzahl von Prioritäten zu investieren – wie z.B. in bestimmte Governance-Mechanismen und Forschungsrichtungen. Daher sollten sich Philanthropen auf Welten vorbereiten, in denen diese Prioritäten versagen, um das Eintreten von Risiken zu verhindern.

Neue Forschungsansätze zur Bewältigung ungelöster Sicherheitsfragen

Wir empfehlen die Finanzierung von noch nicht ausreichend erforschten Forschungsansätzen zur Bewältigung der wichtigsten Herausforderungen beim Aufbau sicherer KI-Systeme. Insbesondere konzentrieren wir uns auf Fragen im Zusammenhang mit Fehlausrichtung und insbesondere „innerer Fehlausrichtung“,^[15] da wir dies als eine kritische, aber ungelöste technische Herausforderung ansehen. Wir glauben, dass diese Herausforderung aus drei Gründen vorrangig behandelt werden sollte:

Fortgeschrittene KI-Systeme könnten schwer auszurichten und zu kontrollieren sein, mit möglicherweise katastrophalen Folgen.

Fortgeschrittene KI-Systeme können falsch ausgerichtet sein – das heißt, sie haben Ziele, die sich von denen ihrer Nutzer unterscheiden.^[16] Wenn diese zukünftigen Systeme die menschlichen Fähigkeiten in einer Vielzahl von Bereichen übertreffen, könnte dies zu katastrophalen Schäden für die Gesellschaft führen, wenn diese Systeme ihre eigenen Ziele verfolgen. So könnten Ausfälle bei der Anpassung zu den größten zu erwartenden Schäden führen.

KI-Unternehmen sind nicht auf dem richtigen Weg, um die wichtigsten Ausrichtungsprobleme zu lösen – und sie haben auch nicht genügend Anreize, dies zu tun.

Einige KI-Unternehmen – wie OpenAI, Anthropic und Google DeepMind – haben Forschungsanstrengungen zu KI-Sicherheitsfragen unternommen. In jüngster Zeit ist es jedoch zu Rückschritten bei diesen Verpflichtungen gekommen, da einige große Labors ihre Sicherheitsteams mit zu wenig Ressourcen ausgestattet haben. Selbst in den Fällen, in denen die Sicherheitsforschung unterstützt wurde, hat sie oft nur oberflächlich dazu beigetragen, Produkte sicherer zu machen, wobei der Rentabilität Vorrang vor einem ernsthafteren Umgang mit Risiken eingeräumt wurde.^[17] Dies lässt eine große Anzahl ungelöster Probleme bei der Anpassung und Kontrollierbarkeit offen.^[18] Die Verfolgung dieser Forschungspläne kann dazu beitragen, Lücken in den bestehenden Forschungsrichtungen der KI-Labors auszugleichen.

Mechanismen für die Koordinierung zwischen globalen Mächten und zwischen KI-Pionierunternehmen

Schließlich empfehlen wir Anstrengungen zur Erleichterung der Koordinierung zwischen den wichtigsten Akteuren bei der Entwicklung fortgeschrittener KI. Konkret geht es um Folgendes:

1. Internationale Koordinierungsbemühungen, mit besonderem Schwerpunkt auf kritischen Beziehungen wie der Zusammenarbeit zwischen den USA und China.
2. Corporate-Governance-Maßnahmen, um einen „Wettlauf nach unten“ zwischen KI-Pionierunternehmen zu verhindern.

Koordinierungsmechanismen könnten viele Formen annehmen, darunter Verträge, Erklärungen und Briefe, um Einigkeit zu signalisieren,^[19] die gemeinsame Entwicklung, Umsetzung und Durchsetzung von Vorschriften,^[20] oder Dialoge,^[21] neben anderen Vorschlägen. Wir halten die Koordinierung aus zwei wesentlichen Gründen für unerlässlich:

KI-Risiken sind in erster Linie auf Koordinationsfehler zurückzuführen

Bei unserer Analyse der Risiken zeigt sich, dass selten ein einzelner Akteur einseitig eine Katastrophe verursacht; stattdessen werden Bedrohungen oft durch eine multipolare Dynamik zwischen den Akteuren angetrieben. Dies gilt für mehrere Bedrohungen:

1. Gesellschaftliche Schäden: Wenn nicht eingegriffen wird, könnte die Entwicklung von KI dazu führen, dass eine kleine Anzahl von Akteuren auf Kosten der Gesellschaft große Mengen an Reichtum und Macht erlangt. Bevor leistungsfähige KI-Systeme entwickelt werden, sind gemeinsame Verpflichtungen zwischen den betroffenen Parteien erforderlich, damit nicht eine Partei später viel Macht oder Reichtum anhäufen kann.

2. Missbrauch: Eine der Hauptursachen für Missbrauchsrisiken ist die Massenverbreitung von gefährlichen Fähigkeiten. Die Koordinierung zwischen den wichtigsten Akteuren kann dazu beitragen, eine solche Massenverbreitung zu verhindern.

3. Verlust der Kontrolle: Wenn KI-Unternehmen in einem Wettlauf um den Einsatz von KI-Modellen sind, haben sie weniger Zeit, um vorsichtig zu handeln und in angemessene Sicherheitsmaßnahmen zu investieren.^[22] Eine ähnliche Dynamik kann zwischen Nationalstaaten auftreten, was zu einem „Wettlauf nach unten“ bei den Sicherheitsmaßnahmen führen kann.

Die Koordinierung dürfte mit der Zeit immer schwieriger werden

Die Koordinierungsprobleme werden durch die ständig sinkenden Kosten für den Aufbau von KI-Systemen noch verschärft. Zusätzlich zu den an der Grenze fortschreitenden KI-Fähigkeiten gibt es immer mehr Akteure, die leistungsstarke KI-Systeme entwickeln (z. B. über Open Source). Daher muss unbedingt eine Koordinierung zwischen den wichtigsten bestehenden Akteuren sichergestellt werden, bevor eine globale Zusammenarbeit nicht mehr möglich ist.

Förderung der Fähigkeit von Regierungen, neue Technologien zu verstehen

Trotz der großen Bedeutung, die die Regierungen der Abschwächung der von der KI ausgehenden Risiken beimessen, gibt es nach wie vor eine Vielzahl ungelöster politischer Fragen. Darüber hinaus sind die Regierungen und ihre Bürokratien durch Gridlock und Verfall beeinträchtigt, so dass sie nicht in der Lage sind, diese Fragen effektiv zu beantworten.

Daher empfehlen wir, die Fähigkeit der Regierungen, KI zu steuern, zu erhöhen. Diese Fähigkeit könnte durch eine Reihe von Maßnahmen gestärkt werden, wie z.B. die Unterstützung von Top Experten innerhalb der Regierung; die Bereitstellung von fundierter externer Politikberatung und Empfehlungen; oder Beratungsarbeit um Regierungen zu wirksamen Sicherheitsmaßnahmen bei politischen Entscheidungen zu verpflichten.

Wir glauben, dass die Unterstützung von Regierungen aus vier Gründen finanziert werden sollte:

Regierungen verfügen über einzigartige Befugnisse zur Eindämmung von KI

Philanthropen allein können KI-Risiken nicht abmildern – nationale Regierungen verfügen über einzigartige Befugnisse, wie z. B. die Fähigkeit, rechtlich bindende Politiken umzusetzen und die nationale Sicherheit zu gewährleisten. Diese Macht bedeutet, dass Philanthropen mit den Regierungen zusammenarbeiten müssen, wenn sie viele der wichtigsten Maßnahmen einführen wollen.

Staatliche Mittel können für wirkungsvolle Möglichkeiten eingesetzt werden

Die Regierungen verfügen nicht nur über einzigartige Befugnisse, sondern auch über erhebliche finanzielle Mittel. Es gibt Anzeichen dafür, dass die Regierungen bestrebt sind, einige Ressourcen in Richtung KI zu lenken, auch im Hinblick auf ihre potenziellen Risiken.^[23] Allerdings sind diese Ressourcen möglicherweise nicht strategisch ausgerichtet. Daher besteht eine Strategie darin, Ressourcen in vorteilhafte Richtungen zu lenken, und zwar durch die Interessenvertretung und das Engagement von Dritten gegenüber der Regierung.

Regierungen sind unzureichend für den Umgang mit KI-Risiken gerüstet

Den Regierungen fehlt manchmal das nötige Fachwissen, um KI-Risiken abzumildern. Dies macht sie anfällig für die Lobbyarbeit großer Technologieunternehmen, die über beträchtliche Ressourcen verfügen, um politische Maßnahmen durchzusetzen, die ihren kommerziellen Interessen entgegenkommen. Um dies zu bekämpfen, spielen Philanthropen eine wichtige Rolle, sowohl bei der Unterstützung zivilgesellschaftlicher Organisationen als auch bei der Weiterbildung von Regierungsbeamten in wichtigen politischen Fragen.

Schlussfolgerung

Fortgeschrittene KI-Systeme könnten die Zivilisation grundlegend verändern, und zwar in einem Ausmaß, das alle bisherigen Technologien übertrifft. Solche Technologien werden wahrscheinlich innerhalb der Lebenszeit vieler Menschen auf der Erde entwickelt – und vielleicht sogar noch in diesem Jahrzehnt.

Dieser Bericht soll dabei helfen, sich in einer hochkomplexen, sich rasch verändernden Landschaft zurechtzufinden, wobei der Schwerpunkt darauf liegt, wie sich die Risiken am besten verringern lassen. Unsere übergreifende Erkenntnis ist, dass diese Herausforderungen trotz ihrer Komplexität nicht unüberwindbar sind. Es gibt eine breite Palette von Maßnahmen, die man ergreifen kann, um die Risiken zu verringern – von der technischen Forschung, die sicherstellt, dass KI-Systeme beherrschbar sind, bis hin zu politischen Bemühungen, die sicherstellen, dass die Regierungen für den Umgang mit den Risiken gerüstet und koordiniert sind. Wir glauben, dass bedeutende Fortschritte durch ehrgeizige, strategische und mutige Interventionen von Philanthropen gemacht werden können und müssen.

Über den Autor

Tom Barnes

Gastautor

Tom kam im September 2021 als Forscher zu Founders Pledge. Er studierte Philosophie, Politik und Wirtschaft in Warwick, bevor er ein Praktikum bei Rethink Priorities absolvierte, wo er zu verschiedenen Zukunftsthemen forschte. Im Jahr 2024 wurde Tom als Experte für KI-Politik an die britische Regierung abgeordnet. Außerhalb der Arbeit genießt er philosophische Gespräche, Landkarten und Katzen.