Der Code of Practice: Ein Erfolg für sichere KI? (Spoiler: Ja)

Was ist der Code of Practice?

Der General-Purpose AI Code of Practice der EU KI-Verordnung (kurz: Code of Practice) ist seit dem 2. August 2025 in Kraft. Er definiert Leitlinien für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck (GPAI). Die Leitilinien geben den Anbietern eine vereinfachte, standardisierte Möglichkeit zu beweisen, dass sie mit der Gesetzgebung der EU KI-Verordnung konform sind. Unterschreiben die Anbieter diesen Code of Practice nicht, sind sie verpflichtet, dies selbst nachzuweisen, was deutlich komplizierter und kostenaufwändiger ist. Können die Anbieter keinen Nachweis erbringen, dürfen sie ihr KI-System nicht innerhalb der EU anbieten.

Relevanz für katastrophale Risiken

Wir bei Effektiv Spenden sind besonders besorgt über mögliche katastrophale Risiken durch KI. In Bezug darauf sind die Abschnitte des Code of Practices zu KI-Modellen mit systemischen Risiken besonders relevant. Als solche sind Modelle ab einer gewissen Größe definiert. Sie schließen die GPT-Modelle von OpenAI, die hinter ChatGPT stehen, oder auch die Grok-Modelle von Elon Musks xAI ein. 

Die Anbieter solcher KI-Modelle haben laut dem Code of Practices eine Reihe von Pflichten, die im „Safety and Security“ Abschnitt des Code of Practices geregelt sind. Zum einen müssen sie mögliche Risiken durch ihr Modell identifizieren. Dazu gehören:

• Chemische, biologische, radiologische und nukleare Risiken. Dies zielt insbesondere darauf ab, dass KI-Modelle nicht von Terroristen eingesetzt werden können, um gefährliche Waffen zu bauen.
• Kontrollverlust: Die Möglichkeit, dass ein KI-System nicht mehr den Anweisungen der Nutzer befolgt und selbstständig tätig wird.
• Cyberangriffe: Die Verwendung von KI-Systemen, um Cyberattacken, insbesondere auf kritische Infrastruktur, durchzuführen.
• Manipulation: Das Risiko, dass KI-Systeme zur flächendeckenden Beeinflussung von Menschen verwendet werden.

In einem nächsten Schritt müssen die Anbieter analysieren, inwiefern ihre Modelle diese Risiken ermöglichen und im Zweifelsfall Schutzmaßnahmen implementieren. Ein Beispiel für solche Analysen sind sogenannte „Model Evaluations“ (kurz: Evals), die KI-Modelle auf ihre Fähigkeiten testen. Einer der ersten Entwickler von Evals war METR, die wir in der Vergangenheit gefördert haben. Auf der Basis solcher Evaluationen sollen dann Wahrscheinlichkeiten dafür abgeleitet werden, dass diese Fähigkeiten in der freien Wildbahn zu Schaden führen werden.

Warum dies ein Erfolg für sichere KI ist

An der Ausarbeitung des Code of Practices war eine breite Gruppe an Stakeholdern aus der KI-Industrie, Forschung und der Zivilgesellschaft beteiligt. Darunter waren auch Organisationen, die wir aus unseren Spendenfonds „Zukunft Bewahren“ und „KI sicher gestalten“ unterstützt haben, wie etwa SaferAI. Henri Papadatos, Geschäftsführer von SaferAI, nennt den Code of Practice einen Erfolg. Dies sei allein daher der Fall, dass durch diesen GPAI überhaupt reguliert wird, was lange kontrovers war. Wenn KI-Modelle bereits im Umlauf sind und in den Händen von Anwendern gelandet sind, kann es zu spät sein, Risiken zu verhindern. Daher ist es wichtig, diese am Beginn der Wertschöpfungskette zu kontrollieren.

Erfreulicherweise haben auch die meisten der großen KI-Firmen den Code of Practice unterschrieben, darunter OpenAI, Anthropic, Microsoft, Google, die französische Firma Mistral sowie die deutsche Aleph Alpha. (Wie zu erwarten jedoch nicht Meta, die im Allgemeinen für einen laxen Umgang mit KI-Sicherheit stehen – Mark Zuckerberg scheint sich auch hier seinem Motto „move fast and break things“ treu geblieben zu sein).

Dass die Firmen sich kooperativ zeigen, ist auch ein wichtiges Signal dafür, dass die Regulierung von KI funktionieren kann. In diesem Sinne könnte die KI-Verordnung eine Blaupause für andere Gesetzgeber sein – der sogenannte „Brüssel-Effekt“. Für diesen gibt es erste Anzeichen: So gibt es signifikante Überschneidungen zwischen KI-Regulierung im US-Bundesstaat Colorado und der EU KI-Verordnung.

Man könnte befürchten, dass die Firmen den Code of Practice nur unterschreiben, da er nur Dinge enthält, die sie ohnehin gemacht hätten. Henri Papadatos jedoch weist daraufhin, dass bei weitem nicht alle Firmen den Leitlinien des Code of Practices derzeit nachkommen. Beispielsweise hat Mistral noch kein Framework für Risikoanalysen und eine Abschätzung der Wahrscheinlichkeiten von Risiken führen die meisten der Firmen gar nicht durch. Möchten sie dem Code of Practice folgen, müssen die betroffenen Firmen ihre Sicherheitspraktiken also verbessern.

Letztlich ist zu begrüßen, dass die KI-Firmen die Risikoanalysen durch externe Evaluatoren bestätigen müssen. D.h., die Anbieter können sich nicht einfach selbst mit „bestanden“ benoten.

Es gibt noch mehr zu tun

The Future Society (TFS) ist eine weitere Organisation, die wir unterstützt haben. Auch sie nennen den Code of Practice eine „wichtige Errungenschaften der EU“. Allerdings weisen sie darauf hin, dass es noch Luft nach oben gibt. 

So müssen KI-Firmen die Resultate ihrer Risikoanalysen erst nach dem Deployment eines Systems in der EU mit den dortigen Behörden teilen. TFS drängt darauf, den Code of Practice so anzupassen, dass ein solcher Bericht stattdessen acht Wochen zuvor an die Behörden geschickt werden sollte. Darüber hinaus seien keine weiteren Regelungen für den Schutz von Whistleblowern getroffen worden – trotz bereits bekannter Fälle, bei denen KI-Firmen Mitarbeiter, die Bedenken über unsichere Praktiken äußern wollten, unter Druck gesetzt haben. Insbesondere wünscht sich TFS, dass die EU Behörden selbst als ein klarer Anlaufpunkt für Whistleblower fungieren und deren Schutz nicht den einzelnen 27 EU-Mitgliedsstaaten überantworten. Auf diese Lücke weisen auch die Autoren des Code of Practices selbst hin und fordern die EU Behörden auf, diese zu schließen.

Es kommt auf unabhängige Forschung und die Zivilgesellschaft an

Auch wenn der Code of Practice noch mehr von den KI-Firmen abverlange könnte, so ist er in der Summe ein Etappenerfolg. Es gilt nämlich zu beachten, dass strengere Regeln dazu hätten führen können, dass die Firmen den Code of Practice gar nicht unterzeichnen. Das hätte den Druck auf Brüssel, die EU-Verordnung zu lockern, weiter erhöht. In den letzten Wochen hatte es eine Reihe von Lobby-Bemühungen der KI-Industrie in diese Richtung gegeben. So hatten sowohl eine Reihe von CEOs als auch die Regierung Trump die EU-Kommission aufgefordert, die gesamte Verordnung auszusetzen. Dies hätte ein Signal an andere Gesetzgeber gesendet: Versucht erst gar nicht, KI zu regulieren, ihr werdet ohnehin scheitern.

Ein Detail aus dem Entstehungsprozess des Code of Practices zeigt auch, in welchem ungleichen Verhältnis die KI-Lobby auf der einen Seite und unabhängige Forschung und Zivilgesellschaft auf der anderen stehen. Die Kommission hatte auf Druck der KI-Firmen die ursprünglich für Mai geplante Veröffentlichung des Code of Practices verschoben, da diese mit der ersten Version nicht zufrieden waren. Dies führte dann dazu, dass einige der unabhängigen Experten, die an dem Prozess beteiligt waren, zum Ende aussteigen mussten, da sie bereits andere Verpflichtungen hatten. Das ist etwas, was einer Firma wie OpenAI, die 2024 ein geschätztes Budget von USD 8 Milliarden hatte, nicht passieren würde. Wird ein Mitarbeiter woanders gebraucht, schickt man eben einen weiteren nach Brüssel. Unabhängige Forschungseinrichtungen und zivilgesellschaftliche Organisationen haben nicht solch tiefe Ressourcen.

Wenn ihr die Arbeit von Organisationen wie The Future Society und SaferAI unterstützen wollt, könnt ihr an unseren Spendenfonds KI sicher gestalten spenden. 

Über die Autorin

Anne Schulze

Gründerin und Geschäftsführerin

Termin vereinbaren

Ich bin eine der Gründerinnen und Geschäftsführerin von Effektiv Spenden. Wenn du Fragen oder Anregungen hast, kannst du mir gerne eine Email schreiben. Ich melde mich dann gleich bei dir zurück.