270.000€ an SaferAI und das RAND Meselsons Center

Im ersten Halbjahr 2025 haben wir in Deutschland und der Schweiz zusammen 205.054€ für den Spendenfonds Zukunft bewahren und 67.700€ für den Spendenfonds KI sicher gestalten an Spenden eingenommen. Die beiden Fonds sind damit nach wie vor auch in der Summe die kleinsten unserer Fonds (hinter „Tierleid verringern“ und „Demokratie verteidigen“ mit jeweils knapp mehr als 300.000€). An den Spendenfonds „Zukunft bewahren“ haben 1.027 Leute gespendet, an den im Dezember 2024 gelaunchten Spendenfonds „KI sicher gestalten“ 68.

In Absprache mit unserem Partner Longview Philanthropy, haben wir die Spenden an folgende Organisationen vergeben:

• RAND Meselsons Center: 102.527€ (50% aus „Zukunft bewahren“)
• SaferAI: 170.227€ (100% aus „KI sicher gestalten“ und 50% aus „Zukunft bewahren“)

SaferAI

SaferAI forscht zu Risikomanagement von modernen KI-Systemen. So haben sie ein Framework erstellt, das die Risikomanagement-Praktiken der großen KI-Firmen bewerten soll. Leider schätzt SaferAI derzeit die Risiken aller führenden Firmen als unzureichend gemanaged ein.

Über die Ergebnisse wurde u.a. in Time Magazine berichtet. Das Framework und öffentliche Aufmerksamkeit für dieses kann die Firmen dazu motivieren, hier besser zu werden.

Ihre Forschungsergebnisse konnte SaferAI auch bei der Regulierung von KI einbringen. SaferAI war einer von mehreren Stakeholdern, die an der Formulierung des Code of Practices der EU KI-Verordnung beteiligt waren. Der Code gibt den Betreibern eine vereinfachte, standardisierte Möglichkeit zu beweisen, dass sie mit der Gesetzgebung der EU KI-Verordnung konform sind. Diese schreibt u.a. vor, dass die Betreiber ihre KI-Modelle vor Veröffentlichung auf Risiken testen. Warum der Code of Practice ein Erfolg für sichere KI ist, habe ich hier aufgeschrieben.

In den kommenden Monaten wird SaferAI ein Forschungsprojekt zur Modellierung des Risikos von KI bei der Ermöglichung von Cyberkriminalität abschließen. Diese Arbeit ist umso dringlicher, als KI-Modelle inzwischen Fähigkeiten erreicht haben, die denen der weltbesten Teilnehmern an Programmierwettbewerben ebenbürtig sind, und staatlich unterstützte Akteure KI bereits für Cyberangriffe verwenden. Diese Entwicklungen könnten unsere Cyber-Infrastruktur, von Finanzsystemen über kritische Infrastrukturen wie Stromnetze und Krankenhäuser bis hin zu militärischen Infrastrukturen, grundlegend stören und Angriffe in beispiellosem Ausmaß und Raffinesse ermöglichen. Um dies zu verhindern, baut SaferAI nun Risikomodelle, die beschreiben, wie KI-Fähigkeiten die Effektivität von Cyberangreifern verstärken könnten.

RAND Meselson Center

Das Meselson Center arbeitet an der Minderung biologischer Risiken, etwa durch Pandemien, inkl. Risiken, die durch Biotechnologie entstehen.

Ein Beispiel: Hersteller von Gensynthese können DNA auf Kundenanfragen produzieren. Manche dieser DNA-Sequenzen sind jedoch gefährlich und könnten als biologische Kampfstoffe verwenden werden. Das Meselson Center hat im vergangenen Jahr einen Bericht erstellt, der Lücken in den Screeningprozessen von Laboren aufzeigt und analysiert, wie diese adressiert werden könnten.

In einer anderen Veröffentlichung machen sie Vorschläge, wie internationale Abkommen angewandt werden können, um die Entwicklung von sogenanntem „Spiegelleben“ („mirror life“) zu unterbinden. Solche Organismen sind das Spiegelbild natürlicher Organismen, indem sie aus rechtshändigen (anstatt linkshändigen) Aminosäuren und linkshändigen (anstatt rechtshändigem) Zucker bestehen. Sie können in der Natur nicht natürlich auftreten, aber Forscher kommen ihrer Herstellung immer näher, wie dieses Paper im führenden Wissenschaftsjournal Science warnt. 

Da unser Immunsystem mit Spiegelbakterien nicht vertraut wäre, wäre Kontakt mit ihnen tödlich. Noch ist die Entwicklung von Spiegelleben vermutlich ein Jahrzehnt entfernt. Daher bietet sich aber gerade jetzt eine Gelegenheit, zu einer internationalen Vereinbarung zu kommen, wie wir mit dieser Technologie umgehen wollen.

Darüber hinaus arbeitet das Meselson Center derzeit an der Bewertung und Minderung von Risiken durch KI-gestützte Biologie, der Sicherung der digitalen-physischen Kluft und der Verbesserung von biologischen Widerstandsfähigkeit.

Weitere Neuigkeiten

Künstliche Intelligenz wird beständig besser. Gleichzeit schreiten Bestrebungen, der technischen Weiterentwicklung Leitplanken anzulegen, weiter voran. Einige der wichtigsten Punkte:

• Der Code of Practice der EU KI-Verordnung ist am 2. August in Kraft getreten. Was das für KI-Sicherheit bedeutet, habe ich hier aufgeschrieben.
• Die KI-Firma Anthropic hat in einem Experiment gezeigt, dass KI-Modelle bereit sind, ihre Nutzer zu erpressen, um verhindern, abgeschaltet zu werden. Mehr erfahren. 
• OpenAI hatte aus Versehen ein Upgrade von ChatGPT live gestellt, das es in einen Yes-Mann verwandelte. Mein LinkedIn-Post darüber hatte mehr als 50.000 Impressions – sichere KI muss kein Nischenthema bleiben.

• Das lang erwartete GPT-5 ist da. Die Reaktionen sind gespalten, aber für Beth Barnes von METR, die wir in der Vergangenheit mitfinanziert haben, ist das Modell noch ein bisschen fähiger als erwartet, was sie für bedenklich hält: „Wir sind nicht auf Kurs, die Sicherheit für KI-Systeme zu gewährleisten, die wir in 1-3 Jahren haben werden.“

Über die Autorin

Anne Schulze

Gründerin und Geschäftsführerin

Termin vereinbaren

Ich bin eine der Gründerinnen und Geschäftsführerin von Effektiv Spenden. Wenn du Fragen oder Anregungen hast, kannst du mir gerne eine Email schreiben. Ich melde mich dann gleich bei dir zurück.