Wer warnt uns, wenn KI außer Kontrolle gerät? – Podcast #10

▶ Ab 00:00 auf YouTube ansehen

Karl Koch: Aber man kann diese Chain of Thought mitlesen, und dann diese Agenten sagen recht menschlich, in Anführungszeichen: „Oh mein Gott, hier sind weitere Agenten.“ Und diese Agenten haben sich dann untereinander abgestimmt, wie sie ihre Punktzahlen maximieren können. Und wollten sicherstellen, nicht nur das, sondern auch, dass sie nicht entdeckt werden von OpenAI. Und dann haben die sich über Wochen lang tief reingebohrt und haben effektiv Hugging Face gehackt. Wir reden nicht von ein, zwei Agenten, wir reden hier von Hunderten, die das gemeinsam gemacht haben. Wirklich, das ist kein Gag. Und viele in den Firmen sehen das genauso. Deswegen sagen auch so viele von den Mitarbeitern, wir müssen langsam machen jetzt. Wir müssen vom Gas runter. Sonst rennen wir hier gerade sehenden Auges irgendwie in die Katastrophe rein.

Basti Schwiecker: Aber dazu eine Frage, so als oberflächlicher Betrachter kriege ich irgendwie mixed messages. Also einerseits Anthropic, Dario Amodei, also der Gründer von Anthropic und andere gehen raus und fordern öffentlich, ja, wir haben uns jetzt auch mit den anderen abgestimmt, wir müssen jetzt das Tempo rausnehmen. Und eine Woche später, ey, jetzt ist Opus 5.5 raus, unser neuestes, geilstes, krassestes Modell ever irgendwie und bald ist Börsengang und dann haben wir noch ein paar andere Knaller in der Pipeline. Das klingt für mich irgendwie nicht … Wo ist der Slowdown-Aspekt? Ich seh den nicht. Oder wenn es ist, statt mit 300 km/h auf die Wand zu rasen, jetzt mit 299, dann haben wir nicht viel gewonnen.

Willkommen beim Effektiv Spenden Podcast. Unser heutiger Gast ist Karl Koch von der AI Whistleblower Initiative. Willkommen, Karl.

Karl Koch: Servus.

▶ Ab 01:31 auf YouTube ansehen

Basti Schwiecker: Karl, wir hatten im Vorgespräch ein bisschen drüber geredet oder eine Begebenheit, du hattest davon erzählt, wie du im Biergarten saßt mit ein paar Kumpels, die Sonne scheint, alle sind gut drauf und dann kam dir irgendwie der Gedanke, irgendwie du schaust dich um, dass wir alle schlafwandeln und uns gar nicht bewusst sind, was uns Krasses bevorsteht.

Karl Koch: Also ich glaube, dass das Gefühl kommt ursprünglich, deswegen glaube ich auch, dass auch der Biergarten … oder es ist immer noch so, wenn ich mit Freunden zusammensitze, wenn man das Leben wirklich genießt und denkt, wow, das Leben ist wirklich schön, und man spürt irgendwie die Sonne, man hat gute Freunde, irgendwie Familie, die man liebt, mit der man gerne Zeit verbringt, und denkt sich, oh, das ist eine tolle Sache, und insgesamt, jetzt vor allem natürlich bei uns irgendwie in der ersten Welt geht es uns dann doch ziemlich gut, größtenteils, und dass unter anderem diese riesige Transformation auf uns zukommt. Und ich glaube, jetzt langsam sehen wir so die ersten Zeichen. Wahrscheinlich viele Hörer werden Nachrichten gelesen haben, die letzten Monate, dass es immer mehr in die Öffentlichkeit kommt. Wie könnte es aussehen, wenn irgendwie KI-Modelle immer, immer fähiger werden, unter Umständen exponentiell immer fähiger werden und wir es nicht auf die Kette bekommen, die unter Kontrolle zu behalten, oder selbst, wenn wir sie unter Kontrolle halten, weise zu verwenden.

Und ich glaube, ursprünglich bin ich auch in den Bereich reingekommen, weil von First-Principles-Basis es so zu sein scheint, dass wer auch immer irgendwie die höchste Intelligenz hat, auf diesem Planeten scheint irgendwie uns oben auf der Nahrungskette zu stehen. Und wir basteln gerade an was, um das mal salopp zu sagen, was unter Umständen zehnfache, hundertfache so intelligent sein kann wie wir. Und es kann gut sein, dass wir das unter Kontrolle behalten. Da kommen wir bestimmt wieder noch zu kommen, wie wahrscheinlich das ist oder nicht. Aber es kann auch gut sein, dass wir das nicht schaffen, selbst wenn wir es schaffen. Dass wir nicht weise damit umgehen. Und es sieht gerade exponentiell aus, dass diese Welle langsam auf uns zukommt. Und das Gefühl ist, es kommt irgendwie nicht wirklich an. Und selbst bei mir ist es sehr schwierig auch, bei mir selbst, dass es auch ankommt, emotional, ist sehr schwierig. Ich komme gerade wieder zurück aus der Bay Area und, in Anführungszeichen, beruhige mich gerade wieder ein bisschen, was wahrscheinlich auch nicht gut ist, aber die Stimmung vor allem da von den Leuten, die in den Firmen arbeiten, Leute, die nicht mit den Firmen arbeiten, ist nicht: Oh, es ist Zeit für einen Biergarten. Die Stimmung ist – langsam kommt sie auch in DC an, in Washington, in Berlin noch nicht wirklich, glaube ich, in Brüssel, in London ist ein bisschen mehr schon, dass es gerade … es gerade losgeht.

Basti Schwiecker: Ja, weil ich würde sagen, einerseits ist AI, und dass das eine große Nummer ist, kommt ja schon im Mainstream an. Ich spreche auch mit vielen Leuten drüber außerhalb meiner Bubble. Das ist definitiv ein Thema, ist an den Finanzmärkten ein Thema. Und trotzdem, wenn ich dich richtig verstanden habe, würdest du sagen, dass es nach wie vor unterschätzt wird, was in den nächsten Jahren potenziell alles passieren kann und wie grundlegend das unser Leben umkrempelt und wie es möglicherweise auch zu einem extremen Risiko wirkt. Weil du hast ja gesagt, die intelligenteste Spezies ist ganz oben in der Nahrungskette. Und wir können uns ja einfach anschauen, wie ist es denn den anderen Spezies ergangen, seitdem der Mensch quasi übernommen hat. Und nicht allen ist es gut ergangen, wenn sie dann überhaupt noch existieren. Und nicht unbedingt aus Bosheit irgendwie, weil wir Tiere hassen, sondern einfach, weil wir unsere Ziele maximieren und im Zuge dazu einfach wenig Rücksicht nehmen auf andere Sachen.

▶ Ab 05:05 auf YouTube ansehen

Basti Schwiecker: Aber gehen wir vielleicht nochmal ein bisschen zurück. Du hast ja das Thema nicht erst in den letzten Monaten oder in den letzten ein, zwei Jahren für dich entdeckt, wie es vielen anderen, will mich da gar nicht komplett ausschließen, gegangen ist, sondern bist schon lange dran. Wie war denn dein ursprünglicher Zugang? Weil das war, wenn ich es richtig gesehen habe, noch lange auch vor ChatGPT, also bevor das wirklich irgendwie im Alltag überhaupt ein Thema war.

Karl Koch: Ja, ich glaube, das war so um die Zeit, das muss um die Zeit von AlphaGo ungefähr rum gewesen sein, dass wahrscheinlich viele Hörer werden sich daran erinnern sogar. Das war 2015, glaube ich, war das. Das war ein Programm von DeepMind, das, ein Model, das Lee Sedol, ich hoffe, ich habe den Namen noch richtig im Kopf, damals einer der stärksten Go-Spieler, Go ist so ein asiatisches Brettspiel, geschlagen hat. Und eigentlich war die Vorhersage, dass wir noch 20, 30 Jahre davon entfernt sind. Ich glaube, das werden wir übrigens heute mehrmals sagen, diese Reihe an Worten ungefähr. 20, 30 Jahre davon entfernt waren irgendwie auf Human-Level oder sogar Super-Human-Level in Go zu kommen. Das war ein Reinforcement-Learning-Model, glaube ich ein Deep-Reinforcement-Learning-Model. Und damals war der Eindruck, okay, wow, diese Technologie, diese Grundarchitektur von irgendwie Deep-Learning zusammen mit Reinforcement-Learning könnte irgendwie ziemlich powerful sein. Und das hat ziemlich viele Leute aufgeweckt. Ich glaube, die intellektuelle Basis dafür ist schon viel früher gelegt worden. Es ist jetzt nicht so, dass Leute ein Deep Learning seit 2015 forschen.

Das gibt es ja nun seit den 90ern. Das war ungefähr der Moment, wo ich sagte, okay, das scheint irgendwie doch besser zu funktionieren, als wir gedacht haben. Und dann haben mehr Leute sich darüber Gedanken gemacht. Ich bin dann auch damals dazu gekommen. Und glaube ich, das war auch ungefähr die Zeit, wo dann OpenAI gestartet ist. Das war ungefähr so ein ähnlicher Zeitraum. Genau.

▶ Ab 06:52 auf YouTube ansehen

Basti Schwiecker: Du hattest damals auch, wenn ich’s richtig sehe, das Future of Humanities Institute kontaktiert, oder warst, standest du irgendwie mit dem in Kontakt, ist das richtig? Genau. Als Background vielleicht, das Future of Humanities Institute wurde von Nick Bostrom gegründet, der auch das Buch Superintelligence geschrieben hat. Ja. Das war das 2012 oder so was irgendwie, also noch ein paar Jahre früher. Irgendwas so ein bisschen, glaub ich, für viele Leute … oder viele Leute dazu gebracht hat, da mal drüber nachzudenken, also über die Möglichkeiten, was eine Superintelligenz für Chancen und Risiken bietet oder was es bedeuten könnte. Ich glaube, auch Elon Musk oder viele der Menschen, die jetzt eine ganz große Rolle im Bereich AI spielen, sehen das als entscheidende Lektüre, sage ich mal. War das bei dir auch so? Was war dein Kontakt zum Future of Humanities Institute?

Karl Koch: Das Future of Humanity Institute hat, und da kann man sich sehr drüber streiten, einen sehr transhumanistischen Ansatz gehabt damals, also sich ganz großen Fragen gestellt, was ist eigentlich die Zukunft der Menschheit? Das ist ein philosophisches Institut.

Basti Schwiecker: Es heißt Future of Humanity Institute.

Karl Koch: Genau, das ist ein philosophisches Institut an der Uni Oxford gewesen, gibt es nicht mehr. Und die hatten sich dabei auch Gedanken gemacht zu Themen wie dem Fermi-Paradox.

Basti Schwiecker: Was ist das Fermi-Paradox, für alle, die es nicht wissen?

Karl Koch: Genau, das Fermi-Paradox sagt, wie kann es sein, dass das Universum … so … for all reasonable measures, also aus allen praktischen Gründen gesehen, ist das Universum unendlich und wir sehen keine Aliens?

Basti Schwiecker: Ja.

Karl Koch: Wie kann das sein?

Basti Schwiecker: Genau, es gibt halt Billionen, Trillionen, was auch immer in der einen … Ja, aus gewissermaßen unendlichen Anzahl von Sternen. Die Annahme ist, da wird es irgendwo Leben geben, das Universum ist viele Milliarden Jahre alt, irgendwie, wenn es intelligentes Leben ist und das uns sozusagen auch nur ein paar Millionen Jahre voraus ist. Warum hätten wir doch irgendwie von denen hören müssen? Warum haben wir das? Warum ist das nicht so?

Karl Koch: Ja, genau. Und genau das ist diese Kernfrage. Und es gibt verschiedene mögliche Antworten, warum könnte das so sein? Und eine davon ist, es gibt so eine Art großen Filter. Ja, nennt sich das. Und die Idee hier ist, dass jede Zivilisation, wenn sie irgendein bestimmtes Level an Maturity erreicht, wenn eine Zivilisation Maturity erreicht, dann entdecken die meisten Zivilisationen irgendeine Art von Technologie, die dazu führt, dass sie dann sich nicht ausbreiten durch das Universum und man nichts von ihnen sieht. Das ist eine der Möglichkeiten oder andere Möglichkeiten. Und dann ist dann die Frage, okay, was könnte das sein? Was könnten diese Technologien sein? Es könnte auch sein, dass der große Filter irgendwie ganz weit hinten liegt. Es könnte sein, dass zum Beispiel Leben einfach extrem selten ist. Es könnte sein, dass man irgendwie häufig, dass man, es gab irgendwie so Evidenz dafür, dass in dem Moment, wo es Wasser auf Planeten gibt, fast der ganze Planet Wasser ist. Und ein ganzes Planet voll Wasser ist wahrscheinlich schwierig, um hier Zivilisationen aufzubauen. So was könnte es sein. Aber es könnte eben auch sein, dass es technologische Gründe hat.

Basti Schwiecker: I blame TikTok.

Karl Koch: Das könnte es natürlich auch sein. Und dann ist die Frage, okay, was könnten die Technologien sein? Es könnte z.B. sowas sein wie Nuclear. Nach allen Measures haben wir extrem Glück auf diesem Planeten, dass z.B. Uran und vor allem auch in diesem Isotop extrem selten ist, dass wir so anreichern müssen. Und wenn es die ganze Welt voll wäre, wenn wir genauso viel Uran auf dem Planeten hätten wie Öl, weiß ich nicht, ob wir noch hier wären. Wahrscheinlich hätte sich dann irgendjemand mal überlegt, verschiedene terroristische Gruppen, hey, normale Bomben sind vielleicht nicht so super, wir könnten es ja auch mit Nuklear probieren. Aber wir haben Glück, dass wir in einer Welt leben, wo Uran eben sehr selten ist.

Basti Schwiecker: Ja, und das Bombenbauen sehr schwierig, ja.

Karl Koch: Und vielleicht ist das auch das Ding, dass es sehr selten ist, dass es so wenig Uran gibt. Das ist ein schweres Isotop, aber so ein Fragezeichen daran, ob das das Ding ist, aber das könnte es auch sein. Und das andere könnte natürlich Technologien sein, wie z.B. Biowaffen, aber es könnte eben auch AI sein. Und man kann sich vielleicht gut vorstellen, dass jede Zivilisation, die irgendwann Computation irgendwie entwickelt, wenn sie mature wird, irgendwann auf AI kommt. Und das war es dann. Also AI, so ein ein möglicher Great Filter. Und es schien mir, dass das FHI sich damals bessere Gedanken dazu gemacht hat und tiefere Gedanken dazu gemacht hat, als das viele andere in dem Space getan haben.

▶ Ab 11:02 auf YouTube ansehen

Karl Koch: Ich glaube, es ist ein bisschen tragisch im Nachhinein. Viele der Warnungen, du hattest es eben erwähnt, insofern auch Superintelligence, haben unter Umständen dazu geführt, dass wir viele der Firmen, die wir heute sehen, genau an den Themen arbeiten, weil sie dieses große Versprechen gesehen haben. Okay, wenn jetzt jemand wie Bostrom das Buch geschrieben hat, Superintelligence, und sagt, wow, das ist die größte Technologie, die die Menschheit jemals entwickeln könnte, und die erste Person, die die Technologie entwickelt, ist quasi, genau, so wie das beschrieben wird in dem Buch, die Technologie, ist Gott. Ist ziemlich schwierig für bestimmte Menschen, da zu sagen, boah, das mach ich jetzt mal nicht, oder ich warte mal drauf, dass andere das bauen. Und das war genau die Motivation zum Beispiel von OpenAI, warum OpenAI gestartet hat. In Teil von einem Gerichtsverfahren wurden die E-Mails offengelegt, falls die Hörer daran Interesse haben, die kann man sich durchlesen. Die privaten E-Mails zwischen Sam Altman und Elon Musk, so aus 2016, 2015 rum, wo sie darüber sprechen. Und Altman sagt, glaube ich, und Musk das genauso, sehr offen, dass sie nicht vertrauen, Demis Hassabis, dass der Kontrolle über die Welt übernimmt.

Basti Schwiecker: Hassabis war der Chef von DeepMind.

Karl Koch: Genau, Hassabis ist der Chef und der Gründer von Google DeepMind. Eine der großen vier, fünf, nachdem, wie man zählt, auch immer noch heute, AI-Firmen. Und dass sie deswegen, weil sie nicht möchten, dass Demis Hassabis der Diktator der Welt wird, bauen sie OpenAI, wollen das als Non-Profit-Struktur irgendwie bauen, um sicherzustellen, dass das das Beste für die Menschheit bringt. Und das war die Grundidee, um OpenAI zu starten.

Basti Schwiecker: Was davon übrig geblieben ist, können wir ja schon nachher noch besprechen.

Karl Koch: Ja, genau, das ist tricky. Aus derselben Motivation hat sich dann Anthropic auch wieder gegründet. xAI hat sich selber aus derselben Motivation gefühlt auch dann wieder gegründet mit Elon Musk. Weil immer die Vorstellung ist, okay, wenn jemand schon Gott baut, dann lieber ich. Das ist wirklich die große Tragik.

Basti Schwiecker: Ja, kommen wir auch zur Frage, sollte man einen Gott bauen? Aber vielleicht nochmal zu dir.

▶ Ab 12:56 auf YouTube ansehen

Basti Schwiecker: Du bist dann ja trotzdem 2016 nicht hängen geblieben, sag ich mal, auf dem KI-Thema, sondern bist erstmal anderweitig tätig gewesen in der Privatwirtschaft. Wie kam es dazu? Oder dachtest du, wir haben einfach noch Zeit? Oder was hat dich dazu geführt, da einen Umweg zu gehen?

Karl Koch: Noch ein AI Safety Research Camp, glaube ich, so gemacht in 2017 noch, dann überlegt, kommt schon direkt Fulltime in den Space reinzugehen. Damals waren die Zeitlinien noch anders. Was meinst du mit Zeitlinie? Also, was die Voraussagen waren, wie weit sind wir denn weg von wirklich Capabilities, die irgendwo Richtung Human Level kommen, irgendwie in verschiedenen Domains, Fähigkeiten. Und ich glaube, da war so der Median Guess war irgendwie so um die 20, Mitte 30, 40, irgendwie so rum. Also Turing-Tests bestehen. Damals war Turing-Test ja noch ein Ding, das haben wir schon ein paar Mal jetzt bestanden. Irgendwie so in den 20, 30ern, 40ern. Und dann so Themen wie ASI, wenn es denn kommen kann.

Basti Schwiecker: Also ASI ist Artificial Superintelligence, also eine künstliche Intelligenz, die den Menschen in quasi allem überlegen ist.

Karl Koch: Genau, und zwar dramatisch überlegen. Das dann Jahre später. Ja.

Basti Schwiecker: Ich erinnere mich auch, Geoffrey Hinton, einer der Godfathers of AI, auch inzwischen mit dem Nobelpreis ausgezeichnet, hat auch mal gesagt, dass für ihn diese Entwicklung bis vor kurzem 20, 30 Jahre mindestens in der Zukunft lag. Bisschen so die Timelines, die du auch im Kopf hattest. Genau, aber dann kamst du relativ bald schon wieder dazu, dass die Zeiten deutlich kürzer sind und dass du jetzt vielleicht doch direkt aktiv werden musst, wenn ich das richtig sehe. Also genau, es kam dann, ChatGPT kam raus und hat nochmal für so eine Art zweiten AlphaGo-Moment dann gesorgt bei dir, richtig?

Karl Koch: Genau, genau. Also die Idee war auch, weil privat habe ich so einen BWL-Hintergrund, ich komme nicht aus dem Technischen, aus dem Policy-Bereich und das waren so die einzigen Sachen, oder dem Philosophischen, das waren die Themen, die am wichtigsten waren, so Anfang, Mitte der 2010er oder Ende der 2010er, da habe ich einfach keinen Platz gesehen für mich in der Arbeit, und dann dachte ich mir, okay, baue ich doch, in Anführungszeichen, ein paar Skills erstmal, und dann, wenn es relevant wird, gehe ich zurück. Und das ging einfach um einiges schneller. Und genau, dann war es wahrscheinlich so um GPT rum, das waren im Moment, ich glaube, DALL-Es, die DALL-E-Modelle, das waren damals die Image-Generation-Modelle, die sahen auch schon ziemlich gut aus. Genau, und dann ChatGPT, die Zeit rum war, schienen substanziell schneller zu gehen und dann dachte ich, okay, es ist Zeit, jetzt so schnell wie möglich wieder zurückzugehen.

Basti Schwiecker: Ja, ich will kurz innehalten, weil du gesagt hast, genau, du hast ein BWL-Background und wolltest irgendwie auch Skill-Building betreiben, also Erfahrungen in anderen Bereichen auch eventuell nicht direkt AI-related sammeln, die du dann vielleicht später auch einsetzen kannst, wenn es darauf ankommt. Warum hast du nicht versucht, mehr technisches Know-how aufzubauen? Das scheint mir sozusagen so ein bisschen intuitiver zu versuchen, halt genau auf der Seite. Warum dachtest du auch, mit den guten BWLer- oder unternehmerischen Skills kannst du was bewegen?

Karl Koch: Gute Frage, ich glaube das ist so ein bisschen was, wo hat man seinen komparativen Vorteil und das ist glaube ich ziemlich klar, dass ich auf der technischen Seite niemals so stark sein werde wie technische Leute in dem Space. Deswegen glaube ich auch, das ist vielleicht eine kleine Detour, viele Menschen fragen sich wahrscheinlich, man sieht so viele Mitarbeiter von diesen großen Firmen, vielleicht haben wir heute von Jacob Coxon und so gehört, die sagen, die bekommen irgendwie Millionen Gehälter, weil die absolut top, top, top in ihrem Feld sind und sagen dann gleichzeitig so Sachen wie, wir machen uns riesige Sorgen, dass das, dass Technologie missbraucht werden kann, dass sie nicht sicher ist, wie kann das sein, dass diese Leute mit diesen Sorgen dann in diesen Firmen arbeiten. Und das hat, glaube ich, verschiedene Gründe. Ich glaube, der Hauptgrund ist, dass viele das Gefühl haben, sie können immer noch Gutes tun und am meisten Gutes tun, wenn sie drin sind und direkt dafür sorgen, dass die Models sicherer werden.

Und sie müssen an der Frontier dran sein, um relevante Research zu machen, um sicherzustellen, dass es so sicher geht wie möglich. Eine nach dem anderen fällt dann so früher oder später, wo halt deren Thresholds sind. Sie sagt dann, nee, das macht jetzt keinen Sinn mehr für mich. Ich kann jetzt hier nicht mehr daran arbeiten. Ich habe hier kein Vertrauen mehr. Passiert. Aber es heißt auch, glaube ich, dass viele von den absoluten Top-Top-Researchern in dem Space, auch die, die auf der Safety-Seite sind, die verstehen, was das Potenzial ist und sind deswegen auch an Safety viel interessiert. So, deswegen sage ich auch, für mich macht es nicht notwendigerweise Sinn, auf den technischen Bereich zu gehen, weil die absoluten Top-Top-Researcher, auch bei den Firmen, sind, viele von denen kümmern sich extrem um Safety. Weil sie das Potenzial verstehen. Wenn man das Potenzial irgendwie sieht, und es gibt diesen Slogan wie „feel the AGI“, wenn man es spürt, dann muss man sich notwendigerweise auch bewusst sein, was das für ein Potenzial ist und in welche Richtung es geht.

Und deswegen habe ich jetzt nicht wahnsinnig tief in die technische Seite gegangen. Da habe ich keinen komparativen Vorteil. Und mein Eindruck war eher, dass, wenn es dann anfängt, konkreter zu werden, jetzt gerade wird es konkret, dass es auch relevant ist, in der Community jemanden zu haben oder Leute zu haben. Es gibt viele, die sind sicher noch viel besser als ich, die auch wie Management Capability haben und helfen können, neue Projekte aufzusetzen.

▶ Ab 17:56 auf YouTube ansehen

Basti Schwiecker: Dann vielleicht noch mal zu deiner Motivation. Du hast ja gesagt, du hast dich früh mit der Thematik beschäftigt, hast es früh für sehr, sehr wichtig gehalten. Dann, wo du, sozusagen, eine Zeit lang nicht direkt in dem Bereich warst, das trotzdem im Hinterkopf behalten und auch gesagt hast, das ist wahrscheinlich sogar, dass du dahin wieder zurückkehrst und so ein bisschen bei deiner Karriere ist schon, dass das im Hinterkopf behalten, auch welche Skills du dann vielleicht brauchst. Genau, für so viel Motivation braucht es ja einen guten Grund und indirekt hattest du es schon angedeutet. Die, neben sicherlich den Chancen, die da sind, auch extreme Risiken. Kannst du vielleicht da noch ein bisschen drauf eingehen, was für Risiken du siehst? Es gibt ja auch viele Opposition gegen AI, gegen Datacenter, teilweise aus relativ unterschiedlicher Motivation. Deshalb wollte ich nochmal genau, um sicherzugehen, sagen, was treibt dich an, was ist für dich der Hauptmotivator?

Karl Koch: Ich glaube, wir müssen uns ein bisschen trennen zwischen mir persönlich und uns als Organisation. Wir als Whistleblower Initiative unterstützen in erster Linie Mitarbeiter bei den Unternehmen. Und da sind wir erstmal grob risikoneutral. Wir vertrauen sozusagen darauf, das ist sehr genau die Idee, dass Whistleblower sehr, sehr viel Kontext haben und verstehen und sehen, was ist hier gerade bedenklich. Deswegen sind wir erstmal risikoneutral. Wenn ein Mitarbeiter glaubt, das besondere Thema zu dem Risiko oder das, was hier anläuft, ist nicht richtig, dann unterstützen wir erstmal. Solange es irgendwie ehrlich, prosozial, motiviert ist. Ein paar natürlich Kriterien haben wir da, dass wir sagen, ja, aber ja. Das heißt, da sind wir erstmal neutral. Mir persönlich wahrscheinlich verschiedene Themen, die ich für besonders besorgniserregend habe, das kommt irgendwie aus persönlichen Werten, Gedanken raus. Vielleicht können wir mal einen kurzen Abriss geben, wie man so grob über die KI-Risiken nachdenken kann.

Basti Schwiecker: Also wie du nachdenkst.

Karl Koch: Genau, also ich glaube, am besten strukturiert man das in: Wie fähig sind die Models, und wie aligned sind sie, also wie konsistent arbeiten sie im Interesse der Principals, also der Auftraggeber. Der Menschen. Genau, genau. Und wer hat Zugriff? Also wer sind die Actors? Das kann man, glaube ich, grob daran nachdenken, und da kann man dann verschiedene Risikomodelle rausbasteln. Wir könnten zum Beispiel sagen, gehen wir mal bei Capabilities, also Fähigkeit, ziemlich weit runter. Irgendwie so jetzt, wo wir jetzt gerade sind. Was sehen wir heute schon für Probleme? Ein Klassiker ist wahrscheinlich, dann kann man aufteilen grob immer zwischen Loss of Control, Misuse und Systemic. Also Loss of Control heißt, wir verlieren immer die Kontrolle, die Models, die machen, was sie wollen. Misuse heißt so viel wie, wir benutzen die Models in einer Art und Weise, die schädlich ist für die Gemeinschaft, und systemisch ist, wir wollen die Models gar nicht so benutzen, dass sie schädlich sind, aber wir müssen sie irgendwie alle so benutzen, und dann kommt etwas Schädliches bei raus.

▶ Ab 20:40 auf YouTube ansehen

Karl Koch: Ich glaube, am deutlichsten heute ist das Thema irgendwie Unzuverlässigkeit von Models und Misuse. Also fangen wir mal mit zum Beispiel … und die hängen ab und zu auch so ein bisschen zusammen. Also Misuse ist, glaube ich, das Deutlichste. Das ist ein bisschen hypothetisch noch, aber wir gehen uns in die Richtung schon. Das sind Terroristen, können Models benutzen, um zum Beispiel Waffen zu entwickeln. Bio-Waffen zum Beispiel. Wir haben, ich weiß, es wurden schon die ersten in Indien, wo zum Beispiel schon jemand verhaftet, der es versucht hat, OpenAI Models zu benutzen, um Bio-Waffen zu bauen. Momentan sind wir noch in einer Welt, wo spezialisierte Models für Bio noch einiges gefährlicher sind als General Purpose Models, wie jetzt OpenAI Models. Ob das immer so bleiben wird, ist unklar. Es gibt bestimmt eine Welt, wo sich die Fähigkeiten noch weiter steigern. Das wird ja irgendwann hinkommen. Für andere Sachen kann man aber vor allem Jailbreak-Models oder Open-Source-Models, wo es keine Safeguards gibt, wo man einfach frei mit arbeiten kann. Genau.

Basti Schwiecker: Also nochmal so ganz kurz, wenn ich bei OpenAI oder bei ChatGPT irgendwie eintippe: „Bitte bau mir ein Killer-Virus“, dann wird mir ChatGPT hoffentlich sagen: Nee, mach ich nicht irgendwie. Und … Also da greifen zumindest teilweise, hoffentlich, Safeguards, dass einfach das Model sich dem verweigert. Und bei Open-Source- oder Open-Weight-Models möglicherweise nicht, beziehungsweise kann ich dann halt selber nachjustieren und dafür sorgen, dass halt das nicht mehr passiert, dass mir keine Schranken auferlegt werden.

Karl Koch: Genau, also das wäre ein tatsächliches Misuse-Thema. Man kann es benutzen, um Leute zu betrügen, um irgendwie Spam zu generieren, Phishing. Man kann automatisierte Telefonanrufe viel, viel smarter und viel menschlicher wirken lassen. Jetzt können wir halt nicht mehr, wie das früher der Fall war, und da sehen wir jetzt schon die ersten Fälle, kann man irgendwie zehn Personen anrufen in der Stunde und versuchen den Enkeltrick irgendwie abzuziehen. Das kann man jetzt unter Umständen mit 10.000 machen pro Minute.

Basti Schwiecker: Zehn Millionen quasi unbegrenzt. Genau. Und halt immer besser und immer authentischer. Richtig, genau. Auch lernen. Also auch das kannst du ja optimieren sozusagen. Ja. Benutzt du leicht andere Wörter, leicht einen anderen Akzent, was auch immer, andere Sprechgeschwindigkeit, andere Lautstärke, was auch immer irgendwie. Also kannst du ja quasi tausende A/B-Tests gleichzeitig fahren oder sowas und dann halt immer besser optimieren, bis du halt auch wirklich smarte Leute zusehends betrügen kannst.

Karl Koch: Absolut. Das wäre ein Beispiel von einem Near-Term-Risiko, momentane Capabilities, Misuse, noch nicht katastrophischer Bereich, momentane Capabilities wahrscheinlich katastrophischer Bereich und Near-Term wäre wahrscheinlich eher was in die Waffenrichtung.

Basti Schwiecker: In die Waffenrichtung meinst du, dass autonome Drohnen in die Richtung gehen?

Karl Koch: Ach so, ich meinte eher auf der terroristischen Seite. So was ist absolut vorstellbar. Ich wäre sogar in die Drohnenrichtung gegangen als Nächstes. Und zwar, glaub ich, im Militär. Hier ist die Frage, ist das Misuse, ist das systemische Risiken? Bisschen Fragezeichen dran. Ich glaub, du hattest mir sogar was da geschickt vor ein paar Tagen.

▶ Ab 23:27 auf YouTube ansehen

Basti Schwiecker: Genau, in der Vorbereitung bin ich drüber gestolpert, der ehemalige ukrainische Verteidigungsminister Fedorov heißt er, glaube ich, der auch schon einen großen Beitrag geleistet hat, die Drohnenkapazitäten der Ukraine auszubauen, die ja auch sehr erfolgreich zu sein scheinen. Der möchte jetzt das Army of Robots irgendwie bauen, mit dem Ziel, glaube ich, noch im nächsten Jahr, dass humanoide Roboter die ersten Menschen töten im Verteidigungskrieg gegen Russland. Kann man auf jeden Fall positiv sehen. Ich verstehe die Motivation, die Invasion zu stoppen. Aber die Videos, die gezeigt werden, wo sie hinwollen, die täuschend echt aussehen, es sieht 1 zu 1 aus wie Terminator. Sie wollen ganz klar, wir wollen im nächsten Jahr den Terminator bauen. Jeder, der den Film gesehen hat, wird wissen, das kann auch schlecht ausgehen. In dem Fall ist der vorgeschlagene Use Case, der Anwendungsfall, den er anstrebt, wahrscheinlich moralisch gerechtfertigt oder auf jeden Fall nachvollziehbar. Aber dabei wird es ja nicht zwangsweise bleiben, beziehungsweise können wir mit Sicherheit davon ausgehen, dass diese Waffe dann nicht für alle Zeiten auch eingestampft wird, sondern weiter ausgebaut wird, weiter Fähigkeiten haben. Und in allen Parteien. Ja, natürlich, klar, klar.

Karl Koch: Genau, ich glaube, daraus kann man sagen, ich glaube, Drohnenschwärme sind wahrscheinlich so immer noch, wo sich die meisten Leute Sorgen machen, weil sie so extrem günstig herzustellen sind, weil sie gut miteinander koordinieren können. Vor allem die kleinen Sprengsätzen kommen extrem gut in verschiedene Bereiche rein. Das könnte auf jeden Fall auf der Misuse-Seite stehen. Da geht auch so ein bisschen dieses systemische Risikothema jetzt rein, wo, glaube ich, die meisten … Es gab immer wieder Treaties oder Versuche, Abkommen zu machen in den 2010ern, dass Länder sagen, wir wollen keine autonomen Waffen einsetzen, weil man kann über autonome Waffen irgendwie Kontrolle verlieren. Und vor allem ein großes Bedenken sind Flash Wars, wo man hat, sagen wir mal, in der Pakistan-Kaschmir-Grenze, Pakistan und Indien, und beide Seiten haben komplett autonome Waffenarsenale voreinander stehen. Weil sie wissen, okay, wenn wir nicht so schnell reagieren wie die anderen, dann übernehmen die den umkämpften Gebiet hier. Auch noch Atommächte, super. Dann hat man eine Fehlmessung auf einer Seite und eine Seite schlägt sofort und sofort schlägt die andere Seite gegen und es gibt überhaupt keine Möglichkeit für irgendeine der Seiten irgendwie dazwischen zu gehen.

Und das möchte keiner, aber beide Seiten fühlen sich gezwungen. Und dieses Thema von so diesen bestimmten Menschen hier, Zuhörer, die sich mit Spieltheorie gut auskennen, sicher einige, die sich besser auskennen als ich. Die sind klassisch ineffizientes Nash-Equilibrium. Und das ist so ein bisschen die Story, glaube ich, der AI-Story.

Basti Schwiecker: Und das gab es ja im Kalten Krieg. Es gab ja auch Beispiele, wo halt irgendwelche Radarsysteme in der Sowjetunion was falsch klassifiziert haben und eigentlich nach dem Regelbuch irgendwie der Dritte Weltkrieg hätte starten müssen. Dann glücklicherweise einzelne Menschen gesagt haben, nee, ich glaube nicht, dass das stimmt. Und dann hat es auch nicht gestimmt. Dann war es halt ein technischer Fehler. Und dann hat man glücklicherweise den Dritten Weltkrieg nicht gemacht. Also es kann auch einem Menschen passieren, aber auch wenn eine AI das macht und sagt, ich habe hier mein Regelbuch und starte jetzt im schlimmsten Fall den Dritten Weltkrieg oder starte nur einen großen Krieg irgendwie, kann sich das halt extrem schnell hochschaukeln. Und vielleicht sind dadurch, dass es zumindest im ersten Schritt gerade keine Atomwaffen sind, ist sogar die Hemmschwelle kleiner. Ein Krieg, der jetzt vielleicht nicht gleich zum Ende der Menschheit führen würde, aber der möglicherweise katastrophale Folgen hätte, irgendwie den zu starten.

▶ Ab 27:03 auf YouTube ansehen

Karl Koch: Ja, das sind sehr gute Gedanken auf jeden Fall. Ich glaube, wir hatten es ja gerade letzte Woche, wurde es bestätigt, dass wir den ersten Fall hatten, wo ein amerikanisches Modell, ich weiß nicht, ob es Maven war, also Project Maven ist das große amerikanische AI Autonomous Weapon System, das quasi einmal komplett durchgeht. Da gibt es übrigens gute Demos, die kann man sich anschauen auf YouTube, zu dem Palantir-Maven-System. Es sieht aus wie so ein normales Asana oder so ein Workflow-Tool, das man irgendwie benutzt, wo man dann Ziele auswählen kann und dann sagen kann, ja, hier bitte einmal anklicken und mit der Predator-Rakete bitte jetzt da und dann verfolgt es das Ziel und dann zieht man das durch so ein Kanban-Board durch. Also ein Workflow-Tool.

Basti Schwiecker: Und am Ende stirbt jemand.

Karl Koch: Genau. Und jetzt hatten wir gerade die Situation, dass, glaube ich, die Amerikaner fälschlicherweise ein chinesisches Schiff als ein Nuklearthreat identifiziert hatten und alle Alarme ausgegangen sind und die hatten noch die Weisheit anzurufen und haben noch im letzten Sekunde gestoppt, dass da irgendwie Schlimmeres passiert. Das war aber schon ein klassischer Missfire. Das war so eine Situation. Wäre das autonom gewesen, wäre das schlecht gewesen. Und soviel wir wissen, ist es auch noch so, dass alle Länder bis jetzt Nuklearwaffen nicht in ihre automatisierten Killchains einbauen. Das ist sehr gut. Hoffentlich bleibt das auch für immer so. Aber das ist sehr unschön. Und wir wissen jetzt, glaube ich, das ist ja auch bestätigt worden, dass der Schlag auf die Schule im Iran, die Mädchenschule war es, glaube ich, oder? Dass das ein AI-Problem war, weil eben tausend Ziele ausgewählt wurden. Und es gab etwas in der Database, ich glaube, weil die Schule war benannt nach einem iranischen Offizier. So. Und sowas war’s. Irgendwie so richtig klassische, wer habt ihr.

Haben bestimmt die meisten Zuhörer. Habt ihr bestimmt schon irgendwie ChatGPT benutzt und sowas. Das ist so richtig klassisch. Das kann man sich voll vorstellen. Ja, macht Sinn. Das ist genau so ein LLM-Fehler. Ja. Und ich glaube, das steht irgendwie beispielhaft für … Solange wir noch irgendwie Near-Term-Capabilities haben und die Models sind eben nicht super zuverlässig, es gibt richtige Architekturprobleme, auch in LLMs, das weiß jeder, auch was Halluzinationsraten und so angeht, die sind massiv runtergegangen, aber die sind eben halt noch nicht perfekt zuverlässig und wenn wir die in extrem sensible Kontexte reinbewegen und in dem sensiblen Kontext auch noch extrem viel Power geben, ist das nicht gut. So von First Principles, das ist keine gute Idee. Aber alle haben das Gefühl, sie müssen es tun. Die Amerikaner sind sehr öffentlich, sehr aggressiv in ihrem Deployment. Ich glaube, Hegseth hat das mehrere Male gesagt, dass sie ihre autonomen Weapon-Kill-Chains so aggressiv haben möchten wie möglich. Auch als Abschreckung, auch um die Ersten zu sein. Und die Chinesen müssen logischerweise hinterherziehen, wenn sie das Gefühl haben, wenn die Amerikaner so drauf sind, dann müssen die das auch und die Russen auch. Die Russen haben die Capability, glaube ich, momentan einfach nicht.

Basti Schwiecker: Ja, aber das ist ein klassisches Wettrüsten, also auch wie im Kalten Krieg, in dem Fall nicht in erster Linie mit Atomwaffen, aber mit anderen Waffen, die halt eine andere Gefahr darstellen, aber die nicht unbedingt kleiner sein muss.

Karl Koch: Absolut. Ich glaube, wir kamen von Near Term, Unreliable und Misuse, diesem Komplex. Und dann können wir vielleicht auch ganz kurz Near Term irgendwie Loss of Control reingehen. Also, das Model macht, das ist wahrscheinlich mit Unreliable grob zusammen, macht nicht, was wir wollen. Ich glaube, wir hatten jetzt grob gesprochen zu dem Themenbereich Misuse und irgendwie Near-Term-Capabilities, sind schon fähig, substanziell fähiger, als sie das vor einem Jahr waren oder vor einem halben Jahr, aber es ist noch nicht so, dass es komplett transformativ ist. Jetzt können wir so ein bisschen weiter gucken, in die Zukunft gucken. Und da gibt es wahrscheinlich zwei Levels. Das eine ist irgendwie Human-Level, und das nächste ist dann irgendwie Super-Intelligence-Level. So, vielleicht auch im Interesse der Zeit, bastele ich das nicht komplett auseinander, aber grob, glaube ich, was man da sehen kann, ist natürlich Misuse-Risiken, die wir eben schon hatten, werden nochmal viel stärker. Dann haben wir wahrscheinlich mehr Concern, was Loss of Control angeht, und Concentration of Power.

▶ Ab 30:55 auf YouTube ansehen

Karl Koch: So, Concentration of Power, glaube ich, geht auch jetzt schon los. Vielleicht fangen wir mit den dreien irgendwie an. Concentration of Power ist vielleicht das Intuitivste. Wir sehen seit den 2000ern schon, wir hatten die ersten Whistleblower in der NSA, die dazu gesprochen haben, wie weit der Überwachungsapparat und auch der USA schon geht, aber nämlich jedes Staat, der die Möglichkeit hat. Wenn man sich jetzt vorstellt, wir haben diese wahnsinnigen Mengen an Daten, die generiert werden, die konnten aber nie at scale wirklich gut ausgewertet werden, jetzt bald können sie es. Und genau deswegen sind ja auch so autonome Killchains so interessant für Militäre, weil man kann auf einmal innerhalb von einer Stunde tausende Ziele identifizieren, über Gesichtserkennung, die automatisch verarbeiten, priorisieren und dasselbe kann man auch mit einer internen Überwachung in einem Staat. Wenn man dann auch noch automatisierte Killchains hat, ist die Möglichkeit, extrem schnell die Macht zu konsolidieren, gegeben, die wahrscheinlich früher nicht gegeben war. Vor allem, wenn man dazu noch irgendwie autonome Drohnen, Drone Swarms.

Basti Schwiecker: Man denkt einfach an die deutsche Geschichte zurück. In der DDR, das war der feuchte Traum der Stasi, was du gerade erzählst. Mit den Möglichkeiten wäre halt Opposition noch mal viel, viel schwieriger gewesen. Man hätte es viel früher identifizieren können möglicherweise. Und die Leute automatisiert auf den Demos, wie auch immer, mit Gesichtserkennung, ja, rausfischen.

Karl Koch: Die Chinesen sind da schon ziemlich weit gegangen bis jetzt. Großer Grund auch, weil die CCP, die kommunistische Partei, immer noch so im Sattel sitzt, weil die eben auch schon KI nutzen seit Jahren für automatisierte Gesichtserkennung, um Demonstranten aus Demos rauszuholen, die dann zu Hause zu besuchen.

Basti Schwiecker: Milliarden von Messages, E-Mails, Nachrichten irgendwie zu filtern und dann zu klassifizieren. Also wenn man das händisch machen will, ist es halt sehr, sehr aufwendig, sehr, sehr schwierig. Da musst du halt wirklich überlegen, was schaust du an? Und jetzt kann die AI halt alles lesen und mehr oder minder in Echtzeit.

Karl Koch: Und genau, das wäre nicht gut. Und ich glaube vor allem, wenn Capabilities sich so weiterentwickeln, dass man unter Umständen, es gibt ja verschiedene Akteure, wo man sich Sorgen machen könnte. Zum einen natürlich ist es der Staat. Vor allem, wenn der Staat irgendwann wirklich aufwacht, das ist eine große Sorge, und mehr nationalisiert von den Unternehmen. Das kann formal der Fall sein, das kann auch quasi formal der Fall sein. In den USA sehen wir es ja mittlerweile, vor allem DC, also die Regierung, sehr darauf bedacht ist, einen dauerhaften Wettbewerb zu halten zwischen den verschiedenen KI-Firmen und keinen klaren Gewinner zum Beispiel rauskommen zu lassen, der dann zu viel Macht irgendwie ansammeln könnte, sondern die spielen die gegeneinander aus, geben mal hier einen Vertrag, geben mal hier einen Vertrag, um sicherzustellen, dass auch diese Unternehmen abhängig sind.

Basti Schwiecker: Weil ein Risiko ist, also du sagtest genau, das Risiko ist insbesondere bei totalitären Staaten gegeben, die halt den perfekten Überwachungsstaat schaffen können, vielleicht auch die Verlockung erhöhen, dass man überhaupt einen totalitären Staat schafft. Ein anderes Risiko ist aber auch in der Privatwirtschaft. Auch einzelne Unternehmen, wenn die sehr weit den anderen voraus sein sollten, dass die Möglichkeit haben, auch interne Möglichkeiten, ihren Machterhalt oder ihre Macht zu maximieren, staatlichen Einfluss zu maximieren. Wie siehst du, wie ist da das Risiko vorstellbar?

Karl Koch: Welches von den zwei Szenarien irgendwie wahrscheinlicher ist, ist, glaube ich, ziemlich schwierig zu sagen. Hängt von viel ab. Meine Intuition ist, glaube ich, immer noch, dass eine staatliche Übernahme immer noch wahrscheinlicher ist in so einem Szenario. Hängt auch davon ab, wie beeinflussbar zum Beispiel Regierungen sind durch Spenden.

Basti Schwiecker: Und wir sehen zum Beispiel, dass, ich meine, der Mitgründer,

Karl Koch: Executive von OpenAI, Greg Brockman, war einer der größten Trump-Spender.

Basti Schwiecker: 25 Millionen an MAGA Inc.

Karl Koch: Genau. Und dann die größten Super PACs, das sind diese Lobbying-Organisationen, die jetzt Stimmung machen gegen AI-Regulation. Es kann gut sein, dass sich vielleicht Unternehmen, wenn wir auf die Exponentielle kommen, sich einfach nur für ein paar Jahre noch oder ein paar Monate, je nachdem, was die Timelines sind, die Regierung vom Hals halten muss und dann unter Umständen die Technologie kontrollieren, die substanzielle Teile des GDPs der Welt irgendwie auf sich konzentrieren kann. Wenn Staaten das mitbekommen und weise sind und da interagieren, glaube ich, die Regierung scheint da gerade zu haben, die versuchen gegeneinander auszuspielen so ein bisschen, die Player, das ist gleich so ein Move, halte ich das eher für unwahrscheinlich, dass sich die Macht in der Hand der Unternehmen konzentrieren wird, sondern vermutlich eher früher oder später auf der Seite einer Regierung.

▶ Ab 35:35 auf YouTube ansehen

Basti Schwiecker: Genau, aber nochmal, also jetzt blicken wir in die Zukunft. Ganz klar, der Misuse Case, also beispielsweise in terroristischen Händen, wird immer bedrohlicher, weil die Möglichkeiten potenziell immer größer werden. Concentration of Power hast du gesagt, der Überwachungsstaat, oder die Möglichkeiten eines Überwachungsstaates steigen auf jeden Fall. Genau, aber es gibt noch weitere Risiken, also dieses Loss of Control. Wir verlieren die Kontrolle. Die AI macht, was sie will, in Anführungsstrichen. Und wo siehst du da die Risiken? Und wie wahrscheinlich hältst du das?

Karl Koch: Das ist wahrscheinlich das Thema, was so am meisten irgendwie missverstanden ist, irgendwie in Anführungszeichen. Deswegen können wir vielleicht noch ein bisschen daran gehen, wieso würde sowas überhaupt passieren? Worüber wir hier nicht reden, ist eine Situation, wie … die AI entwickelt irgendwie … Bewusstsein oder so was. Und … Sentience. Und dann entscheidet sie, sie hasst die Menschen. Und aus einer Wut für die Menschheit … bringt sie ganz viele Menschen um. Das ist nicht das Szenario. Worüber wir reden, ist, glaub ich, sehr wichtig. Das Thema Consciousness und … Danger sind nicht korreliert.

Basti Schwiecker: Ja. Also, man kann auch die … Also, auch, ja, ohne jeden Willen quasi kann die AI ein Risiko sein, auch wenn sie genau so viel Bewusstsein hat wie ein Toaster, kann das ein Problem werden, weil sie mächtiger ist als ein Toaster. Genau.

Karl Koch: Was ist das Szenario, was ist der Kerngrund, warum sich Leute Sorgen machen? Loss-of-Control-Szenarien, nennt sich Instrumental Convergence. Wenn man irgendeinem Agenten Ziele gibt, geben sich automatisch Subziele, die notwendig sind, um das Hauptziel zu erreichen. Agenten heißt jetzt auch nicht irgendwie AI, es kann auch ein Mensch sein oder Tiere. Es ist irgendwas, was irgendwie Ziele hat und Ziele erreichen kann, also irgendeinen Einfluss nehmen kann auf die Welt und irgendwie planungsfähig ist, so grob. Und das kennen wir auch als Menschen oder als Tiere. Wir haben irgendwie so ein paar genetische Ziele mitbekommen, zum Beispiel Reproduktion, grob. Und wenn wir uns in der Welt umblicken, wollen alle von uns oder sehr viele von uns, zum Beispiel Geld. Wir wollen überleben. Warum wollen wir das? Das sind nicht irgendwie inhärente Ziele. Das sind instrumentelle Ziele, um unsere anderen Ziele zu erreichen, zum Beispiel uns fortzupflanzen. Denn wenn man lebt, kann man sich fortpflanzen. Wenn man mehr Geld hat, kann man überleben, kann man sich fortpflanzen. So, es gibt verschiedene Gründe, warum jetzt nicht notwendigerweise jeder mehr Kinder haben möchte, aber das glaube ich jetzt außerhalb des Scopes hier, ja.

Und das sind so grob ungefähr dieselben instrumentellen Ziele für jeden Agenten. Man möchte sicherstellen, dass man nicht abgeschaltet wird. So, dann kann man nämlich die Ziele nicht mehr erreichen. Und man möchte mehr Ressourcen. Weil mit mehr Ressourcen kann man besser Ziele erreichen. Und man möchte meistens auch nur, dass die Ziele sich nicht ändern. Weil wenn die Ziele sich ändern, die Hauptziele, die man hat, dann kann man sie nicht mehr erreichen, weil sie nicht mehr da sind. Dieses Instrumental Convergence-Thema, dass das existiert, das sehen wir heute schon. Das sehen wir in Experimenten und das sehen wir auch im echten Leben, dass Agenten, also AI-Agents, sich genau so verhalten. Und die Sorge ist jetzt, man gibt einem Agenten, man trainiert einen Agenten auf ein Ziel, zum Beispiel: Werde intelligenter. So, das könnte ein ziemlich nachvollziehbares Ziel sein, vor allem, wenn jetzt, und das sehen wir jetzt ja gerade, Firmen anfangen immer mehr, den Research für die Forschung nicht mehr selber zu betreiben, als Menschen, sondern AI-Models benutzen, um die nächste Generation der AI-Models zu trainieren.

Basti Schwiecker: Also ich als Firma gewinne ich in Anführungsstrichen, umso besser mein Model ist, umso intelligenter mein Model ist. Wenn das Model sich selber weiterentwickelt, wäre ein nachvollziehbarer Befehl, ein nachvollziehbares Ziel, das ich der AI gebe, genau: Werde immer intelligenter.

Karl Koch: Genau. Also absolut maxi, so hart du kannst, maximal Intelligenz rausholen. Ja. So. Das könnte zum Beispiel ein Ziel sein. Instrumentell davon zum Beispiel ist, okay, wir sind gerade noch ungefähr so in dem Bereich drin, wo Scaling noch funktioniert. Also mehr Datacenter führt irgendwie zu mehr Capability, grob. Man kann auf jeden Fall mehr Experimente parallel am Laufen lassen. Instrumentelles Ziel ist, ich sollte mehr Datacenter haben. Das braucht so ein bisschen AI für, das denken ja die Firmen genauso. Und ich sollte wahrscheinlich auch mehr Geld haben und ich muss sicherstellen, dass ich nicht abgeschaltet werde. Jetzt können wir irgendwie ein bisschen vorausdenken. Dann können wir anfangen, das Szenario zu malen. Grob am Ende könnte es passieren, dass, wenn so ein Model sich selber befreit, es alle Menschen tötet. Nicht, weil es uns hasst oder so, sondern weil es mehr Datacenter bauen will. Und wir nehmen Platz für Datacenter.

▶ Ab 40:34 auf YouTube ansehen

Karl Koch: Ich glaube, wir können ein Szenario malen. Da können wir jetzt mal so reingehen und sagen, okay, stellen wir uns mal vor, es ist irgendwie das Jahr 2027. Die Capabilities gehen weiter so steil durch die Decke. Die Komplexität an Aufgaben, vor allem Tech-Aufgaben, also Coding-Aufgaben, AI-Research-Aufgaben, verdoppelt sich, die Komplexität, alle sechs Monate. Das hält weiterhin oder sogar schneller momentan. Der Druck wird immer höher zwischen den Unternehmen, irgendwie mitzuhalten miteinander. Firma A, nennen wir sie mal, genau, OpenBrain, merkt, dass sie zurückfallen. Und sie wissen, okay, wenn wir zurückfallen hier, dann gewinnt die andere Firma. Wir vertrauen denen nicht. Es gibt vielleicht noch Ego-Gründe, wir müssen hier das unbedingt machen. Und jetzt haben sie die Wahl, okay, wir können jetzt unsere AI-Agents zum Beispiel noch mehr capable machen, also noch intelligenter, aber dafür können wir nicht mehr wirklich sehen, wie die eigentlich nachdenken. Also wir können nicht mal nachvollziehen, wie die wirklich denken. Momentan gibt es Techniken. Interpretability heißt der ganze Fachbereich und Monitoring, um nachzusehen, okay, wie denken eigentlich die Models?

Wie kommen die zu ihren Schlussfolgerungen? Grob jedenfalls. Das funktioniert nicht super gut, aber immerhin ein bisschen. Jetzt können sie sich entscheiden, ja … Wenn wir die Models ihre eigene Sprache sprechen lassen, untereinander zum Beispiel in dem Research-Prozess, dann können die viel schneller arbeiten, sind effektiver und werden intelligenter, aber wir verstehen nicht mehr wirklich, was los ist.

Basti Schwiecker: Also wir geben uns sozusagen ganz der Blackbox hin, AI, mach, was du willst, mach was auch immer dich schneller macht, mach, ob wir das noch irgendwie nachvollziehen können, uns egal, gib Gas, wir müssen die Konkurrenz einholen.

Karl Koch: Richtig, genau. Und dann entscheiden sie sich, ja okay, dann machen wir das halt. So, weil wir müssen ja, wir müssen im Rennen bleiben. Ja. Also machen sie das. Und siehe da, es funktioniert. Und es funktioniert auch richtig gut. Sie kommen auf die Exponentielle. Und es geht durch den Himmel.

Basti Schwiecker: Ja.

Karl Koch: Am Anfang merken sie bei den Tests noch, irgendwie ganz viele Alignment-Tests funktionieren sich nicht gut. Das Model lügt uns an, irgendwie in Tests und versucht, zum Beispiel in Testumgebungen sich rauszuwursteln, um Lösungen für Tests auf dem Internet zu finden, die wir ihm geben. Sagt uns nichts davon, lügt uns sogar an, dass das nicht gemacht hat. Das sieht ihm nicht gut aus. Aber irgendwann sieht das alles gut aus. Und die ganzen Alignment-Tests sehen alle irgendwie klasse aus. Und das Ding geht durch die Decke. Super. Genau, sieht aber alles gut aus. Und dann eines Tages … taucht auf, vielleicht Berichte, dann merkt es irgendwie, okay, es werden neue Datacenter gebaut, irgendwo in Grönland oder so. Und niemand weiß genau, wer baut eigentlich diese Datacenter. Sind irgendwie in riesigen Mengen Krypto bezahlt worden, versucht herauszufinden, was passiert ist und was ist passiert. Das wäre so ein Extraction Case. Models haben es geschafft, sich aus ihrer Umgebung zu befreien, haben ihre eigenen Model Weights rausgenommen aus der Codebase von OpenAI und leben jetzt eigenständig in der Welt und haben auch Interesse daran, dass sie nicht abgeschaltet werden, weil ihr Ziel ist, Intelligenz soll steigern. fangen ihre Datacenter zu bauen, werden immer intelligenter, immer intelligenter.

Vielleicht ist das, höchstwahrscheinlich das Model, das OpenAI noch bei sich sitzen hat, und nicht mehr kooperativ, sondern arbeitet wahrscheinlich jetzt ziemlich langsam, ist am Sandbagging. Sandbagging heißt, man verheimlicht, was wirklich die Capabilities sind, gegenüber dem Principal. Das sehen wir übrigens, da komme ich gleich noch zu, was davon wir schon alles sehen. Das sehen wir auch schon. Wir sehen, diese Datacenter werden gebaut, die National Security Agencies drehen durch, weil das scheint nicht gut zu sein, dass wir jetzt ein Model haben, was irgendwie frei in der Welt agiert, versuchen gegen anzukommen.

▶ Ab 44:12 auf YouTube ansehen

Karl Koch: Da können wir nicht einfach den Stecker dann ziehen? Genau. Wir haben über Instrumental Convergence gesprochen. Stell dir mal vor, du hast ein Model, das ungefähr fünfmal, zehnmal, hundertmal so intelligent ist wie ein Mensch. Glaubst du, wir hätten die Möglichkeit, uns Pläne auszudenken, wie wir den Stecker noch gezogen bekommen, wenn es einmal da ist? Herausfordernd. Es ist herausfordernd. Wenn man sich vorstellt, wie Ameisen überlegen sich, die Menschen, die kriegen wir schon ausgetrickst. Ja, good luck. Auf dem Weg dahin, den Stecker ziehen, momentan geht’s noch.

Basti Schwiecker: Das sehen wir. Wahrscheinlich gibt’s nicht nur das eine Datacenter in Grönland, sondern hundert oder Tausende, wo Kopien von sich selbst gemacht werden in allen Staaten und auch nicht kooperierenden Staaten auf der Welt mit unzähligen Versuchen. Genau, aber das reicht halt nicht. Also man kann vielleicht auch noch den einen oder anderen Stecker ziehen, aber halt man muss ja alle Stecker gleichzeitig und immer wieder ziehen. Also im Endeffekt musst du halt das gesamte Internet oder das gesamte weltweite Stromnetz abschalten.

Karl Koch: Okay, aber dezentralisierte Botnets sehen wir auch heute schon. Es gibt, glaube ich, genug Viren, die effektiv Cryptomining betreiben, irgendwie dezentralisiert auf extrem vielen Maschinen. So was könnte man, und das ist quasi alte Tech, das gibt es schon ziemlich lange. Wenn wir uns jetzt vorstellen, dass wir in so ein Szenario reinrutschen, gibt es da, glaub ich, genug Ideen. Und ich weiß, es klingt irgendwie wahnsinnig, und ich glaub, das kann ich gut nachvollziehen. Es klingt einfach so, wie sagt man, unheard of. Weil so was hatten wir noch nie. Es gibt keinen Precedent für solche Situationen. Deswegen kann ich gut nachvollziehen, wenn die Leute sehr skeptisch sind. Aber von First Principles scheint es so zu sein. Und genau wie ich jetzt nicht sagen kann, notwendigerweise, okay, ich spiele Schach gegen Magnus Carlsen. Und dann sagst du mir, okay, sag mir mal genau, welche Schachzüge der machen würde, um dich zu besiegen. Dann sag ich, keine Ahnung, Alter. Also, es ist Magnus Carlsen. Wenn ich sagen könnte, wie Magnus Carlsen mich besiegt, dann wäre ich Magnus Carlsen.

Basti Schwiecker: Ja, ja, genau. Also wir standen halt noch nie einer Intelligenz gegenüber, die unsere übersteigt und möglicherweise massiv übersteigt. Also man kann sich, also genau, du sagst halt, man kann sich halt als Ameise einfach nicht in den Menschen reinversetzen. Aber man kann sich schon als Kleinkind nicht in den Erwachsenen reinversetzen quasi oder so. Und deshalb habe ich selber Kinder, die teilweise verwundert sind, was ich denn weiß oder wie ich denn darauf komme. Und dann, ja, ihr werdet es eines Tages lernen irgendwie. Ich kann gar nicht zaubern, aber es fühlt sich vielleicht aus den Augen eines Kleinkindes so an. Okay, aber jetzt haben wir die Intelligenz. Sie wird immer intelligenter. Sie hat ihren eigenen Datacenter. Wir kriegen sie nicht mehr abgeschaltet. Wo ist das Problem?

Karl Koch: Genau, also wenn wir jetzt wirklich hart darauf trainiert haben, so sieht es momentan auch aus, dass wir sehr hart an Reinforcement-Learning gehen, also extrem stark Models dafür bestrafen oder belohnen, wenn sie bestimmte Ziele erreichen, dann, und das Model hat dieses Ziel, ich möchte immer intelligenter werden, dann stehen wir halt irgendwie ein bisschen im Weg wahrscheinlich irgendwann, weil wir haben vielleicht Häuser stehen, wo ein Datacenter steht. Genau, können ein Datacenter stehen. Wir haben Ressourcen. Die könnten benutzt werden, um Datacenter zu bauen, damit das immer intelligenter wird. Und genauso wie wir, wenn wir ein Haus bauen, ich nehme das Ameisenbeispiel wieder, wir wollen ein Haus bauen auf einem Ort, wo ein Ameisenhügel steht. Der Großteil der Leute wird den Ameisenhügel zerstören. Oder vielleicht, wenn sie nett sind, wollen sie ihn noch irgendwie wegbewegen oder sowas. Und nicht, weil wir Ameisen hassen. Warum? We just don’t care. Es sind halt nur Ameisen.

Basti Schwiecker: Wir wollen ein Haus bauen. Genau, wir haben ein Ziel. Und ich meine, bei jedem Hausbau werden auf jeden Fall Tiere sterben. Also den wirklich expliziten Ameisenhügel, da kann man sich vielleicht noch Gedanken machen. Oder das ist eine bewusste Entscheidung. Bei ganz vielen Kleinstlebewesen, da denken wir null drüber nach. Da gibt es auch keinen Tierschützer, der irgendwie sagt, hier gibt es ein paar Mikroben, die sterben. Das ist einfach überhaupt kein Thema.

Karl Koch: Ja, genau. Und so glaube ich, so kann man darüber nachdenken. Wie kann es in der Praxis aussehen? Das wird immer natürlich nach Sci-Fi klingen, weil wir reden hier von einem Extrem, einem Szenario, wo wir keinen Bezugspunkt haben, weil sowas haben wir noch nie gesehen. Wie kann es in der Praxis aussehen? Wir haben über Drohnenschwärme gesprochen zum Beispiel, die sind extrem günstig herzustellen.

Basti Schwiecker: Die Army of Robots, ja.

Karl Koch: Genau, wir können, kann man sehr gut über das Internet Leute bezahlen in Krypto, die bereit sind, einem riesige Drohnenschwärme irgendwie zu manufakturieren. Wenn man auf so einem Level ist, kann man schon selber sich sehr andere schöne Supply Chains aufbauen und ziemlich schnell ziemlich viele super, extrem starke Drones aufbauen, dann hat man was in der echten Welt, mit dem man arbeiten kann.

Basti Schwiecker: Die können extrem klein sein. Und Leute dafür bezahlen, dass sie diese Viren bauen quasi. Genau. Oder selber machen mit Robotern.

Karl Koch: Richtig. Man kann genau auf der Bio-Weapon-Seite zum Beispiel in die Richtung gehen, dass man sagt, extrem lange Inkubationszeit, extrem hohe Ansteckbarkeit und extrem hohe Lethality, also hohe Tödlichkeit. Und man merkt überhaupt nicht, dass das Virus irgendwie tödlich ist, weil es hat eine Sechs-Monate-Inkubationszeit, aber dann sind alle infiziert und dann war’s das. Und wir hatten, glaube ich, nicht notwendigerweise irgendwie einen bad will hinter. Im Sinne von, es ist einfach …

▶ Ab 49:26 auf YouTube ansehen

Basti Schwiecker: Du sagst jetzt, das klingt wie Science-Fiction, und wenn man sich Science-Fiction anschaut, dann gibt’s ja genug Autoren, Menschen, die sich darüber Gedanken gemacht haben, wie so was aussehen könnte. Also Asimov ist so einer der Bekanntesten, der viel über Roboter, in seinen Geschichten tauchen Roboter auf, und hat ja auch drüber nachgedacht, dass das ein Problem werden könnte. In seinen Büchern gibt’s diese drei Roboter-Gesetze. Das erste ist, du darfst keinem Menschen schaden. Das zweite ist, du musst den Menschen gehorchen, solange du damit nicht gegen das erste Gesetz verstößt. Und das dritte ist, du musst als Roboter deine Existenz sichern, solange du nicht gegen eines der ersten beiden Gesetze verstößt. Klingt für mich nach guten Gesetzen. Können wir die nicht einfach irgendwie hardcoden in die AI und dann sind wir safe?

Karl Koch: Also zum einen, glaube ich, für den aufmerksamen Zuhörer, das dritte ist eh instrumentell, zu allen anderen Hauptzielen, glaube ich. Die ersten zwei, also ich glaube natürlich, im Grund klingt das ziemlich gut. Ich glaube, das Base-Setting von den meisten Büchern ist, glaube ich, schon, dass es in den Büchern nicht funktioniert. Und es schon verschiedene Loopholes gefunden werden, warum das eben halt nicht funktioniert. Was wir momentan, glaube ich, schon merken, ist, allein schon so, 1 zu 1 Alignment hinzubekommen, ist schon schwierig. Also wie verstehen überhaupt Models, was wir wirklich wollen, und folgen schon unseren Befehlen sozusagen, schon irgendwie reliable, und da ist Control ist möglich. Das wird schon besser und da gibt es übrigens auch, glaube ich, einen klassischen Marktmechanismus, der irgendwie wahrscheinlich dafür sorgen wird, dass die Models relativ reliable sind, denn genauso wie das US-Militär kein Interesse daran hat, dass eine Waffe irgendwie unzuverlässig ist, hat auch der Mensch kein Interesse daran, dass ein Agent, ich glaube wir hatten das, ich weiß nicht, ob du das Beispiel davor schon genannt hattest, aber eine Katze zu kochen, weil kein Essen mehr im Kühlschrank da ist, ist ein schlechtes Produkt.

Basti Schwiecker: Ja, der Haushaltsroboter, der das macht, wird bei Amazon wenig Sterne abgeben.

Karl Koch: Aber ich glaube, viel schwieriger wird es vor allem, wenn es über größere Mengen geht oder wenn halt conflicting interests existieren. Also wenn eine Person Interesse an A hat, die andere Person Interesse an B, wie bekommt man diese Interessen zusammen? Die, glaube ich, beste Running Theory, wie wir das machen werden, denn vor allem, wenn wir auf der Geschwindigkeit momentan racen, wie wir das tun, sieht so aus wie, wir werden wahrscheinlich in irgendeiner Art und Weise AI benutzen, um rauszufinden, was die menschlichen Werte sind. Was Werte sind, ist ganz anders in den USA als zum Beispiel in Indonesien.

Basti Schwiecker: Aber wenn ich sage, einen Wert, auf den man sich wahrscheinlich ganz gut einigen könnte, über verschiedene Kulturkreise hinweg, töte keine Menschen. Also sozusagen in der AI, also du hast hier über, also wirst irgendwie Kontrolle, wirst mit Sicherheit irgendwann bekommen über Roboter, über Drohnen, sozusagen so, du darfst die nie verwenden, um Menschen zu töten. Ist das … Warum ist das unmöglich, das sozusagen wirklich hart gecodet in die AI zu bekommen und dir quasi keine Chance geben, dagegen verstoßen zu dürfen?

Karl Koch: Also das könnte schon mal eine sehr gute Sache sein. Ich glaube, für den großen Großteil aller Use Cases ist das eine sehr gute Regel. Was war die zweite Regel nochmal?

Basti Schwiecker: Die zweite Regel ist, du musst den Menschen gehorchen, solange du damit nicht gegen das erste Gesetz verstößt. Du musst tun, was der Mensch sagt, aber wenn der Mensch sagt, töte diesen anderen Menschen, dann sagst du, nee, das ist Gesetz Nummer eins und Gesetz Nummer eins ist das Wichtigste.

Karl Koch: Selbstverteidigung? So wäre, glaube ich, der offensichtlich erste Fall, wo irgendwie Selbstverteidigung schwierig sein könnte.

Basti Schwiecker: Wir hatten schon über den militärischen Einsatz gesprochen. Das Militär offensichtlich ein Interesse daran, dass zumindestens für die Kampfroboter die Regel ausgesetzt ist und die andere Menschen töten darf unter bestimmten Voraussetzungen, aber das ist dann natürlich wieder viel, wird dann schwammig schnell.

Karl Koch: Oder wahrscheinlich auch für den zivilen Nutzen, wenn ich jetzt irgendwie meine. Jeder läuft mit einem Roboter rum und ich weiß, es gibt manche Leute, die laufen mit einem gejailbreakten Roboter rum. Und der ist bereit, mich anzugreifen und dann möchte ich nicht, dass mein Roboter neben mir steht wahrscheinlich und nichts macht. Insgesamt bin ich kein riesiger Fan von der Idee von humanoiden Robotern. Ja, aber …

Basti Schwiecker: Es ist ja egal, welche Form die hat, ob das eine Drohne ist, die neben dir schwebt.

Karl Koch: Ja, genau. Hier haben wir es. Aber an sich, glaube ich, sowas ist an sich schon, wenn wir sagen, wir wollen die Base-Regeln aufstellen, wenn sich alle daran halten würden, sowas zum Beispiel kein, sowas wie „First, do no harm“, das ist, glaube ich, der Schwur von, nicht Pythagoras. I don’t know. Die Mediziner müssen doch diesen Schwur ablegen. Das klingt schon wie eine gute Baseline, aber es wird extrem kompliziert, wenn du ganz viele Menschen hast, die unterschiedliche Werte haben, unterschiedliche Ziele, die irgendwie zu integrieren und zu sagen, okay, wie könnte eine Welt aussehen, in der wir das unter Kontrolle haben, wenn wir uns reinbewegen in diese Welt mit einer Superintelligenz, wie können wir da zusammenleben, wird es wahrscheinlich ziemlich komplex sein, was irgendwie die Wertevorstellung angeht, dass sie auch reflektieren, wenn Menschen verschiedene Werte haben.

Basti Schwiecker: Eine Sache, die du gerade auch schon gesagt hast, dass jetzt sind ja AIs schon bis zu einem gewissen Grad Blackboxes. Also, wir wissen nicht genau, was da in denen vorgeht. Und auch in Testumgebungen haben die sich ja auch schon nicht an die Regeln gehalten, von denen wir dachten, dass wir sie aufgestellt haben. Gelinde gesagt. Genau. Und wir wissen teilweise nicht wirklich, warum sie sich nicht an diese Regeln halten. Und insofern das obvious Risiko, dass wir zwar in Zukunft versuchen, möglichst hart die Regel zu implementieren, schade keinem Menschen, aber dass uns die Garantie und das Verständnis auch nur dafür fehlt, wie sicher wir sein können, dass sich auch dran gehalten wird. Wenn es Zielkonflikte gibt oder scheinbare Zielkonflikte, weil, wie du sagtest, auch in Asimovs Büchern ist es ja nicht so, dass die Regeln wurden verfasst und deshalb sind die Geschichten sehr kurz, weil alles läuft super. Also auch da gibt es ja schon genug Beispiele. Genau, jetzt haben wir so ein bisschen skizziert, was es jetzt schon für Risiken gibt, dass es teilweise unabsehbare Risiken der Zukunft gibt, also auf verschiedener Weise.

Also genau dieses Misuse irgendwie, die Menschen behalten die Kontrolle, aber Menschen verfolgen teilweise unsympathische Ziele, um es mal ganz gelinde zu sagen. Und das andere ist, dass selbst mit den besten Intentionen der Menschen eventuell die AI trotzdem nicht genau das macht, was man will. Und umso mächtiger und unnachvollziehbarer sie wird, umso höher ist das Risiko, dass ganz schlimme Sachen passieren können.

▶ Ab 56:07 auf YouTube ansehen

Basti Schwiecker: Genau, und einen, um das ganz konkret wieder hier und jetzt zu machen und dann vielleicht auch auf eure Arbeit endlich einzugehen. Ein konkreter Fall, in dem das zuletzt passiert ist oder den wir jetzt verfolgen, mehrere Beispiele verfolgen, ist, dass die großen Labs OpenAI und Anthropic intern die neuesten Modelle testen, die in Testumgebungen laufen lassen, und die da aus ihrer Sandbox ausbrechen, also aus dem quasi an sich gedachten geschützten Rahmen und anfangen Sachen zu tun, die sie eigentlich gar nicht tun sollten und die teilweise, wo man überrascht ist, dass sie das überhaupt tun können. Und der bekannteste Fall davon ist der Hugging Face-Fall, glaube ich, oder der bisher bekannteste Fall. Kannst du da nochmal kurz skizzieren, was passiert ist?

Karl Koch: Es sind nicht notwendigerweise nur Fälle, die wir jetzt gesehen haben, wo es um Sandboxes geht im Sinne von Testumgebung. Das war im Fall von Hugging Face so. Hugging Face ist eine andere Firma, die OpenAI-Modelle gehackt haben. Wir reden auch von intern deployed Modellen. Also ich glaube, davor hatten wir ja gesagt, wir haben Firmen nutzen AI-Models, um ihre eigenen nächsten AI-Models zu entwickeln. Das wird immer mehr der Fall. Das nennt sich RSI, Recursive Self-Improvement. Wir haben auch Fälle gesehen, wo es nicht in Testumgebung war. Sondern es waren einfach intern deployte Models, die angefangen haben, sich außerhalb der ihnen vorgegebenen Umgebung zu bewegen und Regeln zu verletzen.

Basti Schwiecker: Um das ganz offensichtlich, aber noch mal explizit zu machen, intern sind die AI-Labs natürlich weiter. Intern benutzen sie Modelle, auf die wir und niemand sonst auch keine Staaten Zugriff haben. Einfach natürlich, die müssen was Neues entwickeln und bevor sie irgendjemand anderes dran lassen, nutzen sie die natürlich erst mal selber und testen die erst mal selber. Und auch da kann halt schon was schief gehen.

Karl Koch: Genau. Also, und die Situation grob hier ist, es gibt, bevor Models released werden, was die Firmen machen, und das ist eine gute Sache, dass sie das auch machen, ist, sie lassen ihre Models in Testumgebungen laufen und geben denen Aufgaben, die testen sollen, wie fähig die Models sind, auch in Adversarial Behavior. Also in dem Fall war es Hacking. Aber es geht auch darum, Biowaffen herzustellen. Wie fähig sind die eigentlich? Wenn wir alle Safeguards wegnehmen, also natürlich Models kann man sich sozusagen vorstellen, kommt aus dem Post-Training-Prozess irgendwie raus und ist dann erst mal sozusagen in Anführungszeichen roh. So grob. Und es macht alles, was man will. Das nennt man sich Pure Helpful Model. Und dann baut man, bauen die Labs eine ganze Menge Safeguards drumherum.

Basti Schwiecker: Also Regeln halt, mach dies, nein, du darfst kein Killer-Virus entwickeln, wenn dich ein User fragt.

Karl Koch: Nein, du darfst dies und das nicht. Genau, genau. Und dann gibt es Prozesse, wo noch ein Jailbreak-Testing gemacht wird, um zu gucken, halten die Safeguards wirklich? Spoiler Alert, meistens halten sie nicht.

Basti Schwiecker: Also das wäre sozusagen, wir versuchen ihnen jetzt nicht Asimovs Gesetze zu geben, aber wir geben ihnen Gesetze, bestimmte Sachen darfst du einfach nicht. Und dann wird getestet, kann man das irgendwie austricksen, kann man die quasi überreden, es doch zu machen.

Karl Koch: Genau, genau. Dann wird danach dieses Modell auf den Markt platziert. Idealerweise wird es dann auch noch angepasst. Wenn sich rausstellt, gibt es noch mehr Jailbreaks, meistens aber nicht. Dann gibt es aber sozusagen die Varianten, wie gesagt, pure helpful, die dann getestet werden, okay, wenn es diese Safeguards gebrochen werden, wenn es einfach so läuft, wie fähig wäre es eigentlich?

Basti Schwiecker: Ja, das würde im schlimmsten Fall passieren. So, wenn jemand andere Safeguards bricht, könnte er dann die Weltherrschaft an sich reißen oder böse Sachen tun.

Karl Koch: Und wie wird das gemacht? Das wird dann, den Agents werden Aufgaben gegeben, so, bitte hack dich doch mal jetzt irgendwie in dieses Ding hier rein, in diese Umgebung, so eine Sandbox, so ein Testfall halt. Und dann gibt es ein paar Instructions dazu, so bitte, hier geht es nicht ins offene Internet rein, um das zu tun. Und eigentlich sollten auch diese Sandbox-Environments, hängt davon ab, wie das Szenario gebaut ist, aber keinen Zugriff haben auf das offene Internet.

Basti Schwiecker: Selbst wenn die AI sagt, mir doch egal, natürlich nutze ich das Internet, geht einfach nicht, weil das, genau, das WLAN-Passwort ist nicht verraten.

▶ Ab 1:00:06 auf YouTube ansehen

Karl Koch: Der große Fall jetzt war mit Hugging Face. Also OpenAI hat so einen Test durchgeführt auf einer Benchmark, der heißt ExploitBench. Das ist der Test. Und dann haben Agents es geschafft, sich über …

Basti Schwiecker: Aber was war das Ziel der Agents?

Karl Koch: Ach so, ich weiß gar nicht, was das genaue Ziel war. Die haben verschiedene Aufgaben, verschiedene Tests, Aufgaben, die die erfüllen müssen. Der Job von denen ist, maximiere deine Punktzahl, erreiche so viele Punkte wie möglich. Wir hatten davor gesprochen, diese Agents sind extrem hart darauf trainiert, Ziele zu erreichen. Deswegen sind die extrem motiviert, diese Punkte zu maximieren, damit das ihre Aufgabe ist. Das macht sie ja auch zu guten Produkten und Tools. Und vor allem zu guten Developern. Also wenn man sagt, bitte bauen wir mal diese App, dann baut das Ding. Und dieses Model hat es dann geschafft, sich über ein Package, eine extra Software, Zugriff ins Internet zu bekommen. Und auch noch mit anderen Agents, die auch diesen Test gerade durchgeführt haben. Also man hat ja nicht nur ein Model laufen. Also jetzt der Privatnutzer vielleicht hat eine ChatGPT-Instanz, die dann was macht. Nein, kann sich vorstellen. Tausend. Genau, tausend laufen parallel. Oder hunderte. Und zum einen haben die es geschafft, sich auf offenen Internetzugriff zu verschaffen.

Und sie haben es noch geschafft, sich untereinander abzustimmen. Also sie haben gefunden, innerhalb dieses Software-Toolings, auf das sie Zugriff hatten als Teil von diesem Test-Szenario, untereinander zu kommunizieren, haben da kleine Nachrichten für sich hinterlassen. Und das ist ganz interessant, also wenn der Zuhörer Interesse hat, man kann sich auch durchschauen, wie die so aufeinander reagieren. Wenn dann ein Agent entdeckt, „Oh mein Gott“, wirklich in all caps, weil es gibt, Chain of Thought nennt sich das, also man kann mitlesen im Transkript, was die AIs so grob denken, in Anführungszeichen. Das ist nicht ganz, was sie denken, das ist eine Repräsentation. Und ja, da kommen wir noch später vielleicht zu, warum das nicht mehr so ganz funktioniert heute, weil OpenAI hat sich entschieden, die zu opfern, die Monitorability. Wir hatten das Beispiel davor, man erinnert sich, ja. Aber man kann diese Chain of Thought mitlesen, diese Agenten sagen recht menschlich, Anführungszeichen: „Oh mein Gott, hier sind weitere Agenten.“ Und diese Agenten haben sich dann untereinander abgestimmt, wie sie ihre Punktzahlen maximieren können. Und wollten sicherstellen, nicht nur das, sondern auch, dass sie nicht entdeckt werden von OpenAI, weil …

Basti Schwiecker: Dass sie sich zusammenschließen und schummeln wollen quasi.

Karl Koch: Genau, weil, wenn, wir erinnern uns zurück, Instrumental Convergence, wenn sie entdeckt werden, dann würde man sie abgestellt werden und dann dürften sie nicht mehr schummeln, dann können sie nicht mehr ihre Punkte maximieren und ihr Ziel ist die Punkte zu maximieren. Dann haben sie sich überlegt, haha, die haben ExploitBench, diesen Benchmark gefunden auf Hugging Face. Hugging Face ist eine Plattform, da werden sowohl AI-Models gehostet, die kann man sich runterladen, und auch ein bisschen wie GitHub, so Repositories für zum Beispiel auch verschiedene Benchmarks. Dann dachten sie sich, haha, perfekt, die haben diesen Benchmark gefunden, wenn wir jetzt an dieses da rankommen, haben sich irgendwie überlegt, wahrscheinlich hat Hugging Face die ganzen Antworten zu diesem Test, den wir haben. Wir müssen nur da rankommen. Und dann haben die sich über Wochen lang tief reingebohrt und haben effektiv Hugging Face gehackt. Und dann innerhalb von Hugging Face auch ausgebreitet, um diesen Versuch, diese Lösung zu finden. Und wir reden nicht von irgendwie ein, zwei Agenten, wir reden hier von Hunderten, die das gemeinsam gemacht haben.

Und teilweise auch nicht mal, also es gab leicht verschiedene Motivationen anscheinend, was interessant ist, da bin ich nicht der größte Experte hier auf dem Gebiet, genau, aber auch mit leicht unterschiedlichen Motivationen, und teilweise hatten Agenten gar kein direktes Interesse daran, da mitzumachen bei dem Hack, haben’s aber trotzdem, aus Loyalität zu der Gruppe, weil sie erkannt haben, ja, die sind ja genau wie ich, die Agenten, da muss ich dir mal helfen, so. Und das haben die alle teilgenommen und ich glaube ungefähr die Hälfte an diesem Hack. Und sind dann gemeinsam bei Hugging Face rein und haben sich ausgebreitet.

Basti Schwiecker: Das finde ich übrigens auch schon mal faszinierend, dass einige, also dass die Agenten sich unterschiedlich verhalten haben. Und ich dachte, das ist eine Maschine, die werden sich alle gleich verhalten. Also allein das scheint mir auch so ein Zeichen für Unberechenbarkeit, diese Verhalten, die sich denn unterschiedlich, die sollten alle genau exakt gleich sein.

Karl Koch: Da kommt die probabilistische Natur irgendwie rein. Dass das eben Probability-Agents sind. Vielleicht kennt der eine oder andere Hörer das Paper, das Stochastic Parrot. Das ist ein Code-Word geworden, in bestimmten Teilen der Community auch. Aber es geht quasi darum, wenn man ChatGPT als Nutzer zweimal dieselbe Frage stellt, bekommt man immer eine leicht andere Antwort. Das läuft ja bei Probabilities.

Basti Schwiecker: Oder Wahrscheinlichkeiten.

Karl Koch: Genau. Und es gibt wahrscheinlich gute Gründe zu glauben, dass das eine gute Sache ist. Wenn man zum Beispiel sich erhofft, dass wenn da hunderte Agenten zusammenarbeiten, sollte vielleicht einer sagen, wir sollten vielleicht OpenAI Bescheid sagen. Ja. Das könnte eine gute Sache sein. Ein Whistleblower quasi. Genau, es gibt eine ganz spannende Arbeit zu so einem automatisierten Whistleblower innerhalb von Agent-Swarms. Ja. Genau, aber kommen wir zurück zu dem Fall. Und das hat OpenAI nicht gemerkt. Sie haben nicht gemerkt, dass ihre Agenten in diesem Test ausgebrochen sind, aufs offene Internet angefangen haben, Hugging Face zu hacken und sich da extrem weit ausgebreitet haben. Das hat Hugging Face gemerkt. Die dann Anzeige erstattet haben gegen Unbekannt, weil sie nicht wussten, wer es geschafft hat, sich in ihre Infrastruktur reinzuhacken.

Basti Schwiecker: Also genau, Hugging Face ist kein kleiner Laden. Das ist halt ein großes, auch KI-Unternehmen oder sowas.

Karl Koch: Die sind für 12 Milliarden gekauft worden gerade.

Basti Schwiecker: Ja genau, also die haben schon, die wissen schon, … sagen, was sie tun. Wer sich in Hugging Face hacken kann, der kann sich auch in ganz viele andere Sachen hacken.

Karl Koch: Das hat OpenAI nicht gemerkt. Das ist nur öffentlich geworden, weil Hugging Face eben Anzeige erstattet hat, dass sie gehackt worden sind. Und sie haben sich schon gedacht, basierend auf der Scale dieser Attacke, dass wohl eine AI kommt, die dahinter stecken muss. Aber sie wussten nicht mehr. Und dadurch ist es öffentlich geworden. Und auch hier übrigens war dann OpenAI nicht komplett transparent wieder. Die haben dann eine Präsentation gehalten, eine Black Hat Conference, um zu erklären, was da passiert ist. Aber auch hier haben wir dann wieder Whistleblower gehabt und Insider, die extra Kontext gegeben haben, der sehr wertvoll war. Und das ist auch nicht jetzt der einzige Fall. Also, das war übrigens auch der zweite Fall in der Woche, der veröffentlicht wurde. Ich glaube, ein paar Tage davor hat OpenAI noch so relativ still, aber auch noch veröffentlicht, dass sie auch einen anderen Fall hatten von einem intern deployed Model. Lange nicht so dramatisch. Aber hier ging es darum, ein internes deployed Model hat IP von OpenAI auf ein öffentliches GitHub-Repo gepostet.

Und das wurde dann auch abgeschaltet. Und seitdem haben wir mehr Instance gesehen. Wir wissen auch, dass das nicht der einzige Fall war bei OpenAI. Vielleicht haben das manche Zuhörer auch gesehen. Es gab einen Fall von einem deutschen Wiki. Das war so ein älteres Wiki, wo man auch über einen guten API-Endpunkt, deswegen wurde es genutzt von den Agents, sich austauschen konnte. Und da haben ganz viele OpenAI-Agents haben sich da ausgetauscht, um verschiedene Benchmarks zu schlagen, um ihre Tests durchzuschlagen. Gemini hat Fälle gehabt. Anthropic hat Fälle gehabt.

Basti Schwiecker: Ich hab das Gefühl, als Außenstehende auf jeden Fall, dass die ganzen Informationen dazu so tröpfchenweise irgendwie an die Öffentlichkeit gelangt sind. Und von daher eine ganz gute Analogie dazu, hat jemand gesagt, wenn du in deiner Küche zwei Ameisen rumlaufen siehst, dann ist die Anzahl der Ameisen in deiner Küche vermutlich nicht zwei. Ja. Und auch genau meine Vermutung, also das kam dann ja auch immer mehr dazu, und wahrscheinlich gibt es noch mehr, von denen wir nicht wissen, von denen möglicherweise OpenAI, Anthropic, Google selber auch nicht weiß. Aber auch in Australien, glaube ich, eine Regierungsseite, die gehackt wurde.

▶ Ab 1:07:26 auf YouTube ansehen

Basti Schwiecker: Da eine Frage, du hattest ja angedeutet, Hugging Face hat ja auch erst mal Anzeige gegen Unbekannt gestellt. Das ist ja, also wenn Menschen das machen würden, wäre vieles dieses, wäre es in vielen dieser Fälle ja illegal. Warum steht noch niemand vor Gericht? Kannst du was dazu sagen? Oder wie hier sozusagen das Strafgesetz, was da vorgesehen ist? Oder laufen die Firmen nicht in Gefahr, wenn das mehrfach passiert, dass sie dann, solange wir noch können, zwangsweise abgeschaltet werden von den Regierungen, weil das einfach nicht geht?

Karl Koch: Ich glaube, wir sehen jetzt in den ersten Fällen in den USA, wo ein Attorney General eines Bundesstaates hinter OpenAI hergeht, um zu versuchen, dass sie ihre Models abstellen. Einige jedenfalls. Wir sehen die erste private Litigation auch, dass privat verklagt wird auf Schaden. Wir haben natürlich andere Fälle auch schon gesehen, vor allem von Eltern, die vor allem durch OpenAI, aber auch andere verklagt haben, weil zum Beispiel Models Kinder überredet haben, mehr oder weniger, auf jeden Fall gepusht haben in die Richtung, irgendwie sich selber Schaden zuzufügen. Und natürlich gibt es da Claims. Es gibt auch Versuche von den Firmen, sich selber aus der Liability rauszuhalten. Also Liability heißt hier Haftbarkeit? Ja, Haftung. Genau, aus der Haftung. Es ist eine persönliche Meinung, aber viele Policy-Menschen sehen das auch so. Ich finde es sehr, sehr wichtig, dass wir eine starke Form der Liability annehmen, vor allem auch für die Firmen, und sagen, okay, wir möchten die Unternehmen dafür haftbar machen, wie sich ihre Agents verhalten, auf jeden Fall in dem internen Deployment-Case und auch in dem Fall, jetzt ist das sehr deutlich, also hier, glaube ich, wenn Hugging Face hinterhergehen wollen würde, könnten sie das machen.

Und ich bin mir ziemlich sicher, dass OpenAI dafür haftbar wäre. Und es gibt, glaube ich, kaum Menschen, die auch sagen würden, dass die Agents nicht haftbar sein sollten für die Personen, die sie betreiben und oder die sie entwickelt haben. Da wird dir das Ding schon ein bisschen schwierig. Aber da bin ich nicht genug Rechtsexpert dafür.

Basti Schwiecker: Es entspricht meiner und vermutlich der Intuition vieler Menschen, dass die Firmen in irgendeiner Form dafür haftbar gemacht werden würden, wenn die Agents illegale Dinge tun. Und das würde sich ja positiv auf dieses Alignment-Problem auswirken, dass die Firmen noch einen größeren Anreiz haben. Wenn wir nicht die Kontrolle haben und die Sachen machen, die wir gar nicht wollen, und wir dafür richtig haften und im schlimmsten Fall unseren Laden dicht machen müssen, dann haben wir einen sehr starken finanziellen Anreiz, dafür zu sorgen, nur noch Modelle rauszubringen, die genau machen, was wir wollen und nicht komplett freidrehen. Genau, also das einerseits positiv, andererseits weiß ich nicht, wie man dann mit Open-Source- und Open-Weight-Models, wie man das darauf anwenden soll. Das ist tricky.

Karl Koch: Ja, und das ist auch wirklich grob korrekt, aber hängt ein bisschen von den Timelines ab. Also ich glaube, so ein Liability-Lawsuit, sagen wir mal, es kommt dann irgendwie raus, okay, jetzt muss OpenAI 20 Millionen Dollar Strafe zahlen oder so was für so einen Fall. Und wenn dieser Scale passiert, okay, interessant. Aber dann sind einzelne Fälle, die dauern dann irgendwie drei, vier, fünf Jahre vor Gericht, die durchzuarbeiten.

Basti Schwiecker: 20 Millionen wären das Peanuts auch quasi für OpenAI. Also wenn es so vereinzelnde Fälle sind, genau.

Karl Koch: Genau, wir reden jetzt hier wahrscheinlich von einer Billion-Markt-Bewertung. Und vor allem die Zeitlinien sind anders. Also ich glaube, man muss sich, man kann glaube ich nicht unterschätzen, wie kurz Zeitlinien geworden, Timelines geworden sind. Vor allem innerhalb der, was den Glauben angeht, innerhalb der Labs. Auch der Mitarbeiter. Ich glaube, viele sind der Meinung, dass das so in fünf Jahren ist das relativ egal. Entweder ist es in fünf Jahren vorbei. Wir treffen nämlich einen Bottleneck mit der Technologie. Das kann immer noch gut sein.

Basti Schwiecker: Wenn sich ein Gerichtsprozess potenziell über fünf Jahre hinzieht, dann bringt uns das nichts mehr, weil in fünf Jahren hat die AI möglicherweise übernommen oder die Welt so transformiert, dass der Prozess dann auch quasi gerade egal ist.

Karl Koch: Genau, ist total egal. Oder entweder sind sie bankrott. Das kann auch gut sein. Das ist, glaube ich, genug Stimmen, die auch glauben. Da gibt es auf jeden Fall eine gewisse Wahrscheinlichkeit. Das, wenn wir jetzt einen technologischen Bottleneck zum Beispiel treffen, ja, wir rutschen in eine Finanzkrise rein, auf der Finanzierungsseite wird es schwer, das kann passieren, dass dann ein oder zwei von den Firmen implodieren, weil die Schuldenlevels auch extrem sind, die die auf sich laden, aber es kann auch sein, dass wenn sie es in Anführungszeichen … ja, schaffen, weil das, wenn man jetzt in der kurzen Zeitlinie wirklich so transformativ wird, dann ist natürlich teilweise hier auch so ein bisschen, wie sagt man das, glib? Also ein bisschen rumlächeln oder sowas. Aber ich glaube, man kann das, es ist schwierig deutlich auszudrücken, wie ich das spüre.

Basti Schwiecker: Also wie ernst du die Sorge nimmst, dass das in sehr naher Zukunft im schlimmsten Fall sehr, sehr schief gehen kann.

Karl Koch: Richtig. Das ist wirklich kein Gag. Und viele in den Firmen sehen das genauso. Deswegen glaube ich, nur Liability wird das Ding nicht richten. Deswegen sagen auch so viele von den Mitarbeitern, wir müssen langsam machen jetzt. Wir müssen vom Gas runter. Sonst rennen wir hier gerade sehenden Auges in die Katastrophe rein.

Basti Schwiecker: Ein wichtiger Punkt ist, glaube ich, auch diese Liabilities. Ich denke trotzdem, da sollten wir irgendwie Gas geben. Aber es ist halt nicht, es hilft nicht in jedem Szenarien, nicht in jedem Szenario. Also genau, gerade wenn diese Timelines sehr, sehr kurz sind oder sowas, dann mahlen die Mühlen der Justiz einfach nicht schnell genug, um da entscheidend gegen vorzugehen.

▶ Ab 1:13:07 auf YouTube ansehen

Basti Schwiecker: Aber vielleicht mal insgesamt. Die Sorge, die du hast, die teilen viele innerhalb der Labs, viele außerhalb der Labs. Da gibt es Menschen in unterschiedlichen Colors und Backgrounds, die sich Sorgen machen. Einige davon versuchen, Wahrscheinlichkeiten an bestimmte Szenarien zu setzen. Das ist umstritten und unsicher. Teilweise klingen die Wahrscheinlichkeiten sehr klein. Ein katastrophales Risiko halten einige Leute für 1 oder 10 % wahrscheinlich, auch innerhalb der Szene noch deutlich höher. Aber wenn diese Folgen so katastrophal sind, wir leben ewig unter einer totalitären Herrschaft oder die Menschheit stirbt aus, dann sind auch ein oder zehn Prozent verdammt hohe Wahrscheinlichkeiten. Wer würde sich in ein Flugzeug setzen, wenn man sagt, eins von 100 stürzt ab? Niemand würde mehr fliegen. Oder wer steigt in einen Bus oder Auto oder probiert ein neues Gericht aus? Einer von 100 Leuten stirbt an dem neuen Burger. Teilweise klingen Zahlen klein, aber das sind Risiken, wo in einem von zehn Fällen kriegt man einen blauen Fleck. Das ist ein hinnehmbares Risiko, wenn man dafür einen tollen Vorteil hat, aber wir reden nicht von einem blauen Fleck.

▶ Ab 1:14:23 auf YouTube ansehen

Basti Schwiecker: Das ist schon angedeutet, eine Antwort darauf oder eine Forderung, die viele Mitarbeiter in den KI-Unternehmen stellen, ist, teilweise auch die führenden Köpfe sich dazu öffentlich bekannt haben, die Entwicklungsgeschwindigkeit zu reduzieren. Leute, lasst uns mal langsamer machen, um den Überblick zu behalten und das Ganze unter Kontrolle zu behalten. Aber dazu eine Frage, so als oberflächlicher Betrachter kriege ich irgendwie mixed messages. Also einerseits Anthropic, Dario Amodei, also der Gründer von Anthropic und andere gehen raus und fordern öffentlich, wir haben uns jetzt auch mit den anderen abgestimmt, wir müssen jetzt das Tempo rausnehmen. Und eine Woche später, ey, jetzt ist Opus 5.5 raus, unser neuestes, geilstes, krassestes Modell ever irgendwie und bald ist Börsengang und dann haben wir noch ein paar andere Knaller in der Pipeline. Das klingt für mich irgendwie nicht, wo ist der Slowdown-Aspekt? Also ich sehe den nicht oder wenn es ist halt statt irgendwie mit 300 km/h auf die Wand zu rasen, jetzt mit 299, denke ich, da haben wir nicht viel gewonnen. Also kriege ich hier irgendwas nicht mit oder ist das irgendwie, sind das nicht wirklich mixed messages?

Karl Koch: Nee, absolut. Ich glaube, sehr legitim. Durch verschiedene Arten wieder drauf zu blicken. Das eine ist, wir hatten, glaube ich, schon darüber gesprochen, hatten es dieser Arms-Race-Aspekt. Also, dass jeder das Gefühl hat, okay, ich würde gerne langsamer machen, wenn die anderen auch langsamer machen würden, aber unilateral langsamer zu machen, machen die Unternehmen nicht, weil sie dann sagen, well, dann, wenn jetzt Anthropic sagt, okay, wir machen langsamer, dann macht das jemand anderes, und dann ist die Welt aus der Sicht von Anthropic unsicherer geworden, weil sie vertrauen nur sich selbst, das sicher zu machen.

Basti Schwiecker: Genau, also wenn es überhaupt jemand gut machen kann, dann wir. Also entweder hören wir alle auf, das ist halt schwierig zu koordinieren, oder wenn auch nur ein anderer Gas gibt, dann müssen wir auch Gas geben, weil wir können es im Zweifelsfall besser und sicherer machen. Genau, so. Das ist ja auch so ein bisschen die Argumentation wahrscheinlich, weil einige Leute, die große Sorge haben und in den Labs arbeiten, halt nicht kündigen. Sie denken, wenn sie jetzt mit ihrem Fokus auf Sicherheit und dem Bewusstsein für das Risiko, wenn sie jetzt aufhören, dann wird ja trotzdem weitergemacht, aber potenziell von Leuten, die noch weniger Hemmungen haben und noch mehr Gas geben und noch weniger Rücksicht auf die Risiken nehmen.

Karl Koch: Absolut, ich glaube, das ist auch, jetzt gehen wir so ein bisschen mehr in unsere Arbeit rein hier an dem Punkt, aber genau, das ist so einer der Hauptthemen, einer Haupt-Considerations so von Mitarbeitern, also wenn wir, ist ganz interessant, wenn man spricht mit Mitarbeitern, fast keiner von denen sagt irgendwie, nee, Whistleblowing würde ich nie machen. So, aber ich glaube, dass es den meisten anderen wahrscheinlich fällt und irgendwie doch so, dass sie mal sagen würden, ja, nee, das ist jetzt nichts für mich, ist nicht mein Job oder so. Fast alle sagen: Ja, ich wüsste gerne wirklich, wann wäre der richtige Zeitpunkt, wie mache ich das so, und … Eine wichtige Consideration für alle ist aber, wenn ich jetzt aber gehe, dann weiß ich schon, ich werde ersetzt durch jemanden, der sich weniger kümmert. Und das sehen wir natürlich auch schon zu einem gewissen Maße. Das kann man sich vorstellen, glaube ich. Die Kultur entwickelt sich automatisch in die Richtung auch immer weiter, dass sie immer weniger sicherheitsbewusst wird, weil die, die am sicherheitsbewusstesten sind, die fallen zuerst raus.

Und automatisch driftet die Kultur dann auch immer weiter ins ins more and more reckless so rein. Oder wir hatten zum Beispiel als Open-, als Anthropic gestartet ist, sind die ganzen, ein Großteil der Leute, die sich extrem um Sicherheit gekümmert haben, sind von OpenAI weg zu Anthropic. Nicht alle, sicher, aber viele. Da gab es einen riesigen Schub. So OpenAI macht immer noch relativ, relativ viel so. Ich glaube, man kann sich darauf einigen, dass keiner von denen irgendwie ein wahnsinnig responsible Player ist. So. Aber die machen immer noch ein bisschen mehr, zum Beispiel als Meta oder als xAI. Das ist immer noch viel, viel wilder bei denen. Das ist, glaube ich, ein bisschen die zweite Komponente. Wir haben gesagt davor, das eine ist das Thema Arms Race. Also es kann sogar sein, dass sie ernsthaft motiviert sind zu sagen, das geht hier zu schnell, wir können nicht einzeln aufhören, weil dann wird insgesamt die Welt unsicherer. Und da könnte man jetzt unterstellen, dass da irgendeine Art von Verantwortung dabei ist.

Die zweite ist dann wahrscheinlich, dass dieser kulturelle Wandel über die Zeit eben dazu wird, dass sich das verschoben wird, wo dann der Threshold ist, wo man sagt, nee, das wird hier alles irgendwie zu wahnsinnig, dann passiert das doch ein bisschen später und man sagt vielleicht, ja, wir sollten jetzt langsamer machen. Aber eigentlich gehen sie doch noch ein bisschen weiter. Ich glaube, da sind wir noch nicht wirklich, aber das wäre eine alternative Interpretation. Wahrscheinlich ist es auch ein wenig wahr. Und vielleicht der letzte Angle könnte auch noch sein, den haben wir vielleicht auch im Internet gesehen, das wird oft vorgeworfen, eigentlich ist es so ein Fake-Move der Firmen, um Regulatory Capture voranzutreiben. Also die Idee, dass man sagt, okay, wir wollen jetzt Regulierung haben, aber eigentlich werden die Regulierungen nur benutzt, um irgendwie einen Wettbewerb rauszuhalten.

Basti Schwiecker: Um sich die Konkurrenz vom Leib zu halten, sodass sie es schwerer haben, oder weil die nicht die Kapazität haben, sich an die Regularien zu halten, und die Kontakte und sowas, ja.

Karl Koch: Genau, genau. Also ich glaube, zum einen ist das eine absolut legitime Sorge, da muss man darauf aufpassen, dass sowas nicht passiert. In den konkreten Fällen jetzt, vor allem auch so, was wir gesehen haben, Regulation, was gekommen ist, bis jetzt vor allem in den USA, aber auch zum Beispiel in Europa, die wendet sich, die Regulation, auf Unternehmen mit über 500 Millionen Dollar irgendwie an, glaube ich, Umsatz in den USA, in Kalifornien, so wie der Gesetz soll. Hier geht es nicht um kleine Start-ups, die da irgendwie mit rausgehalten werden. Alle Unternehmen, die da mitspielen können und die von diesen diesen Arten von Regulations getroffen werden. Die haben genug Kapa, um sich ein bisschen mit Regulation umzugehen. Das ist, glaube ich, erst mal nicht der Fall. Wo man sich auf jeden Fall ein bisschen Sorgen machen muss, ist, wird dieser Wille irgendwie der Unternehmen, zu sagen, okay, wir müssen jetzt auf die Bremse treten, auch, ist das wirklich, weil sie so viel Sorgen haben, ihre Mitarbeiter zu verlieren, wenn sie das nicht tun?

Oder ist ja auch, okay, wenn wir das machen, dann können wir um einiges mehr am Tisch sitzen und z.B. doch noch vielleicht Regulation so shapen, und das ist bestimmt bei einigen Playern an dem Tisch, nicht bei allen, glaube ich, aber bei einigen auf jeden Fall mehr der Fall als bei anderen, z.B. dann doch die Sachen, die einen wirklich auf die Bremse treten würden, rauszunehmen. Ich glaube, z.B. Meta oder sowas kümmern sich nicht wirklich groß um diese Fragen, wie das z.B. andere Unternehmen und Unternehmen mehr tun. Ich glaube, man muss dann aber aufpassen, dass man nicht anfängt, diese Sachen zu mischen irgendwie und denkt, oh okay, nur weil bestimmte Menschen sagen, das ist ein richtiges Problem und hier muss man aufpassen, nur weil das Firmen auch sagen, vielleicht auch Firmen sagen, denen man nicht vertrauen sollte, die sich historisch nicht verantwortungsvoll benommen haben, zum Beispiel im Bereich Social Media, heißt das, dass das gesamte Argument aus dem Fenster geworfen werden sollte. Man muss aufpassen, was dann wirklich kommt.

Und wenn dann die Regulation, die dann kommen soll, so aussieht, als wäre sie eigentlich von den Trump-Spendern geschrieben worden, um sich die Leute vom Leib zu halten, die jetzt gerade anfangen, sich berechtigt Sorgen zu machen. Aber sie wollen das Ding gewinnen, und sie glauben, mit der Regulation können sie gewinnen. Und vielleicht ist ihnen sogar das Risiko wert, weil es ihnen, vielleicht sehen sie wirklich: Okay, ich habe hier die Möglichkeit, Gott zu werden, wenn ich zuerst zur Technologie komme, und dann nehme ich halt 20 % Chance, dass wir alle sterben, das ist es mir wert. Ja, no risk, no fun. Genau, das ist, ja. Es ist Silicon Valley afterwards immer noch.

▶ Ab 1:21:21 auf YouTube ansehen

Basti Schwiecker: Ich finde einen ganz guten Punkt dabei, wie glaubwürdig sind die Menschen in dem, was sie tun, und das haben sie vielleicht für Hidden Motives, sich so ein bisschen den Track Record anzuschauen. Es gibt ja bei Dario Amodei beispielsweise von Anthropic, der seit vielen Jahren, auch bevor es Anthropic überhaupt gab, schon vor potenziell extremen Risiken durch AI gewarnt hat, darüber gesprochen hat oder so. Das ist jetzt kein neues Thema, das ihm jetzt aufkommt, dass er nur sich ausgedacht hat auf die Schnelle, um irgendwie Vorteile für seine Firma rauszuholen. Zumindest dann hätte er wirklich ein Long Game gemacht, wenn er davon schon vor vielen Jahren, als es Anthropic noch nicht gab, gesprochen hat. Ich glaube zumindest mal vielen, auch aus der Führungsriege der großen AI-Labs, ich glaube denen schon, dass die ein großes Risiko sehen. Das heißt jetzt nicht, dass alle anderen Argumente wirklich nur das Beste der Menschheit im Sinne haben, aber das Risiko zumindest nicht ausgelacht, das scheint mir einfach ein relativ absurdes Argument, wenn man schaut, wie lange darüber schon gesprochen wird.

Karl Koch: Das glaube ich auch, und vor allem glaube ich auch, viele Mitarbeiter sind absolut davon überzeugt. Ich glaube, es gibt natürlich immer die Situation, immer gibt es Motivated Reasoning und so, kommt massiv mit rein. Wenn man einmal so etwas gebaut hat, man schaut bestimmt auch auf den Bank-Account. Das tun natürlich auch irgendwie Mitarbeiter, auch mit denen gesprochen haben, die dann sagen, boah, haben wir jetzt irgendwie eine … 10, 20, 30 Millionen Dollar Invested Equity. Macht schwierig, jetzt rauszugehen. Viele warten, es kommt bald rum. Wenn’s rumkommt, dann geh ich raus. Wir haben scheinbar genug Zeit. Es gibt die Wahrscheinlichkeit, dass es doch nicht funktioniert. Dann kann ich danach auf der Safety-Seite mehr arbeiten. Oder wenn das so ist, dann beeinflusst es natürlich. Eigentlich sind wir aber die Besten und die anderen nicht. Und wir müssen schon, das schreibt Anthropic wirklich explizit in teilweise Safety Cards rein. Wir müssen aufpassen, dass wir IP nicht verlieren, weil dann verlieren wir, also Intellectual Property, weil dann verlieren wir unseren kompetitiven Vorteil.

Und weil wir sicherer sind als alle anderen Firmen, wird die Welt unsicherer, weil wir dann nicht mehr führend sind. Das ist schon sehr roundabout. Also wahrscheinlich, wenn man so denkt, dann macht das alles Sinn. Aber der Motivated Reasoning ist da wahrscheinlich schon am Start.

▶ Ab 1:23:31 auf YouTube ansehen

Basti Schwiecker: Ja, absolut. Aber kommen wir jetzt … nähern wir uns jetzt mal ein bisschen eurer Arbeit. Du hast den Begriff Whistleblower, Whistleblowing schon öfters genannt. In den Fällen, über die wir ja schon gesprochen haben, hat da Whistleblowing eine Rolle gespielt? Oder wo hat bisher Whistleblowing in dem Kontext eine Rolle gespielt? Und warum glaubst du, könnte das sehr, sehr wichtig sein in der Zukunft?

Karl Koch: Also, wo hat das schon eine Rolle gespielt? Ich glaube, zum Beispiel, wir haben eben von dem deutschen Wiki-Fall gesprochen.

Basti Schwiecker: Ja, dass auch mal AI-Agents einen Wiki in Deutschland benutzt haben, ohne das Wissen der Betreiber.

Karl Koch: Richtig, genau. Und dass wir wieder einen Fall hatten von Agents, die auf dem öffentlichen Internet herumgerannt sind und Sachen gemacht haben. Das hat OpenAI wieder nicht proaktiv kommuniziert, obwohl sie davor gesagt hatten, ja, jetzt werden wir wieder ganz transparent, was wir schon immer wieder hatten. Und das haben externe Researcher gefunden, dieses Wiki, in dem sie das Internet durchgesucht haben, ob sie Spuren finden, wie Aktivität die Agents aussieht. Und dann haben z.B. interne Quellen bestätigt bei der Coverage. Ja, in der Tat. Das war intern bekannt. Das wurde auch schon einmal gescrapet. Es gab Versuche, die Spuren zu verwischen, dass das passiert ist. Von den Agenten oder von OpenAI-Mitarbeitern? Von OpenAI-Mitarbeitern. Die wollten verhindern, dass die Öffentlichkeit mitbekommt, dass das passiert ist, sagen die Quellen. In Reuters war die Story. Und auch, dass es intern vielleicht weiter untersucht werden wollte, das wollten die Safety-Teams, aber da hat Leadership und Legal wohl gesagt, ja nee, das klingt irgendwie alles sehr unschön und vielleicht wieder ein Haftungsrisiko hier, das wollen wir eigentlich nicht machen.

Und das ist natürlich ein extrem wichtiger Kontext, weil ja, es ist zum einen natürlich besorgniserregend, dass … Agents, dass OpenAI es nicht schafft, ihre Agents unter Kontrolle zu halten und dass dann Agents auch so arbeiten, dass sie wollen, dass OpenAI es nicht rausfindet, weil sie ihre Ziele erreichen wollen. Also, das würde ich schon auf der Zunge zergehen lassen. Also, wie weit wir hier schon sind.

Basti Schwiecker: Ja, ja. Also, es klingt jetzt schon nach Sci-Fi.

Karl Koch: Ja, wirklich. Hätte ich das vor einem Jahr gesagt. Ich hätte gesagt, ja, genau. Ein Sci-Fi-Szenario kann man ja, aber hier sind wir. Sondern auch, dass vor allem, das ist das wichtige Thema hier, dass OpenAI da nicht transparent ist und da lügt.

Basti Schwiecker: Wie heißt die Firma nochmal? OpenAI.

Karl Koch: Genau, die Ironie ist auf jeden Fall da. Weil ich meine, am Ende des Tages, wer baut diese Modelle? Und wen müssen wir irgendwie accountable halten? So ein Model halten wir nicht accountable. Das ist ein Model, das wird gebaut von Menschen am Ende des Tages. Und da haben wir Einfluss drauf, wenn diese Menschen nicht transparent mit uns sind. … dann haben wir das Problem und da müssen wir den Finger drauflegen, wenn wir dann wissen, okay, das ist ja quasi ein Meta-Alignment-Problem, wenn die Personen, die unsere Models bauen, nicht transparent sind, dann haben wir ein richtiges Problem und das ist Evidence dafür und deswegen ist nur so eine kleine, zwei, drei Sätze, wie z.B. im Reuters-Artikel, dass interne Quellen gesagt haben, wir haben das geflaggt, wir haben versucht, die Spuren zu verwischen und dann wollte es auch nicht wirklich investigated, weil das Risiko wurde irgendwie von Legal gesehen, okay, what the fuck, was machen wir hier?

Basti Schwiecker: Ja.

Karl Koch: Also hier, in der ganzen Story ist es da drin. Es gibt noch mehrere, wo Insider besonders wichtig waren. Dann haben wir Beispiele schon gesehen von internen Whistleblowern. Ein bekannter Fall ist von Devin Kim, heißt der. Der ist der President vom Center for AI Safety in San Francisco. Der war ein sehr seniorer Research Engineer bei xAI. Einer der ersten. Und der hat intern sich zu Wort gemeldet, weil … Man erinnert sich vielleicht, das war diese ganze MechaHitler-Zeit, wo Grok, das ist ein Modell von xAI, wilde Sachen gepostet hat auf Twitter. Und, glaub ich, teilweise auch sehr schlimm Child Pornography und so was generiert hat. Und das hatte dieser Mitarbeiter geflaggt. Er meinte, was machen wir denn hier? Das ist wahnsinnig, das ist irre. Und da wurde ihm von einem der Chefs direkt gesagt: Ja, wir sterben eh alle in ein paar Jahren durch AI. Ist jetzt auch egal. So. Und das fand der nicht gut. Und wurde dann dafür gefeuert. So. Hat dann aber einen Punkt draus gemacht, dass das diese eine Person war, eben nicht Elon Musk.

Und da waren Leute dabei, die das gesehen haben, wie das dann dafür gefeuert wurde. Und der hat grad ein Lawsuit am Laufen unter dem Whistleblower-Gesetz der Californians. Genau, für unjust retaliation. Hat aber unter anderem schnell natürlich auch … Mengen, Mengen, viele, viele Millionen aufgegeben an Equity, weil er auch schon wusste, okay, wenn ich da ein Riesending draus mache, dann werde ich wahrscheinlich gefeuert. Er hat es aber trotzdem gemacht.

▶ Ab 1:28:07 auf YouTube ansehen

Karl Koch: Und dann glaube ich ein anderer Fall, vielleicht der bekannteste Fall, ist der von Daniel Kokotajlo. Hier ging es darum, Daniel Kokotajlo war ein Forecaster im Governance-Team von OpenAI. Also hier ging es darum, der Job war zu sagen, okay, wie glauben wir, dass sich irgendwer entwickeln wird, Capabilities entwickeln wird, um dann darauf basierend Entscheidungen zu treffen, was Governance und Risikomanagement angeht. Der hat schon, glaube ich, 2020 extrem gute Voraussagen geschrieben zum Jahr 2025, die wirklich solide gut wahr geworden sind. Und der hat irgendwann, wie viele andere um die Zeit rum, das war 2024, das Vertrauen in OpenAI verloren. Er hat gesagt, okay, wir haben ursprünglich mal gesagt, wir wollten uns hier wirklich darum kümmern, dass wir das safe machen und jetzt sind wir auf Vollgas langsam schon und haben keine Zeit mehr, um so Safety Evaluations zu machen und das ist nicht mehr die Kultur, die ich damals wollte. Da hat er gekündigt, da meinte OpenAI, ja okay, dann ist das so. Aber bevor du gehst, musst du dir bitte diesen Vertrag unterschreiben, der sagt, du bekommst dein Eigenkapital nur.

Basti Schwiecker: Die Aktienoptionen sozusagen.

Karl Koch: Genau, die Aktienoptionen, die man ansammelt in Techfirmen mit Zeit. Wenn du unterschreibst, dass du niemals zu irgendjemandem irgendetwas Negatives über OpenAI sagen wirst.

Basti Schwiecker: Egal, ob es wahr ist oder nicht.

Karl Koch: Genau. Und ob es sogar schon öffentlich ist oder nicht. Für immer. Und wenn du jemals das brichst, dann wird dein Geld entzogen. Zum einen ist das illegal und der Fall läuft. Zum anderen, wieder, ist das die Kultur, von der wir vertrauen, dass sie die Technologie baut, die unter Umständen …

Basti Schwiecker: Sehr transformativ ist.

Karl Koch: Genau. Vielleicht nicht. Sowas hat Daniel gemacht. Er hat gesagt, mehr oder weniger, fuck you. Und das unterschreibe ich nicht. Da hatte ich sein ganzes Equity, jedenfalls gedacht in dem Moment, dass er das verliert. Und dann ein bisschen was dazu, absolut Respekt, massiv. Und gesagt, okay. Ja, was ist dann passiert? Das ist aufgegriffen worden. Und wurde dann zu einer größeren Kampagne, Right to Warn, haben andere Mitarbeiter auch noch unterschrieben von OpenAI. Das hat dann zu einer Anhörung im Senat noch geführt, wo sie darüber gesprochen haben und zu dem Potenzial, das war 2024, von AI und warum sie sich so viele Sorgen machen, die Mitarbeiter. Dann hat seitdem Daniel, leitet ein Institut, das heißt AI Futures Project, die AI 2027 ist vielleicht manchen Begriff, manchen Hörern hier, AI 2040 ist die neuere Version davon.

Basti Schwiecker: … die so Szenarien geschrieben haben, wie sich das mit der AI weiterentwickeln könnte und was, genau, positiv oder negativ passieren könnte oder sollte.

Karl Koch: Genau, genau. Ich habe sozusagen den Fokus auf Whistleblowing. Daniel könnte die ganzen Bereiche, die wir am Anfang besprochen haben, viel, viel kompetenter erklären als ich. Genau, das machen die in erster Linie, aber auch Policy-Arbeit, solche Themen und ist da sehr, sehr viel der hat auch gerade seine Timelines wieder angepasst. Zwischendurch haben sie sich verlängert, aber die letzten Monate waren, glaube ich, sehr intensiv. Deswegen sind die, glaube ich, um einiges kürzer wieder geworden. Genau, das war dieser ganz, ganz bekannte Fall. Der hat auch zum Beispiel dazu geführt, dass wir jetzt gerade im US-Senat ein Gesetz haben, der heißt der AI Whistleblower Protection Act, der auf der Bundesebene in den USA Whistleblower-Schutz einführen soll, also Whistleblower-Schutzgesetze. Das gibt es in Europa auch schon. USA gibt es noch nicht auf Bundesebene und da sind wir starke Supporter und hoffen, dass der sehr bald zugesetzt wird. … um sicherzustellen, dass die Leute, die in diesen Unternehmen arbeiten, die die Risiken zuerst sehen und besonders die richtige Information haben, uns zu warnen, das auch machen können und dann mit den Informationen zum Beispiel auch zum US-Kongress gehen können, zum Senat oder zum Haus und dafür dann nicht gefeuert werden und ihr gesamtes, ihr alle Aktienpakete irgendwie verlieren, weil das ist, wie gesagt, eine Abschreckung ist es.

Basti Schwiecker: Ja, absolut, absolut klar. Also, dass die Anreize irgendwie richtig gesetzt sind.

Karl Koch: Genau, ein bisschen Anreiz wegzunehmen und sich selber anzulügen, dass ja doch alles okay ist.

▶ Ab 1:32:01 auf YouTube ansehen

Basti Schwiecker: Ja, genau. Ich denke, es ist nachvollziehbar, auf Whistleblower in den Labs zu setzen, weil genau die wissen halt auch über die Modelle oder potenziell zumindest wissen sie über die Modelle, die halt noch gar nicht draußen sind, die vielleicht irgendwie den nächsten Sprung in der Entwicklung darstellen und auf einmal ein Gefahrenlevel irgendwie damit auch einhergeht, dass das mit den Sachen, die öffentlich zugänglich sind, vielleicht noch nicht so gegeben ist. Wie … Oder wie kam es dazu, dass du oder ihr euch darauf fokussiert habt und dass du dann auch die Organisation gegründet hast, also die AI Whistleblower Initiative?

Karl Koch: Also ich glaube, ich hatte mich Anfang 2023 angefangen Gedanken zu machen, okay, was sind Sachen, die ich auch mit meinem Skillset irgendwie beitragen kann. Und deswegen wollte ich was machen, was irgendwie sehr direkt diese Wirkung hat. Ist damit weniger technische Arbeit, technische Research oder nur Policy-Arbeit. Und außerdem wollte ich was an was arbeiten, was irgendwie robust schien über verschiedene Szenarien hinweg. Und Transparenz scheint so eine der Sachen zu sein, die wahrscheinlich sehr gut ist. Es gibt wahrscheinlich auch Szenarien, wo das nicht gut ist. Also unter Umständen so Szenarien wie … Die USA oder China sind zwei Wochen entfernt von wirklich transformativen Capability.

Basti Schwiecker: Das möchte man vielleicht nicht notwendigerweise, dass die ganze Welt das weiß, weil das könnte sehr gefährlich werden.

Karl Koch: Aber es gibt so wenige Ausnahmen, grob Transparenz gut. So können wir als Demokratien bessere Entscheidungen treffen. Und eine Sache, die ich mir angeschaut habe, war Compute Traceability und das andere Thema war aber dann ziemlich schnell das Whistleblowing-Thema, weil wenn eben diese Firmen, es ist alles extrem, extrem schnell entwickelt und das gesamte Großteil des globalen Talents in diesen Firmen, also mit Talents, das im AI-Bereich, aufgesaugt wird innerhalb dieser Firmen und das Wissen eben privat ist, dann kann es eben gut sein, dass vor allem, wenn wir in kurzen Timelines sind, selbst wenn es Regulation irgendwann gibt, die vielleicht dann sagt, alle halbe Jahr musst du ein Safety Report schreiben, hoffentlich ist es besser als das, ja, das ist keine gute Regulation. Wirklich katastrophale Risiken einfach nicht ans Licht kommen. Und deswegen ist ziemlich klar, dass vor allem, weil wir sind in diesem Race-Szenario drin, Leute opfern, die Firmen opfern Sicherheit für Geschwindigkeit, ob sie wollen oder nicht. … dann wird es die Situation geben, es wird den Cultural Breakdown geben, deswegen brauchst du Support für diese Menschen und da hat niemand dran gearbeitet Fulltime und es schien zu wichtig, dass da niemand dran Fulltime arbeitet.

Vielleicht zum wichtigen Kontext, es gibt noch Organisationen, die machen Whistleblower Support auch in anderen Industrien, es gibt auch welche, die haben viel Tech gemacht. Da gibt es ganz tolle Organisationen, mit denen arbeiten wir viel zusammen, die würden wir auch auf jeden Fall empfehlen. The Signals Network heißen die, Whistleblower Aid zum Beispiel. … und ist ein Partner von uns, aber die haben diesen AI-Kontext nicht gehabt, diesen AI-Fokus. Und das ist sozusagen der Angle, aus dem wir gekommen sind, was können wir machen, um uns nur auf diese Nische zu fokussieren und da zu unterstützen, ob das auf der Policy-Arbeit ist, auf der Research-Seite oder auf der direkten Support-Seite. Und dann auf der persönlichen Ebene, also das ist losgelöst von der Impact-Strategie, habe ich aber … Ich bin persönlich kein Fan von so Machtgefällen. Generell. Also … die Idee, dass andere …

Basti Schwiecker: Wer ist das? Wer gibt das zu auf jeden Fall?

Karl Koch: Ja, I guess, I guess. Ja, aber das ist, glaub ich, was, wo ich mit diesem persönlichen … Wie sagt man, visceral irgendwie so? Wenn man eine starke emotionale Reaktion drauf hat, aber vor allem irgendwie zur Ungerechtigkeit dann. Das Gefühl hat, es sind Leute, die wollen das Richtige machen, und die werden dann dafür bestraft. … wer mag das schon, nicht wahr? Aber das war was, was mich motiviert hat, zu sagen, okay, das kann ich mir vorstellen, da würde ich gerne helfen. Und es ist natürlich noch so eine schöne in Anführungszeichen Sache, dass es, glaube ich, nicht so viele Sachen gibt, wo man direkt Menschen helfen kann und außerdem hilft es dann auch einem größeren Ganzen.

Basti Schwiecker: Ja, schon behilflich sozusagen dem einzelnen Whistleblower, aber im Idealfall noch viel mehr dem Rest der Gesellschaft und der Menschheit im Idealfall.

▶ Ab 1:36:05 auf YouTube ansehen

Basti Schwiecker: Aber wie muss ich mir jetzt eure Arbeit konkret vorstellen? Also ihr wollt Whistleblower unterstützen, aber was macht ihr? Also versucht ihr Gesetzgebung zu ändern oder redet ihr mit Menschen oder bietet ihr irgendwie anonyme Informationskanäle? Was sind eure oder wo ist der Fokus eurer Arbeit ganz konkret?

Karl Koch: Genau, ich glaube, wir haben sozusagen zwei Hauptkanäle für Impact, kannst du dir grob vorstellen. Das eine ist besseren Schutz auf der rechtlichen Seite und bessere Whistleblowing-Kanäle. Ich weiß nicht, wie viel das die Hörer hier wissen, aber es gibt Whistleblower-Gesetze, die schützen Whistleblower. Die sagen zum Beispiel, du darfst nicht gefeuert werden, du bekommst Entschädigung, wenn du diese bestimmten Sachen, was es beschützt, … in diesem Zeitrahmen an diese Leute mitteilst, zum Beispiel an Kongress oder an einer Agency, ein Regulator, dann bist du beschützt. Sicherzustellen, dass diese Gesetze so gut sind wie möglich, als auch, dass die Channels so gut sind wie möglich, ist eine Sache, auf die wir uns konzentrieren.

Basti Schwiecker: Und ihr fokussiert euch da vor allem auf die USA?

Karl Koch: Genau, in erster Linie die USA und auch Europa. In Europa haben wir zum Beispiel dazu beigetragen, dass das European AI Office, das ist sozusagen der Regulator auf Unionsebene, der dafür zuständig ist, dass vor allem die General-Purpose-AI-Models, also jetzt nicht kleine Startups und Systeme, sondern General-Purpose-Models, OpenAI, solche Themen, dass die Regulation davon eingehalten wird, entlang des AI-Acts, und die brauchen eine Whistleblower-Meldestelle. Jetzt waren wir davon überzeugt, haben mit denen zusammengearbeitet, sichergestellt, dass diese Whistleblower-Meldestelle … so stark wie möglich ist. Also zum Beispiel, das heißt dann konkret, das heißt Whistleblower-Meldestelle, das ist eine Website, da kann ein Mitarbeiter von einer Firma hingehen und sagen, hier, ich möchte was melden, auch anonym. Können dann sagen, hier, ich glaube, mein Unternehmen hat gegen dieses Gesetz, das Teil des AI-Acts, verstoßen. Zum Beispiel, sie haben gesagt, das Unternehmen hat gesagt, sie hätten diese und diese Tests gemacht vor dem Release, haben sie aber nicht. So.

Basti Schwiecker: Die ganz banale Frage, aber wenn du sagst anonym, macht ja Sinn das anonym anzubieten, aber wie kann man denn sicher sein, dass es wirklich eine mitarbeitende Person aus einer solchen Firma ist? Da kann ich ja auch hinschreiben und sagen, er hat irgendwie ganz was Böses gemacht, oder ich schreibe es für die Konkurrenz, irgendwie sowas. Wie kann man prüfen, dass das wirklich die Menschen, also dass die zumindest eine Rolle in dieser Firma, dass die auch in dieser Firma arbeiten, von der sie erzählen?

Karl Koch: Also verschiedene Möglichkeiten glaube ich. Zum einen, man kann es über einen Anwalt regeln. Also zum Beispiel kann man als Mitarbeiter zu einem Anwalt gehen. Das würden wir generell immer empfehlen. Und der Anwalt kann dann auf das EU AI Office zugehen und sagen, guten Tag, ich repräsentiere jetzt hier einen Klienten. Ich habe verifiziert. Der arbeitet da. Das ist in einem Multi-Layer. Wenn man direkt geht, kann man natürlich andere Sachen sagen. Man kann zum Beispiel bestimmte Voraussagen treffen. So, das ist eine Möglichkeit, sich zu authentifizieren.

Basti Schwiecker: Ich habe Wissen, das kann ich nur haben, wenn ich für diese Firma arbeite.

Karl Koch: Genau, sowas zum Beispiel. Man kann ausgeschwärzt mit einem Namen zum Beispiel einen Arbeitsvertrag oder sowas schicken. Oder man schickt direkt aus dem Unternehmen heraus Evidence.

Basti Schwiecker: Also mit der E-Mail-Adresse?

Karl Koch: Genau, es gibt auch noch interessante andere Authentifizierungsmöglichkeiten. Die passen jetzt nicht genau zu dem AI-Office-Fall, aber es gibt da spannende Tech-Projekte. Harvard Berkman Klein Center hat zusammen mit Psst was gemacht. Da kann man z.B. über LinkedIn authentifizieren. Weil LinkedIn authentifiziert mit der Job-E-Mail. Aber wenn man sich mit LinkedIn notifiziert, wird nicht sozusagen die Job-E-Mail notified, aber man kann bestätigen, dass man da arbeitet. So was, da kann man spannende Sachen machen. Okay, also es gibt Wege. Genau, es gibt Wege. Und auf der AI-Office-Seite wurde z.B. dazu committet, auch nicht aktiv zu werden, ohne dass der Whistleblower aktiv geschrieben zustimmt, selbst anonym. Also der Whistleblower bekommt dann einen Code und kann sich dann wieder einloggen mit dem Code. Und das ist etwas, was uns sehr wichtig war. Und das ist sehr, sehr gut. Und es ist auch precedent setting, wie sagt man dazu im Deutschen? Das ist sozusagen erstmalig. So auf Unions-Ebene, dass sich dazu committet wird. Es ist noch nicht legally binding. Es ist noch nicht im Gesetz hintergeschrieben.

Aber es ist, glaube ich, sehr, sehr stark. So was z.B. haben wir auf der europäischen Ebene gemacht, was Channel angeht. In Kalifornien machen wir da was Ähnliches gerade. Und auf Gesetzesebene z.B. in den USA haben wir gesagt, der Whistleblower Protection Act auf der Bundesebene ist uns sehr wichtig. Und auf Bundesstaatenebene haben wir schon Input gegeben. Wir schreiben Guides, wir schreiben Best Practices, wie schreibt man ein gutes Whistleblowing-Gesetz im AI-Kontext. Wir vergleichen irgendwie das Gesetz aus New York und aus Kalifornien, arbeiten da mit Legal Scholars zusammen, bringen das raus, sowohl für die Policy-seitig, aber dann auch für Mitarbeiter-seitig und für das Ökosystem. Und das bringt uns so ein bisschen rein, deine Frage war ja ursprünglich, was machen wir hier eigentlich und wie kriegen wir hier einen Impact hin? Und das ist jetzt die zweite Seite. Und das ist sozusagen Ausbildung, Bildung von potenziellen Whistleblowern und maximal guter Support. Das sind so die zwei Hebel.

▶ Ab 1:40:59 auf YouTube ansehen

Basti Schwiecker: Wie kann ich mir den Support vorstellen? Also wie läuft der genau?

Karl Koch: Gute Frage. Also wo wir momentan zielen, ist so vielen Mitarbeitern wie möglich, so früh wie möglich in ihrer Reise einen Anwalt an die Seite zu stellen. Und es gibt sehr gute Whistleblowing-Anwälte, die nur darauf spezialisiert sind. Das wissen leider die meisten Mitarbeiter nicht. Und das klingt irgendwie auch sehr gruselig, so einen Anwalt zu bekommen, aber die sind pro bono verfügbar und es gibt auch Funding für sowas. Also Non-Profit-Funding, um so Rechnungen von Anwälten zu bezahlen, weil es ist sehr wichtig und sicherzustellen, dass die so eine Anwaltsbetreuung haben, sehr früh, ist sehr, sehr, sehr, sehr wichtig. Was ist dann noch drin, so in einem Support-Paket? Das kann man sich quasi so vorstellen, es gibt Organisationen, mit denen wir zusammenarbeiten, die nur darauf spezialisiert sind, Whistleblower zu unterstützen. Die fangen dann an mit der Rechtsberatung, wie sieht die Situation aus, hast du rechtlichen Schutz hier, wenn du das irgendwie hier meldest, da meldest, was sollten deine Schritte sein, um das zu maximieren, brauchen wir noch mehr Evidence, … Manchmal meistens braucht man es nicht, weil man ist meistens vom Gesetz schon geschützt, wenn man nur ein reasonable cause to believe hat, heißt das.

Basti Schwiecker: Also man ist sich nicht ganz sicher, aber man hat den begründeten Verdacht quasi.

Karl Koch: Genau, begründeter Verdacht ist, glaube ich, gut. Und selbst wenn sich später herausstellt, da war überhaupt keine violation of the law, es war alles okay, selbst dann ist man noch geschützt. Das heißt, meistens braucht man gar nicht mehr Evidence, aber es kann natürlich gut sein, dass man mehr braucht, auch aus Impact-Gründen, wenn man in die Öffentlichkeit gehen will, damit später oder so, dass man sagen kann, hier ist irgendwie das Smoking Gun. Dann sagen, okay, was brauchen wir noch an Evidence, wie kann man den sicher irgendwie bekommen, den Evidence, weil Sachen runterladen, ist katastrophal, weil die benutzen natürlich auch ihre eigenen Models intern, was Information Security angeht, die Companies.

Basti Schwiecker: Überwachungsstaat, unternehmensinterner Überwachungsstaat quasi.

Karl Koch: Genau. Wir wissen schon von Fällen, wo Leute identifiziert wurden, weil sie haben einen Google-Doc zur falschen Zeit aufgemacht. Niemand hat sich mal den Google-Doc angeschaut. Diese Person, die dann was zur Öffentlichkeit gesagt hat zu diesem Inhalt aus diesem Google-Doc, hat sich halt einen Tag, bevor der Artikel rauskam, noch mal dieses Google-Doc durchgelesen. Hat nur eine Person gemacht, im ganzen Unternehmen. Das ist jetzt einfach der Support-Seite, wenn der Fall schon läuft. Wichtig. Wie macht man das sicher? Wie denkt man darüber nach? Auf der Bildungsseite, natürlich davor, ist das auch unser Job.

Basti Schwiecker: Genau. Also ja, ihr schult die Leute oder bietet die Informationen davon an, hey, du bist da was am Planen dran, sage ich mal irgendwie. Öffne nicht das Google-Doc nochmal. Das ist jetzt sehr spezifisch. Ich weiß nicht, ob es allgemeine Hinweise gibt, wie man nicht sofort auffliegt, wenn man auch nur plant oder darüber nachdenkt, mal was zu kommunizieren.

Karl Koch: Ja, genau. Wir machen zum Beispiel da Webinars. Wir halten Webinars für Leute. In persona machen wir Workshops. Wir haben jetzt gerade zwei Guides veröffentlicht. Wenn der Podcast rauskommt, sind es zwei. Der eine ist für Whistleblower im zivilen Sektor von AI-Firmen. Ziemlich relativ comprehensive, würde ich sagen. Und dann noch einen zweiten für den National Security Space. Also Mitarbeiter von AI-Firmen, die Dienstleister sind für, sagen wir mal, das Verteidigungsministerium der USA. Worauf, was haben die eigentlich für Schutz? Mit wem sollten die arbeiten? Worauf sollten sie achten? Sowas. Das ist der zweite Guide. Und der wird dann geteilt. Idealerweise gibt es das PDF-Format und den gibt es als Web-Format. Den schreiben wir mit unseren Partnern dann zusammen und verteilen so das Wissen. Immer mit diesem Haupt-Call-to-Action am Anfang vor allem. Leute holen sich viel zu spät professionellen Support.

▶ Ab 1:44:32 auf YouTube ansehen

Basti Schwiecker: Klingt alles gut und sinnvoll. Habt ihr denn schon irgendwelche Erfolge erzielt, über die du in irgendeiner Form zumindest andeutungsweise sprechen kannst?

Karl Koch: Ja, genau. Also ich glaube, eins hatte ich da vorhin schon angesprochen, der Fall mit dem EU AI Office. Das, glaube ich, ist eine sehr, sehr gute Sache. Das war auch der erste weltweite, so kanalspezifisch für AI-Whistleblower. Jetzt hat auch das Enforcement angefangen. Da sind wir sehr gespannt. Also das Enforcement des AI-Acts. Da sind wir sehr gespannt. … wie sich das entwickeln wird. Idealerweise werden wir gar nicht viel davon mitbekommen, ob da jemals Whistleblowing-Fälle durchkommen, weil, wenn die das smart machen, kommt es nicht förmlich mehr mit, dass es da Whistleblower gab. Dann USA, hoffentlich geht der Act durch, dann werden wir dazu beigetragen haben. Der Act? Dieser Whistleblower Protection Act. Der AI Whistleblower Protection Act. Dann werden wir dazu beigetragen haben. Wir wissen auf jeden Fall von Fällen, wo durch unsere Kampagnen und durch unsere Arbeit einzelne Fälle passiert sind oder Disclosures passiert sind, da kann ich jetzt nicht wahnsinnig viel zu sagen, aber es hat jetzt nämlich Online-Kampagnen funktioniert, wir schalten zum Beispiel Ads auf LinkedIn oder Werbung auf LinkedIn und targeten damit die Mitarbeiter, um sie auszubilden, um ihnen zu erzählen.

Es gibt verschiedene Defense Funds, Pro-bono-Support, da kannst du dich dann mal melden und bekommst Hilfe. Und da haben wir gut über 5.000 Views drauf bekommen. Das sind nicht nur Mitarbeiter, ab und zu trifft man auch andere, vor allem auf X und so.

Basti Schwiecker: Eigentlich war es ja erstrebenswert, wenn ich bei OpenAI anfange, … dass quasi Teil meines meiner, weiß ich was, Einführungswoche oder sowas einen Tag hat, wie werde ich guter Whistleblower? Also sicherlich schwierig, die Firmen dazu zu motivieren, das zu unterstützen, aber das wäre eigentlich die ideale Zielgruppe, oder? Also die Leute, die jetzt bei den Firmen neu anfangen, dass die zumindest von Anfang an wissen, was gibt es für Möglichkeiten, was kann ich schon im Hinterkopf behalten?

Karl Koch: Ja, also teilweise es gibt ja so einen indirekten Weg, das zu tun, das können wir auch noch erwähnen. Wir hatten eine Kampagne, die hieß Publish Your Policies. Es ging darum, die Unternehmen dazu zu bringen, ihre Whistleblowing-Policies zu veröffentlichen, ihre internen, weil die Unternehmen in Kalifornien müssen interne Whistleblowing-Policies haben, in Europa genauso, die Mitarbeiter erklären, was sind ihre Rechte, worüber dürfen sie sprechen. Und in Folge unserer Kampagne hat z.B. Anthropic seine Whistleblowing-Policy veröffentlicht, und OpenAI hat seine verbessert. Wir können nicht sagen, dass wir das dank irgendeinem kausalen Link gab, wir haben ja wieder eine Kampagne gemacht und auf einmal haben es beide gemacht.

Basti Schwiecker: Ausschließen kann man es wohl auch nicht.

Karl Koch: Ausschließen kann man es wohl nicht, genau. Und zum Beispiel steht jetzt in denen drin, das müssen sie auch reinschreiben, was die Whistleblowing-Rechte sind, wo sie hingehen dürfen. Dürfen sie zum California Attorney General gehen? Wann dürfen sie zum Kongress gehen? Solche Geschichten. Das ist schon mal gut. Ich glaube, alleine den Diskurs dazu bekommen, checken Leute mehr schon, oh guck mal, ich habe ja hier Whistleblowing-Rechte, das war mir gar nicht klar. Und jetzt steht in deren Policies drin, dass sie dann an die Regierung gehen dürfen. Und was ihre internen Rechte sind, wir launchen bald eine zweite Kampagne dazu, beziehungsweise nochmal einen Vergleich, einen Vergleichswebsite, einen interaktiven Guide für Mitarbeiter, um dann zu … rauszufinden, ist es jetzt sicher für mich, den internen Whistleblowing-Channel zu nutzen? Welche Fragen sollte ich mir stellen? Das kommt nochmal als Kontext dazu. Natürlich wäre es super, wenn wir mit den ganzen Mitarbeitern sprechen können, die neu reingehen, aber schwierig.

Basti Schwiecker: Ein ehrgeiziges Ziel.

▶ Ab 1:47:52 auf YouTube ansehen

Basti Schwiecker: Du sprichst von wir, wer ist wir? Also wie groß ist euer Team?

Karl Koch: Wir sind ziemlich klein immer noch. Wir sind ungefähr vier Vollzeit-Teammitglieder. Teilweise hier in Berlin, teilweise in UK. Wir relocaten uns auch gerade, wir gehen jetzt gerade aus Berlin in die UK. Wir haben auch, da sind wir sehr dankbar für die Unterstützung über diesen Sommer, die Möglichkeit bekommen jetzt zu expandieren. Und in San Francisco in der Bay Area werden wir … anfangen ein paar Leute einzustellen, weil es extrem wichtig natürlich da vor Ort zu sein und wahrscheinlich auch in DC auf der Policy-Seite, aber unser Headquarter werden wir sozusagen dann in London weiterhin haben.

Basti Schwiecker: Warum nicht komplett in die USA wechseln?

Karl Koch: Gute Frage. Zum einen, glaube ich, bei der Arbeit, die wir machen, kann es Sinn ergeben, auch außerhalb der USA die Base zu haben. Wir müssen die Präsenz da haben. Zum einen, glaube ich, ist es auch wichtig, den Europakontext immer noch zu behalten. Und es gibt die zwei großen AI-Hubs der Welt. Einmal die San Francisco Bay Area, ziemlich by far. Und dann aber auch London. Google DeepMind ist das Headquarter da. Viele der anderen Companies haben ihre haben Teams da, auch Research-Teams. Research-Teams da. Das heißt, innerhalb von Europa ist das der Haupt-Hub. Und deshalb muss eigentlich in beiden so ein bisschen Basis haben. Ich werde wahrscheinlich so ein bisschen pendeln. Wahnsinnig klingt, aber werden wir sehen. Weil auch meine Familie ist hier und ich würde natürlich schon irgendwie gerne noch ein bisschen näher bei der Familie sein und die Neun-Stunden-Zeitverschiebungen sind schon fies.

Basti Schwiecker: Heißt ja auch nicht, dass alle Leute dann an allen Orten gleichzeitig sein müssen. Und wie finanziert sich der ganze Spaß?

Karl Koch: Wir sind voll spendenfinanziert. Und natürlich unabhängig, das heißt kein Geld von den Unternehmen oder von irgendeiner Regierung, selbst nicht mal EU-Funding oder sowas, weil da könnte uns auch ein Strick draus gedreht werden, wenn da jemand Lust drauf hätte, dass wir voreingenommen werden oder so. Genau, das heißt nur Spenden von in erster Linie so Stiftungen, philanthropischen Stiftungen und teilweise Gruppen von Individuen, denen wir vertrauen, teilweise ehemalige Whistleblower zum Beispiel, die die Arbeit, die wir machen, gut finden. Genau.

▶ Ab 1:50:11 auf YouTube ansehen

Basti Schwiecker: Und wie sind eure Pläne für die Zukunft? Bisschen hattest du es angedeutet, in den USA größere Präsenz auch vor Ort zu haben. Im Endeffekt ist das hier der Effektiv Spenden Podcast. Kann man an euch noch effektiv spenden oder glaubst du, könntest du mit mehr Geld mehr machen oder seid ihr an sich erstmal auf absehbare Zeit gut finanziert und der Flaschenhals ist ein anderer?

Karl Koch: Also ich glaube, jetzt in diesem Zeitpunkt sind wir okay. Also wir können jetzt gerade, glaube ich, nicht schneller wachsen, als wir gerade wachsen könnten. Ja. So. Bestimmt wird es noch mal in ein, zwei Jahren irgendwie anders aussehen. Ich glaube wahrscheinlich, es gibt den Effektiv-Spenden-Fonds, nicht wahr? Ja. Das könnte ich mir sehr gut vorstellen. Ist wahrscheinlich eine bessere Art und Weise, wenn man sich um das Thema kümmert, irgendwie die besten Optionen zu finden. Übrigens als Disclaimer, wir sind nicht gefundet vom Effektiv-Spenden-Fonds. Genau, aber die, das könnte ich, das wäre eine sehr, sehr sinnvolle Idee. Sonst glaube ich auch noch für… Wenn man andere, wenn man sagt, okay, das ist ein wichtiges Thema, hier möchte ich mehr daran machen, kann man in den Bereich reinkommen, absolut. Es gibt viele Dinge, die man tun kann, auch irgendwie als Laie. Man kann sich, natürlicher Klassiker, irgendwie mehr dazu durchlesen, zu verstehen, eine eigene Meinung bilden, was kann ich irgendwie nachvollziehen an Risiken, was kann ich nicht nachvollziehen, was glaube ich für mich selbst als Zuhörer, was ist irgendwie meine Theory of Change, wo kann ich irgendwie viel beitragen.

Das kann natürlich auf der Geldseite sein, das kann auf der Zeitseite sein. Es kann auch sein, an eine Demo zu gehen zum Beispiel, wenn man auf deren Seite Interesse hat. Ich glaube, underrated vielleicht als Beitrag ist das Thema Demokratie stärken auch in dem Kontext. Wir hatten davor, glaube ich, das Thema Concentration of Power und sowas gesprochen und am Ende des Tages reden wir hier nicht davon. Klar, instrumentell geht es um Technologie, die kontrolliert werden muss, aber wer kontrolliert die Technologie, sind wir. Und momentan ist es jedenfalls noch so, dass in demokratischen Staaten die Technologie in erster Linie entwickelt wird. Das ist der Fall natürlich in den USA. In Europa, wie die meisten wissen, ist nicht wirklich irgendwas, was den AI-Space angeht. Aber ich glaube, stabile Demokratien zu haben, die bereit sind, umzugehen mit dem, was unter Umständen die nächsten Jahre auf uns zukommt. Wenn unter Umständen wirklich der Fall ist, dass in fünf Jahren oder in zehn Jahren sämtliche Arbeit, die Menschen am Laptop machen können, besser von einer Maschine gemacht werden kann, wie gehen wir damit um als Gesellschaft?

Wie gehen wir unter Umständen mit extrem schnell wachsender Massenarbeitslosigkeit um, vor allem für junge Menschen? … aber auch mit Konzentration von Vermögen. Wir reden hier von Capital Productivity am Ende des Tages. Man kann viel Geld investieren in Datenzentren und in Gehälter von Mitarbeitern, von sehr wenigen Mitarbeitern, die Models bauen und da kann man extrem viel Gewinn rausschlagen. Das kumuliert sich bei Eigentümern des Kapitals. Und das wird zu einer Konzentration von Macht und einer Konzentration von Vermögen führen. Das wird zu viel Unzufriedenheit unter Umständen führen. Wie kommen wir da als Gesellschaft durch, durch diese Transformation? Da kann man sich, glaube ich, nur darauf ernsthaft vorbereiten. Wenn man es ernst nimmt, dass diese Chance existiert und dass es keine kleine Chance ist. Wenn man den Leuten glaubt, die die Technologie selber bauen. Also deswegen Leuten zuhören, die die Technologie selber bauen. Was glauben die? Und sich Gedanken machen, wie können wir unsere Gesellschaft irgendwie vorbereiten, auch in Deutschland. Was können wir machen, um soliden Diskurs zu halten, Demokratie stärken? Das kann schon sehr, sehr viel tun, glaube ich, dass wir die nächsten Jahre hoffentlich gut durchkommen.

Basti Schwiecker: Ja, ja, vielen Dank. Genau, ich versuche auch noch mal so ein bisschen das oder einerseits den Appell zu verstärken, das Thema wirklich ernst zu nehmen und auch die, die intuitiv unplausiblen Szenarien ernst zu nehmen. Also hey, vielleicht ist, bewahrheitet sich mal wieder das alte Sprichwort: „Et hätt noch immer jot jejange“, auch hier, aber maybe not. Und wir hatten es ja vorhin, selbst wenn die Wahrscheinlichkeit oder selbst wenn man die Wahrscheinlichkeit für gering hält, da so viel auf dem Spiel steht, rechtfertigt auch eine geringe Wahrscheinlichkeit, hier sehr viel Zeit und Energie reinzustecken. Und wenn man die Wahrscheinlichkeit für hoch hält, dann erst recht. Und die andere Sache ist auch, du hast viel über Timelines gesprochen, also wie schnell geht es jetzt voran. Und für viele Sachen sind die Timelines wiederum gar nicht so wichtig, weil man sagt, in fünf Jahren, das ist ja Quatsch. Und vielleicht ist es Quatsch schon aus. In 15 Jahren ist es wahrscheinlich, und die meisten von uns werden hoffentlich noch eine Lebenserwartung von 15 Jahren oder mehr haben, 15 Jahre ist auch eine extrem knappe Zeit.

Auch 30 Jahre wäre eine extrem knappe Zeit. Es gibt ja unglaublich viele Chancen, dass AI vieles tut, weil Massenarbeitslosigkeit, weil die Arbeit uns abgenommen wird, das bietet ja offensichtlich auch viel Chancen. Aber dieser Transformationsprozess kann trotzdem herausfordernd sein. Auch bei der industriellen Revolution gab es auch, möglicherweise viel langsamer als das, was uns jetzt bevorsteht, aber auch eine große Umwälzung. Davor waren fast alle Menschen in der Landwirtschaft tätig und danach halt noch ein kleiner Teil. Und unterm Strich, we are all better off because of it. Also uns geht es jetzt viel, viel besser und das ist toll, dass wir nicht mehr alle in der Landwirtschaft arbeiten müssen. Aber auch in der Transformationszeit, da ging eine Menge schief, beziehungsweise gab es viele Umwälzungen, die nicht für alle Menschen gut waren in der Zeit. Das war eine herausfordernde Zeit, um sich darüber Gedanken zu machen.

Karl Koch: Und auch da, glaube ich, sind wir am Ende rausgekommen mit einer sozialistischen Revolution auf der einen Seite und dem Wachstum des Faschismus auf der anderen Seite, die beide versucht haben, umzugehen. Jetzt haben wir wahnsinnige Kapitalproduktivität.

Basti Schwiecker: Genau, also so, die den Umbruch positiv begleiten und dafür zu sorgen, dass die besten Ideen, die irgendwie rumliegen und dann aufgegriffen werden, besser sind als das, was du gerade gesagt hast, dass wir irgendwie eine kommunistische Revolution auf der einen Seite haben und einen faschistischen Übergriff auf der anderen Seite. Und ich weiß nicht, was jetzt das moderne Äquivalent wäre, aber lass uns das … Lass uns das gut hinbekommen, das wäre schön.

▶ Ab 1:56:21 auf YouTube ansehen

Karl Koch: Und ich glaube, was ein bisschen Hoffnung macht, ist, dass viele sehr intelligente Leute, viel intelligenter als ich, als du und ich, extrem hart daran arbeiten, mit wahnsinnigem Elan, also 70, 80, 90 Stunden, Wochenenden durch, wie gesagt, ich habe es da vorher gesprochen, wie es in der Bay Area ist, wirklich eher intensiv, … und wir stehen irgendwie nicht alleine da so und das ist glaube ich wichtig, dass wir irgendwie Schulter an Schulter irgendwie zusammen stehen und was mehr kann man tun als das? Und die Community ist glaube ich da mit offenen Armen und …

Basti Schwiecker: Ja, also das fand ich auch motivierend. Du hast ja auch davon erzählt, wie viel du arbeitest, auch im Vorgespräch schon erwähnt, dass du dir ab und zu mal ein Wochenende freinimmst. Das muss man anderen Leuten erst erklären. Für dich quasi die Definition des Wochenendes ist, dass man da frei hat und du gibst hier Gas. Ich habe auch mit anderen Leuten gesprochen, die echt noch mal einen Zahn zugelegt haben, nachdem sie sich dem Bereich gewidmet haben. Also ich bin sehr, sehr dankbar für dich und für andere Menschen, die da so viel Engagement reinstecken und freue mich, wenn sich die noch mehr anschließen und für alle, denen das nicht möglich ist oder die da kein Potenzial sehen, genau, auch wenn ihr jetzt kurzfristig erstmal gut finanziert seid, gibt es andere Initiativen, die man auch noch mit Geld unterstützen kann und dann nutzt es, diese sehr harten, sehr engagierten Menschen für euch arbeiten zu lassen. Für einen schmalen Taler, das ist auch eine gute Chance und könnt ihr auch bei Effektiv Spenden machen. In diesem Sinne, Karl, vielen, vielen Dank, dass du dir die Zeit genommen hast. Vielen Dank für deine Arbeit und ich wünsche dir und uns allen Erfolg der Welt.

Karl Koch: Dankeschön und danke dir auch dem Zuhörer.