Charlotte Siegmann Transkript

Herzlich willkommen bei Wirklich Gut, dem Interview-Podcast über gute Ideen für große Probleme. Ich bin Sarah Emminghaus und ich arbeite als freie Journalistin in Berlin. Für den Podcast spreche ich mit Menschen darüber, wie wir Fortschritte machen können bei wichtigen globalen Themen - und das möglichst evidenzbasiert und effektiv.

Heute geht es um Künstliche Intelligenz - was kann sie, wie entwickelt sie sich weiter und was wird sich in unserem Leben dadurch verändern? Und wie können wir sie frühzeitig sinnvoll regulieren, geht das überhaupt? Damit beschäftigt sich auch mein heutiger Interviewgast - die Ökonomin Charlotte Siegmann, die am Global Priorities Institut in Oxford forscht. Wir sprechen über das transformative Potential von Künstlicher Intelligenz und Möglichkeiten der politischen Regulierung auf EU-Ebene, besonders über das EU KI Gesetz, das gerade in Brüssel diskutiert wird.

Wenn der Podcast euch gefällt, folgt mir bei Twitter, Youtube und der Podcastplattform eurer Wahl und hinterlasst am besten auch noch eine Sternebewertung.

Viel Spaß erstmal beim Gespräch mit Charlotte Siegmann!

Sarah: Schön, dass du da bist, Charlotte. Ich freue mich sehr auf unser Gespräch. Stell dich doch erst mal kurz vor, also wer du so bist. Was dich so interessiert. Woran du gerade so arbeitest.

Charlotte: Ja. Schön, hier zu sein. Ich bin Charlotte und ich bin Volkswirtschaftlerin am Global Priorities Institute an der Universität Oxford. Das Global Priorities Institute ist das Institut, das sich fokussiert auf grundsätzliche Fragen oder eben besonders abstrakte Fragen, die vielleicht relevant sind für Akteure, die mit ihrem Geld oder ihrer Zeit das meiste Gute tun wollen. Und ich spezifisch an diesem Institut beschäftige mich mit so drei Themen, die man ungefähr so ordnen kann von abstrakt zu sehr konkret. Die erste Kategorie ist die Frage von langfristigen Konsequenzen unserer Aktionen. Also gibt es Handlungen, die wir nehmen können, die nicht nur die Welt verbessern in den nächsten Jahren, sondern eben auch über tausende oder zehntausende, Millionen von Jahren? Und haben solche Handlungen nicht nur langfristige Folgen, sondern können wir diese eben vorhersagen, also wissen, ob sie gut oder schlecht sind für die Zukunft? Und wie können wir das empirisch angehen?

Und dann die zweite Frage ist die von, welche Rolle könnte künstliche Intelligenz spielen in diesem Jahrhundert? Was ist die Wahrscheinlichkeit, dass es transformativ sein kann? Oder die Welt in der Art, wie wir sie gerade kennen, komplett verändert? Und die dritte Kategorie sind eben die konkreteren Regulierungen oder Fragen von künstlicher Intelligenz. Also wir sehen heutzutage Probleme und Möglichkeiten durch die Entwicklung von künstlicher Intelligenz oder insbesondere den Möglichkeiten des maschinellen Lernens oder des Deep Learnens. Und die Frage ist, wie müssen wir unsere politische Regulierung oder unsere Koordination so aufstellen, dass wir davon möglichst wenig Nachteile und möglichst viele Vorteile sehen? Genau, da beschäftige ich mich insbesondere mit der europäischen Politik oder der Regulierung in unterschiedlichen europäischen Ländern.

Sarah: Cool, danke. Über letzteres werden wir dann ja auch gleich noch ausführlicher reden. Und einige von den anderen Punkten, die du genannt hast, ja auch. Würdest du dann noch kurz erzählen, warum du daran arbeitest, was so deine Motivation bei dem ganzen sehr, sehr großen, sehr weit umfassenden Themenbereich ist?

Charlotte: Also warum glaube ich, dass das relevant ist? Genau, Faktoren sind zum Beispiel: Wie groß ist dieses Problem oder wie viele Leute arbeiten schon an dem Problem? Dann sehen wir eben die generelle Tendenz, dass wenn diese Probleme noch nicht jetzt hier sind, sondern vielleicht erst kommen oder sich langsam ausbreiten, dann ist es wahrscheinlicher, dass nicht genügend Leute darüber nachdenken oder es nicht genügend politische Aufmerksamkeit gibt. Das ist zum Beispiel der Fall mit Klimawandel. Ich glaube, dass die Entwicklung von transformativer künstlicher Intelligenz in diese gleiche Kategorie reinfällt. Und für diese ganze Kategorie an potenziellen Herausforderungen, die wir insbesondere in der Zukunft merken, kommt eben diese Frage auf: Können wir daran überhaupt arbeiten? Wissen wir, was wir da tun sollen oder wie wir dieses Problem angehen sollen? Und das sind so epistemische Fragen. Wie viel können wir überhaupt wissen über die Zukunft? Wie können wir Glaubenssätze formulieren für Aktionen, die Auswirkungen haben im Jahr 2040 oder 2050?

Deswegen beschäftige ich mich mit diesem abstrakteren Thema von, haben unsere Handlungen langfristige Folgen und können wir diese Folgen vorhersagen? Ja. Wenn wir zu diesen Fragen Nein sagen, dann ergibt es auch nicht viel Sinn, an dieser ganzen Box an Problemen zu arbeiten, die insbesondere erst in der Zukunft aufkommen.

Sarah: Du hast jetzt schon ein paar Mal künstliche Intelligenz erwähnt. Darüber wollen wir heute schwerpunktmäßig sprechen. Und um den Zuhörenden ein Gefühl dafür zu geben, über was wir hier überhaupt reden und was die aktuellen Möglichkeiten und Fähigkeiten von KIs sind, würde ich gerne da mal kurz ein bisschen eintauchen. Also was KIs heute bereits können. Weil sich da auch in den letzten Jahren irre viel getan hat, was echt super interessant ist, wenn man sich da mal ein bisschen mit beschäftigt. Ich würde das gerne anhand des Sprachverarbeitungsmodells GPT machen. Also, GPT-3 aktuell. Das ist so ein Modell der Firma OpenAI, das sehr viele Dinge kann. Unter anderem Fragen beantworten, Aufsätze schreiben und man kann damit auch Chatbots bedienen, zum Beispiel. In all diesen Tätigkeiten ist es nicht perfekt, aber es ist schon ganz schön beeindruckend und ich würde mich freuen, wenn du einmal kurz erklären würdest, was das Besondere an diesem Modell ist und wie es funktioniert. Also wenn du es jetzt für Laien erklären müsstest.

Charlotte: Ja, also GPT-3 ist ein sogenanntes Large Language Model. Das heißt, dass es gut darin ist, die nächsten Worte vorherzusagen. Gegeben der Worte oder Buchstaben, die wir bis jetzt sehen, was ist das nächste Wort? Was ist der nächste Buchstabe? Und damit kann es Text generieren, zum Beispiel Essays oder journalistische Artikel oder Diskussionen, Dialoge, die ungefähr so aussehen wie Online-Diskussionen. Und was macht dieses Modell? Oder wie kreiert es das? Wir geben ihm die gesamten Daten als Text. Dann ist dieses Modell ein sogenanntes Deep Learning Model. Das heißt, es ist wie so ein großes Netz an Neuronen. Und alle dieser kleinen Neuronen geben Vorhersagen ab und nehmen Input, nämlich ein Wort, und verändern dann die Vorhersage. Und das wird weitergegeben in diesem Modell, von Neuron zu Neuron. Und nach ganz, ganz vielen Schichten kommt dann eine Vorhersage heraus.

Was sind Deep Learning Modelle? Deep Learning Modelle sind im Endeffekt, wenn die Hörerin oder der Hörer Regressionen kennt, indem wir ihm einfach Variablen reingeben und dann die Variablen Output vorhersagen. So passiert das nur in Deep Learning Modellen sehr, sehr, sehr häufig, also in sehr vielen Schichten nacheinander und mit sehr viel mehr Komplexität. Aber im Endeffekt ist das einfach nur ein Vorhersage-Problem. Genau, das ist vielleicht wie dieses Modell oder dieser Transformer als eine Art von Deep Learning Modell funktioniert. Und was macht die GPT-3 so besonders? Wie die neuesten Large Language Modells kann es so viele unterschiedliche Fähigkeiten oder Texte generieren. Also zum Beispiel waren die Entwicklerinnen, so schreiben sie in einem Bericht, eben selbst überrascht, dass dieses Modell nach kurzem Feintuning, also nachdem es trainiert wurde, dann auch in der Lage ist, zum Beispiel Code zu schreiben oder eben Programmiererinnen und Programmierern bei ihrer Arbeit zu helfen. Obwohl es darauf nie trainiert wurde, sondern es hat das einfach nur dadurch gelernt, dass es Computer Code im Internet gelesen hat.

Sarah: Also es kriegt eine wahnsinnige Menge an Daten. Super, super, super viele Internetseiten und Bücher und wird dadurch trainiert, das nächste Word in einem Text vorherzusagen, weil es eben sieht, wie das bei anderen Texten gelaufen ist. So ungefähr, oder?

Charlotte: Wie das bei anderen Texten gelaufen ist, die zum Beispiel die ähnliche Struktur haben. Also wenn ein Satz damit anfängt, dass Berlin die Hauptstadt von Frankreich ist oder dass die US-Regierung für 9/11 verantwortlich war oder andere Fake News, dann erwartet es eben auch weitere Fake News. Weil Leute, die im Internet Fake News produzieren, die sagen nicht nur eine Fake News, sondern häufig mehrere hintereinander.

Sarah: Ja, und da würde ich auch gerne gleich noch kurz reden. So, die möglichen Dinge, die schiefgehen können. Nochmal kurz zu diesem sehr interessanten, sehr besonderen Ding an GPT-3. Es gibt auch noch andere ähnliche Modelle, die nicht mit Sprache funktionieren, sondern zum Beispiel Bild. Aber bei GPT-3 ist halt wirklich, wirklich besonders, dass es so viele unterschiedliche Dinge kann. Es gab ja irgendwann mal diese Schach-KI, die rausgekommen ist, und das war total crazy, dass diese Schach-KI supergute andere Schachspieler schlagen konnte. Aber die konnte halt genau das. Also konnte Schach spielen und war darin richtig gut. Und was jetzt so interessant ist an sowas wie GPT-3 ist halt, dass es in so unterschiedlichen Feldern gut funktioniert. Richtig?

Charlotte: Genau. Und GPT-3 kann aber eben nur Text generieren. Also es kann keine Bilder oder andere Sachen mit dem gleichen Modell kreieren. Aber eine andere Firma, nicht Open AI sondern Deep Mind, hat so ein ähnliches Modell entwickelt, das Aktionen ausführen kann. Also so einen Roboterarm hat, Bilder kreieren und Text generieren kann. Und das Modell ist ein bisschen schlechter, zum Beispiel in der Text Generation. Aber ja, andere Modelle können eben noch mehr Aktionen und noch mehr als dieses GPT-3. Einfach nur in der Breite an Anwendungsarten.

Sarah: Du hast gerade eben schon erwähnt, dass es Dinge gibt, die damit vielleicht schieflaufen können. Wollen wir da mal ein paar Sachen durchgehen? Was sind so einige problematische Dinge daran? Was kann schiefgehen, was ist in der Vergangenheit vielleicht auch schon schiefgegangen?

Charlotte: Also genau das Erste, was man hier erwähnen kann, ist, dass natürlich bis jetzt GPT-3, so ein paar Sachen sagen und ein Gespräch führen kann, aber dass es kein großes ökonomisches Potenzial hat und die Welt sehr stark verändern wird. Aber die Frage ist eher, was sind Fehler oder Dynamiken, die wir erwarten, die wahrscheinlich immer noch da sind und größer werden, je transformativer das Modell ist. Also, wenn wir GPT-4, GPT-5 oder GPT-6 sehen.

Und eine Problematik ist hier das Thema von Ehrlichkeit. Also wir hatten schon die Fake News kurz erwähnt. GPT-3 sagt das, was man so im Internet findet, und im Internet wird sehr viel gesagt und nur manches davon ist wahr. Und je nachdem, wie ich es im prompte oder was das GPT-3 über mich weiß, wird es mir eben auch unterschiedliche Ergebnisse geben. Zum Beispiel ob Impfen gefährlich ist oder so. Und eine Sache, die wir vielleicht von zukünftigen sollen Language Models wollen, ist, dass sie eben wahre Informationen produzieren. Und nicht den Zeitungsartikel, der einfach am meisten aufgerufen wird oder den die Leute am meisten teilen, teilt. Sondern den Zeitungsartikel, der auch am realitätstreusten ist, die wirklichen Nachrichten der Realität erzählt und nicht irgendwas zu stark darstellt oder Gegenargumente nicht präsentiert, nur um mehr Aufmerksamkeit zu generieren. Das ist vielleicht das eine Thema: Ehrlichkeit.

Sarah: Also allgemein ist ja so eine Schwierigkeit, die sich auch in diesem Ehrlichkeis-Thema äußert, dass das Modell eben an unterschiedlichsten Texten trainiert wird. Also wenn ich das richtig verstanden habe, dann ist es jetzt nicht wirklich das komplette Internet, sondern schon einigermaßen kuratiert, aber auf jeden Fall halt ultra viel. Und dementsprechend reproduziert es, mit was es trainiert wurde. Und daher kommt ja auch noch ein anderes problematisches Thema, von dem vielleicht auch mehrere Leute schon gehört haben beim Thema KI, nämlich dass es Vorurteile reproduzieren kann. Was bei GPT-3 ja auch schon passiert ist.

Charlotte: Ja, ja, da stimme ich dir zu. Also wenn man auf die API geht von Open AI, um dieses Modell zu benutzen, dann werden diese Probleme einfach so gelöst, dass man nicht nach bestimmten Suchbegriffen suchen kann. Also das Modell ist nicht bereit über zum Beispiel Rassismus zu reden, weil sie eben nicht sicherstellen können, dass das dann nichts Rassistisches sagt. Ja, ich glaube, das gleiche Ergebnis sieht man bei Google Search, wo eben auch Menschen mit unterschiedlicher Hautfarbe in der Image Recognition schlecht erkannt werden. Weil es eben noch keine technische Lösung dafür gibt, ist die Lösung einfach das mit harten Regeln unmöglich zu machen. Aber eigentlich oder hoffentlich müsste es dazu einfach technische Lösungen geben, dass das natürlich im System gelöst wird.

Sarah: Es gibt auch dieses Ding bei GPT-3, dass, wenn man eine Texteingabe macht, wo es um Muslime geht, es ein bisschen wahrscheinlicher ist, dass das Ergebnis irgendwas mit gewaltvollen Taten ist, als wenn man das mit anderen Personengruppen macht. Und das ist dann ja leider auch so eine Reproduktion von Vorurteilen, die quasi in den Daten selbst liegen.

Charlotte: Genau, aber bei beiden Themen. Manche Leute sind sehr optimistisch, dass man diese Probleme auch teilweise vermeiden kann, indem man einfach richtig das System promptet. Also zum Beispiel, wenn man dem System sagt, "Ich bin eine sehr gute Rechnerin und ich denke sehr vorsichtig über Sachen nach", dann gibt es eben eine höhere Wahrscheinlichkeit, dass das System mir die richtigen Antworten sagt zu mathematischen Problemen. Mit solchen unterschiedlichen Prompts kann man eben auch solche Probleme von Unehrlichkeit, Diskriminierung, Stereotypen etc. reduzieren.

Sarah: Hmm, ich würde auch gerne noch kurz, bevor wir gleich konkret über Regulierungen und Gesetze sprechen, noch mal kurz auf diese wirklich rasante Weiterentwicklung von dieser Art von Modellen zu sprechen kommen. Wenn man einmal so ein Gefühl dafür hat, wie schnell und wie krass Dinge sich weiterentwickeln, ist es, glaube ich, noch mal einfacher, über die nächsten Entwicklungen der kommenden Monate und Jahre nachzudenken. Vielleicht einmal am Beispiel des Vorgängers: Der kam 2019 raus, 2020 kam dann GPT-3 raus. Und das Interessante war, dass es im ganz Wesentlichen das Gleiche ist, nur halt, dass GPT-3 wirklich sehr, sehr, sehr viel mehr Parameter hat und an sehr viel mehr Daten trainiert wurde. Und wenn ich es richtig wahrgenommen habe, dann gab es ja schon so eine Art Überraschung darüber, wie viel mehr der Nachfolger konnte als der Vorgänger, weil man nicht erwartet hat, dass sich die Fähigkeiten des Modells so signifikant verbessert werden, indem man es einfach nur "größer" macht. Und deswegen der Sprung in den Fähigkeiten, der einfach sehr krass und wahrscheinlich wohl unerwartet war.

Die Frage ist jetzt natürlich, ob dieser Trend weiter anhält. Und wenn immer größere Modelle mit immer mehr Parametern da sind, wie viel mehr Fähigkeiten dann diese Modelle haben können und in wie viel mehr Bereichen sie relevant sein können. Da würde mich total deine Einschätzung und Beobachtungen interessieren. Wie denkst du darüber nach? Wie geht es dir damit? Was sind deine Gedanken zu dem Thema?

Charlotte: Ja, vielleicht kurz noch ein anderes Beispiel für dieses Scaling über die Zeit sind die Bilder. Also zum Beispiel, wenn wir KI-Systeme so rund um 2015 gefragt haben, Bilder von Menschen zu generieren, dann waren da die Menschen nicht mehr so ganz klar erkennbar. Und jetzt können wir eben Material von menschlichen Gesichtern kreieren, dass eben genauso gut ist oder sogar besser als das meiste Foto- oder Videomaterial. Und das ist alles in weniger als einem Jahrzehnt passiert. Genau, zu dieser Frage: Wie passiert Fortschritt oder warum? Und wann erwarten wir zukünftige Modelle, die viel, viel besser sind als die Jetzigen?

Die Hauptfrage hier ist: KI-Systeme sind im Endeffekt eine Zusammenstellung von Input. Das sind Daten, dann die Parameter - also, wie groß ist dieses Modell? - und der Algorithmus. Algorithmen wurden auch besser über die Zeit oder neue Ideen wurden kreiert und die wurden dann zu besseren Modellen. Und die Hauptfrage, die sich Leute hier stellen, ist: Wie entscheidend ist jeder Input? Also Daten, Größe des Modells, Algorithmen oder eben andere Sachen. Daten und Parameter zusammen entscheiden, wie viele Compute-Ressourcen wir brauchen, um dieses Modell zu kreieren, und demnach wie viel Hardware oder Geld wir investieren müssen.

Sarah: Also, dazu ganz kurz: Mit Compute-Ressourcen meinen wir jetzt wirklich, wenn man sich das so vorstellt, dass wir, wenn wir mehr Ressourcen brauchen, einfach wörtlich mehr Platz brauchen, oder? Das sind dann einfach so große Rechenzentren. Und je mehr Rechenpower benötigt wird, desto mehr steht da rum. Ganz banal gesagt.

Charlotte: Ja, genau. Und ich könnte einfach nur ein einziges Stück Daten haben. Also nur von einer einzigen Person oder einem einzigen Text. Aber da mache ich was unglaublich Kompliziertes mit dem, mit ganz vielen Parametern, und das braucht dann auch mehr Rechnungsleistung. Oder ich könnte einfach meine Anzahl von Daten erhöhen, also zum Beispiel noch mehr Bücher und noch mehr Text einfügen, und dann bräuchte ich eben auch mehr Rechnungsleistung.

Sarah: Und das ist auch superteuer, oder? Das macht es auch so interessant, weil deswegen auch einfach die Gefahr von Monopolstellungen da ist, weil jetzt so ein kleines Startup gar nicht die Rechenpower, das Geld und die Möglichkeiten hat, um so ein GPT-3 zu trainieren, oder?

Charlotte: Ja, die Hauptfrage ist hier wahrscheinlich: Wie viel günstiger sollten wir erwarten, dass Rechnungsleistung in der Zukunft wird? Also ein guter Stichpunkt ist Moore's Law oder so. Wir sehen, wie das sehr, sehr viel günstiger wird über die Zeit, insbesondere weil die Hardware besser wird. Und wenn wir erwarten, dass das so weiterführt, dann kann es eben sein in der Zukunft, dass viele Individuen oder viele Firmen sich leisten können, so was wie GPT-3 zu trainieren. Genau, das war einfach nur die Beschreibung des Inputs. Und du hattest erwähnt, wie einfach es ist oder sein sollte. Sollten wir warten, dass es in der Zukunft diese viel stärkeren Modelle gibt? Es gibt eben Leute die sehr stark an diese Scaling Hypothesis glauben. Also nur mehr Daten, mehr Parameter sollen zu immer und immer und immer besseren Modellen führen und immer besseren Output generieren. Und wenn das stimmt, dann sollten wir vielleicht viel schnelleren Fortschritt erwarten. Oder dass der Fortschritt radikal so weiterführt.

Das, was da vielleicht relevant ist, ist auch Diskriminierung und Ehrlichkeit, worüber wir geredet hatten. Wenn man jetzt annimmt, dass diese Daten oder Parameter viel größer werden und dass zukünftige Modelle eben sehr viel besser sind, zu sagen, was relevant ist, oder für dich kleine Forschungsaufgaben oder Schreibaufgaben zu übernehmen. Dann gibt es eben besondere Kriterien, bei denen es uns vielleicht besonders wichtig sind, dass diese KI-Systeme sie erfüllen. Und eins hatte ich eben schon erwähnt, nämlich die Ehrlichkeit. Die zweite Sache ist vielleicht so etwas wie "Legibility" im Englischen, oder Lesbarkeit im Deutschen. Also wenn ich zum Beispiel das System frage: "Was ist eigentlich die Relativitätstheorie?". Dann könnte mir das System sehr viel sagen, weil ich vielleicht nicht alle Argumente durchdringe, oder es könnte mich überzeugen, dass Relativitätstheorie X ist, obwohl es eigentlich etwas Anderes ist. Und mit Lesbarkeit meinen wir, dass dieses System mir die wirklichen Argumente so erklärt, dass ich sie verstehe. Also es erklärt mir die wirklichen Argumente und nicht so ein anderes Argument, was auch gut aussieht, aber nicht der eigentliche Grund ist, warum sich die Welt so verhält, wie sie sich verhält. Und es gibt mir Erklärungen, die ich wirklich verstehen kann. Wie eben gute LehrerInnen, die das Problem runterbrechen und nicht viel zu schwierige Sachen sagen, wobei dann eigentlich niemand wirklich was lernt.

Sarah: Ich dachte gerade noch an etwas Angrenzendes bzw. ein ähnliches Problem, nämlich die Interpretierbarkeit. Kannst du mal kurz erklären, was das ist und wieso das hier vielleicht auch noch relevant sein könnte?

Charlotte: Also es gibt diesen Forschungszweig von Interpretierbarkeit von diesen großen Language Modellen und da gibt es ein paar sehr interessante Resultate. Die Idee ist: Wir wollen herausfinden, was in diesem riesigen Modell passiert und können dann entdecken, dass es ein bestimmtes Cluster an Neuronen gibt. Und wenn wir zum Beispiel erkennen wollen, ob ein Auto auf einem Bild drauf ist, dann ist dieses Cluster dafür verantwortlich, ob es Reifen sieht oder irgendwas Rundes, was so aussieht wie Reifen. Und ein anderer Teil ist dafür verantwortlich, zu sehen, ob es irgendetwas gibt, was so aussieht wie der Himmel oder wie Wolken. Und diese Literatur versucht eben unsere Fähigkeit zu verbessern, wirklich zu verstehen, was in diesen Modellen passiert und was in unterschiedlichen Teilen des Systems funktioniert.

Sarah: Also kurz zum Verständnis, es geht darum, dass wir verstehen, warum die KI das tut oder das entscheidet, was sie tut. Damit nicht ein Ergebnis rauskommt und wir am Ende nicht mehr nachvollziehen können, wie die KI zu dem Ergebnis gekommen ist.

Charlotte: Genau, es kann uns auch helfen mit dem Problem der Ehrlichkeit, weil es uns zum Beispiel sagen kann warum es einen Output gibt und woher der in dem Modell kommt. In der Zukunft könnten wir das vielleicht nutzen, um herauszufinden, ob es uns einen falschen Grund gibt für die Empfehlung.

Sarah: Klingt relevant. Ich würde jetzt gerne zum nächsten großen Block übergehen, nämlich der Regulierung von künstlicher Intelligenz. Da ist konkret ein EU- Gesetz, dass es bald geben könnte, womit du dich auch schon viel beschäftigt hast. Denn wir haben jetzt sehr viel darüber gesprochen, dass es ganz interessante Entwicklungen in Sachen KI gibt, so in den letzten Jahren. Es ergibt auch Sinn, dass die Politik auf bestimmte Entwicklungen aufmerksam wird und eben dann versuchen möchte, bestimmte Gefahren abzuwenden. Und das Ziel hat auch die EU gerade, die nämlich den EU AI Act, also ein Gesetz zur Regulierung von künstlicher Intelligenz in der EU, auf dem Tisch hat. Und das ist Stand heute Oktober 2022 noch nicht durch. Du hast dich damit aber schon ziemlich viel beschäftigt und auch an einem Bericht mitgeschrieben, wo es um mögliche Auswirkungen dieses Gesetzes geht, über die wir dann auch gleich noch sprechen. Ich würde gerne kurz damit einsteigen, was in diesem Gesetz überhaupt geregelt werden soll: also, worum geht es darin?

Charlotte: Die EU ist ja ein gemeinsamer Markt und deswegen werden eben alle Arten von Produktsicherheitsregulierungen - also was wollen wir von Produkten, bevor man sie in der EU verkaufen kann? - in Brüssel geregelt. Und der EU AI Act ist ein Teil von diesem kompletten Produktsicherheitsrepertoire. Also hier regulieren wir Autos und Maschinen und Kinderspielzeug und Kühlschränke und so weiter. Warum sollten wir Produktsicherheitsrichtlinien haben für künstliche Intelligenz? Wie wir eben schon angesprochen haben: Das Produkt oder diese Dienstleistung ist eben anders als andere, weil wir häufig nicht wissen, was sie macht. Weil sie eben bestimmte Diskriminierungen usw. reproduziert und weil sie zu einem korrelierten Risiko führt. Also wenn irgendwas schief geht, dann geht wahrscheinlich vieles an vielen Orten schief. Und wenn ein Mensch irgendwas falsch macht, dann heißt das nicht, dass alle Menschen drumherum auch das Gleiche falsch machen. Und genau das ist die große Motivation für diesen KI-Act.

Und was heißt das genau? Wir nehmen alle Produkte, die künstliche Intelligenz inkludieren, das heißt zum Beispiel Maschinen oder medizinische Produkte, die KI in dem physischen Produkt mit drin haben oder eben auch Software, das einfach nur ein KI- Modell ist. Diese werden dann in unterschiedliche riesige Stufen unterteilt. Also es gibt die Hoch-Risiko-Kategorie. Die inkludiert alle Systeme, die bis jetzt schon reguliert sind von Produktsicherheit, also medizinische Anwendungen oder KI in Maschinen, KI im Kinderspielzeug, etc. Und das inkludiert auch zum Beispiel KI, die angewendet wird in unterschiedlichen Dienstleistungen des Staates oder im Law Enforcement oder für Human Resources. Wenn wir zum Beispiel unterschiedliche Lebensläufe scannen, um uns zu entscheiden, welchen davon wir zum Interview einladen. Also Bewerbungsprozesse oder andere Entscheidungen, wen wir feuern etc. Und wenn mein KI-System oder das Produkt, was ich verkaufen will, in den Hoch-Risiko-Bereich reinfällt, dann muss ich ein sogenanntes Conformity Assessment abschließen, also bestimmte Kriterien zeigen oder zeigen, dass ich konform bin. Das heißt zum Beispiel, dass ich zeigen muss, dass ich etwas habe wie menschliche Kontrolle oder einen Menschen im Loop, der drüber schaut. Dass ich Risikomanagement-Systeme in meiner Firma etabliert habe, dass ich erklären kann, wie der Output zustande kommt und dass der Output akkurat ist.

Sarah: Es wäre zum Beispiel bei so einem Bewerbungsprozess, dass jetzt nicht einfach eine KI entscheiden kann, welcher Bewerber genommen wird, sondern dass da schon noch ein Mensch drüber gucken muss. Und dass der Mensch auch verstehen muss, wie die KI zu dem Ergebnis gekommen ist, diese eine Person jetzt vorzuschlagen, oder?

Charlotte: Ja, genau. Oder wenn ich zum Beispiel eben diesen Algorithmus verkaufe, dann muss ich ein System etablieren, um mit meinen Konsument*innen, also den Firmen, die das dann nutzen, immer wieder einzuchecken oder eben zu überwache: Gibt es da bestimmte Fehler, die hier immer wieder aufkommen, zum Beispiel von Diskriminierung, und wie können wir dem vorbeugen oder unser System verändern? Das ist so ein Post Market Monitoring.

Sarah: Und da gibt es noch ein paar andere Stufen, oder?

Charlotte: Also ja, das ist die Hoch-Risiko-Stufe. Und dann gibt es eine Stufe, die es da drunter, und eine, die ist da drüber. Die, die da drüber ist, das sind einfach nur alle Systeme, die auf dem EU-Markt verboten sind und man dann nicht mehr verkaufen darf. Und das ist die sogenannte Manipulierung, also alle Systeme, die unterbewusst Menschen manipulieren wollen. Was das genau heißt, weiß noch niemand so richtig.

Sarah: Ist das nicht dieses Ding, was auch so interessant werden könnte, weil da eventuell der Google Algorithmus drunter fallen könnte? Weil der ja auch in gewisser Weise beeinflusst, worauf man klickt oder was man vielleicht kauft.

Charlotte: Ja, also das ist eine offene Frage. Eine Frage, die ich mir stelle, ist, ob der YouTube Algorithmus, der mir die nächsten Videos vorstellt, darunterfällt. Es gibt auch Forschung dazu, dass dieser Algorithmus mich beeinflusst. Zum Beispiel, dass er will, dass ich besonders extreme Sachen schaue, weil ich dann weitere YouTube-Videos anschaue. Ist das Manipulation, also die Veränderung von meiner politischen Meinung oder von meiner Sichtweise auf die Welt? Das ist das Thema Manipulation. Andere Sachen, die darunterfallen, sind das sogenannte Social Scoring, also eine Bewertung des sozialen Verhaltens, und die biometrische Identifikation in Echtzeit.

Und dann gibt es noch die dritte Kategorie, die liegt unter der Hoch-Risiko-Kategorie und umfasst einfach alles andere, also alle KI-Systeme, die eben nicht verboten oder mit einem hohen Risiko verbunden sind. Und die können freiwillig diese Risikobewertung machen. Manche von denen haben auch Transparenz-Vorschriften. Es wird also zum Beispiel wird vorgeschrieben, dass, wenn ich eine Art von Chatbot zum Beispiel auf meiner Webseite habe, ich klar machen muss, dass das eben kein Mensch ist, sondern ein Chatbot.

Sarah: Wie ist der Stand von dem neuesten Gesetzentwurf gerade, also von dem EU AI Act? Was muss da noch passieren, bis das eventuell in Kraft tritt?

Charlotte: Also der regulatorische Prozess in der EU funktioniert immer so, dass die Europäische Kommission etwas Neues vorschlägt, entweder eine Verordnung oder eine Richtlinie, und dann das Europäische Parlament und der Rat der Europäischen Union das diskutieren und unterschiedliche Veränderungen - hunderte von Veränderungen - vorschlagen. Und nachdem sie dann beide zu einem Entschluss gekommen sind, kommen dann der Rat und das Parlament zusammen, häufig ist auch noch die Kommission mit dabei, und dann wird noch einmal zusammen diskutiert und diese beiden Entwürfe werden aneinander angeglichen, bis daraus ein gemeinsamer Entwurf kommt. Und dann ist der Prozess abgeschlossen. Dann wählen alle im Rat und im Parlament und stimmen hoffentlich dem Gesetz so wie es ist zu, und dann ist es fertig. Und gerade sind wir in diesem Prozess, in dem das Europäische Parlament und der Rat der Europäischen Union ihre eigene Meinung bilden und den eigenen Entwurf planen.

Sarah: Du hast dich mit dem EU AI Act vor allem in Hinblick auf einen ganz interessanten Effekt beschäftigt, nämlich dem Brüssel Effekt. Das Interessante bei EU- Gesetzgebung ist ja auch, dass es nicht nur die EU beeinflusst, sondern eventuell auch andere Teile der Welt. EU-Gesetzgebung ist oft so ein eher unsexy Thema, also etwas, womit sich viele nicht so gern beschäftigen, weil es sehr viel Bürokratie hat. Ich kann das auch teilweise nachvollziehen. Bei dem Gesetz finde ich irgendwie sehr spannend, dass es für mehr Sicherheit in einem Bereich sorgen könnte, der auch die ganze Welt einfach betrifft. Und diese Art Einfluss, den EU-Gesetzgebung oder EU-Regulierung haben kann, der wird auch als Brüssel Effekt bezeichnet. Also dieser Einfluss, der sowohl auf andere Regierungen als auch auf das Verhalten von Unternehmen bestehen kann. Möchtest du mal kurz erklären, was der Brüssel Effekt überhaupt ist und sein kann?

Charlotte: Markus Anderljung und ich haben eben diesen langen Bericht geschrieben, in dem wir erklären, was der Brüssel Effekt ist und wie wahrscheinlich es ist, dass der EU AI Act einen Einfluss hat außerhalb der EU. Aber vielleicht als erstes: Was ist der Brüssel Effekt? Der Brüssel Effekt ist das Phänomen, wenn EU-Regulierung, EU- Regeln oder Normen einen Einfluss haben auf die Entwicklung, den Verkauf oder die Investition in Technologien außerhalb der EU. Obwohl EU-Regeln eigentlich nur wirklich den EU-Markt regulieren können. Und, die erste Frage ist natürlich, warum sollte das passieren? Was sind die Pfade, dass dieses Phänomen aufkommen kann? Und hier gibt es zwei.

Das erste ist der de facto Brüssel Effekt. Und der funktioniert folgendermaßen: Wir haben internationale Firmen, die überall ihre Dienstleistungen oder Produkte anbieten. Zum Beispiel ein bestimmtes KI-System, das mit der Übersetzung hilft oder ein Recommendation Algorithmus in sozialen Medien etc. Und diese Firma, nachdem jetzt neue EU-Regeln verabschiedet wurden, muss sich entscheiden, wollen wir im EU-Markt bleiben? Und wenn ja, wenn wir mit den EU-Regeln konform sind, sollen wir uns dann einfach komplett überall an die EU-Regeln halten oder nur in der EU? Manchmal ist es eben günstiger für die Firma, diese Regeln international anzuwenden. Das heißt zum Beispiel, dass ich keine Duplizierung habe. Also ich muss nur ein Produkt herstellen, ich kann besser intern arbeiten und manchmal sehen es eben auch KonsumentInnen außerhalb der EU als besonderen Qualitätsstandard, wenn das Produkt sich an die EU- Datensicherheits- oder Datenschutzregeln hält, obwohl das gar nicht von den Nicht-EU- Ländern oder Regierungen verpflichtend ist. Und das ist eben dieser de facto Brüssel Fakt, wenn multinationale Firmen das freiwillig machen und sich international an Regeln halten. Wo wir das zum Beispiel gesehen haben, ist in der Datenschutzgrundverordnung oder wenn es um Nahrungsmittelsicherheit geht.

Sarah: Du hast jetzt gesagt, dass sie sich freiwillig daranhalten. Aber ich finde, "freiwillig" klingt ein bisschen so, als würden sie das machen, weil sie so gute Menschen sind. Es ist ja dann schon entweder durch Druck von Konsumenten, weil das Image vielleicht darunter leidet, dass nicht überall die gleichen hohen Standards gelten. Oder auch einfach, wie du schon gesagt hast, weil es superteuer sein kann, diese Art von Differenzierung zu machen, also ganz unterschiedliche Produkte herzustellen und anzubieten.

Charlotte: Genau, das ist einfach eine - so würde ich als Ökonomin sagen - profit-maximierende Entscheidung. Produktionskosten könnten ein kleines bisschen teurer werden, aber dafür kann ich eben auch meine Produkte ein bisschen teurer außerhalb von der EU verkaufen. Und ich muss zum Beispiel intern nur ein Risikomanagement-System aufstellen. Wenn ich das irgendwann updaten muss, dann muss ich nur eins updaten, und ich habe nicht ein Risikomanagement-System in der EU, was vielleicht ein bisschen strenger ist, und dann noch mal ein zweites für den Teil meiner Produktion außerhalb.

Was ich mit freiwillig meinte, ist eben der Unterschied zum zweiten Brüssel Effekt, dem sogenannten de jure Brüssel Effekt. Und der de jure Brüssel Effekt ist das Phänomen, dass andere Regierungen Regeln verabschieden, die so ähnlich aussehen wie EU-Regeln oder die davon zumindest inspiriert sind. Und das kann aus unterschiedlichen Gründen passieren. Das eine ist eben, wenn meine Regeln kompatibel sind mit der EU, dann gibt es eine höhere Chance, dass ich bessere Handelsbeziehungen aufbauen kann. Wenn schon ein Teil meines eigenen Marktes sich an EU-Regeln hält, dann ist es auch billiger diese neuen Regeln zu verabschieden. Das kann eben dazu führen, dass EU-Regeln internationale Normen verändern und das dann dazu führt, dass andere es als gut oder notwendig ansehen, und dass wir zum Beispiel auch Datenschutz oder bestimmte Sicherheitsstandards brauchen, die davor vielleicht noch nicht als normal angesehen wurden. Das sind alles Gründe, die zu einem de jure Brüssel Effekt führen.

Sarah: Kannst du noch mal so ein paar Beispiele nennen, wo der Effekt in der Vergangenheit bereits gewirkt hat? Du hattest schon die DSGVO erwähnt und das Thema Nahrungsmittelsicherheit. Wo sieht man das beim Thema DSGVO? Was gibt es da weltweit für Beispiele, wo einer der beiden, also der de jure oder der de facto Effekt, gewirkt hat?

Charlotte: Das Erste, was ich hier vielleicht kurz erwähnen will, ist, dass wir eben dieses Problem haben von Kausalität oder Korrelation. Wir sehen eben häufig, dass eine Jurisdiktion irgendein Gesetz verabschiedet und dann andere Länder ähnliche Gesetze verabschieden. Das heißt noch nicht, dass das erste Land kausal dafür verantwortlich war, dass die anderen das dann auch gemacht haben. Die waren vielleicht nur schneller oder haben eine schnellere Bürokratie.

Sarah: Ja, es ist natürlich schwer zu wissen, was passiert wäre, wenn das erste Land es nicht gemacht hätte.

Charlotte: Genau. Ich glaube, es gibt bestimmte Fälle, wo wir uns sicherer sein können, dass das wirklich einen kausalen Einfluss hatte. Vielleicht zu dem de facto Brüssel Effekt, also diesem freiwilligen Standard. Ein gutes Beispiel davon finde ich, was auch aktueller ist, dass einige Rechte der DSGVO man auch kriegt, wenn man beispielsweise US-BürgerIn ist. Es gibt eine Studie, in der ForscherInnen an unterschiedliche große Big Tech-Firmen geschrieben haben und gesagt haben, "Hey, ich bin US-Bürgerin und ich hätte doch gern mein folgendes Recht". Zum Beispiel das Recht vergessen zu werden, also dass meine Daten gelöscht werden. Das hat eben in mehr als 50 % der Fälle funktioniert und die Daten wurden gelöscht. Obwohl die Firma nicht dafür verantwortlich ist, bzw. man sie nicht einfach vor Gericht stellen könnte, weil sie das nicht gemacht haben. Das ist so ein Beispiel vom de facto Brüssel Effekt und ähnliche Phänomene sehen wir auch zu Gen-veränderten Organismen oder Lebensmitteln und wie der Effekt die Produktion von solchen verändert, insbesondere in Südamerika.

Beim de jure Brüssel Effekt, gibt es drei Länder, die man hier nennen kann: Australien und Neuseeland, die sich in der Produktsicherheit sehr an die EU angepasst haben, und China, die für lange Zeit unterschiedliche EU-Gesetze kopiert haben oder sich von denen sehr inspiriert haben lassen, insbesondere auch in der Produktsicherheit. Mittlerweile haben fast alle Länder Datenschutzregeln und wir können auch hier wieder eine sehr starke Korrelation feststellen, also dass die meisten dieser Regeln mindestens 80 % oder so 8 von 10 Regeln adaptiert haben, die schon in dem Vorgänger der DSGVO niedergeschrieben wurden.

Sarah: Und wie wichtig oder groß schätzt du den Brüssel Effekt selbst ein? Weil wenn es einen Brüssel Effekt in verschiedenen Themenbereichen gibt, könnte es ja ebenfalls einen Washington Effekt oder einen London Effekt oder einen Peking Effekt geben. Und da frage ich mich, wie relevant Brüssel da im Vergleich ist. Also ich kann mir schon vorstellen, dass es einen größeren Brüssel Effekt als die anderen Effekte geben könnte, weil die EU womöglich dazu neigt, eher strengere Regeln zu machen. Und die Unternehmen sich dann eventuell an einen kleinsten gemeinsamen Nenner halten wollen und deswegen der Brüssel Effekt ein bisschen stärker ist als die anderen. Aber da würde mich deine Meinung zu interessieren.

Charlotte: Also das Erste, was ich dazu sagen will, ist, dass wenn man glaubt, dass der Brüssel Effekt unglaublich stark ist, dann könnte man auch annehmen, dass zum Beispiel der Washington Effekt oder der Beijing Effekt stark ist oder der sogenannte California Effekt. Also dass eben Regeln, die in Kalifornien verabschiedet wurden, einen Effekt haben auf die gesamte Regulation in den USA. Was sind Argumente, warum der Brüssel Effekt größer war, insbesondere in der Vergangenheit? Ein Argument ist wahrscheinlich, dass es unterschiedliche Felder gibt, in denen Brüssel als allererstes reguliert hat. Und es gibt Gründe, dass der/die Vorreiter*in, die als erstes ein Gesetz schreibt, einen größeren Effekt hat, als wenn man als letztes dazu kommt. Dann eben das Argument, dass, um irgendeinen Effekt zu haben, insbesondere durch den de facto Brüssel Effekt-Channel, muss ich eben strengere Regeln haben, mindestens auf einer Dimension, als die anderen Länder. Und die EU ist eben ein relativ großer Markt. Also es gibt noch China und die USA, die sind signifikant größer als Australien oder Neuseeland.

In der Vergangenheit haben wir diese Diffusion gesehen von EU-Regeln nach China. Und die Hauptfrage, die ich mir stelle, ist, wie viel können wir wirklich von der Vergangenheit extrapolieren? Also von 1960 bis 2020? Und wie viel sagt uns das wirklich über die Zukunft von 2022 bis 2080? Einfach, weil China sich unglaublich rasant verändert hat in den letzten 40 Jahren oder 30 Jahren, und es sehr gut dazu führen kann, dass sie sich dann auch viel weniger inspirieren lassen von Regeln, die woanders verabschiedet wurden.

Sarah: Dann lass uns den Brüssel Effekt doch mal konkret auf den EU AI Act anwenden. Was denkst du denn, wie der aussehen könnte? Oder wie stark? Was erwartest du, was da passieren könnte?

Charlotte: Also die erste These ist, dass dieser de facto Brüssel Effekt wahrscheinlich für einige Systeme und für einige Vorschriften, also spezifische Regeln, ist. Für welche Systeme oder KI-Modelle oder Anwendung sollte der de facto Brüssel Effekt passieren? Es scheint wahrscheinlich für medizinische Produkte oder Maschinen zu sein, insbesondere weil der Markt relativ globalisiert ist, und für die sozialen Medien. Falls diese Recommendation Systems potenziell als manipulativ eingestuft werden könnten.

Sarah: Also zum Beispiel der YouTube-Algorithmus oder der Facebook- Algorithmus?

Charlotte: Genau, ja. Und dass man dann erwarten würde, dass diese großen Firmen nachjustieren würden, um das Risiko von einem potenziellen Bruch zu reduzieren. Eine andere Kategorie von KI-Modellen sind die sogenannten Foundation Models oder eben Large Language Models, die wir schon am Anfang besprochen hatten.

Sarah: Also wie GPT-3?

Charlotte: Genau. Wir würden annehmen, dass wenn Open AI wüsste, dass Teile von dem Modell später in zum Beispiel Hoch-Risiko-Anwendungen benutzt werden, dann ergibt ds Sinn, dieses Modell von Anfang an schon kompatibel oder konform zu machen. Oder auf jeden Fall insoweit es möglich ist. Vorschriften, die potenziell diesen de facto Brüssel Effekt haben könnten, sind einerseits die Transparenz. Also diese Offenlegung: "Hey, dieser Chatbot ist kein Mensch, oder ist irgendwie nicht Nadja, sondern ist ein Modell". Es müsste nicht mit den größten Kosten kommen und man könnte annehmen, dass potenziell EU-Regeln Normen verändern, also dass es eben auf einmal als nicht-ethisch angenommen wird, wenn ich das nicht offenlege. Außerdem alle Vorschriften, die sehr früh im Produktionsprozess umgesetzt werden müssen, zum

Beispiel so etwas wie Risikomanagement-Systeme oder eben die Genauigkeit von Daten in Systemen.

Sarah: Kannst du ganz kurz erklären was mit Risikomanagement-Systemen gemeint ist?

Charlotte: Risikomanagement-Systeme sind eigentlich weitverbreitet in Unternehmen oder Konzernen. Und es geht dabei um die Intensität oder die Genauigkeit des Prozesses. Das ist ein strukturierter Prozess im Unternehmen, in dem wir aufschreiben, welche Risiken es überhaupt gibt. Wir identifizieren die Risiken, wir bewerten die Risiken, wir aggregieren das Risiko Potenzial und überlegen uns dann, welche Aktionen nötig sind, um das Risiko zu reduzieren. Genau. Und wir würden eben erwarten, dass Vorschriften, die sehr früh im Produktionsprozess implementiert werden müssen, auch eine höhere Chance für einen sogenannten de facto Brüssel Effekt haben, weil es dann teurer ist, die Produktion zu differenzieren. Das vielleicht so als Vorhersage zum de facto Brüssel Effekt.

Zum de jure Brüssel Effekt gibt es zwei Sachen, die besonders wahrscheinlich sind, dass sie einen Brüssel Effekt erzeugen. Und das Erste ist die allgemeine Struktur oder Operationalisierung, was es heißt, vertrauenswürdige KI herzustellen. Also wie definieren wir Risiko-Kategorien oder was muss überhaupt passieren? Also eher das Skelett des EU AI Act. Und wir würden den de jure Brüssel Effekte für besonders wahrscheinlich halten in Ländern, die in der Vergangenheit die Produktsicherheitsregeln der EU angewandt haben. Besonders vielleicht Australien, Neuseeland oder kleinere Länder rund um die EU. Der de facto Brüssel Effekt sollte wahrscheinlicher sein für Big Tech-Firmen, insbesondere zwischen EU und der USA.

Sarah: Du hast gerade eben ja schon kurz China angesprochen. Da würde mich auch deine Einschätzung interessieren, weil China auch beim Thema KI als wichtiger Akteur gilt. Was meinst du? Wie wahrscheinlich ist es, dass China irgendwelche EU- Regeln jetzt annimmt? Weil wenn ich es richtig im Kopf habe, dann arbeitet China auch selbst gerade an KI-Regeln und ist da eventuell, anders als bei anderen EU- Regulierungen, nicht so motiviert sich auch bei dem Thema anzupassen oder etwas zu übernehmen.

Charlotte: Ja, also die Frage, wie China von diesen Regeln beeinflusst wird, ist wahrscheinlich die schwierigste für mich. Und die, wo es am klarsten wird, dass, wenn man versucht, Vorhersagen über die Zukunft zu machen, davon auf jeden Fall ein paar am Ende falsch sein werden.

Vielleicht ein paar Sachen zur chinesischen Situation: Das Erste ist, die arbeiten eben an KI-Regulierungen, also haben zum Beispiel Regulierungen von sogenannten Recommender Systems rausgebracht. Und deswegen würde man hier annehmen, dass die EU nicht diese Vorreiterrolle spielt als erster Akteur, der irgendwas macht. Obwohl die EU vielleicht hier schneller regulieren wird als Kanada oder die USA oder andere westliche Länder. Und die zweite Sache ist: Wahrscheinlich gibt es einige Firmen, die konform sein wollen, weil sie KI-Systeme auf dem europäischen Markt verkaufen. Und solange wir annehmen, dass das weiter der Fall ist und die zwei Märkte sehr eng miteinander verbunden sind, solange sollten wir auch so etwas wie einen de facto Brüssel Effekt annehmen. Genau, es könnte eben viel mehr der Fall sein, dass eben auf diesem bestimmten Markt von Big Tech, mehr so ein Decoupling zwischen den unterschiedlichen Märkten passieren wird.

Sarah: Okay, also es ist schon möglich, dass der EU AI Act auch weltweit Einfluss hat, auch wenn natürlich noch nicht ganz klar ist, in welchen Bereichen und wie und wo. Und es kann sich auch an dem Gesetzentwurf, also wie wir jetzt darüber gesprochen haben, noch ein bisschen was ändern. Einen interessanten Punkt, den ich da finde, wenn man darüber nachdenkt, was sich da noch ändern kann und was Organisationen fordern, was sich vielleicht auch noch ändern sollte, ist die Frage, was mit zum Beispiel diesen Large Language Models wie GPT-3 ist. Weil aktuell ist der Gesetzesentwurf sehr auf so spezifische Anwendungen von KI fokussiert.

Ich weiß nicht, wie gut das rüberkam, denn es geht halt wirklich darum, wenn etwas in eine Kategorie fällt, dann ist es eine konkrete Anwendung, also dann wird es bereits irgendwo genutzt. Es geht nicht darum, dass das Modell, das dahintersteht, in der Entwicklung und im Training reguliert wird, und bereits irgendwelche Anforderungen erfüllen muss. Das heißt, wenn wir es jetzt zum Beispiel bei GPT-3 machen, wenn dieses Sprach-Modell für einen Chatbot benutzt wird, dann ist der Chatbot reguliert und die, die die Ideen providen, müssen bestimmte Dinge einhalten. Aber halt das Modell an sich, also GPT-3, ist halt nicht festgeschrieben im Gesetz. Genau, weil es dort um Anwendungen geht und nicht um die Technologien dahinter. Das finde ich einen ganz spannenden Punkt. Weil da einige Organisationen, wie zum Beispiel das Future of Life Institute oder auch die Future Society fordern, dass sich das ändert.

Und da würde ich auch gern deine Meinung zu wissen. Also, warum sollte sich das ändern? Warum sollte man Dinge nicht erst regulieren, sobald sie einen spezifischen Zweck haben? Sollte man das da überhaupt reinnehmen? Was denkst du?

Charlotte: Also wir haben eben diese Modelle, die unterschiedliche Sachen machen können, zum Beispiel Text generieren können, unabhängig davon, für was dieser Text dann genutzt wird. Oder Bilder erkennen, unabhängig davon, ob das jetzt Röntgenbilder sind oder Kunstbilder oder andere Arten von Daten. Also diese Modelle werden Foundation Models genannt. Und die Frage ist, welche Rolle sollen die spielen im EU AI Act oder wie sollen wir diese regulieren? Also diese Modelle und nicht die bestimmten Anwendungen davon. Die erste Frage ist, warum sollten wir die überhaupt regulieren? Und darauf gibt es eine ganze Reihe an Antworten oder auch Einwänden. Die erste Antwort ist, dass dieser Markt wahrscheinlich viel stärker potenziell zu Marktkonzentration tendiert. Also dass es wahrscheinlich ist, dass es hier nur so ein paar Akteure gibt, die womöglich entscheidend sind. Immer wenn wir einen Markt haben, der zu Marktkonzentration neigt, dann ist es besonders wichtig, dass Regulierung umgesetzt wird.

Das zweite ist, dass einige Leute annehmen, dass diese generellen Modelle oder Foundation Modells eine besonders große Rolle spielen in der Zukunft von KI- Entwicklung. Und es deswegen insbesondere wichtig ist, sie heute in KI-Regulierung miteinzubringen, weil KI-Entwicklung eben sehr schnell gehen kann. Wir haben vorhin besprochen, was in sieben Jahren passieren kann. Und wenn wir denken, dass sie eine sehr, sehr große Rolle spielen in sieben Jahren, dann sollten wir sie vielleicht jetzt schon mit reinnehmen.

Und Punkt drei ist das Potenzial solcher Modelle, weil sie eben genereller sind und deswegen vielleicht unverständlicher, aber eben auch viel besser anwendbar. Außerdem ergibt es Sinn, die Produzenten früh in der Lieferkette in die Produktsicherheit zu integrieren. Es ergibt einfach viel mehr Sinn dieser Person ganz am Anfang, die vielleicht auch viel mehr Ahnung hat zu Deep Learning Modellen, verantwortlich zu machen für Sicherheit. Und nicht die Anwender später, die auch ein viel schlechteres Wissen haben über die Details von solchen Modellen.

Sarah: Genau, weil das könnte ja, so als Beispiel, wenn jetzt zum Beispiel GPT- 3 als Chatbot benutzt wird von einem Unternehmen in der Kommunikation mit seinen Kunden, dann hat das Unternehmen GPT-3 nicht entwickelt. Das war jemand komplett anderes. Aber das Unternehmen ist dann quasi dafür verantwortlich, die EU-Regularien einzuhalten. Richtig?

Charlotte: Genau.

Sarah: Also das fällt dann nicht zurück auf Open AI, also auf die Entwickler von GPT-3, sondern auf den Chatbot. Und das sind einfach zwei komplett unterschiedliche Entitäten.

Charlotte: Ja, wenn der Chatbot zum Beispiel eingesetzt wird für besonders kritische Sachen, also zum Beispiel bei Bewerbungsgesprächen oder für medizinische Empfehlungen. Aber wenn wir dieses System wirklich sicherer machen wollen, dann glauben wir, dass diese Aktionen eher bei Open AI liegen als bei dem Anwender oder der Anwendungsfirma, die vielleicht gar nicht die Details von Machine Learning Modellen so gut kennt.

Das sind alles Gründe, warum man die Foundation Models auf irgendeine Weise regulieren will. Und die Frage ist dann: Wie können wir das im EU AI Act machen? Eine potenzielle Lösung ist zum Beispiel eine zusätzliche Risikokategorie einzuführen. Also es gibt bereits unakzeptierbares, hohes und niedriges Risiko. Und dann würde es noch eine zusätzliche Kategorie geben, in die alle General Purpose AI Systems oder Foundation Models fallen, unabhängig davon, wie sie später genutzt werden. Diese Foundation Models müssten sich dann an bestimmte Regeln halten, die auch die Hoch-Risiko- Systeme haben, aber nicht alle.
Also die müssten zum Beispiel zeigen, dass sie so erklärbar sind wie es nach den gegebenen technischen Limitierungen möglich ist. Oder sie müssen zeigen, dass sie ein Risikomanagement-System haben und Feedback von den Anwendern kriegen, welche Effekte die Modelle auf die Welt haben.

Sarah: Du hast gerade den Begriff General Purpose AI System gesagt. Nur kurz dazu: Das ist der Begriff, den die EU verwendet, wenn es um Foundation Models geht, also um KI-Systeme, die verschiedene Tätigkeiten ausführen können und nicht nur sehr eng gefasste Aufgaben erfüllen.

Charlotte: Ja.

Sarah: Okay, das ist also eine Möglichkeit, wie man diese Art künstlicher Intelligenz da eventuell aufnehmen könnte. Fehlt sonst noch irgendwas bei diesem EU AI Act, was du dir da noch wünschen würdest oder was da vielleicht noch rein sollte, deiner Meinung nach?

Charlotte: Ja, ein Problem ist natürlich, dass es noch in Verhandlung ist, das heißt es steht noch nicht fest, wie das dann am Ende aussieht. Es gibt zwei Probleme, bei denen ich mir unsicher bin, wie gut sie am Ende dann umgesetzt werden. Das eine ist das von immateriellem Schaden. Also wie gut ist unsere Produktsicherheitsregulierung darauf ausgelegt, dass wir auch immaterielle Schäden für Dritte regeln? Also zum Beispiel Radikalisierung etc. hat einen Schaden, der potenziell nicht die Kundin oder den Kunden betrifft, sondern eben für eine dritte Person, die dann betroffen ist von dem Rassismus.

Wie gut können wir damit umgehen und wird das auch gut genug adressiert? Die Details sind dabei sehr, sehr wichtig, die wahrscheinlich erst ausgearbeitet werden, nachdem der EU AI Act durch den legislativen Prozess gegangen ist. Das zweite Thema ist das von Online Machine Learning. Also Machine Learning, das noch nachjustiert, nachdem es an die Konsumenten gegeben wurde, also nachlernt mit den Daten und darauf weiter aufbaut. Und hier ist es ja interessant, dass es keinen richtigen Moment gibt, wo das Produkt dann fertig ist und dem Konsumenten gegeben wird. Sondern für diese ganze Kategorie ist dieses Post Market Monitoring wahrscheinlich besonders wichtig.

Sarah: Jetzt haben wir kurz darüber gesprochen, was in dem EU- Gesetzesentwurf vielleicht noch anders sein könnte und was da fehlt. Ich würde auch sehr gerne von dir hören, was dir außerhalb dieses Gesetzes noch an Regulierung fehlt. Was glaubst du, könnte oder sollte man in dem Bereich noch besser regulieren?

Charlotte: Die Frage ist, wie können wir politisch handeln, damit die KI-Industrie oder Entwicklung sicherer sind? Dass wir eben weniger Risiken und mehr Vorteile von dieser Entwicklung bekommen. Und hier gibt es ganz viele unterschiedliche Ansätze, wo man wahrscheinlich noch mehr tun könnte. Das eine ist die Selbstregulierung, also zum Beispiel Firmen dabei helfen, dass sie erst mal Regeln einfach nur untereinander festsetzen, also ohne irgendwie die Europäische Kommission im Raum. Und diese Prozesse können wahrscheinlich viel weiter führen oder sind schneller als die der Regierungen. Andere Fragen sind die von Compute Ressourcen. Also, wer hat Zugang zu Compute? Wie können wir diesen Zugang zu Compute regulieren oder zum Beispiel sichergehen, dass Zugang zu Rechnern und ganz großem Compute gekoppelt wird mit Produktsicherheit etc.?

Sarah: Kannst du dazu vielleicht noch ein, zwei Worte sagen? Ich bin mir nicht sicher, ob ich weiß, was du meinst. Also es geht darum, wer quasi Zugang hat auf die Technologien, die man braucht, um Rechenzentren zu betreiben. Das ungefähr meinst du, oder?

Charlotte: Also, wenn wir annehmen, dass es eine Chance gibt, dass in der Zukunft sehr, sehr, sehr große Modelle trainiert werden - zum Beispiel viel, viel größer als GPT-3 - dann scheint es eben potenziell wichtig zu sein, bestimmte Sicherheitsregeln nicht auf den Verkauf solcher Modelle zu setzen, sondern auf das Trainieren der Modelle selbst. Und wenn das der Fall ist, dann könnte man das eben durch Compute-Regulierung machen. Also dass man in Datenzentren sagt, wenn man Modelle trainieren will, die größer sind als eine bestimmte Zahl, dann müssen die sich an bestimmte Sicherheitsauflagen halten. Die offensichtlichen Fragen sind eben, wie können wir messen, wie hoch Compute ist? Was für Regeln oder Auflagen wollen wir dann stellen? Wer stellt diese Auflagen, also die Datenzentren oder die Regierungen? Also Google oder Microsoft haben ihre eigenen Daten zentral und haben den Rechner inhouse. Was sind dann die Möglichkeiten zur Regulierung? Die breitere Frage ist natürlich: Was für Aktionen oder Herangehensweisen können noch dabei helfen, die Entwicklung von sicherer oder vertrauenswürdiger künstlicher Intelligenz voranzutreiben? Und da gibt es natürlich viel mehr Werkzeuge als nur die der Regulierung.

Eine Sache, die man hier nennen kann, ist sogenannte Self Governance. Also dass Unternehmen zusammenkommen und sich selbst auf Regeln einigen, denen alle dann folgen, ohne dass irgendwelche Regierungen im Raum sind. Oder internationale Verträge, wo Unternehmen international zusammenkommen, mit oder ohne Regierungen. Bis jetzt haben wir immer nur über die Regulierung von Systemen oder Produkten geredet, die zivilgesellschaftlich benutzt werden. Und dann gibt es natürlich noch die militärische Nutzung von KI-Systemen, über die man sich entweder durch internationale Verträge auf bestimmte Normen einigen kann oder auch regional oder national Regeln unterschreiben kann, wie man da vorgehen will oder was man da für Sicherheitsnormen implementieren will.

Sarah: Und wie siehst du das Thema Forschung in dem ganzen Themenbereich? Zum Beispiel daran forschen, wie künftige KI-Systeme sicherer gestaltet werden können. Wie wir sicherstellen können, dass eine KI das tut, was wir wollen und nicht aus Versehen was anderes macht. Oder so.

Charlotte: Genau. Wenn sich jemand dafür interessiert, wie man die Entwicklung von künstlicher Intelligenz verbessern kann, insbesondere eben mit dem Fokus auf sehr starke Modelle, die sehr viel wissen können oder sehr gut agieren können, in 20, 30 Jahren, dann gibt es so drei große Blocks an Arbeit. Der eine ist, an technischen Fähigkeiten zu arbeiten. Warum agiert eigentlich zum Beispiel GPT-3 so wie es tut? Ist es in der Lage uns zu manipulieren? Und dann eben auch Tests zu kreieren: Wie können wir testen, ob GPT-3 die Wahrheit sagt? Wie können wir es implementieren, dass GPT-3 robust und wirklich in allen Fällen uns wahre Informationen gibt etc.? Das ist die Kategorie der technischen Arbeit.

Dann gibt es die zweite Kategorie: Strategie. Also wie stellen wir uns eigentlich KI- Systeme in der Zukunft vor? Welche Fehler könnten die haben? Oder wie könnten sie zum Beispiel unsere Welt verändern, im ökonomischen Sinne oder in der nationalen Sicherheit? Und die dritte Kategorie ist eben diese Governance Arbeit, die ich jetzt auch länger erklärt habe.

Sarah: Wir haben jetzt die ganze Zeit über GPT-3 als Foundation Model geredet. Ich wollte nur mal kurz einpluggen, dass es natürlich auch ganz schön viele andere gibt. Also es gibt zur Bilder-Generierung noch Dall-E, was von der gleichen Firma ist wie GPT-3. Aber andere große Tech-Unternehmen machen auch Arbeit in dem Bereich.

Charlotte: Ja, oder Stable Diffusion, als Open Source Variante für Dall-E 2.

Sarah: Ja, genau. Du hast gerade schon angerissen, dass es natürlich auch darum geht, was so die nächsten Jahre, Jahrzehnte und vielleicht auch in der weiteren Zukunft passiert. Also auch wenn ich persönlich jetzt technisch ein eher grobes Verständnis dafür habe, was in der KI-Entwicklung so passiert, habe ich schon so die Überzeugung, dass sich vieles ändern kann. Und du hast auch über transformative KI gesprochen, die, wie der Name schon sagt, einfach zu Transformationen, zu Veränderungen, auch im Alltag und in verschiedensten Lebensbereichen führen kann.

Und mich würde interessieren, wie du so darüber nachdenkst. Also es ist halt schwierig zu sagen. Weil der Kern von transformativen Dingen ist, dass man sich nicht so richtig vorstellen kann, wie sie sind, weil das macht sie transformativ. Aber wenn du jetzt eine Schätzung machen müsstest, was könnte so deiner Ansicht nach die nächste Sache sein, die von transformativer KI beeinflusst wird? Der nächste Lebensbereich oder die nächste Sache in unserem Leben.

Charlotte: Vielleicht drei Anwendungen, die potenziell transformativ sind und die irgendwie in den nächsten zehn Jahren deutlich besser werden könnten: Das ist einerseits Video, also dass künstliche Intelligenz Videos kreieren kann oder eben kurze Filme etc.. Und die zweite Anwendung ist die des Codings, also Teile des Coding-Prozesses zu automatisieren, wie wir es eben schon gesehen haben mit Codex. Also Codex ist ein Feintuning von GPT-3, das benutzt wird, um beim Coden zu helfen, indem es kurze Stränge produziert. Und wir könnten eben sehen, wie zum Beispiel Kodex immer besser wird und dann größere Teile des Programmierens automatisiert.

Und dann gibt es natürlich noch andere Anwendungen, die vielleicht ein bisschen hypothetischer sind oder unwahrscheinlicher, aber eben eine große Rolle spielen könnten. Und das ist einerseits Forschung in der Biologie und in der Biosicherheit. Also wir haben eben AlphaFold gesehen, dass einen großen Teil des Protein Folding Problems gelöst hat und könnten eben ähnliche Modelle oder Weiterentwicklungen sehen, die zu großen Fortschritten in der synthetischen Biologie und Biosicherheit führen.

Sarah: Und das ist ja eine KI, die von DeepMind entwickelt wurde, was zu Google gehört. Nur kurz zur Markteinordnung.

Charlotte: Also das sind glaube ich so die Hauptdinge, das Video und Coding. Und dann auf der hypothetischeren Seite eben die Bio-Anwendung und vielleicht das Hacking, also die Frage, wie schnell KI-Systeme besser sind als viele Menschen oder als alle Menschen im Hacking und in der Informationssicherheit.

Sarah: Ja, ich bin sehr gespannt. Natürlich müssen sich transformative Veränderungen in Gesellschaften nicht auch transformativ anfühlen. Ich habe mein iPhone und mache damit crazy viele Dinge. Und diese Art von Nutzung eines Geräts ist vor ein paar Jahrzehnten einfach komplett undenkbar gewesen. Und für mich fühlt es sich jetzt natürlich nicht super weird an. Ich will nur sagen, dass Transformation ja auch in kleinen Schritten kommt, die sich nicht alle für sich total verrückt anfühlen müssen. Und trotzdem sieht die Welt vielleicht irgendwann total anders aus als vorher.

Charlotte: Ja, die richtige Analogie ist vielleicht die industrielle Revolution. Ich habe kein gutes Bild davon, wie sich das wirklich angefühlt hat, während man in der industriellen Revolution war, wie schnell sich da dieser Fortschritt angefühlt hat. Wahrscheinlich hat es sich gar nicht so unglaublich schnell angefühlt. Die Analogie zur industriellen Revolution zeigt vielleicht auch, wie schwierig es ist, erstens Vorhersagen zu machen und zweitens, sich im Vorhinein zu überlegen, was wir machen sollten, um diese Transformation sicherer oder besser für die Menschheit zu machen.

Um kurz auf diese Analogie einzugehen: Wenn ich mir die Frage stelle, was würde ich machen vor der industriellen Revolution, um sie besser zu machen für die Menschen, die in dieser Transformation waren? Dann würde ich zum Beispiel über Kinderarbeit nachdenken oder über soziale Ungleichheit, Einkommensungleichheit, die ja in Teilen der industriellen Revolution deutlich größer war, als sie davor war. Aber dann ist auch klar, wie schwierig es ist, über diese Welt nachzudenken, in denen soziale Dynamiken und Machtverhältnisse sich auf einmal verändern. Und es eine große Herausforderung wird, vorherzusagen, welche Aktionen zum Beispiel Einkommensungleichheit in der industriellen Revolution verringern würden.

Sarah: Ja, total. Ich finde es bei dem Thema KI auch teilweise schwierig, darüber nachzudenken, was sinnvolle Schritte in der Regulierung sein können, weil es einfach in der Natur der Sache liegt, dass es sehr schwer ist, sich auf etwas vorzubereiten, von dem man nicht wirklich weiß, wie es wird. Das genau macht das Nachdenken und noch mal mehr dieses bürokratische Regulieren, glaube ich, einfach super, super schwierig.

Charlotte: Ja, was ich glaube, was das zeigt, ist, dass es eben unglaublich wichtig ist, dass all diese Regulierungen adaptiv bleiben. Was heißt das? Also, dass es Mechanismen gibt, die nicht nur implementiert sind, sondern die wirklich funktionieren. In dem es zum Beispiel ein Board gibt, das sich jedes Jahr wieder hinsetzt und fragt: Was sollten wir nachjustieren, welche Regeln sollten verändert werden? Welche Anwendungen sollten aus der Hoch-Risiko-Kategorie rausgenommen werden oder in die Kategorie hinzugefügt werden? Also die Möglichkeit des Nachjustierens wird umso wichtiger, je mehr wir erwarten, dass die Technologie sich rasant verändern kann.

Sarah: Vielleicht in dem Zusammenhang nochmal kurz die Frage, wieso könnte denn das Thema Regulierung gerade nicht die richtige Herangehensweise sein? Wenn man so über die Zukunft von KI nachdenkt.

Charlotte: Ja, man könnte argumentieren, dass diese Unsicherheit, die verbunden ist mit der Entwicklung der Technologie, das Regulieren, also das Aufsetzen von Regeln durch Regierungen, unmöglich macht. Weil wir einfach diese Regeln nicht runterschreiben können. Insbesondere wenn wir das fünf Jahre machen müssen bevor die Regulierung existiert. Und wenn diese Unsicherheit vielleicht zu groß ist, dann sollten wir uns auf andere Werkzeuge konzentrieren. Das eine ist hier eben diese Self Governance. Also vielleicht nur mit der "Regulierung" drohen und sich dann darauf fokussieren, dass diese großen Tech-Unternehmen selbst Regeln entwickeln. Das hat zum Beispiel die EU gemacht, als es um Hate Speech ging in sozialen Medien.

Die andere Herangehensweise wäre eben die Haftung. Also wir lassen diese Anbieter einfach für Schaden haften und schreiben gar nicht genau vor, was sie machen sollen, weil wir gar nicht wissen, was sie machen sollen, um sichere Systeme zu entwickeln. Und der dritte Punkt wäre, dass wir uns als erstes überlegen, was wir überhaupt testen können, wie wir bessere Evaluierungs-, Verifizierungsprozesse entwickeln, die wir dann nutzen können. Aber solange wir diese sehr, sehr guten Evaluierungsprozesse noch nicht haben, ist es vielleicht zu früh, KI-Standards aufzuschreiben. Hier ist vielleicht das sogenannte AI Standards Hub zu erwähnen. Das ist eine neue Organisation zwischen dem Turing Institute und der englischen Regierung. Die wurde gestern oder vorgestern, also im Oktober 2022, gelauncht. Und die Idee ist, dass hier unterschiedliche Leute aus der Forschung und der Industrie zusammenkommen, um eben zu entwickeln, wie man zum Beispiel diese Standards evaluiert.

Sarah: Dann würde ich jetzt langsam mal zum Ende kommen. Du hast gerade schon eine Sache erwähnt, die man sich mal angucken kann. Natürlich werden ganz, ganz viele Dinge wieder verlinkt. Wenn jetzt jemand zuhört und gerne mehr über das Thema der transformativen KI lernen möchte. Was kann diese Person denn dann tun?

Charlotte: Wenn man darüber mehr lernen will, dann ist wahrscheinlich der erste Schritt, mehr zu verstehen, was transformative künstliche Intelligenz überhaupt heißt. Was könnten die Probleme sein? Glaube ich das oder ergibt das Sinn? Wo sehe ich die Probleme in den Argumenten? Dazu kann man unterschiedliche Texte lesen, unter anderem von Richard Ngo: "AGI Safety from First Principles". Und Allan DaFoe hat über andere Problematiken von transformativer künstlicher Intelligenz geschrieben. Es gibt auch einen Kurs, der heißt "AGI Safety Fundamentals" von BlueDot Impact. Das ist ein acht-wöchiger Kurs, den man zum Beispiel während der Arbeit oder des Studiuma durchführen kann, indem man sich einmal die Woche hinsetzt und über dieses Thema mehr nachliest, diskutiert und die Argumente analysiert.

Und dann gibt es natürlich auch mehrere Organisationen, die zu diesem Thema geschrieben haben und sich mit der Governance von transformativer künstlicher Intelligenz beschäftigen, zum Beispiel das Center for the Governance of AI hat unterschiedliche Analysen in ihrer Publikationsliste auf der Website. Dann gibt es eine Diversität von Organisationen, bei denen man arbeiten kann zu diesem Thema. Vielleicht insbesondere für Leute, die das Thema eher ausprobieren wollen, gibt es eben unterschiedliche Organisationen, die so Sommerpraktika oder Forschungs-Fellowships anbieten, zum Beispiel die Stanford Existential Risks Initiative.

Sarah: Cool. Und vielleicht so ein Buchtipp oder so? Wenn man jetzt ein Buch lesen möchte zu dem Thema, gibt es irgendwas, dass du da empfehlen kannst?

Charlotte: Ja, als Buchtipp würde ich "Human Compatible AI" von Stuart Russell, einem Informatik Professor an der Universität California, empfehlen. Und das erklärt eben dieses Kontrollproblem von transformativer oder genereller künstlicher Intelligenz im Detail.

Sarah: Das kann ich auch empfehlen. Es war auch so das erste Buch, was ich zu dem Thema gelesen habe. Cool, dann vielen lieben Dank für das Gespräch. Ich habe viel gelernt. Danke dir.

Charlotte: Ja, danke dir. Es war sehr nett über die Themen zu reden und einige Sachen besser erklärbar oder konkreter zu machen.

Das war der Wirklich Gut-Podcast mit Charlotte Siegmann! Die meisten Dinge, die wir erwähnt haben, findet ihr in den Shownotes. Eine Zusammenfassung des Gesprächs mit weiteren Infos findet ihr außerdem auf wirklichgut-podcast.de.

Ich freue mich sehr auf Feedback, Fragen und Themenvorschläge per Mail an hallo@wirklichgut-podcast.de oder bei Twitter unter Wirklich Unterstrich Gut. Finanziert wird der Podcast vom Effective Altruism Infrastructure Fund.

Danke fürs Hören und bis zum nächsten Mal!