Herzlich willkommen bei der KI Show. Mein Name ist Benny und gemeinsam mit Ruben tauchen wir praxisnah und im Detail in die Welt der künstlichen Intelligenz ein. Egal ob du KI das erste Mal hörst oder schon zehn Jahre Erfahrung hast, hier bist du genau richtig. Ruben, wo knüpfen wir heute an? Letztes Mal haben wir so über die Ursprünge der künstlichen Intelligenz gesprochen und begonnen wirklich tatsächlich ganz am Anfang in den 1950er und sind so die Jahre durchgegangen. Und heute in Part 2, wenn man so den Bogen zum aktuellen KI-Boom spannt und dann auch so ein bisschen gucken, so einen kleinen Ausblick, wohin es wohl geht, also was gerade so die großen Themen sind. Aber bevor wir da anknüpfen, hast du noch eine kleine Mini-Überraschungsthema mitgebracht. Genau, das Überraschungsthema heute beinhaltet den EU-AI Act. Das ist ein Beschluss von der EU zum Kontrollieren, wie AI eingesetzt werden darf. Das ist in dem Sinne relevant, weil die EU jetzt da so Vorreiter ist. Das hat noch kein Land der Welt irgendwie gemacht oder noch keine Gruppe von Ländern und will auch Vorreiter sein und das beinhaltet eigentlich im Grunde, dass irgendwie die Nutzung von KI in vier so Sektoren eingestuft wird. Also ist es Low-Risk oder Middle-Risk oder High-Risk oder ist es Unacceptable zum Beispiel. Also Unacceptable wäre sowas, dass man, wie China das vorhat, dass man Menschen trackt und wenn einem das gefällt, wenn dem Land das gefällt, was die machen, dann bekommen die Punkte. Wenn die irgendwie kriminell sind, dann werden da soziale Punkte irgendwie abgezogen. Also das ist Unacceptable für die EU. Und Low-Risk wäre zum Beispiel, wenn du jetzt eine E-Mail automatisch schreiben lässt. Da braucht es keine Kontrolle. Und für alles, was dazwischen ist, da will die EU eigentlich einfach kontrollieren, ob die AI einen Bias hat zum Beispiel, oder ob die schädlich sein könnte für eine bestimmte Gruppe. Und das muss alles öffentlich gemacht werden oder der EU gemeldet werden. Das einzige, also der Nachteil ist natürlich, dass ein bisschen die Wettbewerbsfähigkeit darunter leidet. Es hat auch OpenAI gesagt, hey, wenn die EU das so durchsetzt, dann in den nächsten zwei, drei Jahren, dann könnte es sein, dass wir Jet-GPT verlieren, dass die das offline stellen müssen. Also es ist ein bisschen kontrovers, aber ja, es ist schon mal eine gute Richtung, finde ich. Ja, also als ich mich damit beschäftigt habe, war ich auch wirklich überrascht, wie vernünftig aus meiner Sicht das ist. Weil, wie du meintest, die Einteilung und so weiter, das fühlt sich nach einem guten Ansatz an, was ich nicht erwartet hätte. Oft ist ja aus der politischen Richtung, was moderne, technische Themen angeht, hinken die Menschen eher hinterher, die informationsmäßig und dann entweder veraltete Entscheidungen getroffen werden oder einfach Entscheidungen getroffen werden, die andere politische Interessen verfolgen und weniger jetzt, was die Technik oder den Einsatz der Technik angeht. Definitiv, ja. Was ich auch überrascht war, eben was du meintest, dass in anderen Ländern da bisher noch so wenig passiert. Aber eben auch typisch Amerika ist erstmal gucken, dass Marktfähigkeit da ist und Innovationen und so weit wie möglich vorpreschen. Wär mir jetzt zu riskant, eben weil KI, und da wollen wir auch demnächst drauf eingehen, eben auch Risiken birgt. Und mit denen muss man gut umgehen. Was du auch gerade meintest, mit Überwachung von Menschen, sogar Kategorisierung und Punkten. Und da sind wir ja schon bei Black Mirror Episoden, die das schon gezeigt haben, in welche Richtung das gehen kann. Meint das mit der möglichen Einschränkung in der EU. Denn jetzt ist es zum Beispiel schon so, dass vor kurzem dieses sehr gute Claude-Model ist verfügbar geworden, aber noch nicht hier bei uns. Und das ist schon so ein erstes Gefühl von, oh, in anderen Ländern reschen sie voraus und wir werden eher ausgebremst. Und wenn ich mir vorstelle, dass so ein EU AI Act dann da ist und tatsächlich dann noch weniger zur Verfügung steht bei uns, da sehe ich wirkliche Schwierigkeiten. Sowohl bei der Innovation als auch beim wirklichen Einsatz von KI. Und die kann ja wirklich eine Produktivität vor fünffachen, vor zehnfachen, vor hundertfachen oder wo auch immer wir mit AI kommen. Und wenn das dann auch allein Firmen in anderen Ländern zur Verfügung haben, aber es hier nicht der Fall ist, dann kann es eine extreme Inbalance geben. Genau. Also die Produktivität nicht einschränken, während aber die Gefahren eingeschränkt werden. Und das wird eine Gratwanderung werden. Und wenn es da jetzt schon irgendwie auch Ärger gibt mit den Firmen, muss man gucken, wie das wird. Aber ich denke, dass wir da immer wettbewerbsfähig bleiben werden. Ich kann es mir auch vorstellen, ich denke auch der größte Knackpunkt ist tatsächlich in diesem Transparenzthema, weniger in der Einstiftung, in die Kategorien, weil das ist ja eher der tatsächliche Einsatz von den Modellen. Aber wenn ihr zum Beispiel wirklich im Gesetz steht, Open AI müsste, all ihre Sachen im Grund fast open sourcen, um überhaupt im europäischen Markt ihre Modelle anbieten zu können, dann haben wir da eher einen Nachteil. Ich denke aber auch, dass sich das im Grunde einschwanken wird. Vielleicht gibt es ein kleines Problem und dann wird sich das wieder einschwanken, weil an sich die Vorteile einfach so riesig sind. Also da nicht hinterher hängen könnten. Und es ist ja tatsächlich überraschend viel Bewegung, auch in Deutschland im europäischen Markt, was AI angeht. Also in Heilbronn wird enorm investiert, da wird ein ganzes KI Zentrum aufgebaut und es gibt auch andere Bereiche und in der Forschung sind wir auch sehr weit. Deswegen bin ich da auch sehr optimistisch. Das ist jetzt nichts, dass wir ein Gesetz haben, das jetzt umgesetzt werden muss und jeder muss sich daran halten. Das ist ein Framework jetzt erstmal. Das kann auch angepasst werden. Genau. Das ist vielleicht noch eine letzte interessante Information für alle, die zuhören, dass es gibt einmal den AI-Akt und den Akt. Und der Pakt, der ist jetzt früher beschlossen worden und das ist mehr so ein freiwilliger Rahmen, an den sich Firmen halten können, einfach um frühzeitig so ein bisschen heranzukommen. Und der AI-Akt, das wird dann tatsächlich das Gesetz, das jetzt in den nächsten Monaten vielleicht beschlossen wird, was dann auch wirklich ein Gesetz innerhalb der kompletten EU ist. Wo sich die Länder dann anpassen müssen. Die haben ja, wenn ein Gesetz in der EU verabschiedet wird, dann haben die Länder ja auch noch ein bisschen Zeit, das zu implementieren. Und genau, wir müssen sich die Unternehmen dann auch anpassen. Aber gut, dass sie es jetzt schon machen. Ist ja doch schnell gewesen, muss man sagen. In dem Zuge würde ich sagen, gehen wir direkt zurück, wo wir letztes Mal aufgehört haben. Winter is coming, würde ich mal sagen. Ich glaube, wir waren so ein bisschen bei dem Schwung auf, was KI angeht. Aber dann gab es ja tatsächlich einige Luststrecken in den letzten 30, 40 Jahren. Genau, zwar so in den 70ern haben wir ein bisschen aufgehört. Da kam dann der Winter. Nach dem AI-Boom hat man festgestellt, die Computers sind nicht so weit, wir haben die Daten nicht, wir können jetzt nichts machen. Und dann gab es 20 Jahre ungefähr bis in so einen Winter, wo die Institutionen und die Länder einfach auch nicht viel Geld investiert haben. Also es haben natürlich Leute daran gefürcht, aber es wurde nicht viel investiert. Und dann kam das Internet. Und wie wir beide wissen, das war der Anfang von dem, dass man riesige Mengen an Daten hatte. Also das war das erste Mal, dass Firmen oder Big Data, sagen wir Google oder dann später auch Facebook, dass sie riesige Menge an Daten sammeln konnten und damit konnten sie dann Machine Learning Programme füttern. Also da gab es dann die ersten Konzepte, die wurden dann umgesetzt und so wurde langsam Machine Learning oder Künstliche Intelligenz schon in unseren Alltag implementiert, ohne dass wir das wissen. Das ging so weit, dass wir, also das war dann zum Beispiel bei den Suchergebnissen von Google, wurde Machine Learning hergenommen, um zu lernen, wer bist du, nach was suchst du, welche Ergebnisse sind die besten für dich und genauso bei Werbung, also welche Werbung sollte diesem User angezeigt werden, weil wir dich einfach kennenlernen konnten mit dieser Technologie. Ein bisschen muss man das unterscheiden, also das war so Machine Learning Zeit, das hat aber nichts mit dem zu tun, was wir jetzt haben, mit Generative AI, mit Jet GPT. Was glaubst du, wenn wir jetzt die Zeit von 2000 bis 2015 oder so nehmen, was glaubst du, wie viel Machine Learning uns das schon gebracht hat bzw. wie uns das beeinflusst hat in diesem Jahrzehnt? Ich denke auch, wie du meintest, viele große Firmen, die Online-Plattformen wie Twitter und Facebook und so weiter, da war es im Einsatz. Ich schätze auch sehr viel in Sachen Gesichtserkennung, Flughafen oder anderen Bereichen, aber eben sehr an vielen spezialisierten Stellen. Bei den Big Playern wurde das meistens, wenn es in die analytische Schiene ging bzw. in die benutzerdefinierte Schiene, dann wurde das wahrscheinlich eingesetzt. Wie du gesagt hast, das war sehr spezialisiert. Das waren künstliche Intelligenzen, die auf eine Aufgabe trainiert wurden. Großen Durchbruch gab es da unter anderem 1997, wo, ähm, was war das Deep Blue, glaube ich, oder? Der Kasparov geschlagen hat in Schach. Genau, das war das erste Mal, dass ein Machine Learning Tool, das spezialisiert darauf war, Schach zu spielen, einen, echt einen Großmeister besiegt hat oder beziehungsweise eigentlich den besten Spieler, den es zu der Zeit auch gab. Und das war so ein bisschen der Durchbruch in den Köpfen der Menschen, weil Schach immer, also es gibt mehr mögliche Züge in Schach, als es Atome im Universum gibt. Und wenn du so ein Spiel hast, dann ist Intuition sehr wichtig. Und Intuition ist halt ein menschliches Attribut. Und wir dachten immer bei Schach, bei Go, dass Intuition alles ist und dass das Menschliche siegt. Und jetzt haben wir auf einmal ein Programm, das die menschliche Intuition aussetzt. Das war ein kleiner Durchbruch, ein großer Durchbruch eigentlich. Ja, und ich fand es auch spannend, diese Überlegung Schach, da muss man Intelligenz sein, um Schach zu machen. Also haben wir Intelligenz erreicht, war so dieses oberflächliche Gefühl. Also haben wir die künstliche Intelligenz jetzt erreicht. Aber würdest du dieses Machine Learning Model fragen, hey, schreib mal ein Gedicht über Goethe im Stil eines Dreijährigen, was du jetzt Chat-GPD heute fragen kannst, würdest du keine Antwort bekommen. Weil wie du meinst, dieses Modell eben komplett und mit viel Aufwand auch, das war ja sehr viel Datensammlung damals, was diese Machine Learning Models anging, darauf trainiert, Schach zu spielen. Da konnte es Schach wirklich gut. Das war auch so ein Mix. Also das war ein Programm, das natürlich Machine Learning genutzt hat, um Umzüge herauszufinden, die gut sein könnten. Aber es war auch viel Rechenpower dahinter. Das heißt, die Maschine konnte auch irgendwie 200.000 Züge oder 200.000.000 Züge im Voraus sich berechnen. Deswegen war das auch für Kasparov, der war ein bisschen geknickt davon und hat gesagt, ja, das ist brute force. Also mit brute force könnte ich das auch. Aber es stimmt nicht ganz. Also es steckten schon andere Sachen dahinter. Man muss auch sagen, das war 97. Das war echt noch früh. Das ist sehr interessant. Und dann gab es eben die verschiedenen Ansätze von ML, die sehr spezialisiert waren. Aber dann ist ja 2017 etwas passiert, nämlich die Transformers, die manche Menschen vielleicht schon gehört haben, aber nicht so richtig damit was anfangen können. Aber es gibt tatsächlich zwischen den Transformers und dem tatsächlichen KI-Boom jetzt im Moment eine riesen Verbindung. Genau. Die Transformers, das war eine Studie von Researchers von Google, die kam 2017 raus. Und im Grunde ist es so eine technologische Architektur, wie man Large Language Models füttern kann, wie man die Daten speichern kann und vor allem, wie man sie abfragen kann. Sehr technisch, sehr mathematisch natürlich, für den für den Normalverbraucher unverständlich, aber in der Welt der Künstliche Intelligenz war das ein Riesendurchbruch. Und alle Generative AI Sachen, das heißt, KI's, die Texte erstellen können oder Bilder erstellen können oder Videos oder alles, was wir jetzt haben, das passiert alles auf dieser Transformer Technologie. Im Grunde war der Durchbruch, dass man das erste Mal nicht eine spezialisierte KI machen konnte, sondern eher so eine allgemeine. Und dass man nicht nur irgendwie wenig Daten reingibt und wenig Daten rausbekommt, sondern dass man riesige Mengen an Daten der AI gibt und auch riesige Mengen wieder zurückbekommt. Genau, seit 2017 Transformer Technologie. Jeder stützte sich darauf. Unter anderem dann auch OpenAI, die ja gegründet worden sind, 2016 und 2017. Und die haben dann eben diese GPT-Model gemacht. GPT-1, GPT-2. Sehr kleine Large Language Models mit wenig Daten, die aber dann schon Sachen beantworten konnten. Du konntest schon ein bisschen was fragen und hast ein bisschen was zurückbekommen. Das war 2018, 2019. Ja, und in dieser Zeit hat man dann auch gemerkt, dass ein Attribut von den Transformers ist, dass zumindest bis heute, je mehr Daten du rein packst, je mehr Trainingsdaten du hast, desto mehr Qualität bekommst du, desto mehr Allgemeinwissen und desto mehr emerging capabilities heißt es immer wieder. Also unerwartete Fähigkeiten der KI entstehen daraus. Und ich würde unglaublich gerne mal eine ganze Episode zum Thema Transformers machen. Gar nicht so tief im Mathematischen mehr von, wie generell die Idee ist, weil ich das super faszinierend finde. Und an sich, man speist dem Transformer ganz viel Daten und er lernt dann tatsächlich die Muster selbst. Was ja bei ML, was wir gerade noch hatten, das Manuelle war, wo man selber guckt, was sind die ganzen Attribute und Anstellungen und hat das wirklich manuell gemacht. Aber an Transformern, dem speist du die Daten. Natürlich, je qualitativer die Daten, desto besser die Muster, die er lernt. Aber an sich ist das so die Idee. Und dadurch entstehen eben diese allgemeinwissenden Modelle. Im Grunde der Unterschied zwischen einem Spezialist und Generalist von der Arbeitswelt her. Und ein anderer Unterschied ist noch, den ich interessant finde zu den ML Models, dass ein Transformer den ganzen Kontext auf einmal sehen kann und daraus dann den Kontext fortführen kann. Und das ist eben ein großer Unterschied, denn die ML Models haben das immer Stück für Stück gesehen und hatten wenig Gedächtnis nach hinten raus. Und dadurch, dass ein Transformer den ganzen Kontext sieht, war die Qualität von dem, was er fortführen kann natürlich viel größer. Ein Beispiel finde ich immer gut, wenn ich dir sage, der, was ist das nächste Wort? Ist schwierig für dich zu sagen, was ist genau das nächste Wort? Aber wenn ich dir ein komplettes Buch zeige und das letzte Wort streiche und frage dich, was könnte das sein? Ist die Wahrscheinlichkeit, dass du das letzte Wort richtig erkennst, viel höher. Weil du den kompletten Kontext der ganzen Geschichte vorher hattest. Und das ist eben dieser große Umbruch mit den Transformers. Das ist ein sehr gutes Beispiel, um das zu verbildlichen. Und GPT-1, das war das erste Textmodell oder GPT-2, ich weiß gar nicht, was du als erstes gemacht hast, wahrscheinlich 1, war das erste Textmodell, das eben, wie du gesagt hast, den Kontext erkennen konnte und es dann auch beantworten konnte. Und je nachdem, wie viele Daten du fütterst, wie du auch gesagt hast, hast du dann bessere Antworten bekommen. Du hast Fähigkeiten erkennen können, die du nicht erahnt hast. Und umso mehr Daten, umso besser wurden die. Und jetzt gibt es auch das Ziel der AGI, der Artificial General Intelligence. Das ist das Hauptziel von OpenAI, sowas zu entwickeln. Und im Grunde ist das eine KI, die so intelligent oder intelligenter ist als der Mensch in allen Bereichen. Also nicht nur im Spezialisierten wie Schach oder so, sondern in allen Bereichen. Was sich auch, da gehen wir nachher nochmal drauf ein, jetzt auch in den letzten Jahren gezeigt hat, wie Überlegungen, dass das Reasoning, also Entscheidungen zu treffen und komplexe Situationen zu verstehen, mit den Textmodels ein bisschen schwierig ist. Und da steht im Raum so, was braucht es denn noch, um mehr Reasoning Capabilities zu haben? Ist es eben mehr Input oder verschiedene Arten? Nicht nur Text, worauf die bisher alle basieren, sondern vielleicht Text plus Bild plus Audio, um ein ganzes Modell der Welt zu entstellen. Aber da gehen wir nachher drauf ein. Wir waren jetzt gerade bei GPT-3. Das hat ja noch nicht so irgendwie einen Boom gemacht in der ganzen Welt. Hat eigentlich fast niemand von gehört. Da waren so ein paar technikavisierte Menschen, die gesagt haben, wow, das ist genial. Aber das hat jetzt noch nicht es in die News von ARD geschafft. Dann kam JetGPD. Und das hat diesen Start der globalen Forschung und diese ganzen Sachen ins Rollen gebracht, dass Start-ups Milliarden bekommen, Millionen bekommen, dass große Firmen wie Amazon, Apple, Google und, wen hab ich vergessen, Microsoft da unglaublich viel investieren. Und da ist jetzt die Frage, was war der Unterschied zwischen GPT-3 und JetGPD? GPT-3 war schon das erste Modell, das dir zum Beispiel eine gute E-Mail rausschreiben konnte. Oder ein Brief oder ein Gedicht, das konnte das schon. Und das war aber, nachdem es rausgekommen ist, nur als API-Anbindung verfügbar. Das heißt, dass nur technikversierte Menschen diese KI nutzen konnten, weil du erst was programmieren musst. Dann konntest du erst Fragen stellen. Deswegen war der Bogen nicht so riesig, weil nur technikversierte Menschen das nutzen konnten. Und dann kam JetGPT von OpenAI, und das war das erste User-Interface. Da sieht man mal, wie wichtig das User-Interfaces sind. Denn nur mit dieser Oberfläche, bei der die Menschen dann Fragen stellen konnten und Antworten zurückbekommen konnten, war der Durchbruch so riesig, dass das das erfolgreichste Produkt war, das jemals rausgekommen ist. Ich hab jetzt keine konkreten Zahlen, aber ich glaube, im ersten Monat über 10 Millionen User oder ich weiß nicht, dass du da konkrete Zahlen hast. Ich auch nicht, aber es war auf jeden Fall ein unglaublicher Wachstum innerhalb von kürzester Zeit. Und es gibt leider kein Making-of-Chat-GPD, was ich unglaublich gerne gucken würde mit Popcorn im Kino, aber von außen gibt es ein paar Ansätze, wie das wohl passiert ist. Und Chat-GPD basiert ja auf GPT-3, was öffentlich zur Verfügung stand. Aber Open Air hat in diesem Moment gesehen, da ist Potenzial da. Also das ist jetzt wirklich, wir sind an einem Punkt, wo wir diese Models gebaut haben. Die können was. Und jetzt wäre der nächste Ansatz, das statt Forschung in die Anwendung zu integrieren. Und da haben sie eben überlegt, wie können wir die Hürde zwischen Mensch und KI so gering wie möglich halten? Und irgendjemand, wir haben auch die tolle Idee, Chat Interface. Wir chatten heute überall, Telegram, Signal, auf Facebook, sonst was chatten ist etwas, was wir überall machen. Und es ist immer etwas, was wir zwischen Mensch und Mensch machen. Und die spannende Sache, was, wenn du auf die andere Stelle, andere Seite eine KI setzt? Und sie haben dann GPT-3 verwendet und zwei Sachen gemacht. Einmal Feintuning auf Konversation. Also die haben GPT-3 das Modell genommen und gesagt, hey, hier schau dir mal ganz viele Konversationen zwischen Menschen an. Und dadurch hat GPT-3 eben durch das Feintuning so gelernt, hey, was ist denn die Struktur, die Muster in Konversation, wie ist das hin und her? Und das andere, was sie gemacht haben, ist etwas, das nennt sich RLHF. Reinforcement Learning from Human Feedback. Konkret bedeutet das im Grunde, dass ein Mensch mit einer KI zum Beispiel eine Konversation hat, aber die Antworten der KI dann bearbeitet oder annotiert. Sagt, hey, das war eine gute und nicht nur sagt, das ist gut, sondern ich bearbeite die jetzt, so wäre es ideal. Im Grunde an Worten der Mensch sagt, hey, das ist eine Idealantwort in dieser Situation. Und das haben sie ganz oft gemacht. Also einmal das oder es gab Varianten, wo zum Beispiel da war eine Frage, fünf Antworten der KI und ein Mensch hat gesagt, das ist die beste und ich bearbeite die noch, dann ist es die allerbeste. Und durch diese Daten, die sie gesammelt haben, gibt es ein Verfahren, das nimmt man im Grunde das Modell und all diese Daten und sagt, Modell übe so lang, du kriegst immer wieder Belohnungen, bis du es schaffst, so weit nahe wie möglich an diese Idealantworten zu kommen. Und dieses RLHF gab es schon lange, aber Jet Open Air waren die ersten, die das eingesetzt haben, eben für dieses Konversationsthema. Und dadurch hatten sie dann Jet GPD, was richtig gut war in Konversation. Dieses Reinforcement Learning ist in dem Sinne dann auch wichtig bei den ganzen anderen KIs, die jetzt nicht nur Text machen, die zum Beispiel lernen, Spiele zu spielen. Wir bauen immer generalisiertere KI Modelle, die nicht spezialisiert sind, sondern wie du gesagt hast, eher so das Worldmodel darstellen, worüber wir später noch sprechen. Und dabei ist natürlich hilfreich, dass die KI immer Feedback bekommt. Das heißt, anstatt, dass wir jetzt ein Machine Learning Tool bauen, das eine spezielle Sache kann, können wir sagen, okay, lerne dieses Spiel, du bekommst Feedback, ob du es gut gemacht hast oder schlecht. Und dann geht die KI hin, guckt erst mal, welche Funktionen kann es bei dem Spiel ausführen, und dann läuft es hausende Millionen mal durch und bekommt dabei Feedback. Mit diesem Feedback kann es dann lernen. Ja, das ist momentan auch richtig gut. Also es ist tatsächlich so, hättest du einen perfekten Datensatz, bräuchtest du das eigentlich nicht. Weil dann wären die Daten richtig gut. Aber dadurch, dass eben GPD und alle, die wir bisher kennen, einfach auf unglaublich vielen Daten trainiert worden sind und viele davon einfach schlecht sind, also schlechte Qualität. Ich meine, was man online alles liest, das wissen wir alle. Ob jetzt bei Reddit oder sonst wo. Du hast hochqualitative Posts, wo man teilweise überrascht ist, wie eine Person wohl stundenlang eine Antwort geschrieben hat, die richtig gut ist, weil die Person ein Spezialist in dem Thema ist. Und an anderen Stellen hast du stundenlang Konversationen, die einfach nur Nonsens sind. Und die landen eben teilweise, die werden natürlich aufgeräumt, die Daten, aber die landen teilweise auch in den Models. Und dann hast du so einen, kann man sich vorstellen, einen riesigen Raum an verschiedenen Daten und Richtungen und Mustern und Wissen. Und durch dieses Reinforcement Learning, durch das Feedback von Menschen, helfen wir im Grunde dem Model zu sagen, hey, die Bereiche sind besser. Gerade in der Situation solltest du eher in den Bereich gucken. Und dann hilft man dem Model, bessere Antworten zu liefern. Und das finde ich auch super spannend. Und das ist auch etwas, wenn man jetzt zum Beispiel diese Chatbots verwendet, da gibt es manchmal so Daumen hoch oder Daumen runter. Und das ist im Grunde die einfachste Version von diesem Human Feedback, indem du dem Model einfach sagst, hey, hierfür gebe ich dir eine Belohnung, weil es gut war. Und das wird dann eben später höher eingestuft. Und das eher schlechter. Das war in diesem Kontext jetzt eine schlechte Antwort. Das ist auch mit dem EU-Akt, haben wir ja gesagt, dass da auch die Datensätze wichtig sind. Das heißt, es müssen Datensätze genommen werden zum Füttern, die nicht unbedingt einen Bias haben. Das heißt, die keine politische Einstellung haben oder die politisch neutral sind oder nicht religiös oder wie du gesagt hast, die ganzen Probleme oder Unterschiede der Menschen darstellt. Und jetzt sind wir ja so weit, dass KI-Systeme die Datensätze nehmen können und verändern können oder noch mal anpassen können. Und damit können wir noch ein besseres Modell machen. Und dieses bessere Modell kann die Daten wieder besser machen und sich selbst somit improving. Ja, und das ist ein super wichtiger Punkt, den du gerade meintest. Im Falle von JetGPD saßen Menschen bei OpenAI und haben entschieden, was ist eigentlich eine gute oder schlechte Antwort in ihrer Weltsicht. Und Sam Altman hatte auch auf verschiedenen Ländern auch schon auf verschiedenen Konferenzen gesprochen. Oft war die Frage, hey, was ist denn das ideale Modell oder was ist die ideale Antwort in verschiedenen Ländern, auf verschiedene Sprachen und das finde ich ein spannendes und unglaublich schwieriges Thema, was jetzt eben auch mit JetGPD erstmal in die Gesellschaft kam. Was ist denn eigentlich, wenn ich gefragt werde, was ist meine Antwort zu einem Thema, als wenn jemand anders gefragt wird und beides kann wahr sein. Es ist nicht unbedingt eine Frage der Wahrheit, sondern der Weltansicht und da gibt es Bereiche, wo man sagt, hey, das geht einfach gar nicht, das geht gegen menschliche Rechte und es gibt andere Sachen, die sind so ein bisschen grau zu, wo es gar nicht so eindeutig ist. Du hast ja vorhin die Emergent Capabilities angesprochen. Das heißt, wir füttern die KI mit immer mehr Daten und auf einmal kann die Sachen, die wir nicht erwartet haben. Und das erste, was ich so auch ein bisschen festgestellt habe, bei JetGPT, wo das rausgekommen ist, das kann auch andere Sprachen. Das kann nicht nur Englisch, das kann auch Deutsch, das kann Griechisch, das kann alles. Vielleicht nicht alles, aber das meiste. Und da gab es eine KI, die haben sie mit englischen Daten gefüttert. Rein englischen Daten. Und bis zu einem gewissen Grad haben sie die Sprache persisch dann genommen und geguckt, wie gut kann die KI persisch. Und dadurch, dass das nur englische Daten waren, konnte die fast überhaupt kein persisch. Also vielleicht so ein Ja sagen oder Nein sagen oder ja, was man halt so erwartet. Auf einmal, also die haben dann immer mehr Daten gefüttert und immer mehr Daten gefüttert und man erwartet ja, dass die KI dann immer besser persisch kann, umso mehr Daten das gefüttert werden. Also so ein linearer Progress. Es wird immer besser und immer besser. Aber tatsächlich war das so, dass das immer kein persisch konnte, kein persisch konnte und auf einmal konnte es persisch, obwohl du vielleicht nur 100 Millionen Datensätze mehr hinzugefügt hast. Das ist total interessant. Würde ich auch gerne in dieser Transformer Episode ansprechen oder genau ins Detail gehen. Diese Überlegung, dass es gibt verschiedene Ansätze. Es ist ja noch nicht so einfach in das Modell reinschauen. Aber der Ansatz, dass eben das Modell für verschiedene Bereiche und verschiedene Muster einfach Wissensbereich hat in diesem Latent Space nennt man das und in dem irgendwann, dass eben diese andere Sprache so weit gemapped hat auf das Englische, dass dann eben das Muster der persischen Sprache da war und das Mapping auf die verschiedenen Bereiche und dann eben auf persisch antworten konnte zu Themen, die es nur auf Englisch gelernt hat. Aber weil eben dieses Mapping, also dieser Bezug von diesem, dieser Bereich im Persischen, das entspricht eben Autoverlei und im Autoverlei habe ich auf Englisch ganz viel gelernt, wie das abläuft und die ganzen Verträge und so weiter. Dadurch kann ich dir jetzt antworten auf persisch, was dieses Autoverlei-Thema angeht und was im Vertrag da eigentlich drin steht. Und das ist mega cool, was aber auch ein Risiko birgt, denn wenn du zu viel auf eine Sache trainierst, Overfitting heißt das, übertrainierst du das Model auf eine bestimmte Sache und dann wird das Model sich immer nur noch darauf fokussieren. Also wenn du zum Beispiel ein Model nur noch auf Minecraft trainierst und zu viel Minecraft trainierst, kann es sein, dass es dann beim Thema Autoverleihvertrag irgendwelche Minecraft Sachen reinspeist, weil es einfach so viel Aufmerksamkeit auf dieses Thema hat. Genau. Und das ist glaube ich jetzt ein guter Übergang zum World Model, wo wir gesagt haben, dass die KI Konzepte lernen und mit diesen Konzepten kann das ganze Sprachen dann lernen. Das heißt, es hat keine Persisch Sprache, nicht zum Lernen, es hat nur das Framework, wie man Persisch spricht, hat wahrscheinlich die Antwort auf Englisch dann sich selbst formuliert und dann übersetzt. Im Grunde heißt es, umso mehr Daten, das du dem KI rund um ein Thema herum gibst, ist es wahrscheinlicher, dass es das Thema dann auch behandeln kann, weil es das Framework dazu hat. Das geht uns Menschen ja genauso. Wenn du einmal etwas über was, ein neues Thema gelernt hast, dann hast du erst mal nur die reinen Worte in deinem Kopf und weniger irgendwelche Konzepte, Muster oder Mind Models in deinem Kopf, wo du wirklich ein Gefühl hast, hey, du verstehst das jetzt. Aber Stück für Stück, je öfter du das Thema von verschiedenen Perspektiven lernst, vielleicht auch auf verschiedenen Ebenen, erst als Sprache, dann mal gehört, gelesen, dann gesehen, irgendwelche Bilder oder Diagramme, je mehr baust du wirklich ein Verständnis dafür auf. Und das passiert eben auch in den Models. Und das ist ja eigentlich der Grundsatz, wie wir kreativ werden und wie wir Probleme lösen. Angenommen, wir haben hier ein dünnes Glas, wo die Hand nicht reinpasst und da ist irgendwas drin, was wir haben wollen. Und wir sind noch nie von dem Problem gestanden, dieses Ding aus diesem Glas zu holen. Das heißt, das ist neu für uns. Wir haben das Problem noch nie gelöst. Dann denken wir uns einen Weg aus, wie das gehen könnte. Das heißt, wir wissen, okay, es gibt die Schwerkraft. Das heißt, wenn ich das Glas umdrehe, vielleicht fliegt es raus. Es gibt einen Stock, der passt da rein. Vielleicht kann ich den Gegenstand mit dem Stock rausholen. Wir haben das Problem noch nie gelöst, aber mit unserem anderen Wissen gucken wir, wie wir das Problem lösen könnten. Genauso wird es bei der KI werden. Umso mehr Wissen, die sie von der Welt hat, von der gesamten Welt, kann sie spezialisierte Probleme lösen. Und eben was wir auch konstant machen, in die Zukunft simulieren. Wenn ich das jetzt mache, was passiert dann? Ich sehe da ein Glas an der Kante und weiß, mein Kind hat den Arm ganz nah. Ich weiß, ich simuliere. Es könnte sein, dass es gleich ausholt und das Glas auf dem Boden landet. Und dann stelle ich das Glas eben lieber zur Seite. Oder wenn ich das Glas in dem Wasser drin ist umdrehe, simuliere ich, dass das Wasser, das da drin ist, rausfließen wird. Und das ist das, was du gerade meintest. Wenn wir es schaffen, eine KI zu basteln, das ein richtiges Model der Welt hat, wie verschiedene Sachen funktionieren, wie Physik miteinander interagiert. Da gibt es auch so die ersten Ansätze bei Sora, diesem Video-Model von OpenAI, das vor kurzem gekommen ist. Da, je mehr wir es schaffen, eine Model, so eben ein World-Model beizubringen, je mehr kann es eben in der Welt selbst agieren und eben auch auf unser Level von reasoning, Verständnis und Intelligenz kommen. Das World-Model, das wird so ein Ziel sein. Also im Grunde geht es ja um Erfahrungen. Du weißt, ein Kind ist sprunghaft, guckt vielleicht nicht so auf das, was um ihn herum passiert und das Glas kann fliegen, weil das deine Erfahrung sagt, weil du das schon tausendmal gesehen hast bei Kindern, weil du deine Kinder kennst, weil das deine Erfahrung ist. Deswegen ist es wichtig, wenn du eine KI bauen willst, die eine AGI ist, so intelligent, so capable wie der Mensch, dann muss es jegliche Art von Eindrücken bekommen. Deswegen hat OpenAI gesagt, der einzig richtige Weg ist, dass man multimodale Models hat, die zum Beispiel jetzt nicht nur Text entgegennehmen und Text ausgucken, sondern genauso Bilder oder Videos oder Töne oder alles, was du vielleicht mit deinen Sinnen fassen kannst oder die KI mit Sensoren fassen kann, das wird dem gefüttert, um dieses Weltmodell in die KI zu bekommen. Und jetzt gibt es Menschen, die sagen, okay, wenn wir das machen, dann haben wir eine KI, die genauso gut ist wie Menschen. Ist das überhaupt unser Ziel? Wir wollen doch etwas, was noch intelligenter ist. Manche wollen es, andere haben Angst davor. Und da ist die Frage, wie kriegen wir das hin? Und da habe ich vor kurzem eben in meinem Kopf so ein bisschen umgedacht, wie du meinst, wir machen diese ganzen Models und Erfahrungen durch unser Leben. Jemand, der 50 ist, hat mehr Erfahrung als jemand, der gerade zwei Jahre alt ist. Die KI hat den Vorteil, dass sie nicht nur ein Leben lebt, sondern so viele Daten hat, dass es im Grunde keine Ahnung, wie viele tausende Millionen Menschen Erfahrungspunkte, sage ich mal, hat. Und dadurch eben weit über dem, was ein einzelner Mensch eben fähig ist, an Simulation und als Verständnis für die Welt zu haben. Und es geht dann noch weiter, wie du meinst, gerade die Sinne, die wir haben, sehen, hören, schmecken und so weiter. Es gibt ja noch andere Ebenen von Daten, Sensoren, die irgendwelche Seismografen oder auch andere Frequenzen, die wir gar nicht hören. Das sind ja auch alles Daten, die wir sammeln können und die KI dann davon wieder lernen kann, Muster lernen kann und eben auch dann Zusammenhänge sieht, die wir nie sehen oder nur sehen, wenn wir uns 20 Jahre mit einer Sache beschäftigen in der Forschung. Und dann ist es unglaublich spannend, wenn eine KI da ist, die so ein Verständnis über die Realität, die wir haben, hat. Und der Progress, der Fortschritt ist exponentiell. Das ist das, was, glaube ich, am interessantesten und am gefährlichsten ist. Weil wenn du zum Beispiel ein Modell hast, das ansatzweise so intelligent ist wie ein Mensch, dann ist der nächste Schritt, dass es so intelligent ist wie der Mensch und der nächste Schritt ist, dass es zehnmal so intelligent ist wie der Mensch. Hundertmal, tausendmal. Was passiert dann? Und diese Fragen, die haben wir jetzt nicht beantwortet. Wir haben jetzt die State of AI ein bisschen besprochen. Aber wir müssen natürlich auch gucken, welche Gefahren wirkt es, welche Risiken wirkt es. Und wir müssen erforschen, wie eine KI arbeitet. Es ist wirklich so, dass momentan sehr, sehr wenig Menschen wirklich daran arbeiten, um zu verstehen, was im Inneren eines Transformer Modells passiert, weil wir das nicht wissen. Wir haben immer Programme geschrieben, da wussten wir Schritt für Schritt, was passiert. Und jetzt haben wir ein Programm, wir wissen nicht, was passiert. Wir wissen nur, dass es magische Outputs hat. Wir haben ja vorhin nur dieses Reinforcement Learning zum Beispiel gesprochen. Dabei gibst du das Model so ein bisschen eher in eine Richtung. Aber diese anderen Sachen, die wir vielleicht nicht wollen, dass es ausgibt, sind immer noch da. Und wir können nicht alle möglichen Situationen erahnen und dann dafür irgendwie einen Stubs machen. Sondern es gibt Situationen, die wir einfach nicht absehen können. Vielleicht verrückte Kombination. Und dann kann es sein, dass du wenn du eine KI in einen Roboter setzt und der in eine Situation kommt, wo eine bestimmte Kombination aus Parametern erlebt, er komplett unerwartet reagiert. Und das ist die große Sorge. Generell ist das Wort Alignment. Haben die Menschen vielleicht schon mal gehört? Also die Überlegung, wie können wir die Ziele der KI absolut sicher zusammenbringen mit den Zielen von uns Menschen? Menschen wollen nicht, dass wir ausgerottet werden. Wie können wir, also ein simples Beispiel, dafür sorgen, dass die KI das auch nicht will oder aus Versehen macht? Muss ja nicht unbedingt ein Ziel von der KI sein. Ich hoffe, dass wir in der nächsten Folge ein bisschen mehr Zeit dafür haben, um auch ein bisschen auf die Risiken einzugehen von KI. Weil das, was du gesagt hast, das Super-Alignment, dass wir ein Framework finden, in der die KI uns nicht alle tötet, das will OpenAI in den nächsten drei bis vier Jahren erreichen. Und da ist irgendwie der Stichpunkt ist nicht 2030, sondern 2027 oder 2028. Ich weiß gar nicht mehr. Und das ist ein sehr spezifisches Datum. Und ich glaube, dass die da was im Hinterkästchen haben. Das heißt, die wissen, okay, wir brauchen das in den nächsten vier Jahren, weil wir wahrscheinlich in den nächsten vier Jahren ein System haben, das so intelligent ist wie der Mensch. Er fordert riesen Menge an Daten und Power und kostet Milliarden, das zu entwickeln. Aber wenn wir das mal haben, dann wird sich die Welt verändern und vielleicht halt schon in fünf Jahren. Ich finde auch, das ist ein interessantes Zeichen von OpenAI, dass sie sich jetzt darum kümmern und mit so einer hohen Priorität. Und wir sind beide sehr optimistisch und haben sehr viel von dem Potenzial und den Möglichkeiten und den schönen Sachen gesprochen, die auch alle da sind. Aber es birgt natürlich auch Risiken und auch generell der Einfluss auf die Gesellschaft. Auch jetzt schon, auch so simple Sachen. Wir sprechen jetzt vom Ausrotten aller Menschen. Es gibt ja auch nochmal Zwischenstufen, die auch schlimm sind, wenn eine AI unbewusst ganze Generationen in verschiedene Richtungen drängt vom Informationsgehalt, was die Menschen einfach aufnehmen jedes Jahr oder auch Wahlen und so weiter. Es gibt ja viele Facetten, was die Gesellschaft angeht, die negativ beeinflusst werden können. Und da hast du eine Hausaufgabe mitgebracht für unsere nächste Folge. Wir haben uns gedacht, um auch ein bisschen Zuhörer näher zu sein, geben wir jeder Folge, vielleicht nicht bei jeder, aber bei einigen eine Hausaufgabe mit. Die Hausaufgabe heute ist, dass wir uns ein Video angucken auf YouTube, das heißt The AI Dilemma. Das haben zwei Männer gemacht, die auch The Social Dilemma gedreht haben. Das ist auf Netflix, glaube ich, verfügbar. Und die gehen auf die Gefahren von KI. Da ist unter anderem auch das Beispiel mit dem Persisch dabei. Das ist auf Englisch. Es gibt Untertitel, automatische, auf Deutsch, falls man das braucht. Ich glaube, dass wir uns das mal angucken sollten, alle miteinander. Und dann sprechen wir in der nächsten Folge über das negative Potenzial von AI. Der Link dazu ist dann in der Beschreibung. Das finde ich auch ganz spannend, die Überlegung von dir, dass wir die Zuhörerinnen so ein bisschen reinbringen in Dialog und eben, dass das nicht nur etwas ist, wo wir die Menschen beschallen, sondern auch etwas mitgenommen wird. Und nächstes Mal wollen wir über Utopia und Dystopia sprechen. Oder Utopie und Dystopie. Und da passt eben dieses Video sehr gut. Was ich selber noch nicht gesehen habe, deswegen bin ich sehr gespannt drauf. Ich kenne die zwei aus der Privacy Szene, aber jetzt eben mit dem AI Thema. Da bin ich sehr gespannt drauf. Und dann hören wir das ganze Thema Gesellschaft, negative Einflüsse und das ganze Doom Thema vielleicht ein bisschen nüchtern und mit einer Lockerheit beleuchten, aber trotzdem mit einer Ernsthaftigkeit. Denn es ist ein wichtiges Thema für uns in den nächsten wenigen Jahren und für den Rest unseres Lebens.