00:34:45 · Philipp Müller
[00:34:45] S1: Nee, nee, nee, genau. Genau. Also, ne, was haben wir gesagt? Irgendwie ist ein 0.8 b Ding, also ist 800000000. Also haben wir 128000 Zahlen verändert. Genau. Halt auch, also so und und was dann passierte, ist halt, also ne, ein bisschen anderer Benchmark, da geht's nicht nur Arithmetik, sondern das ist der MATH-500 und wie gesagt, kleineres Modell, also wissen Sie das immer, wird schon wird schon sozusagen auch so ein bisschen schlechter abschneiden als jetzt das, von dem wir davor gesprochen haben, aber das ging irgendwie von nem Benchmark Score von irgendwie knapp 8 Prozent hoch auf irgendwie 50 Prozent. Also ganz anderer Ballpark. Kann also viel, viel, viel, viel besser rechnen und Mathe. So und das sieht man auch son bisschen mit mit anderen Modellen, ne. Also wenn Du wenn Du wenn Du zum Beispiel Astra vergleichst mit, ich glaub, Luna oder so, das würde wahrscheinlich das kleinste sein, OpenAI anbietet. Auch da sieht man sieht man diese Sprünge, ne. Also dass die sozusagen mit mit mit mit mehr Parametern typischerweise auch sozusagen ohne die Zuhilfenahme von Tools besser besser besser Mathe können, besser rechnen können und so weiter. So, das kann also irgendwie fast zehnmal besser rechnen und das also was da was er absolut verrückt ist und auch, sag mal, einfach unbekannt, dass das funktioniert, ist halt, dass ich son, dass ich ein, das geht auch erst seit, also Astra ist das 1. Network, was das kann von Open AI und Opus Faible und Opus 5, nee, sorry, Claude Faible und Claude, Opus 5 Punkt 5 sind auch die Ersten bei Claude, die das können. Dieses sogenannte, die Autoren vom MIT haben's irgendwie benannt, Weight Space Programing, also dass ich sozusagen, ja, dass ich einfach anfange, direkt diese Gewichte zu manipulieren. Was ja crazy ist, weil sozusagen, wir wir können das halt nicht. Wir haben keinen Plan, was wo steht. Ja. So, ne. Wir hatten ja irgendwie vor ein paar Monaten mal so gescherzt, dass diese Mechanistic Interpretability Researcher, also Security Researcher Anthropic sozusagen wie so functional MRI mäßig versuchen, diese Dinger zu untersuchen, ne. Also irgendwie, wenn das Ding von der Golden Gate Bridge spricht, so welche welche welche Hirnareale, welche welche Gewayds werden aktiviert, ja, son bisschen so die Schaltkreise zu finden. Was ist sozusagen die Repräsentierung von Golden Gelb und so weiter?
00:36:56 · Philipp Müller, Daniel Höpfner
Son bisschen wie wir sagen, hey, weiß ich, heb mal deine Hand hoch und wir gucken ins Hirn und dann ist, ah, hier hier werden hier wird wohl Mode Function sein, so nach dem Motto. Ja, ne, geht halt geht halt hin und sagt, pass auf irgendwie, ich ich weiß hier Mathe, das macht macht Qwen dort. Ja, das ist falsch. Mach mal lieber so hier, ich weiß ich, ich ich geborene dir hier mal sozusagen das bessere Netzwerk. Also crazy. Ja, aber spannend, ne? Also man das ist jetzt wirklich ganz schön 0.01 und [00:37:23] S2: hat son Sprung nach vorne gemacht. Da kommt man ja zu dem Punkt, dass man sich halt wirklich fragt. Das war ja jetzt nun mal ein Versuch, ne? Man hat gesagt, vielleicht muss man ja die Modelle gar nicht mehr so krass trainieren, sondern man kümmert sich so diese diese Optimierung von diesen Dates in Zukunft. Vielleicht, ne. Also das hat man repliziert, also
00:37:41 · Philipp Müller
[00:37:41] S1: es funktioniert wirklich. Ich sag mal, ich würd mal son paar Disclaimer ranmachen. Du hast immer ein extrem großes Modell wie Astra, was in son extrem kleines Modell eigentlich wie son Qwen Point 8 Billion irgendwie auch ein bisschen auf die Sprünge hilft. Also ist nicht klar, dass jetzt Astra sozusagen sich selber die Weights verändern kann, besser zu werden. Solche. Ja. So, das ist sozusagen, die frontier zu verschieben. Nach draußen musst Du wahrscheinlich auch, glaube ich, weiterhin irgendwie an, also sozusagen klassischen Scaling Laws weitermachen. Also mehr Daten, mehr Computen, größere Modelle. Aber aber es ist halt schon spannend. Ist ja eine Art Destillierung fast, könnte man über sozusagen, also es ist halt nicht ganz, ja, aber es ist halt sone neue Form davon. Und was halt, was ich, was ich extrem interessant daran finde, es ist halt wieder so komplett emergent, ne. Also es ist so, also das wusste ja niemand. Also irgendwie OpenAI, dann hab gesagt, guck mal, wir haben jetzt irgendwie Astra rausgebracht und übrigens Astra kann irgendwie versteht jetzt kann die Gewichte von anderen neural neural Netzwerken lesen oder so. Das wusste einfach niemand, ja. Und dann haben sie so einfach irgendwie paar Leute von MIT einfach ausprobiert, auch erst mal ein paar Tagen. Das ist im zweiten November ist es rausgekommen, das Paper. So, klappt ja. Und dann hat's sozusagen jemand anders halt ausprobiert, weil so, seit wann denn? Und es geht halt wirklich erst seit seit sozusagen Astra Generation Model, ne. Und ich glaube, das ist halt auch noch mal irgendwie son spannender Punkt für diese für dieses Scaling Laws, also so, ne, das wird besser, aber wir wissen gar nicht genau immer wie. Also da fallen immer so irgendwie Capabilities raus und wir müssen, das ist wie so, es halt suchen. Einfach ausprobieren und mal gucken, oh, kannst Du das jetzt? So. Ja, also es ist echt son bisschen so eine neue Art, da so so zu explorieren. Also man, ne, weil man weil man man kann ja nicht analytisch über die nachdenken, ne. Also anscheinend können sie's jetzt über sich selber, aber wir können's nicht, ne, das ist eigentlich ausprobieren und ist schon...
00:39:33 · Daniel Höpfner, Philipp Müller
[00:39:33] S2: Also eigentlich müsste man irgendwie 1000 Sachen definieren, die sie halt nicht können und die die die müssen wir jedes Mal testen. Das ist ein bisschen wie dieses, wo's aber weniger Wissen geht, sondern das sind ja auch, also auf die Idee [00:39:46] S1: muss Genau so ist. Also genauso genau, weil weil also, dass das so passiert, das haben die schon, das hat man inzwischen schon ein bisschen gerafft, ja. Also ich glaube, es gibt auch innerhalb so OpenAI und Top P, weiß nicht, ob's auch Open Source gibt, ne, wie so, sag mal, durchformalisierte ganz viele Matheprobleme, wo Du dann praktisch immer, wenn ein neues Model rauskommt, dann lässt Du halt laufen und siehst halt irgendwie jedes Mal fallen wieder ein paar raus. Also okay, soft, soft, soft, okay, die gehen noch nicht. So und das nächste Mal lässt Du wieder laufen, weil Du weißt irgendwie, weiß nicht welche, weiß noch nicht genau warum, aber irgendwie ein paar werden wieder gesurft. Aber genau, wie Du sagst, also es da gehört son bisschen ingenuity dazu, auch so verrückt. Das war ja auch so bei Peter Steinberger mehr, ist das auch so, also will ich's nicht gar nicht vergleichen, aber weiß nicht, ob sozusagen vom vom Durchbruch her oder so irgendwie gar nicht gar nicht irgendwie äquivalent setzen und so, aber halt so dieses, was passiert eigentlich? Was passiert eigentlich, wenn ich das einfach mal probiere? Kann das das nicht vielleicht einfach machen? So, ne? Und das ist irgendwie dann schon oft, was zu diesen irgendwie neuartigen Ideen führt, ja.
00:40:43 · Daniel Höpfner, Philipp Müller
[00:40:43] S2: Was heißt das jetzt? Aber da... Also wo ich sag mal, was heißt ein das jetzt? Also jetzt kann das Modell dieses Training machen? Eigentlich heißt es, also eigentlich heißt es da, wir müssen unseren Kindern uns mehr Neugier beibringen und schnellstens einfach jede Sache, die ihnen einfällt nachts von 2 einfach mal probieren. [00:41:01] S1: Auf jeden Fall. Ich glaub, das wird noch eine ganze Weile so sein, dass Neugier gepaart mit Frontiermodels echt crazy Sachen machen kann. Ja, aber es ist auch so, ne. Also ich meine, es gibt so viele Einzeltasks, die dir einfach die einfach... Also, weißt Du, finde ein Menschen, der es besser kann, ne. Also lass dir irgendwas lösen, egal ob aus irgendeinem Studium oder irgendeinem Highschool oder whatever, ja. So, da da findest Du ja irgendwie fast keine Leute mehr, die das die das irgendwie besser können. Aber die richtigen Fragen, diese Neugier gepaart mit den richtigen interessanten Problemen, das ist ja deswegen noch nicht alles gelöst. Nee, muss man noch machen, ja? Aber genau, also dieses, dass man das ernst nimmt als Tool, ja, und ernst nimmt als, dass man damit seine eigene Handlungsfähigkeit dann krass nach außen verschieben kann. Ich glaub, das da würden wir, da tun wir gut daran, dass irgendwie die Kinder das verstehen, ja. Und wir auch. Und wir auch, genau. Nehmen wir das als Schlusswort für heute?
00:41:01 · Philipp Müller, Daniel Höpfner, S0
[00:41:01] S1: Auf jeden Fall. Ich glaub, das wird noch eine ganze Weile so sein, dass Neugier gepaart mit Frontiermodels echt crazy Sachen machen kann. Ja, aber es ist auch so, ne. Also ich meine, es gibt so viele Einzeltasks, die dir einfach die einfach... Also, weißt Du, finde ein Menschen, der es besser kann, ne. Also lass dir irgendwas lösen, egal ob aus irgendeinem Studium oder irgendeinem Highschool oder whatever, ja. So, da da findest Du ja irgendwie fast keine Leute mehr, die das die das irgendwie besser können. Aber die richtigen Fragen, diese Neugier gepaart mit den richtigen interessanten Problemen, das ist ja deswegen noch nicht alles gelöst. Nee, muss man noch machen, ja? Aber genau, also dieses, dass man das ernst nimmt als Tool, ja, und ernst nimmt als, dass man damit seine eigene Handlungsfähigkeit dann krass nach außen verschieben kann. Ich glaub, das da würden wir, da tun wir gut daran, dass irgendwie die Kinder das verstehen, ja. Und wir auch. Und wir auch, genau. Nehmen wir das als Schlusswort für heute? [00:42:00] S2: Ja, okay. Also stay hungry und bleibt neugierig. Und dann immer mal alles raufwerfen. Ja, wie kommen nächstes Mal haben wir auch schon ein schönes Thema. Ich freu mich schon auf die nächste Episode. Cool. [00:42:13] S1: Dann tschüs. Ciao Daniel. Ad[00:42:17] S0: Werbung.