00:29:49 · Philipp Müller
[00:29:49] S1: Ja, ja und nein, glaube ich. Ich glaub, ich... Also erst mal, also erst mal genau. Qwen ist ein ist ein Open Source Modell. Gibt's nämlich verschiedene Generationen und die Idee von Qwenputer ist jetzt, dass 1 1 1 Reseacher, Difianch Agravall heißt der, hat sich gedacht, können wir nicht dem Modell statt dem Tools zu geben, wie son Schaltkreis einbauen, der eigentlich ein Computer ist, also der rechnen kann, ja sozusagen Arigmetik kann. Und das ist halt sozusagen passiert, ohne dass ohne dass jetzt sozusagen nach nachtrainiert worden ist. Also das ist son bisschen so das das das Skurrile daran, ne. Also typischerweise, wenn ich sage, irgendjemand Modell kann, weiß nicht, rechnet nicht gut genug, also dann dann dann versuche ich dem irgendwie halt im Posttraining rechnen beizubringen, ja und sozusagen ändert, änder, änder, änder sozusagen durch Training die Gewichte. In dem Fall ist es ein bisschen anders gemacht und zwar in diesem in Qwen, also gibt es eine Modellarchitektur, da gibt es so einen Mechanismus drin, da heißt es immer Gated Delta Net, ist aber ist selber egal. Das ist so ein wie so ein Speicherzustand, der einfach in der Architektur vorgesehen kann vorgesehen ist und den kann man, das eigentlich nicht so gedacht, aber den kann man auch gezielt konfigurieren, indem man den in 1 gewisser Weise konfiguriert und dann da reinschreiben. Und so wurde dann wurde dann sozusagen wie ein CPU konstruiert innerhalb von diesem Modell. Ja, also wie so wie man es halt so in der in der Informatik noch lernt, ne. Also Schaltung, da hat man eine Schaltungsbeschreibung, ne, also mit mit Registerzugriffen und Rechnen und Springen und all so was, ne, wie man so was designt mit Token, die irgendwie Speicheradressen sozusagen transportieren. Und dann hat man Qwen, das ist wieder so ein Posttraining beigebracht, dass es eben diesen Teil von sich selber nutzen kann, wie Tool Use. Also so wie halt ich sonst sage, ja oftmals, hey, pass auf, wenn Du so was siehst mit Rechnern, dann hier ist ein Taschenrechner oder Python oder sowas, nutzt Python, rechne nicht selber.
00:32:01 · Philipp Müller
Gibt's halt wie sone Brücke zu diesem zu diesem Rechnerprogramm und das nutzt Qwen jetzt oder diese diese diese manipulierte Version von Qwen und ist halt spannend, weil eigentlich, wenn man so irgendwie ein Test macht mit so großen Multiplikation, also wirklich Arigmetik und dann kann das normale Qwen ist da irgendwie 55 Prozent gut und Qwenputer kann irgendwie siebenundneunzigeinhalb Prozent. Ist aber immer noch nicht so ganz so gut wie wie wenn das mal externes externes Python irgendwie verwendet, da da da schafft's dann irgendwie, sag mal, 100 Prozent. Aber spannend ist halt, also sozusagen jetzt noch keine Verschiebung des State of the Art, so sagen, wenn man so will, aber spannend ist halt, dass man das direkt in das Modell irgendwie rein integriert, ja und sozusagen auch in das Modell also auch so also reinbaut. Es gibt auch sone sone sone ähnliche News, ich glaube, hattest sozusagen am Anfang direkt beide zitiert, da geht da hat das sozusagen nicht ein Care gemacht, der sich sozusagen, der das der das Tool reingebaut hat und sich auch son bisschen überlegt hat, wie das Tool designt sein müsste, sodass das irgendwie in diesem Netzwerk irgendwie Sinn macht und und benutzbar ist, sondern irgendwie paar Tage später gefühlt haben sich son paar paar Leute im MIT zusammengetan und haben halt gesagt, boah Astra, also GPT-6, kannst Du uns nicht helfen? Also bisschen anderes Modell, das eine war Qwen, weiß ich nicht, 3 Punkt 5, 3 Punkt 6 ist mit 4000000000, jetzt irgendwie ein bisschen kleineres Modell, aber egal. Dann haben gesagt, pass auf Astra, kannst Du uns nicht helfen, Qwen besser zu machen? Na, Qwen rechnet nicht so gut. Wir würden gern, dass besser Mathe macht. Mach mal. Was dann passierte, ist halt sozusagen auf eine andere Art und Weise noch ein bisschen freaky, weil Astra dann halt irgendwie so und eben anfing, sich die Weights einfach anzuschauen und ein ganz kleinen Teil der Weights einfach einfach zu ändern. Also es ist nicht irgendwie, guck mal, ich änder jetzt irgendwie die Architektur vom Netzwerk und bau da noch irgendwie ein Tool rein oder so was, sondern also, ne, Weights vom Netzwerk ist einfach, ich kann mal vereinfacht sagen, eine riesengroße Matrix. Ja, das sind ja dem Fall jetzt über 800000000 Parameter, also 800000000 große Zahlen, ja, einfach. Ja.
00:34:27 · Philipp Müller, Daniel Höpfner
Viele, sehr, viele und dann hat's einfach gesagt, hey, pass auf, ich änder jetzt 0.016 Prozent dieser Weights. 0.016. Also nicht, also 0.10 0.010 0.016 Prozent. Genau. [00:34:39] S2: Genau, also ein ich ein 10 jeder zieht jetzt 10000 zur Zahl. Also eigentlich nicht viel. Nee, oder?
00:34:45 · Philipp Müller
[00:34:45] S1: Nee, nee, nee, genau. Genau. Also, ne, was haben wir gesagt? Irgendwie ist ein 0.8 b Ding, also ist 800000000. Also haben wir 128000 Zahlen verändert. Genau. Halt auch, also so und und was dann passierte, ist halt, also ne, ein bisschen anderer Benchmark, da geht's nicht nur Arithmetik, sondern das ist der MATH-500 und wie gesagt, kleineres Modell, also wissen Sie das immer, wird schon wird schon sozusagen auch so ein bisschen schlechter abschneiden als jetzt das, von dem wir davor gesprochen haben, aber das ging irgendwie von nem Benchmark Score von irgendwie knapp 8 Prozent hoch auf irgendwie 50 Prozent. Also ganz anderer Ballpark. Kann also viel, viel, viel, viel besser rechnen und Mathe. So und das sieht man auch son bisschen mit mit anderen Modellen, ne. Also wenn Du wenn Du wenn Du zum Beispiel Astra vergleichst mit, ich glaub, Luna oder so, das würde wahrscheinlich das kleinste sein, OpenAI anbietet. Auch da sieht man sieht man diese Sprünge, ne. Also dass die sozusagen mit mit mit mit mehr Parametern typischerweise auch sozusagen ohne die Zuhilfenahme von Tools besser besser besser Mathe können, besser rechnen können und so weiter. So, das kann also irgendwie fast zehnmal besser rechnen und das also was da was er absolut verrückt ist und auch, sag mal, einfach unbekannt, dass das funktioniert, ist halt, dass ich son, dass ich ein, das geht auch erst seit, also Astra ist das 1. Network, was das kann von Open AI und Opus Faible und Opus 5, nee, sorry, Claude Faible und Claude, Opus 5 Punkt 5 sind auch die Ersten bei Claude, die das können. Dieses sogenannte, die Autoren vom MIT haben's irgendwie benannt, Weight Space Programing, also dass ich sozusagen, ja, dass ich einfach anfange, direkt diese Gewichte zu manipulieren. Was ja crazy ist, weil sozusagen, wir wir können das halt nicht. Wir haben keinen Plan, was wo steht. Ja. So, ne. Wir hatten ja irgendwie vor ein paar Monaten mal so gescherzt, dass diese Mechanistic Interpretability Researcher, also Security Researcher Anthropic sozusagen wie so functional MRI mäßig versuchen, diese Dinger zu untersuchen, ne. Also irgendwie, wenn das Ding von der Golden Gate Bridge spricht, so welche welche welche Hirnareale, welche welche Gewayds werden aktiviert, ja, son bisschen so die Schaltkreise zu finden. Was ist sozusagen die Repräsentierung von Golden Gelb und so weiter?
00:36:56 · Philipp Müller, Daniel Höpfner
Son bisschen wie wir sagen, hey, weiß ich, heb mal deine Hand hoch und wir gucken ins Hirn und dann ist, ah, hier hier werden hier wird wohl Mode Function sein, so nach dem Motto. Ja, ne, geht halt geht halt hin und sagt, pass auf irgendwie, ich ich weiß hier Mathe, das macht macht Qwen dort. Ja, das ist falsch. Mach mal lieber so hier, ich weiß ich, ich ich geborene dir hier mal sozusagen das bessere Netzwerk. Also crazy. Ja, aber spannend, ne? Also man das ist jetzt wirklich ganz schön 0.01 und [00:37:23] S2: hat son Sprung nach vorne gemacht. Da kommt man ja zu dem Punkt, dass man sich halt wirklich fragt. Das war ja jetzt nun mal ein Versuch, ne? Man hat gesagt, vielleicht muss man ja die Modelle gar nicht mehr so krass trainieren, sondern man kümmert sich so diese diese Optimierung von diesen Dates in Zukunft. Vielleicht, ne. Also das hat man repliziert, also
00:37:41 · Philipp Müller
[00:37:41] S1: es funktioniert wirklich. Ich sag mal, ich würd mal son paar Disclaimer ranmachen. Du hast immer ein extrem großes Modell wie Astra, was in son extrem kleines Modell eigentlich wie son Qwen Point 8 Billion irgendwie auch ein bisschen auf die Sprünge hilft. Also ist nicht klar, dass jetzt Astra sozusagen sich selber die Weights verändern kann, besser zu werden. Solche. Ja. So, das ist sozusagen, die frontier zu verschieben. Nach draußen musst Du wahrscheinlich auch, glaube ich, weiterhin irgendwie an, also sozusagen klassischen Scaling Laws weitermachen. Also mehr Daten, mehr Computen, größere Modelle. Aber aber es ist halt schon spannend. Ist ja eine Art Destillierung fast, könnte man über sozusagen, also es ist halt nicht ganz, ja, aber es ist halt sone neue Form davon. Und was halt, was ich, was ich extrem interessant daran finde, es ist halt wieder so komplett emergent, ne. Also es ist so, also das wusste ja niemand. Also irgendwie OpenAI, dann hab gesagt, guck mal, wir haben jetzt irgendwie Astra rausgebracht und übrigens Astra kann irgendwie versteht jetzt kann die Gewichte von anderen neural neural Netzwerken lesen oder so. Das wusste einfach niemand, ja. Und dann haben sie so einfach irgendwie paar Leute von MIT einfach ausprobiert, auch erst mal ein paar Tagen. Das ist im zweiten November ist es rausgekommen, das Paper. So, klappt ja. Und dann hat's sozusagen jemand anders halt ausprobiert, weil so, seit wann denn? Und es geht halt wirklich erst seit seit sozusagen Astra Generation Model, ne. Und ich glaube, das ist halt auch noch mal irgendwie son spannender Punkt für diese für dieses Scaling Laws, also so, ne, das wird besser, aber wir wissen gar nicht genau immer wie. Also da fallen immer so irgendwie Capabilities raus und wir müssen, das ist wie so, es halt suchen. Einfach ausprobieren und mal gucken, oh, kannst Du das jetzt? So. Ja, also es ist echt son bisschen so eine neue Art, da so so zu explorieren. Also man, ne, weil man weil man man kann ja nicht analytisch über die nachdenken, ne. Also anscheinend können sie's jetzt über sich selber, aber wir können's nicht, ne, das ist eigentlich ausprobieren und ist schon...