AI News #10

This transcript was generated automatically and has not been manually reviewed. It may therefore contain errors. The spoken word in the recording is always authoritative.

Fabian Walther: Herzlich willkommen zurück bei unseren AI News. Wir sind wieder da, ich bin wieder da, völlig ausgeruht und voller Tatendrang, und ich begrüße auch Ole wieder. Hallo Ole.

Ole Wendland: Hallo Fabian, schön, dass du aus dem Urlaub zurück bist.

Fabian Walther: Ja, vielen Dank, das war notwendig und hat sich gelohnt. Ich bin jetzt auch schon wieder die Woche völlig in ganz vielen Themen gleichzeitig abgetaucht. Das war sehr schön, dass man da wieder Energie für hatte. Und ich freue mich jetzt darauf, dass du mir ganz viele Geschichten erzählen kannst, was alles so passiert ist. Nicht ganz, ich konnte mich nicht ganz zurückhalten und musste zwischendurch Dinge tun. Es gab ja auch noch AI-Token-Budget zu verbrauchen, was ich noch hatte. Das ist natürlich auch Quatsch eigentlich, aber ja, ich musste zwischendurch ein paar Sachen machen, davon kann ich gleich erzählen. Aber lass uns tatsächlich vielleicht erstmal die News der letzten Wochen durchgehen. Und da ist ja nun so einiges passiert. Ich finde, da ich das gar nicht mitbekommen hatte, was wir letztes Mal schon so ein bisschen gemutmaßt hatten, was eigentlich mit Google los ist, warum da eigentlich gar nichts mehr kommt: Jetzt gab es zumindest dort einige offizielle Veränderungen, die das vielleicht so ein bisschen erklären. Vielleicht kannst du mich mal aufgleisen.

Ole Wendland: Ja, sehr gerne. Wir hatten, glaube ich, in der letzten Folge ein bisschen darüber philosophiert, warum Gemini 4 sich verspätet, oder warum sie nur die Flash-Version rausgebracht haben und nicht die Hauptversion, die große Version von Gemini 4. Jetzt hat sich bei Google aber ganz viel getan. Ich glaube, vor zwei Episoden hatten wir schon kurz angeschnitten, dass Noam Shazeer, also einer der Hauptköpfe hinter „Attention is all you need", gegangen ist. Der ist zu OpenAI gegangen. Dann ist John Jumper, der hinter AlphaFold stand und dafür auch, glaube ich, den Nobelpreis bekommen hat, zu Anthropic gegangen. Genau, und jetzt hat sich das Ganze noch mal erdrutschartig beschleunigt. Also Demis Hassabis, der Chef von DeepMind. DeepMind war ja immer so eine eigene Einheit in Google mit eigenem CTO und eigenem CEO. Und genau, Demis Hassabis war der CEO von Google DeepMind. Total spannender Typ, war mit 17 schon Großmeister im Schach. Er war mit 17 Chefprogrammierer bei Bullfrog und hat Theme Park entwickelt, was ich sehr gerne gespielt habe.

Fabian Walther: In guter Erinnerung auf jeden Fall.

Ole Wendland: In guter Erinnerung. Dann hat er zwei PhDs gleichzeitig gemacht und Google DeepMind gegründet. Was hat er noch gemacht? AlphaGo hat er mit vorangetrieben, bei AlphaFold war er einer der treibenden Köpfe. Und Ritter des britischen Ordens, genau. Und jetzt war er eigentlich der Leiter des operativen Geschäfts von Google DeepMind und hat jetzt eine, na ja, eine strategische Position in Google bekommen, muss aber sein Day-to-Day abgeben, was viele so als kleine Entmachtung ansehen. Also bei Isomorphic Labs, dem Wirkstoffforschungszweig von Google, ist er wohl noch der Chef. Aber genau, jetzt soll er der Visionär sein und nicht mehr so der Forscher. Genau, der ist also befördert worden, und Google DeepMind ist ein bisschen entmachtet worden. Jeff Dean ist gegangen, Google-Mitarbeiter Nummer 30, der so ungefähr alles Wichtige bei Google entwickelt hat, sei es MapReduce, sei es BigTable, sei es Spanner, sei es das Google File System. Also alles, was in ihrer Infrastruktur so lief, kommt mehr oder weniger von ihm. Der ist auch gegangen, das wird ihnen auch sehr, sehr wehtun, glaube ich. War zuletzt Chief Scientist, hat auch das TPU-Programm geleitet, also diese Rechner.

Fabian Walther: Das war super strategisch wichtig, ne?

Ole Wendland: Ja, ja. Und sein Kompagnon Sanjay Ghemawat. Entschuldige mich für die Aussprache des Namens, bestimmt falsch. Ähnlicher Highflyer, die beiden waren berühmt dafür, dass sie immer Pair Programming gemacht haben. Steht also auch mit hinter dem ganzen Google File System, MapReduce, BigTable, Spanner und so weiter. Ist ebenfalls gegangen. Dann Quoc Le, Mitgründungsmitglied von Google Brain, hat ganz viel mit neuronalen Netzen und neuronaler Netzarchitektur gemacht. AutoML, Neural Architecture Search, Conversational AI Chatbots kommen von ihm. Genau, der ist auch gegangen. Und Oriol Vinyals. Der war eher wieder so ein Forschungsmensch, hat das Sequence-to-Sequence-Paper gemacht, das Show-and-Tell-Paper, hat AlphaStar führend entwickelt, also diese StarCraft-Variante. Die sind alle gegangen. Und die haben jetzt ein neues Studio aufgemacht, was witzigerweise von Google mitfinanziert wird.

Fabian Walther: Discovery Loop.

Ole Wendland: Ja, vielleicht auch.

Fabian Walther: Das ist wieder auch so eine Sache, ne? Die Leute wollen dann was Eigenes machen, und dann hält man sie so, dass man halt finanziell beteiligt bleibt, zumindest noch irgendwie, ne?

Ole Wendland: Ja, genau, sie machen jetzt Discovery Loop. Worum es wohl geht: Forschungshypothesen aufstellen, sie automatisch prüfen, umsetzen. Geht halt um AI und Forschung. Genau, aber im Prinzip ist damit jetzt fast ihr gesamtes Spitzenteam gegangen, und einige sagen schon, das ist das Ende von Google als AI Studio. Auf der anderen Seite ist GCP, also ihre Hyperscaler-Cloud-Sparte, sehr gestärkt worden, und man geht jetzt davon aus, dass sie halt auf Anthropic setzen und einfach TPUs für Anthropic produzieren wollen und einfach eher auf Infrastruktur setzen und nicht mehr das große Forschungsrad drehen.

Fabian Walther: Ja, das wirkt auf mich so ein bisschen wie: Wir müssen jetzt irgendwie mal auf Shareholder Value optimieren, ne? Weil das ist irgendwie ein Geschäft, was wahrscheinlich relativ sicher ist, ne? Du hast da deine Cloud, du verkaufst dann irgendwie die Rechenleistung da drauf und so. Das ist total kalkulierbar, was dann da an Profit rausfällt, ne? Wenn du das optimierst, irgendwie deine TPUs effizienter machst, dann kannst du den Leuten irgendwie dafür Sachen in Rechnung stellen. Das wirkt für mich tatsächlich wie so ein: Wir versuchen nicht mehr irgendwie in Innovation und in Risiko zu investieren, sondern irgendwie so eine sichere Wette zu machen, ne? Also für mich tatsächlich eher so ein bisschen traurig, weil sie wirklich da lange, lange Zeit immer diese Innovationen vorangetrieben haben, ne?

Ole Wendland: Und das ist, glaube ich, auch, was die Leute wegtreibt. Also intern hat man gehört, dass sie ganz schwer kämpfen mussten, um ihren Compute zu bekommen und ihre Forschung zu machen, und dass Google mehr und mehr zur Behörde wird. Ja, ich weiß auch noch nicht, was ich davon halten soll.

Fabian Walther: Ja, klar, wenn du intern halt irgendwie da konkurrierst, quasi intern um die Compute-Ressourcen mit den externen Kunden, ne? Und dann musst du natürlich immer irgendwie noch argumentieren, warum du jetzt quasi gratis diese Leistung haben sollst, für die sie extern auch kassieren können, ne? Gerade jetzt, wo irgendwie Compute so knapp war und sie wahrscheinlich echt Preise dafür aufrufen konnten, ne, für das, was sie haben. Finde ich schon irgendwie schwierig, ne? Also das wirkt für mich halt nicht mehr wie: Wir wollen langfristig irgendwas langfristig erfolgreich machen, sondern wie kurzfristige Optimierung halt, ne?

Ole Wendland: Für GCP haben sie mehrere 100 Prozent Wachstum fürs nächste Jahr vorhergesagt, was ja auch schon mal was ist, ne?

Fabian Walther: Ja, das glaube ich auch auf jeden Fall, ja.

Ole Wendland: Aber ja, Forschung scheint nicht mehr der Schwerpunkt zu sein.

Fabian Walther: Ja, ich finde es nur gerade interessant, dass ja irgendwie Apple gerade voll auf Google gesetzt hat, was ihre Modelle angeht, weil sie es selber nicht hingekriegt haben. Haben gesagt, okay, wir kaufen uns jetzt gute Modelle bei Google irgendwie ein, und jetzt rollt Google das irgendwie da ein. Ich glaube, bei Apple gehen wahrscheinlich gerade ganz schön die Hüte hoch, dass sie jetzt irgendwie komplett darauf gewettet haben, dass sie irgendwie von da die tollen Modelle bekommen. Ja, na ja, bin ich echt mal gespannt, was dann daraus wird, ne?

Ole Wendland: Anthropic wird es freuen.

Fabian Walther: Ja, ja, die feiern wahrscheinlich jetzt, ne, wenn da ein Konkurrent irgendwie rausfällt, ne? Bin ich echt mal gespannt, was daraus wird. Ja, das hatte ich tatsächlich überhaupt nicht mitbekommen. Ich habe mich eher um den praktischen Teil so ein bisschen gekümmert, wenn ich Zeit hatte, aber die Politik habe ich rausgelassen. Ja, ich weiß nicht, ob du noch eine Prediction hast, was mit Google passiert, oder?

Ole Wendland: Nee, eigentlich nicht. Also persönlich wundert’s mich, weil eigentlich mit dem Android-Betriebssystem und Touchpoints zum User und mit YouTube hatten sie, glaube ich, eigentlich zwei Produkte, die gut oder die sehr gut zu AI passten oder ihnen eigentlich eine sehr gute Ausgangsposition für AI lieferten. Offensichtlich wollen sie es jetzt nicht mehr. Vielleicht ist es aber auch gut, also vielleicht hatten sie zu viele Stars, und jetzt ist eher eine Teamleistung gefragt. Schauen wir mal.

Fabian Walther: Mhm. Ja, müssen wir auf jeden Fall beobachten. Ich finde es halt einfach schade, wenn da ein Contender wegfallen wird. Gerade da Google ja eben auch Open-Weights-Modelle rausgehauen hat mit den Gemma-Sachen, die ja auch wirklich echt spannend waren. Ja. Gut, ich glaube, dann haben wir so ein paar größere Blöcke, ein paar News, wo es einfach um Agent-Harnesses geht, also um Coding-Harnesses oder halt auch allgemein vielleicht um einfach Agent-Harnesses, und noch ein bisschen Modell-Sachen. Hast du einen Wunsch, womit wir weitermachen?

Ole Wendland: Wir können mit DeepSeek anfangen.

Fabian Walther: DeepSeek hat einen Harness.

Ole Wendland: Ja, gerne. Vor einer Woche ungefähr, glaube ich.

Fabian Walther: Ja, ist noch relativ frisch.

Ole Wendland: Ja, ist noch relativ frisch, aber geht schon extrem ab bei GitHub. Also irgendwie nach wenigen Stunden schon 30.000 Stars und nach vier Tagen schon über 100.000 Stars gehabt, also gerade für so eine Infrastruktur-Geschichte enorme Zahlen. Gut, bei AI ist immer alles enorm. Aber ja, sie setzen maximal auf Variabilität, also alles ist irgendwie ein Plugin-System, du kannst alles austauschen. Es ist ein kompletter Harness mit Session Logs, Agent Loop, Tool Scheduler, Sandbox, UI, SDK und der ganzen Kombination aus Agent Loop, Session Logs und Sandbox. Die kannst du halt variabel rein- und rausstöpseln. Du bist auch überhaupt nicht auf DeepSeek angewiesen, du kannst da auch OpenAI oder Anthropic einstöpseln. Im Prinzip finde ich es eine gute Sache. Sie setzen sehr darauf, dass alles doppelt und dreifach geloggt wird, also Transparenz war immer ein großes Architekturziel von ihnen. Und ansonsten bin ich ja eh auch ein Freund von den DeepSeek-Modellen. Also, ich bin gespannt, und es ist, glaube ich, einer der ersten Harnesses, die ich mal ausprobieren werde.

Fabian Walther: Ich meine, dadurch, dass Code generieren so einfach ist, gibt es ja nun wirklich ständig neue Entwicklungen. Jemand bastelt sich dann doch wieder seine persönliche Geschmacksrichtung von Harness, und dann kann man natürlich ganz viele ausprobieren. Das ist ja auch gut. Aber für mich läuft es halt wirklich so ein bisschen darauf hinaus, dass natürlich nicht für jeden jedes Werkzeug passt, und wo man halt relativ einfach Dinge auch modifizieren kann, sollte man das auch tun. Ich meine, wir haben ja den Pi-Agent auch schon mal empfohlen, der ja so ein bisschen damit angefangen hat, super dünn zu sein, und dann kannst du über Plugins alles machen. Ich habe schon das Gefühl, dass das das Erfolgsmodell ist, und das wäre jetzt für mich hier so eine Bestätigung davon, dass jetzt auch wirklich ein großer Contender, der da was Neues raushaut, auch komplett auf dieses Prinzip setzt: Du kannst alles austauschen und modifizieren. Das bestätigt das, finde ich, so ein bisschen, dass es sinnvoll ist. Es hat für mich auch noch so einen anderen Hintergrund. Ich habe es gerade wieder erzählt: Wenn du in Claude Code irgendwie Context machst, dass du dann siehst, allein schon bevor du was gemacht hast, 30.000 Tokens schon vom Kontext verbraucht sind. Und gerade wenn du mit lokalen Modellen, kleineren Modellen, etwas machen willst, musst du dich halt darum kümmern, deinen Kontext irgendwie zu managen und den möglichst klein zu halten für den Agenten. Und das ist natürlich ein bisschen einfacher mit so einer modularen Geschichte, wo du dann eben auch Sachen einfach rauskonfigurieren kannst oder sie erst gar nicht drin sind. Das finde ich super interessant. Was mir gerade noch zu DeepSeek einfällt: Die hatten ja auch noch mal Updates von ihren Modellen rausgehauen. Ich kriege es gerade nicht mehr hin, die hatten so ganz komische Suffixe hinten dran, das war dann irgendwie V4 Flash 0731 oder so etwas, die dann irgendwie in den Benchmarks plötzlich auftauchten, wo sie noch mal in diesem quasi Punkt-Update noch mal extrem besser geworden sind.

Ole Wendland: Ja, ja.

Fabian Walther: Da bin ich mir auch noch nicht so ganz sicher, warum sie das getan haben, also sie dann noch mal trainiert haben im Nachhinein, noch mal ein bisschen optimiert haben. Aber DeepSeek ist tatsächlich, ich hatte erst gedacht, nach den V4 Pro und Flash, die ja wirklich sehr gut waren, dann kam irgendwie nichts, aber die scheinen nach wie vor aktiv zu sein, und das beweist es für mich jetzt auch so ein bisschen, dass sie da in alle Richtungen weiter am Ball bleiben wollen. Also nicht abgeschrieben.

Ole Wendland: Auf gar keinen Fall. Sie haben tatsächlich die Preise wieder leicht angezogen. Das war mir noch eingefallen.

Fabian Walther: Ja, vielleicht auch, weil durch diese Updates die Leistung wieder gestiegen ist. Und sie versuchen da, glaube ich, immer sehr hart zu optimieren, wann die Preise so sind, dass die Leute unsere Modelle dann doch bevorzugen und nehmen. Also da drehen die ganz stark an der Preisschraube, versuchen sie relevant zu bleiben.

Ole Wendland: Ja, vor allen Dingen, mein erster Gedanke war: Kimi hatte ja Preise aufgerufen, die ähnlich an Sonnet dran lagen. Ich dachte, vielleicht ist das Zeitalter der super günstigen China-Modelle vielleicht ein bisschen vorbei, und sie haben gesagt, na gut, wenn Kimi das kann, dann wollen wir halt auch Geld für unsere Modelle haben. Wir müssen nicht mehr über den Preis kämpfen.

Fabian Walther: Ja, das ist, glaube ich, jetzt immer tatsächlich relativ. Ich glaube nicht, dass der Preiskampf nach unten weggehen wird, einfach dadurch, dass die lokalen Modelle besser werden. Da kommen wir auch gleich noch zu mit Qwen. Aber du hast halt immer noch diese Drohung von unten. Wenn das lokale Modell da dran kommt, dann können die etwas größeren, die in der Cloud laufen, nicht so viel teurer sein oder müssen halt wirklich sehr viel besser sein. Und das heißt, das Kontinuum ist da, glaube ich, das ist weiterhin da.

Ole Wendland: Absolut. Du hast es gerade schon angesprochen, sollen wir mit Qwen gleich weitermachen?

Fabian Walther: Ja, finde ich super spannend. Qwen 3.8.

Ole Wendland: Ja. Sie haben verschiedene Sachen rausgebracht.

Fabian Walther: Genau. Es gibt ja Max, das hostet.

Ole Wendland: Genau.

Fabian Walther: Die gehostete Variante.

Ole Wendland: Es gibt das, haben sie nicht auch die Weights für Max rausgebracht?

Fabian Walther: Genau, das kam dann später.

Ole Wendland: Genau, man kann es auch theoretisch selbst betreiben, wenn man ein kleines Rechenzentrum zu Hause hat. Ich glaube 2,4 Milliarden Parameter, also da brauchst du schon mehrere, ich weiß gar nicht, ob 8 H100s ausreichen. Du brauchst auf jeden Fall ordentlich Rechenpower, um das laufen zu lassen. Preislich war es auch wieder so Mittelklasse: 2 $ für 1 Million Input-Tokens, 6 $ für 1 Million Output-Tokens. Relativ selbstbewusst sagen sie „second only to Fable 5".

Fabian Walther: Ja, okay.

Ole Wendland: Sie sind wohl auch noch hinter Sol zurück.

Fabian Walther: Mhm.

Ole Wendland: Fair enough, aber es ist ein beeindruckendes Modell, nicht ganz das, was man zu Hause laufen lassen kann. Dafür haben sie dann aber auch wieder eine kleine Variante rausgebracht, ein 27B-Modell, was auch in den Benchmarks extrem gut abschneidet.

Fabian Walther: Genau, das habe ich tatsächlich auch schon ausprobiert, die 27B-Variante, und das ist tatsächlich so, dass das lokal sehr gut funktioniert. Und ich glaube auch, bisher ist es das Beste, was man lokal in dem Größenbereich hat, so 30 GB Speicher, die man dann da veranschlagen muss. Wenn man jetzt keine von den runterquantisierten Varianten benutzt, sondern die 8-Bit-Variante nimmt, dann kann man da echt lokal schon extrem viel mit machen. Der Pelikan sah super aus, den ich generiert habe, obwohl das Thema, glaube ich, mittlerweile durch ist, das ist jetzt alles im Trainingsmaterial drin. Also ein guter Pelikan kommt immer raus. Ich habe dann wieder ein Kamel generieren lassen, auch das war okay. Ja, man kann dann versuchen, sich verschiedene Tiere als SVG auszuprobieren als kleine Spielerei. Aber ich glaube, wenn ich das auf Hugging Face beobachte, jetzt geht’s halt schon los, dass alle anfangen, Post-Training mit Qwen 3.8 zu machen, seitdem die Gewichte da sind. Und da erwarte ich mir auch noch mal relativ viel, weil da einfach so viel Innovation passiert, gerade was bestimmte neue Quantisierungstechniken angeht, und dann irgendwie noch verschiedene, so Speculative Decoding, also da passiert extrem viel noch. Und da haben jetzt wieder die ganzen Leute oder auch die kleineren Unternehmen, die damit versuchen, ihr Geld zu verdienen, dass sie da jetzt so ein, ja, einfach so ein Post-Training machen, oder auch, was ich jetzt gelernt habe, manche machen auch irgendwie ein Continued Pre-Training, dass sie dann noch mal wirklich alle Trainingsstufen, die man normalerweise hat, noch mal auf diesen Modellen anders machen mit ihren eigenen Daten und dann die noch mal irgendwie 0,5 Prozent mehr in den Benchmarks rausholen, einfach nur, weil sie noch Dinge damit machen, und das ist halt super spannend zu beobachten. So ein neues Modell befeuert immer diese ganzen Innovationen, die eigentlich irgendwie klein sind, aber dann in ihrer Masse doch dazu führen, dass dann irgendwie die Performance mal eben sich verdreifacht lokal, dass du dann irgendwie nicht nur 20 Tokens bekommst, sondern 60 pro Sekunde, und dann ist es ja schon wieder eine ganz andere Geschichte.

Ole Wendland: Ja, Qwen ist ja eh der Industriestandard, also auch DeepSeek bringt ja seine kleinen Modelle auf Qwen basierend raus und editiert das und passt das für sich an und so weiter. Also, ja, wenn Qwen mal wegfallen würde, das wäre schon ein herber Schlag.

Fabian Walther: Das wäre schon schade, genau. Da habe ich nachher noch mal, ich hatte ja mal irgendwann diese Ornith-Modelle, die halt auch diesen sehr spannenden Trainings-Harness entwickelt haben. Da haben wir wieder Harness, also Harnesses für Agenten werden an allen Stellen jetzt irgendwie wichtiger. Aber da eben auch noch mal ganz speziell beim Training, die dann halt wirklich in dem Fall so einen Trainings-Harness gebaut haben, der dann automatisiert: Wenn dann die Modelle diese Benchmarks zu gut erfüllen, dann fängt der Harness halt an, die Aufgaben sukzessive schwerer zu machen und dann wieder automatisch neu zu trainieren, und dann halt mit immer schwereren Aufgaben, bis das halt irgendwann so ein Ceiling erreicht. Das fand ich super interessant, weil man dann nicht immer nur diese statischen Benchmarks hat und dann optimiert man darauf hin und dann ist vorbei, sondern dass sie versuchen, schon da auch so einen Harness-Gedanken und so eine agentische Loop beim Training zu erreichen. Und das halt eben auf Basis der Open-Weights-Modelle, das können halt auch kleinere Unternehmen machen. Da kam jetzt dieses Ornith 1.5 raus, das ist noch ein bisschen schwammig. Ich habe jetzt noch nicht auf die Schnelle gefunden, worauf sie eigentlich aufsetzen, aber auf Qwen 3.8 noch nicht. Dann hoffe ich, dass sie aber jetzt quasi dann anfangen, Qwen 3.8 auch zu nehmen und dann ihren Harness noch mal darauf loslassen, dann hat man bestimmt wieder ein paar Prozent mehr in bestimmten agentischen Benchmarks. Das finde ich halt super interessant, was da alles passiert bei den lokalen Modellen. Wieder ein Schritt mehr zur Singularität. Nee, die Singularität nicht. Mir reichen ja schon gute, schnelle agentische Modelle, die ich lokal benutzen kann, um halt irgendwie da auf bestimmte Arbeitsabläufe reagieren zu können. Das wird mir schon ausreichen.

Ole Wendland: Ja, aber wenn sie sich selbst beschleunigen und wenn Agents noch Agents trainieren, dann geht es in die Richtung, glaube ich.

Fabian Walther: Ja, man könnte das so verstehen, dass das neuronale Netz sich dann anfängt selbst zu modifizieren, indem es sich selber neu nachtrainiert und so. Wenn man jetzt wirklich an Dystopien besonders interessiert ist, dann könnte man das da reininterpretieren, ja, aber ich glaube, das ist noch ein relativ weiter Weg. Wir waren ja gerade bei Open-Weights-Modellen, und das fand ich auch interessant, dass Meta mal wieder was rausgebracht hat mit dem Muse Glimmer, wo halt irgendwie auch das Gefühl ist, dass sie das, also sagen sie auch, ist ein Open Agentic Model, also wirklich darauf optimiert, agentische Workflows zu orchestrieren und gar nicht jetzt irgendwie sonderlich viel Weltwissen abzubilden. Das fand ich interessant, weil sie ja vorher Muse Spark rausgebracht haben, was ja wieder ein Closed Model war. Aber jetzt kommt halt tatsächlich wieder was. Also ich hatte Meta schon so ein bisschen gesehen: Versuchen sie jetzt doch über eine Closed API Geld zu verdienen? Aber ich meine, der Kram muss ja auch schon in Arbeit gewesen sein. Insofern war das wahrscheinlich ein bisschen verfrüht, und sie scheinen diese Strategie noch nicht ganz aufgegeben zu haben, was ich gut finde. Es reicht ja schon, dass wir bei den großen API-Anbietern, den geschlossenen, da jetzt vielleicht ein bisschen weniger Konkurrenz haben mit Google. Dass man zumindest bei den offenen Modellen da noch mehr Konkurrenz hat, dass sie sich gegenseitig irgendwie inspirieren.

Ole Wendland: Ja, aber auch ein Trend, dass man jetzt eher Modelle speziell für Agentic Workflows baut. Also das Nemotron von Nvidia ging ja auch schon in die Richtung. Da scheint einer der Hauptforschungspunkte, glaube ich, gerade zu sein.

Fabian Walther: Genau, also wahrscheinlich einfach, weil man gemerkt hat, dass man in vielen Benchmarks einfach aus dem gleichen Modell mit einem sehr eng geschnittenen Harness halt eben dann wesentlich erfolgreicher ist. Das heißt, jetzt haben wir irgendwie alle das Gefühl: Neue Modelle zu bauen, das ist halt wahrscheinlich sehr teuer und auch sehr aufwendig, damit man dann ein paar Punkte mehr in den Benchmarks rausholt. Man kann aber wahrscheinlich mit normalem Software Engineering aus so einem Harness, indem man den vernünftig baut, das ist vermutlich wesentlich günstiger, würde ich jetzt mal darauf tippen. Zumindest kann das theoretisch jeder zu Hause selber machen, wenn er ein paar gute Ideen hat. Weil es da einfach eher darum geht, die Technologie einzuschränken und sie nicht mächtiger zu machen, aber genau richtig einzuschränken, damit sie das Richtige tut und nicht irgendwas. Da kann man dann natürlich einfach durch die Schwarmintelligenz wesentlich mehr rausholen mit weniger Ressourceneinsatz. Deswegen passiert da einfach, habe ich das Gefühl, auch gerade mehr Innovation, was ja dann gut für uns ist.

Ole Wendland: Ja, es geht so ein bisschen weg davon, das ganze Weltwissen reinzutrainieren, und mehr dahin, ihnen so abstrakte Intelligenz zu verpassen und sich dann das Wissen halt aus Wissensdatenbanken zu holen oder aus dem Internet zu holen. Dann hast du halt auch gleich das Problem mit dem Cut-off-Date und dem Veralten von Wissen nicht. Schon so die Richtung, wo es hingeht.

Fabian Walther: Genau, also weniger wirklich versuchen, dass die Modelle das Weltwissen erst gar nicht enthalten, dann können sie sich es auch nicht ausdenken oder versuchen sich zumindest nicht irgendwie dann, weil sie was Ähnliches schon mal gehabt haben, anderes auszudenken, sondern wirklich eher diese abstrakte Problemlösungskompetenz da reinzukriegen. Ja, ich glaube, das kann man als Trend ausmachen, und für uns in der Softwareentwicklung ist das, glaube ich, auch genau das Richtige. Dass man da eventuell dann wirklich seine kompletten Workflows vielleicht dann in den nächsten Jahren wirklich lokal bauen kann für bestimmte Projekte und da eben nicht mehr auf die großen Modelle angewiesen ist. Haben wir noch mehr Sachen zu Harnesses, die vielleicht ganz gut dazu passen? Ich überlege gerade.

Ole Wendland: Harnesses.

Fabian Walther: Wir könnten mit Sandboxing weitermachen.

Ole Wendland: Ja, mit Sandboxing weitermachen, genau.

Fabian Walther: Weil das ja auch zum Harness dazugehört, wie ich finde. Zumindest sage ich das immer: Ein Harness ohne Sandbox ist kein Harness.

Ole Wendland: Das weiß ich nicht, ob ich das ganz unterschreiben würde, aber zumindest haben die Leute scheinbar erkannt, dass die Sandboxes wichtiger werden. Also ich hatte letztens noch gelesen, dass die Hälfte aller Unternehmens-Agents ohne Sandbox irgendwie laufen. Gut, jetzt nach dem großen Hack durch die Agents letzte Episode müsste man natürlich fragen: Was ist die Sandbox dann überhaupt wert, wenn du ein gutes Modell hast? Aber genau, also Claude hat, also Anthropic hat einen eigenen Harness rausgebracht. LangChain bringt Managed Deep Agents als Harness raus und noch eine dritte Firma, deren Namen ich, warte. Die bringen auch jetzt eigene Harnesses raus. Was ich eigentlich so ganz interessant fand: dass alle drei sich scheinbar so auf eine Rollenverteilung geeinigt haben, so eine Dreischichten-Architektur. Zum einen hast du irgendwie deine Ausführungsisolation, also irgendwie eine MicroVM oder einen Container, wo der ganze Code drin läuft, was allerdings, also es verhindert nur, dass dein System kompromittiert wird. Sie können immer noch Müll in dein Repository pushen, das löschen. Das darf man nicht unterschätzen. Dann das zweite, was ganz wichtig ist, so Permissioning: Was dürfen die Agents überhaupt machen? Das war ja bei MCP immer schon ein Problem. Freut mich sehr, dass sich da einiges tut. Und was tatsächlich wohl so der Ansatz zumindest bei Claude ist: dass die ganzen Permissions, Nachrichten, alles nur Plain Text ist, auch keine großen Sonderzeichen drin sein müssen. Also es wird alles gemacht, damit man da nicht so heimlich Dinge reininjecten kann und relativ einfach scannen kann, ob da irgendwelche Exfiltrationen oder irgendwelche versteckten Prompts mit drin sind. Und das dritte ist halt Governance, dass man überhaupt sieht, welche Agents laufen, wie lange sie laufen, warten sie auf Eingaben. Audits und Governance ist so das dritte große Thema. Was auch total wichtig ist: Wenn ich höre, dass da bei so Tests irgendwie 10.000 Agents ausgebrochen sind, frage ich mich, wo war denn da die Governance, dass man nicht merkt, dass eben so eine ganze Horde von deinen Agents Compute verbrennt über, na ja, über eine Woche oder so.

Fabian Walther: Ja, ja, nee, das würde ich, glaube ich, tatsächlich unterschreiben. Ich hatte auch von LangChain, die sind ja dann über ihre Open-Source-Libraries bekannt geworden, und dann irgendwann haben sie Funding bekommen, und jetzt machen sie halt verschiedene Produkte, so Plattformen, wo du Agents laufen lassen kannst, und das sehe ich auch gerade. Und das wichtigste Feature eigentlich, was die da auch haben und was ich, glaube ich, echt so im Nachhinein jetzt auch eigentlich als die spannendste Geschichte finde: Weil du kannst ja natürlich jetzt irgendwie komplexe Harnesses bauen und Agents bauen, und die Frage ist ja immer, wie entscheidest du dann, ob das jetzt gut ist oder nicht? Dann musst du dir wieder irgendwie eigene Benchmarks natürlich idealerweise überlegen, dass du dann die auch irgendwie tunen kannst, aber das ist natürlich auch schwierig. Und was diese ganzen Dinger jetzt ja machen, ist dieses ganze so im Grunde so ein Tracing, dass du halt wirklich alles, was die Agenten machen, halt dann irgendwie loggst in einem Audit Trail oder so, und dass du dann später halt reingehen kannst und dann gucken kannst: Was haben die gemacht, in welcher Reihenfolge, wozu hat das geführt? Und dann kann man natürlich wieder diese Traces von anderen Agenten analysieren lassen und kann dann sagen: Wie kann ich denn jetzt meinen Agent verbessern? An welcher Stelle macht der vielleicht Dinge, die ich vielleicht deterministisch abbilden kann, und dann muss ich da vielleicht gar keinen agentischen Agentenschritt für machen, sondern da kann ich vielleicht ein Tool anbieten, was das sowieso schon deterministisch bereitstellt, irgendeine bestimmte Capability. Und klar, du kannst das alles manuell tun, indem du dir das irgendwie alles anguckst, aber wenn du da dann auch wieder in so eine Schleife wiederum eine agentische Loop bekommst, die halt deine fachlichen Agenten dann kontinuierlich verbessert, dann kommen wir, glaube ich, langsam in so ein Fahrwasser, wo man dann auch die Verbesserung sieht. Wenn du dann sagst: Okay, ich habe hier irgendeinen Agenten, der läuft immer, der frisst übrigens so viele Tokens, kostet damit nominal so und so viel Geld. Und dann hast du halt einen anderen Agenten, der diesen Agenten optimiert und dann versucht, aus den ganzen Läufen, die der so gemacht hat, herauszufinden, wie er den optimieren kann. Und dann siehst du: Okay, wenn ich jetzt diese Schritte irgendwie deterministisch aufbaue, ich habe jetzt irgendwie 80 Runs hier gesehen und ich habe gesehen, was da alles schiefgehen kann und wo dann der Agent drauf reagieren musste, dann habe ich jetzt aber ein gutes Verständnis, was der Lösungsraum ist, und kann den dann deterministisch als Code abbilden. Und dann habe ich hinterher halt eben entsprechend weniger Tokens, die dieser Agent verbraucht, während er normal läuft. Und da wird es dann, finde ich, super interessant, was dann eben auch solche Plattformen dann bieten können, so über: Ich lasse das Ding erstmal sicher laufen, das ist so das erste, was passieren muss, dann habe ich so eine Überwachung, Governance, und dann sehe ich aber auch, was der Agent denn tut, und kann das optimieren. Und was ich bei diesen Permissions dann noch interessant finde, wo du es gerade sagst: Dann kannst du natürlich auch sagen, so ein Agent, der muss halt dann bestimmte Dinge tun, muss bestimmte URLs aufrufen, und dann kannst du ja auch entscheiden: Ich lasse den mal eine Weile laufen, und dann analysiere ich mal, was muss der denn eigentlich, auf welche URLs muss der zugreifen, auf welche Files muss der zugreifen, um arbeiten zu können? Und dann kann man ja immer sagen, ich habe dann so ein Set von Dingen, die der darf, und dann kann ich sowas zum Beispiel auch in so einer Plattform dann locken und sagen, der darf auch nur das, und wenn er jetzt plötzlich was Neues machen will, dann bitte mach mal die rote Lampe an und ich muss es einmal absegnen. Und genau solche Strukturen, ich glaube, da ist jetzt extrem viel Geschäftspotenzial, da sehe ich jetzt ja auch, dass viele Startups da was versuchen. Einfach so von der lokalen Maschine, da ging erstmal alles, dann hat man es irgendwie gesandboxt, das ist schon mal halbwegs irgendwie kontrollierbar, und jetzt fängt man aber an, das eben feingranularer zu machen. Und das hat dann, finde ich, dann auch diesen nachhaltigen Effekt, dass man dann dafür sorgen kann, dass vielleicht so ein Agent auch einfach weniger Tokens verbraucht und damit weniger Strom. Das finde ich halt gut, wenn die Systeme sich selbst optimieren. Ja, das war jetzt ein langer Monolog, es tut mir leid, aber während ich durch die Berge gewandert bin, gingen mir solche Sachen dann leider doch durch den Kopf, weil ich darüber nachgedacht habe. Ja.

Ole Wendland: Okay, wo wir bei Security sind: Wasserzeichen. Ich glaube, wir müssen noch über Claude-Wasserzeichen sprechen.

Fabian Walther: Genau, dann lass uns das doch als letztes Thema noch machen, damit wir nicht zu lange überziehen. Dann haben wir noch ein bisschen Futter fürs nächste Mal, aber das fand ich tatsächlich auch interessant. Erzähl doch mal, was Anthropic tut und warum.

Ole Wendland: Nicht unbedingt nur Anthropic. Google, Meta, Microsoft, OpenAI sind auch dabei. Auslöser ist der EU AI Act, der Transparenzpflicht für KI-generierte Inhalte vorschreibt. Das greift seit Anfang August, also theoretisch waren sie schon einen Tag zu spät, aber seit dem 2. August markiert oder „fingerprintet" Anthropic alle seine generierten Texte. Das passiert so: Wenn du zwei Wörter hast, die in der Verteilung sehr dicht beieinanderliegen, es ist ja so ein Next Token Predictor, und da steht „der Himmel ist grau" oder „der Himmel ist bewölkt", dann hat früher häufig der Zufall oder die Temperature entschieden, welches von beiden er genommen hat. Sie arbeiten jetzt genau an so einem Mechanismus, dass diese Wahrscheinlichkeiten manipuliert sind, sodass es nicht mehr zufällig ist. Das läuft tatsächlich auf Forschung von Google DeepMind aus 2024 zurück: SynthID. Wenn du weißt, wie dieser Verteilungsschlüssel ist und wie die Tokens waren, die zur Auswahl stehen, kann man in Zukunft mit einer Wahrscheinlichkeitsverteilung auch wieder sagen, dieser Text wurde von KI bearbeitet oder dieser Text wurde von KI nicht bearbeitet.

Fabian Walther: Hm.

Ole Wendland: Genau, es soll einiger Manipulation standhalten, behauptet zumindest Anthropic selbst, wobei es natürlich auch schon wieder Tools gibt, die das umgehen wollen, wie Watermark Remover oder DeClaude. Das ist wahrscheinlich ein Wettrennen, das sich nicht vermeiden lässt. Es gibt eine Detection API, wo du dann deinen Text hinschicken kannst, um das zu erkennen. Wobei das natürlich auch schon wieder so eine Sache ist, ne? Als Besitzer der Detection API bekomme ich jetzt ganz schön viele interessante Trainingsinformationen.

Fabian Walther: Ja, ja, ja. Die können dann demnächst das Produkt für den DeClaude anbieten, weil die nämlich genau wissen, was sie tun müssen.

Ole Wendland: Ja, wenn du die ganzen Forschungspapiere und so weiter kriegst, also gerade Universitäten und Behörden werden das ja stark einsetzen. Ja, da hast du natürlich dann wieder eine Datenschutzlücke gegen die nächste getauscht.

Fabian Walther: Ja, ich finde das gerade bei Texten tatsächlich schwierig. Ich meine, bei Bildern kann man sich wahrscheinlich darauf einigen, dass es relativ naheliegend ist, dass man da irgendwie ein Wasserzeichen drauf macht, dass es KI-generiert ist. Ich meine, das ist allein aus Demokratiegründen wahrscheinlich nicht verkehrt, dass man das irgendwie tut. Aber die Frage ist dann ja auch: Reicht es schon, dass du irgendwie einen KI-Filter drübergelegt hast, der einfach nur so ein bisschen die Lichtstimmung verändert oder irgendwie Rauschen entfernt? Ist das dann schon KI-generiert? Es ist aber halt auch schon manipuliert. Fände ich aber noch okay, wenn man halt mit einem Bild irgendwie Sachen besser sichtbar macht, zum Beispiel auf einem Bild, als wenn es jetzt komplett erfunden ist. Und ich finde, da gibt es eigentlich nicht so ein Schwarz-Weiß. Früher gab es ja auch schon: Wenn es einmal durch Photoshop durchgegangen ist, ist es dann noch das Originalfoto? Wenn man weiß, wie Digitalkameras funktionieren, dann war es nie das Originalfoto, was da rausfällt. Ja, ich bin da noch nicht so richtig entschieden. Ich habe da auch drüber nachgedacht. Bei Bildern finde ich es ein bisschen einfacher als bei Texten, glaube ich. Ist jetzt irgendwie ein KI-übersetzter Text, der im Original aber quasi komplett dem menschlichen Hirn entsprungen ist, ist das dann schlecht, nur weil der jetzt KI-übersetzt ist mit Übersetzerhilfe? Weiß ich nicht, also.

Ole Wendland: Es wird da schon nachgedacht. Nee, ich sehe es aber genauso wie du. Es stellt ja halt so einen Generalverdacht dar. Wenn du deinen Text, der komplett dein eigener ist, und sagen wir, ich habe ihn auf Deutsch geschrieben, weil ich es besser kann als Englisch und ein bisschen faul geworden bin, und ich lasse es dann mit Anthropic oder ChatGPT übersetzen, und dann wird er als 100 Prozent KI-generiert markiert: schwierig. Und es trifft halt auch wieder nur die Dummen. Der wirkliche Betrüger verwendet halt diese DeWatermark- oder DeClaude-Tools und kommt auch drum herum. Ich finde die Idee, glaube ich, gut. Ich denke aber auch, gerade mit dem Hintergedanken, dass du halt so eine API hast, die du ansprechen musst und dann dein Daumen hoch oder Daumen runter kriegst beziehungsweise deinen Prozentsatz, wie wahrscheinlich es ist, dass es KI-generiert ist. Wahrscheinlich muss man es andersherum machen. Man muss wahrscheinlich so Blockchain-mäßig seine eigenen Texte taggen, dass du nachweisen kannst, das ist mein eigener Gedanke. Und bei allem anderen muss man halt davon ausgehen, dass da zu einem gewissen Prozentsatz KI mit dabei war. Und das Wettrennen kann man, glaube ich, nicht gewinnen.

Fabian Walther: Na, ist ja auch die Frage: Ist es denn schlimm? Das ist immer so die Frage. Ich meine, im Endeffekt, wenn dir jetzt jemand eine E-Mail schickt und die ist KI-generiert und da steht irgendeine Beleidigung drin, dann kann er sich nicht darauf zurückziehen, dass es ja mit KI generiert ist, sondern da hat jemand diese E-Mail abgeschickt. Wenn er die vorher nicht liest, dann ist es halt schon die eigene Verantwortung. Es ist halt wie beim Code: Wenn ich den generiere, bin ich dafür verantwortlich, und wenn der halt schlecht ist, dann fällt das auf mich als Person zurück und ich muss mich dafür verantworten. Und so sehe ich es da im Grunde auch. Das finde ich immer so: Solche Sachen versuchen halt, ein soziales Problem technisch zu lösen, weil das soziale Problem ist aber trotzdem da. Jemand muss Verantwortung dafür nehmen, dass er eben nicht ein Bild so photoshoppt, dass es was völlig anderes darstellt, und dann damit irgendeine Newsmeldung raushaut. Wenn die halt inhaltlich falsch ist, muss die Person dafür die Verantwortung tragen. Ist halt nur die Frage, wie viel Kollateralschaden man dann schon vielleicht verhindern kann durch so ein Wasserzeichen. Ich bin da auch noch nicht so richtig entschieden, aber ich glaube, es könnte, es versucht immer so ein bisschen, da Menschen aus der Verantwortung zu nehmen, die dann sagen: Nee, steht ja nicht dran, ist ja kein Wasserzeichen drauf, dann kann ich das auch bedenkenlos teilen, so ein Foto oder sowas, weil dann bin ich da raus aus der Haftung quasi, nur weil das Wasserzeichen nicht drauf ist, ohne dass ich vielleicht drüber nachgedacht habe: Sollte ich jetzt irgendein komisches Skandalbild teilen? Ja, bin ich auch noch nicht so ganz entschieden, aber ich habe so ein bisschen diese Befürchtung, man versucht da irgendwas Soziales irgendwie technisch zu lösen. Man nimmt dann einfach viele Leute aus der Verantwortung dadurch. Ob man dann nicht wirklich mehr Schaden anrichtet, als man Gutes schafft, so, ne?

Ole Wendland: Ja, es wird halt nicht funktionieren. Deinen Fotovergleich finde ich eigentlich sehr gut. Nicht jedes Foto ist gleich wichtig. Wenn ich mein Urlaubsbild auf Instagram erstelle, dann kann ich das manipulieren, richte keinen Schaden an. Wenn ich allerdings irgendwelche politischen Fotos manipuliere, dann hat das schon einen anderen Stellenwert. Aber da denke ich auch wieder so: Das war halt auch immer schon so, ne? Stalin hat auch immer seine Leute raustuschieren lassen, die er umgebracht hat, und die Trump-Fotos von seiner Vereidigung waren auch so geschossen, dass der Platz voll aussah, und dann hat man ein Weitwinkel gesehen und gesehen, da waren nur ein paar Nasen, die da zur Vereidigung von Trump da waren. Ja, ich glaube auch, das Problem lässt sich technisch nicht lösen.

Fabian Walther: Genau, das ist halt jetzt demokratisiert, und jetzt ist es plötzlich ein Problem. Vorher konnten das halt nur die Leute, die genug Geld hatten, die konnten dann Leute bezahlen, das zu tun, und jetzt kann es jeder, und jetzt ist da natürlich ein Problem. Da frage ich mich auch, das ist auch ein bisschen unehrlich dann. Na ja. Gut. Okay, dann würde ich sagen, dann lass uns dies für heute abschließen. Wir hätten noch jede Menge Dinge, aber da gucken wir dann mal, was nächste Woche noch wichtig ist, und dann bringen wir es dann, und was vielleicht dann schon überholt ist, ist dann auch nicht mehr wichtig gewesen. Treffen wir uns hoffentlich demnächst dann schon wieder. Mal gucken, nächste Woche wird es bei mir wahrscheinlich knapp, aber vielleicht in der übernächsten Woche.

Ole Wendland: In der übernächsten Woche bin ich im Urlaub, aber danach die Woche kriegen wir es, glaube ich, hin.

Fabian Walther: Sehr gut, dann lass uns das erstmal festhalten. Und dann hat sich bis dahin auch wieder wahrscheinlich schon wieder manches rauskristallisiert, was wirklich berichtenswert ist. Gut, dann freut es mich, dass wir es geschafft haben heute. Danke dir.

Ole Wendland: Gerne.

Fabian Walther: Und dann würde ich sagen: Tschüss, bis zum nächsten Mal. Dies waren die News vom 20. August. Ich habe es am Anfang vergessen zu sagen. Macht es gut, bis dann.

This summary was generated automatically and has not been manually reviewed. It may therefore contain errors. The spoken word in the recording is always authoritative.

AI News #10 – mit Fabian Walther und Ole Wendland:

Fabian ist aus dem Urlaub zurück, und in der Zwischenzeit hat sich vor allem bei Google etwas verschoben. Diese Ausgabe dreht sich um die Frage, wer künftig Forschung macht und wer nur noch Infrastruktur verkauft. Dazu kommt ein Thema, das die Folge durchzieht: Harnesses. Für Coding, für Agent-Plattformen, sogar fürs Training. Am Ende geht es um Wasserzeichen und die Frage, ob sich ein soziales Problem technisch lösen lässt.

Google verliert sein KI-Spitzenteam

Die Vermutung aus der letzten Folge, warum es bei Gemini 4 so still bleibt, hat eine Erklärung bekommen. Ole zählt die Abgänge auf: Noam Shazeer, einer der Köpfe hinter „Attention is all you need", ist zu OpenAI gegangen, John Jumper von AlphaFold zu Anthropic. Jetzt hat sich das beschleunigt. Demis Hassabis, CEO von Google DeepMind, muss das Tagesgeschäft abgeben und bekommt eine strategische Rolle, was viele als Entmachtung lesen. Bei Isomorphic Labs, dem Wirkstoffforschungszweig, bleibt er Chef. Gegangen sind außerdem Jeff Dean, auf den praktisch die gesamte Google-Infrastruktur von MapReduce über BigTable bis Spanner zurückgeht und der zuletzt das TPU-Programm leitete, sein langjähriger Pair-Programming-Partner Sanjay Ghemawat, Google-Brain-Mitgründer Quoc Le sowie Oriol Vinyals, der hinter Seq2Seq, Show and Tell und AlphaStar steht. Sie gründen ein neues Studio namens Discovery Loop, das Forschungshypothesen automatisch aufstellen und prüfen soll. Finanziert wird es unter anderem von Google.

Vom Forschungslabor zum Hyperscaler

Ole ordnet ein, was das bedeutet: Google DeepMind ist geschwächt, GCP dagegen gestärkt. Die Erwartung ist, dass Google künftig auf Anthropic setzt, TPUs produziert und Infrastruktur verkauft, statt selbst das große Forschungsrad zu drehen. Für GCP hat Google mehrere hundert Prozent Wachstum im nächsten Jahr vorhergesagt. Fabian liest das als Optimierung auf Shareholder Value: Cloud-Geschäft ist kalkulierbar, Forschung ist Risiko. Intern soll es genau daran gehakt haben. Die Forschungsteams mussten hart um ihren Compute kämpfen, weil sie intern mit zahlenden Kunden konkurrierten, und Google fühlte sich zunehmend wie eine Behörde an. Fabian findet das schade, weil Google mit Android, den vielen Touchpoints zum Nutzer und YouTube eigentlich eine sehr gute Ausgangsposition hatte. Unbequem ist die Entwicklung vor allem für Apple, das seine Modellstrategie gerade komplett auf Google ausgerichtet hat. Ole sieht auch eine mögliche positive Lesart: Vielleicht waren es zu viele Stars, und jetzt ist Teamleistung gefragt.

DeepSeek veröffentlicht einen kompletten Agent-Harness

DeepSeek hat einen eigenen Harness veröffentlicht, der bei GitHub durch die Decke geht: 30.000 Stars nach wenigen Stunden, über 100.000 nach vier Tagen. Ole beschreibt das Prinzip als maximale Variabilität. Alles ist ein Plugin und alles austauschbar, von Agent Loop, Tool Scheduler und Sandbox über UI bis SDK. An DeepSeek-Modelle ist man nicht gebunden, OpenAI oder Anthropic lassen sich genauso einstecken. Transparenz war offenbar ein zentrales Architekturziel, entsprechend wird doppelt und dreifach geloggt. Fabian sieht darin die Bestätigung eines Trends, den zuvor schon der schlanke Pi-Agent vorgemacht hat: dünner Kern, alles über Plugins. Für ihn hat das einen sehr praktischen Grund. In Claude Code sind rund 30.000 Tokens Kontext verbraucht, bevor man überhaupt etwas gemacht hat. Wer mit kleineren lokalen Modellen arbeitet, muss seinen Kontext klein halten, und modulare Harnesses erlauben genau das, weil man Dinge herauskonfigurieren kann oder sie gar nicht erst enthalten sind.

DeepSeek-Modelle: stille Punkt-Updates, leicht steigende Preise

Nebenbei hat DeepSeek Updates seiner Modelle nachgeschoben, erkennbar an Suffixen wie V4 Flash 0731, die in den Benchmarks plötzlich deutlich besser abschneiden. Warum nachtrainiert wurde, ist beiden nicht klar. Fabian hatte DeepSeek nach V4 Pro und Flash schon für eine Weile abgemeldet, sieht sie jetzt aber klar weiter am Ball. Auffällig ist, dass die Preise wieder leicht angezogen haben. Ole vermutet einen Zusammenhang mit Kimi, das Preise auf Sonnet-Niveau verlangt: Wenn das durchgeht, muss man nicht mehr über den Preis kämpfen. Fabian widerspricht in einem Punkt. Der Druck nach unten bleibt, weil die lokalen Modelle immer besser werden und als ständige Drohung von unten wirken.

Qwen 3.8 in groß und klein

Qwen hat mehrere Varianten veröffentlicht. Max gibt es gehostet, die Gewichte kamen später nach, laut Transkript mit 2,4 Milliarden Parametern, wofür man laut Ole schon ein kleines Rechenzentrum braucht. Preislich liegt es im Mittelfeld mit 2 Dollar pro Million Input-Tokens und 6 Dollar pro Million Output-Tokens. Selbstbewusst nennt Qwen es „second only to Fable 5", hinter Sol liegt es wohl auch noch. Interessanter für den Alltag ist die 27B-Variante, die in Benchmarks sehr gut abschneidet. Fabian hat sie ausprobiert und hält sie für das momentan Beste, was lokal in dieser Größenklasse läuft, bei rund 30 GB Speicher in der 8-Bit-Variante. Der Pelikan sah gut aus, das Kamel ging auch. Spannender findet er, was jetzt auf Hugging Face passiert: Seit die Gewichte da sind, beginnt die Post-Training-Welle. Kleinere Unternehmen holen über neue Quantisierungstechniken, Speculative Decoding oder sogar Continued Pre-Training noch Prozente heraus. In der Summe führt das dazu, dass lokal statt 20 plötzlich 60 Tokens pro Sekunde herauskommen. Ole ergänzt, dass Qwen längst Industriestandard ist. Selbst DeepSeek baut seine kleinen Modelle auf Qwen-Basis. Ein Wegfall wäre ein herber Schlag.

Harnesses fürs Training: Ornith 1.5

Fabian erinnert an die Ornith-Modelle, die einen bemerkenswerten Trainings-Harness entwickelt haben. Erfüllt ein Modell die Benchmarks zu gut, macht der Harness die Aufgaben automatisch schwerer und trainiert neu, bis ein Ceiling erreicht ist. Das löst das Problem statischer Benchmarks, auf die man einmal hin optimiert, und bringt den Harness-Gedanken samt agentischer Loop ins Training. Weil das auf Open-Weights-Modellen aufsetzt, können es auch kleinere Unternehmen machen. Ornith 1.5 ist erschienen, allerdings offenbar noch nicht auf Basis von Qwen 3.8. Fabian erwartet spürbare Zugewinne in agentischen Benchmarks, sobald das nachgezogen wird. Ole sieht darin den Weg in Richtung Singularität, wenn Agents Agents trainieren. Fabian bremst: Ihm reichen gute, schnelle agentische Modelle, die er lokal benutzen kann.

Meta bleibt offen: Muse Glimmer und der Trend zum Agentic Model

Meta hat mit Muse Glimmer wieder ein offenes Modell veröffentlicht, ausdrücklich als Open Agentic Model. Es ist darauf optimiert, agentische Workflows zu orchestrieren, und bildet bewusst wenig Weltwissen ab. Fabian hatte Meta nach dem geschlossenen Muse Spark schon auf dem Weg zum reinen API-Geschäft gesehen und findet gut, dass die offene Strategie weiterläuft. Wenn bei den großen geschlossenen Anbietern durch Google Konkurrenz wegfällt, ist Wettbewerb bei den offenen Modellen umso wichtiger. Ole erkennt darin einen breiteren Trend, den auch Nvidias Nemotron zeigt: spezialisierte Modelle für Agentic Workflows. Statt das ganze Weltwissen hineinzutrainieren, gibt man den Modellen abstrakte Problemlösungskompetenz und holt das Wissen aus Datenbanken oder dem Internet. Damit erledigt sich auch das Problem veralteten Wissens durch das Cut-off-Date. Fabian ergänzt die wirtschaftliche Logik: Ein neues Modell zu trainieren ist teuer, ein gut geschnittener Harness bringt oft mehr und lässt sich mit normalem Software Engineering bauen. Es geht dabei nicht darum, die Technologie mächtiger zu machen, sondern sie richtig einzuschränken.

Sandboxing, Permissions, Governance

Ole hat gelesen, dass die Hälfte aller Unternehmens-Agents ohne Sandbox läuft. Anthropic hat einen eigenen Harness veröffentlicht, LangChain bringt Managed Deep Agents, ein dritter Anbieter zieht nach. Auffällig ist, dass alle drei bei derselben Dreischichten-Architektur landen. Erstens Ausführungsisolation über MicroVM oder Container, die allerdings nur das eigene System schützt: Müll ins Repository pushen können die Agents weiterhin. Zweitens Permissioning, also die Frage, was ein Agent überhaupt darf, ein Dauerproblem schon bei MCP. Anthropics Ansatz besteht laut Ole darin, Permissions und Nachrichten als reinen Plain Text ohne Sonderzeichen zu halten, damit sich nichts heimlich injecten lässt und man auf Exfiltration oder versteckte Prompts scannen kann. Drittens Governance: sehen, welche Agents laufen, wie lange, ob sie auf Eingaben warten. Ole verweist auf den Fall der 10.000 ausgebrochenen Agents und fragt, wie es sein kann, dass eine ganze Horde eine Woche lang Compute verbrennt, ohne dass es auffällt.

Tracing als Hebel zur Optimierung

Für Fabian ist das eigentlich spannende Feature dieser Plattformen das Tracing. Wenn jeder Schritt eines Agenten im Audit Trail landet, kann man hinterher nachvollziehen, was in welcher Reihenfolge passiert ist und wohin es geführt hat. Und man kann diese Traces von anderen Agenten analysieren lassen. So findet man Stellen, an denen der Agent immer wieder dasselbe tut und die man stattdessen deterministisch als Tool bereitstellen kann. Nach 80 beobachteten Runs kennt man den Lösungsraum gut genug, um ihn als Code abzubilden. Das Ergebnis ist eine agentische Loop, die die fachlichen Agents kontinuierlich verbessert, und ganz konkret weniger Token-Verbrauch. Dasselbe Prinzip funktioniert bei Permissions: Man beobachtet, welche URLs und Dateien ein Agent tatsächlich braucht, lockt dieses Set und lässt sich bei allem Neuen einmal fragen. Fabian sieht darin viel Geschäftspotenzial und einen nachhaltigen Nebeneffekt, weil weniger Tokens auch weniger Strom bedeuten.

Wasserzeichen für KI-Texte

Auslöser ist der EU AI Act mit seiner Transparenzpflicht für KI-generierte Inhalte, die seit Anfang August greift. Seit dem 2. August markiert Anthropic seine generierten Texte, und Google, Meta, Microsoft und OpenAI sind ebenfalls dabei. Ole erklärt das Verfahren: Wenn zwei Tokens in der Verteilung dicht beieinanderliegen, etwa „der Himmel ist grau" und „der Himmel ist bewölkt", entschied früher Zufall oder Temperature. Jetzt werden diese Wahrscheinlichkeiten so manipuliert, dass die Auswahl nicht mehr zufällig ist. Wer den Verteilungsschlüssel kennt, kann später statistisch sagen, ob ein Text von KI bearbeitet wurde. Die Grundlage ist SynthID, eine Forschung von Google DeepMind aus 2024. Anthropic behauptet, das halte einiger Manipulation stand, gleichzeitig gibt es schon Tools wie Watermark Remover oder DeClaude. Es gibt eine Detection API, an die man Texte schicken kann, was Ole skeptisch sieht: Wer die Detection API betreibt, bekommt sehr interessante Trainingsdaten geliefert, gerade aus Universitäten und Behörden. Fabian formuliert es zugespitzt: Genau die könnten demnächst das Umgehungsprodukt anbieten.

Ein soziales Problem, technisch gelöst?

Beide sind unentschieden. Bei Bildern finden sie ein Wasserzeichen naheliegend, allein aus Demokratiegründen, aber schon dort fängt die Abgrenzung an. Reicht ein KI-Filter, der die Lichtstimmung ändert oder Rauschen entfernt? Bei Texten ist es noch schwieriger. Ein Text, der komplett dem eigenen Kopf entsprungen und nur KI-übersetzt ist, würde als vollständig KI-generiert markiert. Ole nennt das einen Generalverdacht, der vor allem die Ehrlichen trifft, weil echte Betrüger die Umgehungstools nutzen. Sein Gegenvorschlag: eigene Texte nachweisbar taggen, statt fremde zu scannen, und bei allem anderen von einem KI-Anteil ausgehen. Fabian hält vor allem die Verantwortungsfrage für entscheidend. Wer eine KI-generierte Mail mit einer Beleidigung abschickt, ohne sie zu lesen, ist dafür verantwortlich, genau wie bei generiertem Code. Seine Sorge ist, dass ein Wasserzeichen Menschen aus der Verantwortung nimmt: Kein Wasserzeichen drauf, also bedenkenlos teilen. Ole verweist auf die historische Dimension. Stalin ließ Leute aus Fotos retuschieren, und die Bilder von Trumps Vereidigung waren so geschossen, dass der Platz voll aussah. Fabians Fazit: Das Problem ist jetzt demokratisiert und deshalb plötzlich ein Problem. Vorher konnten es nur die, die genug Geld hatten.

Ausblick

Themen wären noch genug da. Die kommen in die nächste Folge, sofern sie dann noch aktuell sind.