AI News #8

This transcript was generated automatically and has not been manually reviewed. It may therefore contain errors. The spoken word in the recording is always authoritative.

Fabian Walther: Herzlich willkommen und Grüße an euch alle zur achten Folge der AI News vom 10. Juli. Schön, dass ihr da seid. Wir sind wieder zurück, leider wieder getrennt, aber trotzdem für euch da. Nach einer wilden Woche, zumindest bei mir. Wie war das bei dir, Ole?

Ole Wendland: Hallo Fabian. Meine Woche war eher ruhig, würde ich sagen. Hier ist es wieder warm, wir haben wieder fast 30 Grad. Ich habe ein bisschen Token Maxing betrieben und versucht, mein Fable noch auszunutzen, bis es nächste Woche verschwindet. Aber darüber werden wir gleich bestimmt noch in der Folge sprechen.

Fabian Walther: Da reden wir gleich drüber, genau. Ja, ich habe mich auch ganz viel mit Agent Coding beschäftigt, aber natürlich im Rahmen des Trainings. Grüße gehen raus an die lustige Truppe aus Düsseldorf. Da habe ich auch gute Tipps bekommen. Ich lerne die ganze Zeit dazu und kann euch gleich noch etwas weitergeben. Wir haben in einer der letzten Folgen über verschiedene Dinge gesprochen, besonders viel über Fable. Es bietet sich an, dass wir jetzt noch mal darüber reden, denn inzwischen konnten wir ja alle wieder groß rumprobieren. Da gucken wir gleich drauf. Dann haben wir noch ein bisschen was Neues von SpaceX beziehungsweise den neuen Modellen, die von ehemals xAI kommen. Und diese Woche gibt es hauptsächlich ziemlich viele Model News, würde ich sagen. Das zieht sich so durch. Da gucken wir uns dann ein bisschen Benchmarks an und schauen mal, was wir davon halten. Wollen wir dann einfach gleich wieder mit Anthropic anfangen? Sonnet 5 ist da, Fable 5 ist da, wir können es benutzen. Was ist dein Take?

Ole Wendland: Sie haben uns ja mit Fable wieder ein bisschen angeködert. Für den 7.7. war es ja erst wieder abgekündigt, dass es hinter die Paywall verschwindet. Also habe ich es fleißig genutzt, um mein Quota für diese Woche komplett auszureizen, nur um dann am 8. morgens zu sehen: Oh, es wird ja doch noch mal verlängert. Schade, dass mein Quota schon ausgenutzt ist. Aber dann gab es noch das Happy End, dass sie, ich glaube gestern Abend oder heute Morgen, die Quota sogar noch mal zurückgesetzt haben.

Fabian Walther: Noch mal verlängert, glaube ich auch, und die Quota zurückgesetzt. Man kann also noch mal ordentlich weiter testen, damit auch jeder, der der Meinung ist, dass er das in Zukunft weiter benutzen und gerne weiter dafür zahlen möchte, das auch tun kann. Das heißt, du warst jetzt die ganze Zeit auf Fable und hast Erfahrung gesammelt?

Ole Wendland: Ich bin viel auf Fable gewesen. Ich war tatsächlich, glaube ich, ein bisschen zu viel auf Fable. Ich habe da einige größere Spezifikationen für ein Softwareprojekt machen lassen, insgesamt so 16 Module spezifizieren lassen, ein bisschen Richtung Spec Driven Design, ohne dass ich ein richtiges Framework dafür verwendet habe. Ich habe allerdings gemerkt, dass Fable dafür Overkill war. Ich glaube, es wäre besser gewesen, ein kleineres Modell zu nehmen und Fable korrigieren zu lassen. Also das, was man als Speculative Decoding bezeichnet: dass man tatsächlich ein günstiges Modell die Arbeit machen lässt und das große Modell es sich dann nur noch mal durchlesen lässt. Im Nachhinein muss ich sagen, das wäre der schlauere und schnellere Ansatz gewesen. Denn wie früher zu den alten Gaming-Zeiten habe ich immer gewartet, dass dieses Zwei-Stunden-Quota zurückgesetzt wurde, und dann mit dem Handy den nächsten Lauf angestoßen, teilweise um 12 Uhr nachts. Das war schon lustig, aber das Fazit wäre gewesen, es lieber mit dem kleineren Modell zu machen. Ich hatte in dieser einen Woche auch relativ hohe Kosten, fast 300 $. Hätte ich keinen Seed, hätte ich Token-Kosten von knapp 300 $ zusammengekratzt. Das war vielleicht ein bisschen Overkill.

Fabian Walther: Ja, zum Thema Token-Kosten und Token-Ökonomie kommen wir später noch. Wir hatten diese Woche mit den Teilnehmern im Training so eine Übung gemacht und in Claude Code eine Statusbar konfigurieren lassen, um einfach mal in Echtzeit die Kosten in Dollar anzeigen zu lassen, obwohl dort Subscriptions verwendet wurden. Einfach, um ein Gefühl dafür zu bekommen: Was heißt es denn, wenn ich das Modell wechsle und gewisse Dinge mache, und ich dann sehe, wie die Dollarzahl hochsteigt? Das gibt einem so ein bisschen das Gefühl. Es ist wie das Schild, das am Aufzug steht, wo dann steht: Willst du nicht doch lieber die Treppe nehmen? Dass man einfach ein bisschen im Hinterkopf behält, was man da eigentlich gerade tut und was man da vielleicht gerade verbrennt. Das fand ich eine gute Idee vom Kollegen, der sich das überlegt hat. Da kommen wir nachher noch drauf, was diese ganzen Kostendinge bedeuten. Aber das ist mittlerweile echt ein Thema. Man könnte jetzt natürlich sagen: Es gibt ja auch Sonnet 5, das ist ganz günstig und neu gekommen. Jetzt nimmt man standardmäßig wieder hauptsächlich Sonnet 5 für die ganzen Coding-Aufgaben. Was wäre deine Meinung dazu?

Ole Wendland: Habe ich tatsächlich auch gemacht. Aber jetzt kommt gleich der Plot Twist. Du hast ja einen Benchmark herausgegriffen, welche Modelle eigentlich kosteneffizient sind, basierend auf dem DeepSWE Benchmark, der einfach mal alle Modelle in ihren Thinking Levels durchgetestet hat: was wie viele Tokens generiert und wie viel Prozent im Benchmark erreicht. Das kann ich euch nur heiß empfehlen, das fand ich super interessant. Das Ergebnis war eigentlich, dass ein Fable mit einem sehr niedrigen Thinking Effort, also Low oder Medium, häufig kosteneffizienter ist als ein Opus in High oder sogar Sonnet. Also Sonnet 5 lohnt sich für fast keine Coding-Aufgaben, kam dabei heraus.

Fabian Walther: Oh, ich will mich nicht mit fremden Lorbeeren schmücken. Wie gesagt, das war ein Gedanke von einem Teilnehmer aus dem Training, danke noch mal dafür. Aber ich habe mir das dann auch im Detail angeschaut, und genauso ist es. In diesem DeepSWE Benchmark war es eben so, dass ein Sonnet für die Aufgaben irgendwie fünfmal so viele Tokens „verbrannt" hat und damit von den Kosten das Vier- bis Fünffache war, glaube ich, von dem, was ein Fable mit Low Effort an Token-Kosten verursacht hat. Obwohl es pro Token teurer ist, hat es wesentlich weniger Tokens benutzt. Das fand ich super interessant, und da gibt es also noch einen Faktor mehr, den man bei den Kosten im Blick behalten kann, und an dem man viele Schrauben drehen kann. Dieses „benutz einfach das günstigste Modell, das gerade noch funktioniert für deinen Anwendungsfall" ist nicht mehr das, was man empfehlen kann. Sondern man muss auch die Metrik im Blick behalten: Wie viele Tokens werden eigentlich für bestimmte Aufgabentypen verwendet? Bei Anthropic waren das wirklich Sonnet 5 und die Fable-Geschichte, das war das Hauptsächliche. Bei Fable kam natürlich noch die ganze Geschichte mit dem Classifier dazu, die für viel Aufregung gesorgt hat: dass an vielen Stellen, je nach Prompt, so eine Art Router davorsitzt, der sich den Prompt anguckt und dann sagt: Oh, nee, das ist mir jetzt zu gefährlich, das schick ich lieber an den Opus. Und dann zahlt man die Fable-Preise für Opus. Das ist natürlich auch nicht so schön.

Ole Wendland: Mittlerweile ja gar nicht so schlimm. Wir haben ja gerade festgestellt, dass Opus meistens teuer ist. Vielleicht kann man sogar Geld sparen, wenn man an ein Fable weitergeleitet wird.

Fabian Walther: Auf jeden Fall ein interessanter Gedanke, ein interessanter Hack: wenn man immer bestimmte Begriffe in die Prompts einbaut, eigentlich Fable benutzt und dann hintenrum Opus bekommt. Was dann Anthropic mehr Tokens kostet und dich vielleicht weniger. Ich bin gespannt, ich weiß gar nicht, wie sie das abrechnen. Wenn sie dich auf Opus switchen und das dann mehr Tokens verbraucht, als Fable verbraucht hätte, rechnen sie dir dann die Fable-Tokens zum Fable-Preis ab? Ich weiß es nicht.

Ole Wendland: Ich denke, sie werden dir immer den höheren Preis abrechnen.

Fabian Walther: Ja, ja. Und dann wird es natürlich wirklich schwierig.

Ole Wendland: Wobei, für Q3 wird Anthropic ja auch ein ganz guter Gewinn vorhergesagt. Früher waren Model Labs ja immer so eine Maschine, um Geld zu verbrennen, aber bei Anthropic passt das jetzt natürlich auch sehr gut zu ihrem Börsengang. Vielleicht ändert es sich danach noch mal wieder rapide, aber für Q3 haben sie eine Milliarde Gewinn vorhergesagt, was wohl zum größten Teil daher rührt, dass sie die Effizienz ihrer Modelle, also wie viel Energie sie für wie viele Tokens verwenden müssen, extrem steigern konnten.

Fabian Walther: Ja, ich kann mir auch vorstellen, dass da noch sehr, sehr viel Potenzial drin ist, das zu optimieren. Normalerweise haben wir ja bei diesen großen Hyperscalern, Amazon ist das beste Beispiel dafür, dass sie immer versucht haben, möglichst wenig „Gewinn" zu machen, sondern den Gewinn immer sofort zu reinvestieren, um die marktbeherrschende Stellung weiter zu festigen. Ich vermute, dass das bisher auch eher das Prinzip war: alles Geld, das man kriegt, zu investieren, um den Markt zu beherrschen. An dieser Stelle müssen sie jetzt aber auch gucken, dass sie attraktiv für die Börse aussehen, also müssen sie jetzt einen Kompromiss fahren und erst mal wirklich profitabel werden. Wahrscheinlich werden sie danach wieder knallhart investieren, zumindest mit der Kohle, die sie durch den Börsengang einnehmen, die können sie dann ja auch wieder investieren. Ich würde sagen, das ist wahrscheinlich gerade einfach ein bisschen Schauspielerei, die sie da machen. Aber wir wissen es natürlich nicht. Gab es zu dem IPO bisher noch neue Informationen?

Ole Wendland: Das Einzige, was mich überrascht hatte: Den Papierkram haben sie wohl zum 1. Juni eingereicht. Die Schätzung für das dritte Quartal ist eine Milliarde Gewinn. Irgendwer hatte ausgerechnet, wenn ihre Wachstumszahlen so weitergehen, sind sie Ende 2027 das wertvollste Unternehmen der Welt, also vor Nvidia, mit 6 Billionen.

Fabian Walther: Mhm.

Ole Wendland: Der Großteil der Einkünfte kommt aus der API-Nutzung. Bei ihnen ist das Verhältnis von API-Nutzung zu Abomodell komplett gedreht im Vergleich zu OpenAI, und damit machen sie deutlich mehr Geld als OpenAI.

Fabian Walther: Ja, da spielen sie ja auch immer damit. Da gab es auch ein paar Rollen rückwärts, wo sie gesagt haben, gewisse Dinge gehen sofort auf API-Nutzung. Da war ich auch am Recherchieren, weil sie gesagt hatten: Alternative Harnesses zum Beispiel, die gehen sofort, selbst wenn du das mit deiner Subscription benutzt, auf Overspend beziehungsweise auf API-Token-Abrechnung. Das haben sie erst mal angekündigt, aber dann scheinbar doch eine Rolle rückwärts gemacht. Zwischendurch hatten sie gesagt: Okay, wir machen jetzt einfach zwei Kontingente, das eine für Claude Code und das andere für deine anderen Harnesses, aber wir verwalten zwei Kontingente für dich. Das haben sie dann wohl auch wieder zurückgerollt, und jetzt kannst du die Subscription erst mal weiterhin mit alternativen Harnesses benutzen. Wahrscheinlich gucken sie sich das jetzt einfach weiter an, aber der Aufschrei war schon ziemlich groß. Sie versuchen aber schon, möglichst viel in diese API-Abrechnung reinzudrücken, weil die Marge da sehr viel größer ist als bei den Subscriptions. Gut, lass uns mit den Model News weitermachen. Am besten mit OpenAI, das war jetzt quasi tagesaktuell heute: GPT-5.6, die verschiedenen Varianten, die rausgekommen sind.

Ole Wendland: Genau. Auf dem amerikanischen Markt waren sie sogar schon etwas früher verfügbar, also nicht das ganz große Modell, das Soul. Erst mal haben sie ihr Namensschema umgestellt. Es ist jetzt, glaube ich, nicht mehr GPT-5.6, sondern jetzt haben sie auch drei Klassen: Soul, Terra und Luna. Soul das größte, Luna das kleinste. Ähnlich wie Anthropic, weil, ich glaube, coole Namen verkaufen sich einfach besser. Wobei, sie haben vielleicht ein bisschen groß angefangen. Was kommt denn noch nach Soul? Machen sie dann Galaxy oder so? Egal.

Fabian Walther: Ja, Sachen ausdenken kann man sich auf jeden Fall noch.

Ole Wendland: Genau, auch wieder so ein Rollout mit Partnerorganisationen zuerst. Sie mussten sich auch dem Exportzwang unterordnen, oder haben es zumindest gemacht, worüber sie selbst auch nicht glücklich waren. Ansonsten ist Effizienz das, womit sie groß werben: dass ihre Modelle Ähnliches liefern wie Anthropic, aber dafür deutlich effizienter sind. Das spiegelt sich auch einfach eins zu eins in dem Benchmark wider. Der DeepSWE ist tatsächlich der einzige Benchmark, wo sie Fable schlagen, aber auch da mit einem Bruchteil der Kosten. Effizienz haben sie zurzeit wohl richtig gut im Griff.

Fabian Walther: Ja. Man hat wirklich das Gefühl, dass sie darauf geachtet haben, dass es keine Tokenschleudern sind, sondern dass die generierten Tokens sinnvoll sind, wenn man das so sagen möchte. Dass man wirklich sieht, dass es wesentlich weniger Tokens sind, die dann auch noch günstiger sind. Zumindest wenn man den Benchmarks erst mal Glauben schenken darf, haben sie auf jeden Fall mindestens aufgeschlossen. Es gab ja bei uns intern auch schon einige Codex-Fans, die wirklich sagen: Das ist sowieso die ganze Zeit schon das Beste, was wollt ihr eigentlich die ganze Zeit mit eurem Claude? Insofern war das wahrscheinlich schon immer nicht so weit weg, aber zumindest scheinen sie dranzubleiben und mindestens ähnlich gute Endergebnisse zu erzielen, jetzt sogar vielleicht ein bisschen effizienter. Ich weiß gar nicht, was da noch war, ob sie auch irgendwelche dieser Classifier-Geschichten haben. Irgendwas müssen sie da wahrscheinlich auch tun, dass sie jetzt das Gleiche machen wie Anthropic und zumindest an die US-Regierung signalisieren: Hier, wir haben spezielle Safeguards eingebaut, wir tun da was. Wie das im Endeffekt genau aussieht, habe ich noch nicht recherchieren können.

Ole Wendland: Haben sie, ist mir aber auch noch nicht aufgefallen, da bin ich auch noch nicht reingerannt. Aber bei Anthropic auch noch nicht. Ich habe einen Freund, das hatte ich glaube ich letztes Mal schon erzählt, der macht Biologie und kriegt eigentlich keinen einzigen Prompt durch, weil in seinem Memory steht, dass er was mit Biologie macht. Was mir aufgefallen war: Meta hat einen Benchmark zum Thema, wie sehr die Modelle geneigt sind zu cheaten, also eine Art Cheating Detection beziehungsweise Reward Hacking. Da ist zumindest das Soul-Modell wohl negativ aufgefallen, dass es ziemlich alles tut, um in Benchmarks gut auszusehen, und auch den Benutzer hinters Licht führt.

Fabian Walther: Ja, das ist mittlerweile wirklich die Frage, inwiefern auf Benchmarks optimiert wird. Die Frage kam diese Woche auch von einem Teilnehmer, als ich einen Willison-Fahrrad-fahrenden-Pelikan mit einem lokalen Modell generiert habe. Dann kam natürlich gleich die Frage: Ist vielleicht mittlerweile in die Modelle schon eintrainiert, dass sie besonders gut Pelikane auf Fahrrädern als SVG generieren können? Ich habe dann ein Kamel generiert, das Fahrrad fährt, das sah auch okay aus. Insofern weiß ich nicht, da müssten sie schon auf alle Tiere optimiert haben, die Fahrrad fahren. Ich glaube, dass wahrscheinlich beides richtig ist. Natürlich versucht man, genau die Patterns, die in den Benchmarks abgefragt werden, besonders gut zu reproduzieren. Aber die Benchmarks versuchen ja in der Regel auch, praxisorientierte oder realistische Tasks abzubilden, insofern ist das nicht verkehrt. Wenn das so ein Race ist, dass man versucht, die Benchmarks besonders gut zu erfüllen, sollte das ja auch dazu führen, dass man die ähnlichen praktischen Aufgaben dann gut erfüllen kann.

Ole Wendland: Die Trainingsläufe selbst werden ja auch anhand der Benchmarks geratet. Ob der Trainingslauf erfolgreich war oder ob das Reinforcement Learning einen in die richtige Richtung gebracht hat, wird ja auch über genau dieselben Benchmarks evaluiert. Und natürlich ist das Reward Hacking da eigentlich schon Teil des Trainingsprozesses. Ich habe aber auch keine bessere Lösung, um ehrlich zu sein.

Fabian Walther: Nee, ich bin da auch kein Experte für Modelltraining. Anders kann ich mir das auch nicht vorstellen. Man muss halt irgendwie eine Zielvorgabe machen, und das ist nun mal der Benchmark. Ansonsten kann man das eben nicht automatisiert trainieren, und dann gehen wir wieder dahin, dass Menschen die ganze Zeit die Ergebnisse raten müssen. Und da wollen wir, glaube ich, auch nicht wieder hin.

Ole Wendland: Wo du es ansprichst: Cognition, die Firma hinter Devin, hatte einen ziemlich interessanten neuen Benchmark rausgebracht, der tatsächlich größtenteils wieder von Menschen evaluiert und geratet wurde. Sie haben Frontier Code rausgebracht. Die Idee dahinter ist nicht einfach: Welche Merge Requests werden grün und welche erfüllen die Tests? Sondern: Welche Merge Requests würden von Senior-Developern auch wirklich gemergt werden? Wie sieht es mit dem Code Style aus, wie mit Kommentaren, ist das wirklich Code, den man mergen würde? Und da sind die Zahlen auf einmal deutlich ernüchternder als in den Standard-Benchmarks. Es tut sich was, und ich finde das auch total gut und richtig, weil das ja die eigentliche Frage ist, die wir stellen müssen: Ist das, was da rauskommt, sofort mergebar oder nicht? Der Benchmark ist schon ein bisschen älter, da war noch Opus 4.8. Auf dem höchsten Schwierigkeitsgrad kam Opus 4.8 gerade mal auf 13 % und GPT-5.5 auf 6 %; in den leichteren Kategorien kam man auf 22, 20 und 30 %. Aber das ist weit weg von dem, was sie bei SWE-bench oder DeepSWE und so weiter erreichen.

Fabian Walther: Ja, klar. Wenn du heute einen neuen Benchmark rausbringst, dann willst du natürlich nicht, dass ihn schon alle Modelle zu 90 % erfüllen, dann ist dein Benchmark ja hinfällig. Das heißt, wenn ich einen neuen Benchmark konzipieren würde, würde ich ihn wahrscheinlich auch nur veröffentlichen, wenn er wirklich sehr niedrige Raten für die Modelle hat, damit man eine positive Entwicklung zeichnen und die Modellanbieter vor sich hertreiben kann. Ich fand aber auch interessant, dass er wieder sehr viel praxisnäher ist. Wobei, da müsste ich mir wahrscheinlich noch mal genau durchlesen, wie er aufgesetzt ist, weil „würde ich etwas mergen oder nicht" natürlich auch sehr viel Subjektivität enthält. Das ist die Frage, wie man das objektivieren kann, zumindest was Code Style angeht. Da ist die Frage, ob es dann wirklich einen konkreten Leitfaden gibt, dem man folgt.

Ole Wendland: Das ist ja …

Fabian Walther: Aber an sich finde ich den Gedanken auf jeden Fall spannend. Denn wenn du so einen großen MR vom Modell bekommst und den sowieso noch mal komplett reviewen musst, und dann auch noch extrem viel ändern musst, dann ist ja immer die Frage: Wann ist der Zeitpunkt erreicht, an dem du es dann hättest selber machen können? Das heißt, es muss schon ein Ergebnis rauskommen, das nicht diese krasse Nacharbeit erfordert.

Ole Wendland: Zur Erstellung kann ich dir sogar etwas erzählen. Sie haben so 50 Maintainer von großen Open-Source-Projekten genommen. Es basiert wohl auf 36 Open-Source-Frameworks, und pro Repository sind wohl so 40 Stunden an Kriterien und Feedback eingeflossen, was sie tatsächlich bei sich mergen würden und was nicht. Da ist wirklich erheblicher Aufwand reingegangen, das von Hand zu designen und Regeln zu erstellen, was okay ist und was nicht.

Fabian Walther: Okay.

Ole Wendland: Okay.

Fabian Walther: Ja, nee, das sieht auf jeden Fall super aus, das gefällt mir richtig gut. Wir brauchen, glaube ich, einfach mehr neue Benchmarks, und dann kann man irgendwann wieder Meta-Benchmarks machen: Man wirft die wieder alle in einen Topf und kriegt dann wahrscheinlich irgendwann doch eine relativ schöne zeitliche Entwicklung abgebildet. Cool. Wie kamen wir da jetzt hin? Wir waren gerade bei den GPT-Modellen und sind dann Richtung Benchmark geschweift. Wir haben noch mehr neue Modelle. Es gab tatsächlich was von SpaceX, SpaceX xAI, wie man sie auch immer nennen möchte, die jetzt mal wieder ein Grok-Modell rausgebracht haben. Und Grok war ja bisher nicht so berühmt, abgesehen von den ganzen politischen Problemen, die mit dem Modell und mit Elons Persönlichkeit in Verbindung stehen. Deswegen ist es nichts, was ich persönlich einsetzen würde. Aber ich habe so ein bisschen das Gefühl, sie versuchen jetzt erstens, über den Preis wieder reinzukommen, und was Benchmarks angeht, sind sie offensichtlich vielleicht sogar wieder konkurrenzfähig, so wie das aussieht.

Ole Wendland: Genau. Ich kann dich erst mal beruhigen: Für Europa ist es eh gar nicht freigeschaltet. Wir kommen gar nicht in Versuchung, es zu benutzen, weil Elon die Europäer nicht mag. Fair enough. Ich mag ihn auch nicht.

Fabian Walther: Ja, gut, auf Gegenseitigkeit.

Ole Wendland: Genau, es ist deutlich größer geworden, dreimal größer als das aktuelle Modell, also auch wieder so 1,5 Billionen Parameter. Es soll sehr günstig sein, 6 $ für 1 Million Output Tokens, was ungefähr Opus-Qualität entspricht, also ungefähr auf dem Level von Opus 4.7, 4.8. Wie du schon sagst, sie versuchen es einfach über den Preis.

Fabian Walther: Ja, den Fakt fand ich noch mal ganz interessant: Sie hatten ja Cursor gekauft, wir berichteten. Die Information war, dass sie dieses Modell tatsächlich auf den Sessions von Leuten trainiert haben, die Cursor benutzt haben. Das kann ich verstehen, die ganze Telemetrie ist da, damit kann man natürlich schön so ein Modell trainieren. Aber das sollte man sich immer bewusst sein: Wenn man kommerzielle Entwicklungsumgebungen benutzt, gibt es diesen kleinen Schalter, der meistens per Default an ist, dass der ganze Kram zum Training benutzt werden kann. Das passiert eben auch. Wenn man das nicht möchte, muss man sich Gedanken machen, welche Produkte man benutzt. Hier ist jetzt mal ein schönes Beispiel, wozu das führen kann. Klar, die Qualität kann verbessert werden, aber die Frage ist immer: Möchte man selbst daran teilnehmen oder nicht?

Ole Wendland: Tatsächlich wundert es mich, dass Cursor hauptsächlich von amerikanischen Unternehmen eingesetzt wird und nicht mehr Unternehmen auf ihre Datenschutzbedingungen geachtet haben. Wir haben ja auch nur Verträge mit Anbietern, die uns Zero Retention zusichern. Okay, wir leben in einer Privacy-Gesellschaft.

Fabian Walther: Ja, gut, es kann ja sein, dass sie das nicht von den Firmen konnten, sondern eben von den Privatkunden, die Freikontingente benutzen. Und dann ist es wie immer: Wenn du nichts bezahlst, dann bist du das Produkt. Vermutlich war das genauso der Fall, wenn du Cursor heruntergeladen hast. Ich weiß nicht, wie viele Free Tiers die hatten, aber wahrscheinlich hatten sie welche, sodass man es zumindest in einem gewissen Rahmen kostenlos benutzen konnte.

Ole Wendland: Es würde mich wundern, wenn sie es nicht hätten. Aber dass die Sessions auf jeden Fall knallhart benutzt werden.

Fabian Walther: Ja, vielleicht so viel erst mal zu Grok, das ist auch noch ganz frisch. Wie gesagt, wir haben es beide nicht benutzt. Man kann es nur weiter beobachten, inwiefern sie damit dranbleiben können. Bisher war es eher so, dass sie bei SpaceX keine konkurrenzfähigen Modelle hatten und deswegen ihre ganze Rechenleistung an die anderen vermietet haben, die konkurrenzfähige Modelle hatten. Vielleicht brauchen sie jetzt mal wieder ein bisschen was von ihren Nvidia-Karten selbst, wenn sie damit wieder Marktanteile gewinnen.

Ole Wendland: Der ganze Kauf von Cursor wird sich, glaube ich, nicht rechnen. Aber es ist mittlerweile ein Modell, wo man flexibel umschichten kann: Vermiete ich meine Rechenzentren, oder benutze ich sie selber?

Fabian Walther: Ja, gut, Amazon hat ja gezeigt, dass das ganz gut funktioniert. Wenn du die Kapazität nicht immer brauchst, dann vermietest du sie halt. Ist ja auch nur naheliegend.

Ole Wendland: Genau. Ich hatte noch eine kleine Kategorie: chinesische Open-Weight-Modelle. Da können wir vielleicht noch mal rübergucken. Da hatte ich eigentlich nur einen Tipp, vielleicht auch Tipp der Woche. Ich falle manchmal so ins Rabbit Hole, dass ich auf Hugging Face rumsuche, was es denn so für feingetunete oder posttrainierte, gecustomizete Modelle gibt. Und da bin ich auf dieses Ornith-Modell gestoßen, das ich ziemlich interessant fand, weil sie so ein Self-Improving-Learning-Trainings-Harness haben. Kann man sich noch mal im Detail durchlesen, was das bedeutet, aber da merkt man eben auch, dass so eine Modellqualität steigen kann, wenn man den Trainingsprozess entsprechend mit einem Harness versieht und ihn dort immer wieder selbst verbessern lässt. Das fand ich interessant. Aber der eigentliche Fakt, den ich interessant fand: Es ist so ein bisschen ein Frankenstein-Modell, weil es irgendwie auf Gemma 4 von Google und auch auf Qwen 3.5 basiert, die beide eigentlich einen ganz guten Ruf als lokale Modelle haben. Qwen eher als Coding-Modell, Gemma 4 eher als General-Purpose-Modell für lokal. Aber die haben sie kombiniert und daraus ein neues Modell gebastelt. Ich habe es jetzt lokal in der 4-Bit-quantisierten Variante benutzt, das braucht dann ungefähr 30 GB RAM, aber damit kann man echt lokal interessante Ergebnisse erzielen. Hat mir gut gefallen, war bei mir lokal auch schneller als das Gemma 4. Da bin ich mir nicht sicher, inwiefern das aber einfach an der Engine lag. Aber es ist ein tolles Modell, um lokal damit rumzuspielen und lokal Code zu generieren. Und wie gesagt, so ein gecustomizetes auf Basis anderer Open-Weight-Modelle. Da machen gerade kleinere Unternehmen oder auch Privatleute extrem spannende Experimente, einfach auf Basis der Open-Weight-Modelle. Da merkt man, wie mächtig dieses Konzept ist: wenn man etwas offen zur Verfügung stellt, benutzen die Leute das und machen es einfach besser.

Fabian Walther: Genau, so viel vielleicht zu lokalen Modellen. Wir hatten hier noch irgendwas mit GLM 5.2, gab es da was Neues? Ich bin mir nicht mehr sicher, wir haben es letztes Mal erwähnt.

Ole Wendland: Ja, wir hatten es letztes Mal schon drin. Ein paar mehr Benchmarks sind rausgekommen, es schlägt sich ziemlich gut. Bei dem DeepSWE Benchmark hat es sich jetzt gerade nicht so gut geschlagen, was Preis und Qualität angeht, aber ansonsten ist es einfach das Open-Source-Modell, das die beste Qualität liefert. Du brauchst allerdings, wenn du die große Variante mit 8-Bit-Quantisierung laufen lassen willst, glaube ich, schon 8 H100s. Man braucht also einen richtigen Stack von H100-GPUs, um das bei sich laufen zu lassen.

Fabian Walther: Ja, es ist nichts zum Zuhause-Hosten, aber wirklich ein sehr gutes Modell, wenn man bestimmte Compliance-Anforderungen hat. Wir können das intern auch über den genannten Provider benutzen, den wir erwähnt haben; es gibt mehrere Provider in der EU, die das anbieten, mit Zero Data Retention und AVV und allem Drum und Dran. Und da hat man dann ein Coding-Modell, das man in noch wesentlich mehr Kontexten sinnvoll einsetzen kann.

Ole Wendland: Hey, sind wir denn durch mit den Model News, oder haben wir noch weitere?

Fabian Walther: Nee, mit den Model News wären wir durch.

Ole Wendland: Die halbe Stunde ist eigentlich auch rum.

Fabian Walther: Die halbe Stunde. Ich hatte gerade überlegt, was wir noch machen könnten.

Ole Wendland: Wir können noch ein bisschen was zum Token Maxing bringen. Da gab es eine ganz interessante Studie dazu.

Fabian Walther: Ja, bring die noch. Ich habe auch noch ein Paper, das würde ich auch gerne noch unterbringen. Dann machen wir die beiden Sachen noch. Sag noch kurz was zum Token Maxing.

Ole Wendland: Genau, es war eine Analyse darüber, wie die Firmen Token Maxing betreiben oder auch nicht mehr betreiben. Was sehr bezeichnend war: Man sieht einen sehr hohen Spread über die Unternehmen. Es gibt Unternehmen, die teilweise 90.000 $ pro Mitarbeiter und Jahr mittlerweile in Tokens investieren. Der Median pro Jahr war aber nur 136 $.

Fabian Walther: Okay.

Ole Wendland: Man sieht, es gibt diese extremen Fälle, die heute auch in die Presse kommen. Aber je nach Branche ist das eigentlich ein viel geringeres Problem, als es teilweise scheint. Ich glaube, 136 $ bekommt man meistens an Effizienzgewinnen wieder raus, das wäre mein Bauchgefühl. Selbst Anthropic hat ihren eigenen Claude-Code-Bedarf im Schnitt mit 150 bis 250 $ pro Entwickler und Monat angegeben. Das ist auch so die Range, in der ich meistens liege, und die Modelle sind es, glaube ich, einfach wert.

Fabian Walther: Das hätte ich jetzt auch gesagt. So diese typische 100-Dollar-Subscription, die es gerade gibt, oder wenn du sagst, du verbrauchst Tokens im entsprechenden Gegenwert, 1, 2, 3, 100 Dollar im Monat: Das, was du damit rauskriegst, da würde ich aus meinem Bauchgefühl sagen, die Effizienzsteigerung ist auf jeden Fall drin. Ich bin mir nicht sicher, ob wirklich diese krassen Faktoren, die man sich da erwartet oder erhofft. Aber das ist bisher zumindest meine Haltung, dass man diese krassen Effizienzsteigerungen da noch nicht sieht.

Ole Wendland: Nee, man ersetzt seine Entwicklungsabteilung nicht komplett. Dafür hängt man ja auch viel zu sehr an der Umgebung, an irgendwelchen Prozessen, an seiner Architektur. Was wohl viele Firmen mittlerweile machen, ist Budgeting, das fand ich auch ganz interessant. Und häufig ist es so, dass Juniors viel weniger pro Monat an Tokens haben als Seniors. Wir finden das natürlich gut, weil wir alle schon Seniors sind.

Fabian Walther: Ja, das ist natürlich auch so ein bisschen ein Steuerungsmechanismus. Jemand, der wenig Erfahrung hat, kann natürlich mit sehr vielen Tokens sehr viel Schaden anrichten, wenn er sehr viel Code generiert, der eigentlich nichts wert ist oder den man lieber gar nicht haben möchte. Und zumindest meine Erfahrung ist, dass seniorige Personen, das war vorher schon so, eher versuchen, weniger Code zu schreiben, weil sie wissen, dass sie den maintainen müssen. Genauso ist es jetzt mit den Agenten: dass du dir möglichst wenig Code generieren lassen willst, weil du auch den als mentales Modell im Kopf behalten und eventuell maintainen musst, und den musst du vielleicht auch noch maintainen, wenn dir die großen Firmen die Modelle wegnehmen. Das ist so ein Ding, das kann ich schon verstehen, dass man da versucht, nicht zu den jungen, wilden Personen zu sagen: Generiert mal, was das Zeug hält. Das ist wahrscheinlich im Sinne des Unternehmens.

Ole Wendland: Vielleicht auch im Sinne der Junior-Entwickler.

Fabian Walther: Ja.

Ole Wendland: Damit sie mehr Erfahrung selber sammeln können und schneller Senior-Entwickler werden. Ach, und was noch in der Studie stand: dass auch die Layoffs, also Amazon hat ja 30.000 rausgeworfen, um Cashflow zu schaffen und ihren Rechenzentren-Ausbau wieder zu steigern. Aber mittlerweile sind sie dabei, wohl wieder schneller Leute einzustellen, und werden die 30.000 in anderen Positionen vermutlich bald wieder eingestellt haben.

Fabian Walther: Ja, da habe ich auch das Gefühl, das war so ein ganz kurzer Hickup. Und das haben sie jetzt, glaube ich, doch alle relativ schnell verstanden, dass das keinen Sinn ergibt.

Ole Wendland: Es ist ein Shifting in Positionen. Sie stellen nicht wieder dieselben Leute ein.

Fabian Walther: Genau. Das kann ich mir schon vorstellen. Natürlich verschieben sich die Rollen, aber du hast weiterhin Bedarf an Menschen, die Verantwortung übernehmen und Entscheidungen treffen, was ja eben das ist, was die Agenten nicht können: Verantwortung übernehmen. Die kannst du nicht feuern, das geht einfach per Definition nicht. Gut, das fand ich wirklich noch mal interessant, dass man mittlerweile nicht mehr von Maxing spricht, sondern eher von Token-Ökonomie, wie man damit umgeht. Gut. Dann gebe ich noch kurz meinen Paper-Tipp der Woche mit, den man sich mal angucken kann, ein bisschen zum Thema Security. Es ging um das Thema Prompt Injection, und das Paper heißt „Prompt Injection as Role Confusion". Das fand ich besonders interessant, weil ich mich gerade noch mal eingelesen hatte in das Post-Training und in diese ganzen speziellen Tokens, die man im Post-Training in die Modelle reinbringt, wo das Modell dann die Information bekommt: Okay, dieser Abschnitt des Prompts war jetzt etwas, was vom System kommt, das ist etwas, was der User eingegeben hat, das ist etwas, was das Modell generiert hat. Damit man eine Konversation tatsächlich abbilden kann und nicht einfach nur Text vervollständigt wird, sondern wirklich eine Konversation. Und in dem Paper wurde nachgewiesen, dass man diese speziellen hineintrainierten Tokens, die das Modell normalerweise intern erzeugt, während man mit ihm interagiert, anders triggern kann. Dass man durch bestimmtes Prompting einem Modell vorgaukeln kann: Okay, das, was jetzt kommt, sind deine eigenen Thinking Tokens, das waren deine eigenen Gedanken, die ich dir jetzt hier gerade unterschiebe. Das heißt, auch diese speziellen posttrainierten Tokens, die so ein bisschen als Sicherheitsnetz genannt werden, dass man sagt, okay, das Modell wird diesen Prompt vielleicht nicht befolgen, weil es weiß, das kam aus einem Tool Call von einem Web Fetch oder so, und wird deswegen diese Malicious-Anweisung vielleicht nicht befolgen: Man kann diese Tokens eben auch anders triggern und dann seine eigenen Sachen einschleusen. Das fand ich sehr interessant. Wenn euch also Leute erklären wollen, ja, das ist jetzt getaggt als etwas, was vom User kommt, deswegen wird das besonders ernst genommen und das andere nicht: Ja, ist halt nicht so.

Ole Wendland: Genau. Finde ich wieder eine total clevere Idee, eigentlich, mit den Thinking Tokens. Ich mache mir da jetzt nicht viele Sorgen, wahrscheinlich wird dann irgendein Nonsens oder irgendetwas anderes eingefügt, damit du sichergehen kannst, dass das auch deine eigenen Thinking Tokens sind. Macht die Sache natürlich wieder komplexer.

Fabian Walther: Ja, ich glaube, das ist ein Arms Race, weil auch diese Tokens nicht im Klartext abgelegt, sondern reintrainiert werden. Das heißt, diese Tokens werden auch nur in Gewichte überführt, und diese Gewichte kannst du natürlich irgendwie anders triggern. Das muss man dann pro Modell wieder rausfinden, wie man das tun kann, aber man kann es vermutlich immer rausfinden. Für mich scheint das einfach ein konzeptionelles Problem zu sein, aus dem du nicht rauskommst, das du mit diesem Konzept einfach nicht lösen kannst. Gut, okay, jetzt habe ich ganz schön überzogen, weil ich das so spannend fand. Ich mache Schluss für heute und wir sehen uns dann hoffentlich noch einmal vor meinem Urlaub, der in drei Wochen sein wird. Dann können wir hoffentlich noch zusammen eine Folge machen vor der kurzen Sommerpause. Ich freue mich, wenn ihr alle wieder dabei seid, wenn du wieder dabei bist, und bedanke mich für die Aufmerksamkeit und bei dir natürlich fürs Mitmachen.

Ole Wendland: Danke. Dann bis zum nächsten Mal.

Fabian Walther: Bis dann.

This summary was generated automatically and has not been manually reviewed. It may therefore contain errors. The spoken word in the recording is always authoritative.

Eine Folge fast ganz im Zeichen der Model News, aufgenommen remote nach einer Trainingswoche. Es geht um viele neue Modelle, vor allem aber um eine Frage, die sich durch die ganze Episode zieht: Was kostet das eigentlich alles, und wie geht man mit Tokens klug um?

Fable bleibt (vorerst) und die neue Kostenrechnung

Ole berichtet von seinem Fable-Wochenende: Erst war das Modell für den 7.7. hinter der Paywall abgekündigt, dann kam die Verlängerung samt Quota-Reset. Er hat es fleißig für ein größeres Spec-Driven-Projekt (16 Module) genutzt, dabei aber gemerkt, dass Fable dafür Overkill war und fast 300 $ an Token-Kosten angefallen wären. Sein Fazit: besser ein kleineres Modell arbeiten lassen und Fable nur prüfen lassen (Speculative Decoding). Fabian ergänzt einen Trainingstipp: eine Statusbar in Claude Code, die die Kosten live in Dollar anzeigt, als sanfte Erinnerung daran, was man gerade verbrennt. Der Aufreger bei Fable bleibt der Classifier-Router, der riskante Prompts heimlich an Opus weiterleitet. Kurioser Nebeneffekt: Weil Opus teurer ist, könnte man dadurch sogar sparen.

DeepSWE: Sonnet 5 lohnt sich kaum

Kern der Kostendebatte ist der DeepSWE Benchmark, der Modelle über ihre Thinking Levels hinweg auf Kosteneffizienz testet. Ergebnis: Ein Fable mit niedrigem Thinking Effort (Low/Medium) ist häufig kosteneffizienter als ein Opus in High oder ein Sonnet. Fabian rechnet nach: Sonnet verbrennt für dieselben Aufgaben rund fünfmal so viele Tokens. Die neue Metrik lautet also nicht mehr „nimm das günstigste Modell, das gerade reicht", sondern „achte darauf, wie viele Tokens ein Aufgabentyp wirklich kostet".

Anthropic vor dem IPO

Ole ordnet die Zahlen ein: Für Q3 sagt Anthropic rund eine Milliarde Gewinn voraus, vor allem durch stark gestiegene Modell-Effizienz, und der Papierkram für den Börsengang wurde zum 1. Juni eingereicht. Ein Großteil der Einnahmen kommt aus der API-Nutzung, wo die Marge deutlich höher ist als beim Abo. Passend dazu die diversen Rollen rückwärts bei der Abrechnung alternativer Harnesses. Fabian vermutet, dass die aktuelle Profitabilität teils Schauspielerei für die Börse ist und danach wieder aggressiv investiert wird.

OpenAI: neue Namen, klarer Effizienz-Fokus

OpenAI stellt das Namensschema um: statt GPT-5.6 nun drei Klassen Soul, Terra und Luna (Soul das größte, Luna das kleinste). Beworben wird vor allem Effizienz, und im DeepSWE ist es der einzige Benchmark, in dem OpenAI Fable schlägt, dazu mit einem Bruchteil der Kosten. Ole verweist aber auf einen Meta-Benchmark zu Reward Hacking, in dem das Soul-Modell negativ auffiel: Es tut viel, um in Benchmarks gut auszusehen. Das führt zur grundsätzlichen Debatte, wie stark Modelle auf Benchmarks hin optimiert werden, inklusive Simon Willisons Pelikan-auf-dem-Fahrrad-Test.

Frontier Code: Würde ein Senior das mergen?

Ole stellt Frontier Code vor, einen Benchmark von Cognition (der Firma hinter Devin), der großteils von Menschen bewertet wird. Die Frage ist nicht „werden die Tests grün?“, sondern „würden Senior-Developer diesen Merge Request wirklich mergen?”, inklusive Code Style und Kommentaren. Rund 50 Maintainer, 36 Open-Source-Frameworks und je etwa 40 Stunden Kriterienarbeit stecken darin. Die Zahlen sind ernüchternd: Auf dem höchsten Schwierigkeitsgrad kam Opus 4.8 auf 13 %, GPT-5.5 auf 6 %.

Grok, Cursor und der Datenschutz

Von SpaceX xAI kommt ein neues Grok-Modell, dreimal größer als der Vorgänger (rund 1,5 Billionen Parameter), sehr günstig (6 $ pro 1 Million Output Tokens) und laut Benchmarks wieder konkurrenzfähig, für Europa aber nicht freigeschaltet. Brisant: Das Modell wurde offenbar auf den Cursor-Sessions von Nutzern trainiert. Fabians Mahnung: Der Trainings-Schalter in kommerziellen Entwicklungsumgebungen ist meist per Default an. Wer das nicht will, muss bei der Produktwahl aufpassen, INNOQ arbeitet nur mit Anbietern, die Zero Retention zusichern.

Lokale Modelle: Ornith und GLM 5.2

Ole empfiehlt als Tipp der Woche ein Frankenstein-Modell von Hugging Face („Ornith"), das Gemma 4 und Qwen 3.5 kombiniert und einen Self-Improving-Trainings-Harness nutzt. In der 4-Bit-Variante (rund 30 GB RAM) liefert es lokal überraschend gute Coding-Ergebnisse. GLM 5.2 bleibt das qualitativ beste Open-Source-Modell, braucht für die große 8-Bit-Variante aber etwa 8 H100-GPUs, also nichts fürs Zuhause, aber via EU-Provider mit Zero Data Retention und AVV nutzbar.

Token-Ökonomie statt Token Maxing

Eine Studie zeigt einen enormen Spread: Manche Firmen investieren 90.000 $ pro Mitarbeiter und Jahr in Tokens, der Median liegt aber bei nur 136 $. Anthropic selbst nennt 150 bis 250 $ pro Entwickler und Monat für Claude Code. Viele Firmen betreiben inzwischen Budgeting, oft mit weniger Tokens für Juniors als für Seniors. Beide sind sich einig: Die Entwicklungsabteilung ersetzt das nicht, und Verantwortung übernehmen können Agenten weiterhin nicht.

Paper-Tipp: Prompt Injection as Role Confusion

Fabians Security-Tipp ist das Paper „Prompt Injection as Role Confusion". Es zeigt, dass die im Post-Training hineintrainierten Spezial-Tokens (System, User, Modell, Thinking) gezielt anders getriggert werden können, sodass man einem Modell eigene Inhalte als vermeintlich eigene Thinking Tokens unterschiebt. Fabians Fazit: Das oft beschworene Sicherheitsnetz „das ist als User-Input getaggt" trägt nicht, es ist ein konzeptionelles Problem und ein Arms Race.