AI News #14

Dieses Transkript wurde automatisiert erstellt und nicht manuell überprüft. Es kann daher Fehler enthalten. Massgeblich ist immer das im Mitschnitt gesprochene Wort.

Fabian Walther: Herzlich willkommen zurück bei den AI News, Folge 14 vom 28.10. Ich begrüße Ole zurück in der Heimat. Hallo Ole.

Ole Wendland: Hallo Fabian. Ja, diesmal wieder eine Folge im gewohnten Setup.

Fabian Walther: Ja, ist beruhigend. Es gibt so viele Veränderungen gerade, da ist es schön, wenn manche Dinge doch immer wieder eine Gewohnheit ausstrahlen. Das freut mich. Bist du wieder gut nach Hause gekommen? Hast du deine Tour beendet?

Ole Wendland: Meine Tour ist beendet. Ich war die letzten Wochen allerdings auch schon wieder viel unterwegs, aber hier in der Schweiz liegt schon langsam der erste Schnee in den Bergen. Wenn ich so aus dem Fenster gucke, sieht man die Gipfel. Gestern hat es wieder ein bisschen geschmolzen, aber die Gipfel sind schon so langsam weiß gezuckert. Es wird hier weihnachtlich und schön.

Fabian Walther: Da freue ich mich drauf. Ich bin ja, ich glaube in zwei Wochen, bei euch auf dem Meetup auch vor Ort und kann mir das mal aus der Nähe angucken. Habe zwar nicht so viel Zeit, aber ich freue mich schon drauf, dann ein bisschen die Berge zu sehen.

Ole Wendland: Zürich weiß ich noch nicht. Du musst ein bisschen mehr zu mir kommen, oder wir müssen mal auf den Zürichberg raus.

Fabian Walther: Ja, dann sehe ich sie zumindest. Genau, wir können auf den Zürichberg raus, von da aus kannst du es bestimmt sehen.

Ole Wendland: Ja, mal gucken, ob wir die Zeit finden. Ich freue mich drauf, zumindest.

Fabian Walther: Aber wir haben uns zusammengefunden, weil wieder Dinge passiert sind. Es passieren immer Dinge, aber diesmal gibt es ein bisschen Börsen-News. Da müssen wir natürlich drüber sprechen. Anthropic will an die Börse, und da sind jetzt im Rahmen der Veröffentlichung ein paar Infos rausgefallen. Wir haben uns auch noch mal damit beschäftigt, und dann kann man mal gucken, was da so unser Eindruck von dieser ganzen Geschichte ist. Darüber müssen wir auf jeden Fall sprechen. Dann gibt es natürlich ein bisschen Model-News, und ich habe noch was von JetBrains mitgebracht, die haben ein spannendes neues Experiment gemacht. Damit werden wir heute mal unsere Zeit verbringen. Vorab aber noch ein paar ganz kurze Korrekturen, die ich anbringen muss. Wir hatten über Kolibri geredet, das deutsche Modell, und ich hatte gesagt, das wäre von den Black Forest Labs, aber es war natürlich von Aleph Alpha, wie du gesagt hast. Entschuldigung dafür. Die Black Forest Labs haben halt immer diese kleineren Modelle gemacht, dieses kleine FLUX, diese FLUX Image Modelle und so was, die haben noch gar nicht so große Frontier-Geschichten gemacht. Aber das war Aleph Alpha. Das die Korrektur, und eine zweite Sache hatte ich noch: Ich hatte gesagt Mistral, weil ich gesehen hatte, dass Mistral 4, Le Chonk, über das wir gesprochen hatten, schon irgendwie auf OpenRouter verfügbar war. Aber das wurde dann wiederum nur von Mistral selbst angeboten, weil die Gewichte nämlich noch nicht offen sind. Die wollten sie Ende Oktober veröffentlichen. Ich habe gerade noch mal geschaut, ich habe sie noch nicht gefunden. Eigentlich sollten sie jetzt kommen, weil das ja Open Weight ist. Mistral 4, aber die Gewichte sind noch nicht da, da müssen wir wohl noch ein bisschen warten, bis es das dann auch bei anderen Anbietern zu beziehen gibt. Das waren die Korrekturen, und dann würde ich sagen, steigen wir in das wichtigste Thema ein. Keine Ahnung, ob es das wichtigste ist, aber ich finde es auf jeden Fall wichtig: der Anthropic-Börsengang. Du hast bestimmt das ganze Dokument schon im Detail durchgelesen, oder? Ich bin jetzt auch kein Börsenexperte, deswegen hier keine Anlagetipps, Disclaimer vorweg. Ich habe auch hauptsächlich Sekundärquellen durchgeschaut. Was ist denn dein Eindruck, was sagt denn das Internet?

Ole Wendland: Ich habe es tatsächlich runtergeladen und mal reingeguckt, aber es sind 400 Seiten. Ich habe es auch primär aus Sekundärquellen, ich habe es noch nicht komplett gelesen. Aber was man drin findet: Es war ja immer viel gemunkelt worden, ist AI profitabel, wie viel leben sie eigentlich von Investorengeld, wie viel Verluste machen sie? Und im amerikanischen Börsensystem muss man das vor so einer IPO, also einem Initial Public Offering, wenn man das erste Mal an der Börse gehandelt wird, alles offenlegen. Ich fand es super interessant. Super viele Dinge, über die man so ein bisschen gemunkelt hat, standen drin. Es wird wohl groß, ich bin gar nicht sicher, wahrscheinlich der größte Börsengang ever. Wird irgendwie zwischen 1,5 und 2 Billionen US-Dollar geschätzt, was einfach absurd ist.

Fabian Walther: Zahlen, Schall und Rauch, ja.

Ole Wendland: Ja, gut, klar, aber nein, nicht ganz. Also schon Geld, und sie bezahlen ja auch viel mit Aktien. Da kommen wir später, glaube ich, noch ein bisschen zu. Das Kürzel ist ANT, also Ant für Anthropic. Die Daten sind alle bis zum 30. Juni, das heißt, Q3 ist noch gar nicht drin. In Q2 hatten sie knapp 1 Milliarde Gewinn gemacht. Was ich interessant fand: Für Inference, also was sie tatsächlich an ihre Kunden verkaufen, geht nur 15 % ihres Computes drauf. Das bedeutet, dass der Rest in Model Training und in Research und Development geht, und der größte Batzen ist wohl Research und Development. Wir hatten schon mal drüber gesprochen: Als Firma hat man ja diese Opportunitätskosten und verschiedene Töpfe. Research und Development ist Grundlagenforschung, wie machen wir effizientere, schnellere und bessere Modelle? Dann gibt es den Topf, wie trainieren wir das Modell für die nächste Produktion, also wie sie jetzt das neue Fable trainiert haben, was normalerweise größer ist als Research und Development. Und wie viel verwenden wir von unserer knappen Ressource Compute eigentlich für unsere Kunden? Ich glaube, wir hatten immer spekuliert, dass 30 % von ihrem Compute für die Kunden verwendet wird. SemiAnalysis hat schon mal gesagt, das kann nicht mehr aufgehen. Sie kriegen so und so viel mehr Compute, sie werden so und so viel Prozent effizienter, das kann nicht mehr 30 % sein, sie müssten eigentlich mehr in Research und Development stecken. Und ja, zurzeit stecken sie tatsächlich nur 15 % da rein, also Tokens wirklich zum Verkauf zu generieren. Das bedeutet, sie haben eigentlich auch einen Schalter, wo sie leicht sagen können: Wenn uns das Geld ausgeht oder es passt nicht so super, dann stecken wir halt 20 % unserer Kapazität in unsere Kunden und können damit um 25 % ihren Umsatz noch mal erhöhen, weil man die Sachen viel besser verkaufen kann. Das war eine der interessantesten Sachen. Was hatte ich noch? Ah ja, von ihrem Investorengeld, das sie eingesammelt haben, 140 Milliarden US-Dollar, haben sie bis jetzt erst weniger als 10, also 9,4, 9,5 Milliarden verbrannt. Das heißt, so krass defizitär und „wir leben nur von Investorengeld" ist es gar nicht, da ist eigentlich fast alles noch da.

Fabian Walther: Ja, das fand ich auch interessant. Also dieses Verhältnis zwischen „was ist die Inferenz für die Kunden" und „was ist eigentlich R&D", das fand ich auch interessant. Dieses 38 %, zumindest war das die Zahl, die ich gefunden hatte, die Quelle verlinke ich euch auch, 38 % waren R&D-Kosten. Das investieren sie, um vorne mit dabei zu bleiben, aber wie du sagst, da haben sie so einen Schalter, um auch zu sagen, okay, wenn wir jetzt schnell Cashflow optimieren müssen, und der Bedarf ist ja da, das zu verkaufen, dann shiften wir das. Ich weiß jetzt nicht, wie viel davon Personalkosten sind, die sie langfristig committed haben, aber diese 38 % waren, glaube ich, die Compute-Kosten, zumindest ein großer Teil davon. Und dann können sie relativ schnell hin und her schieben und sagen, okay, dann kommt das neue Modell halt ein paar Wochen oder Monate später, und dafür können wir kurzfristig Cash generieren. Das fand ich schon interessant, dass sie da so einen relativ großen Hebel haben. Aber das zeigt für mich auch, dass sie ziemlich viel investieren müssen, um vorne mit dabei zu bleiben. Und wenn das mal kippt, weil sie das R&D nicht mehr leisten können, dann kann es schnell sein, dass sie ins Hintertreffen geraten, und dann können sie vielleicht diese ganzen Versprechen nicht mehr einlösen, die sie sich committed haben. Sie haben ja diese ganzen Hardware-Käufe zugesagt, die ganzen Rechenzentrumskapazitäten, teilweise habe ich gelesen, bis 2045 haben sie zugesagt, Kapazitäten abzunehmen. Das ist auch ziemlich lange hin, aber die müssen sie abnehmen, weil sie das zugesagt haben, egal, ob sie die brauchen oder nicht. Das ist schon eine ganz schön krasse Wette auf die Zukunft, dass Anthropic weiterhin ganz vorne dabei ist und diese ganzen Kunden die ganze Zeit halten kann. Ich würde gerne mal eine Aufschlüsselung sehen, welche Kunden Inferenz bei Anthropic kaufen und was die damit machen. Also ob das Dinge sind, wo die morgen einfach im Router umschalten und sagen, läuft das Produkt halt auf dem anderen Modell, weil sie sich nicht extrem an dieses Modell gebunden haben, oder ob sie das wirklich als Teil ihres Kernprodukts eingebaut haben, mit aufwendigen Eval Frameworks dahinter, und es passt alles genau auf dieses eine Modell. Wie schnell können die Kunden eigentlich wechseln? Aus der Software-Entwicklungsbrille würde ich sagen, man kann momentan relativ schnell wechseln, also zwischen den Modellen.

Ole Wendland: Das kann ich dir sogar sagen, das stand drin.

Fabian Walther: Ja, stand drin.

Ole Wendland: 80 % ihrer Kunden rechnen bedarfsbasiert ab und können über Seeds innerhalb von einem Monat oder so wechseln. Es ist genau auch erwähnt, was du sagtest, sie haben sich sehr langfristig committed, aber ein Großteil ihrer Kunden kann sofort weg. Das waren auch so Kritikpunkte. Sie haben gesagt, 25 % ihres Umsatzes verteilt sich auf fünf große Kunden. Ich weiß nicht, ob das ein unverhältnismäßiges Klumpenrisiko ist, aber da könnte ihnen Ungemach drohen. Alles extrem kurzfristig, weil ein Großteil über so Router verkauft wird, also Bedrock und so weiter. Die Commits sind extrem langläufig. Gut, sie wetten halt darauf, wenn nicht, sind sie wahrscheinlich raus.

Fabian Walther: Ja, alles andere wäre auch ein falsches Signal. Natürlich wetten sie und sagen, wir sind langfristig und wir glauben daran. Sie können jetzt keine Unsicherheit säen, das ist schon richtig. Genau, wie du gerade sagst, über 25 % des Umsatzes kommen über die Marketplaces, also über Amazon und Google, dann wahrscheinlich über deren Clouds, wo dann auch die Modelle bei denen laufen. Das ist dann die Frage.

Ole Wendland: 25 % waren die großen Kunden, fast 50 % kommen über die Marketplaces. Ah, okay, dann habe ich die Zahlen gerade verdreht.

Fabian Walther: Die sind extrem variabel. Wenn die bei Bedrock sagen, wir buchen jetzt OpenAI und nicht mehr Anthropic.

Ole Wendland: Ja, ist weg.

Fabian Walther: Genau, und mein Eindruck momentan ist, wenn ich mit den Kollegen spreche, die AI Engineering machen, dass noch niemand die Produkte und die ganzen Pipelines davor extrem auf ein Modell festgelegt hat und sagt, okay, das funktioniert wirklich nur mit diesem Modell. Sondern die Leute schauen, funktioniert das auch mit ein paar alternativen Modellen, um da eben nicht dran zu hängen. Das heißt, ich glaube auch, dass viele nach wie vor flexibel sind. Das Risiko würde ich schon sehen. Das waren schon interessante Punkte, die zum Nachdenken angeregt haben, was sie da veröffentlicht haben.

Ole Wendland: Zwei Dinge hatte ich noch. Sie haben die gelieferten Tokens um den Faktor 14 gesteigert und den Compute, den sie dafür aufwenden mussten, nur um den Faktor 4. Also sie sind extrem effizient, die Modelle werden immer effizienter darin, Tokens zu generieren. Ein Teil geht auch auf die neuen Nvidia Chips zurück, Hardware hat natürlich auch einen großen Einfluss, aber sie schaffen es mit immer weniger Strom und Betriebskosten immer mehr Tokens rauszuhauen. Sie hatten einen Trainingslauf verschoben, ein großes Pre-Training wurde verschoben, das stand drin, das fand ich sehr interessant. Das kriegt man ja sonst nie mit, wie neue Trainingspipelines laufen. Es stand drin, dass sie auch wegen der Hacking-Vorfälle das eine Pre-Training für ein Frontier-Modell verschoben haben. Claude ist der größte, der teuerste Mitarbeiter von Anthropic. Sie zahlen mehr für ihren eigenen Compute intern als Gehälter an alle ihre Mitarbeiter. Und ein Großteil ihrer Verluste beruht darauf, dass sie teilweise ihre Kunden in Aktien bezahlen. 90 % ihrer Commitments, die sie den Rechenzentren-Anbietern machen, basieren auf ihren Aktien. Und jetzt hast du so eine Dynamik, eigentlich ist das nur ein Buchungseffekt: Je höher ihre Aktie steigt, desto höher steigt der Verlust, und wenn ihre Aktie zusammenklappt, dann klappt auch ihr Verlust zusammen. Also 90 % ihrer Verluste sind darüber zu erklären, dass sie eins zu eins an den Aktienkurs gekoppelt sind. Ich glaube, 80 Milliarden Verlust war angegeben, und 70 davon kommen dadurch, dass es einfach Aktien sind.

Fabian Walther: Ja, das war so angegeben.

Ole Wendland: Genau, da waren so viele drüber gestolpert, was sollen denn diese 80 Milliarden Verlust? Und das war tatsächlich diese Bilanzgeschichte durch die Aktien, die sie zum Bezahlen benutzt haben. Das ist auch schon ein interessantes Modell.

Fabian Walther: Ja, also was ich davon so richtig, aus meiner Brille, von der Seite betrachten kann, und Anlagetipps gebe ich sowieso keine: Ich konnte da jetzt für mich nichts draus ableiten, dass ich mein Verhalten ändern würde. Ich habe das interessiert zur Kenntnis genommen und mich ein bisschen reingelesen, wie das wäre, wenn das schiefgeht, was das bedeuten kann. Und, auch was diese Nvidia-Geschäfte angeht, dass Nvidia diese Zirkelgeschäfte die ganze Zeit macht und Garantien abgibt für Hardware, die sie selbst verkaufen, das hat auch so ein Geschmäckle erzeugt, darüber hatten wir ja auch schon mal kurz gesprochen. Aber bisher sehe ich noch nicht, dass dieses gesamte Thema die Weltwirtschaft gefährdet, zumindest aus den Quellen, die ich gelesen habe. Das bewegt sich momentan noch innerhalb der Branche, und es gibt erste Anzeichen, dass es in andere Branchen rüberschwappen könnte, aber ich sehe noch keine grobe allgemeine Gefahr. Zumindest die Analysten, die sich das Dokument angeschaut haben, konnten da auch nichts draus ableiten.

Ole Wendland: Nee, es sieht eigentlich gut aus für Anthropic. Mit den Risiken, die du angesprochen hast, ist es relativ volatil. Das Problem ist, glaube ich, dass sie jetzt relativ hoch in den Nasdaq und die Aktienbörsen einsteigen und die ganzen Indizes das ja abbilden, also unser MSCI World Index oder so, und die sind dann quasi verpflichtet, diese Aktien zu kaufen. Das ist schon ein Risiko, würde ich sagen, und es verteilt sich dann auch auf alle.

Fabian Walther: Und dann sind es vor allen Dingen die ganzen Kleinanleger, die ETFs gekauft haben, die sind dann plötzlich alle KI-Investoren. Ich bin jetzt ganz froh, dass ich keinen MSCI World mehr habe, sondern einen EU-basierten. Kann gut oder schlecht sein, aber keine Anlagetipps. Da hast du recht, das ist genau der Punkt. Nasdaq hatte ja ihre Regeln so ein bisschen geändert, damit sie diese Börsengänge bekommen, und da ein bisschen die Regulatorik geschliffen. Da hast du genau das Risiko angesprochen, wo es dann doch an die ganzen Kleinanleger gehen kann. Da gab es diesen Fall in Südkorea, ich gucke mal, ob ich dazu was verlinke, wo es gehebelte ETFs auf KI-Aktien gab, wo Kleinanleger diese Dinger gekauft und darauf gewettet haben, und da musste dann die Regulationsbehörde eingreifen, damit das nicht vor die Hunde geht, weil es sich so krass beschleunigt hatte.

Ole Wendland: Ich weiß nicht, ob der Fall so klein war, wenn ich das richtig im Kopf habe. Es ging um so gehebelte SK Hynix Aktien. Ich glaube, da haben 10.000 alles verloren. So klein war der Fall nicht.

Fabian Walther: Ja, aber es konnte contained werden, sozusagen auf die Branche und auf die Anleger. Es ist nicht so, dass irgendwelche Pensionsfonds geplatzt sind, nicht diese Ketten, die sich durch das ganze Finanzsystem ziehen. Sondern es konnte durch Regulatorik contained werden in dem Fall. Was erst mal ein gutes Zeichen ist.

Ole Wendland: Die waren aber auch, sie haben häufig mit zehnfach gehebelten ETFs gehandelt. Also für jeden Dollar, den du investierst, kriegst du neun von der Bank geliehen. Es ist schon ein bisschen gierig, aber irgendwer hat in einer Analyse gesagt, der koreanische Markt ist halt auch ziemlich kaputt. Als junger Mensch ist es wohl fast unmöglich, bei den Lebenshaltungskosten und den Anlageoptionen an Geld zu kommen oder eine Familie zu gründen und ein Haus zu kaufen, und ohne gesichertes Einkommen ist heiraten wohl auch relativ schwierig. Wenn du nichts zu verlieren hast, nimmst du so einen gehebelten zehnfachen ETF, und wenn SK Hynix dann 10 % an Wert verliert, dann wirst du gemargen called, nennt sich das. Weil ja nur 10 % deines eigenen Geldes drin ist, wird dein ganzes Depot zwangsliquidiert, und alles, was am Verkaufstag noch drin ist, wird genutzt, um deine Schulden bei der Bank zu tilgen. War schon unschön für viele Leute, glaube ich.

Fabian Walther: Ja. Da haben sie dann Regeln eingeführt, dass eine gewisse Menge in deinem Depot sein muss, da haben sie schon was getan. Aber da hast du recht, dass Leute sich in diesen Glücksspielmodus begeben, aus wirtschaftlichen Gründen, das kann natürlich genau so was auslösen. Wer SK Hynix nicht kennt, das ist ein RAM-Produzent, und das ist genau der Punkt: dass gerade die Schaufelverkäufer des Goldrauschs vielleicht sogar noch in der Kette sind. Nvidia ist das prominenteste Beispiel, aber die brauchen Speicher für ihre Grafikchips, und Speicher ist das, was knapp ist. Die ganzen Speicherhersteller sind jetzt ausverkauft bis in die nächsten Jahre, und deswegen haben sich da extrem viele Leute Profite bei diesen Speicherproduzenten erhofft. Die sehen gerade die Dollars in den Augen, haben ihre gesamte Produktion ausverkauft und versuchen wahrscheinlich die ganze Zeit, die Produktion zu steigern. Das können sie aber nur begrenzt, weil sie wiederum auf Zulieferer angewiesen sind, die ihnen die Maschinen nicht liefern können.

Ole Wendland: Na ja, die haben komplexe Supply Chains.

Fabian Walther: Ja, am Ende hängt dann alles an TSMC in den Niederlanden. Na ja.

Ole Wendland: Nee, das ist ASML. TSMC.

Fabian Walther: Genau, ASML, und die wiederum kaufen die Maschinen von ASML, um dann die Chips zu belichten. So rum.

Ole Wendland: Aber die hängen ja wieder an Zeiss, die die Spiegel liefern müssen. Das ist alles eine unfassbar komplexe Supply Chain. Das sind, glaube ich, die komplexesten Supply Chains, die wir jemals aufgebaut haben. Und wenn da nur irgendwas schiefgeht, wenn Zeiss kaputtgeht, weil sie keine Spiegel mehr liefern können, wird es ganz interessant.

Fabian Walther: Ja, das ist schon. Insofern bin ich mit meinen EU-ETFs vielleicht gar nicht so schlecht, weil Zeiss und ASML in der EU sind. Vielleicht doch alles richtig gemacht, man weiß es nicht. Okay, haben wir noch was zu Anthropic?

Ole Wendland: Zu Anthropic nicht, aber wir sollten auch noch ein paar andere Themen machen. Wir reden schon 20 Minuten darüber.

Fabian Walther: Ja, das war zu erwarten gewesen. Aber lass gut sein.

Ole Wendland: PHP.

Fabian Walther: PHP. Zu PHP habe ich natürlich in meinem Herzen einen Platz, wie vielleicht viele, weil es mit zu den ersten Dingen gehört hat, mit denen ich beim Programmieren in Kontakt kam. Da konnte man sehr einfach Dinge umsetzen, und es ist wie immer: Es setzt sich nicht die beste Technologie durch, sondern die, die am zugänglichsten ist, und das ist ein super Beispiel dafür. Du kannst einfach die Datei auf den Webserver legen, und dann hat es Code, der ausgeführt wird. Insofern PHP immer noch, und mittlerweile auch extrem weiterentwickelt, die ganzen Vorurteile gelten eigentlich nicht mehr. Aber wie es bei so vielen Projekten ist, sind es Open-Source-Projekte, die von einsamen Leuten in ihrer Freizeit gewartet werden, und dann haben die manchmal Lücken, offensichtlich, und in dem Fall auch.

Ole Wendland: Richtig, ja. Wir reden etwas abstrakt über den PHP-to-Shell-Vorfall letzte Woche. Ich war gerade im Training, als alle hektisch anfingen, ihre PHP-Server zu patchen. Es waren, glaube ich, zwei Sicherheitslücken, die so kombiniert wurden. Gefunden hatte es tatsächlich wieder KI, allerdings nur gefunden. Die Lücken existierten schon seit Jahren im Code, und ich glaube, OpenAI und ein Wiz, die von Google unterstützt wurden, hatten das beide unabhängig voneinander gefunden. Dann ist geleakt, dass diese Lücken existieren, und dann war auf einmal alles sehr hektisch. Die Patches waren noch gar nicht so richtig fertig, aber es war halt alles betroffen. Also jedes WordPress, jedes Drupal, jedes Joomla, nicht jedes, aber alle, die noch nicht gepatcht waren. Sehr weit, irgendwie 70 % der Webseiten im Internet waren betroffen.

Fabian Walther: Genau, alle PHP-Versionen ab 5, glaube ich, und da irgendwie 70 % des Internets auf PHP laufen, war es relativ verbreitet. Es war Remote Code Execution, wie sich dann herausstellte, ohne Login oder so. Das heißt, alles potenziell angreifbar erst mal.

Ole Wendland: Wobei ich mittlerweile auch Stimmen gehört habe, dass das gar nicht so einfach ausnutzbar war, wie es am Anfang hieß. Mittlerweile gibt es wohl Exploits, die auch aktiv ausgenutzt werden, also patcht eure Systeme. Das ist nicht locker zu sehen, aber ganz so dramatisch, wie es am Anfang war, ist es nicht. Und das Problem ist, diese Lücken existierten früher auch schon, aber die Zeit, bis das gefunden wird und bis man mit der KI einen Exploit dafür schreiben kann, die ist extrem gesunken. KI hat beliebig viel Zeit, so was auszunutzen.

Fabian Walther: Ja, bitte. Na ja, gut, gar nicht mal die Zeit zwischen dem Finden, sondern eher die Zeit, wenn es dann öffentlich ist, bis es ausgenutzt wird. Diese Zeitspanne kann extrem sinken, weil es eben nicht so ist, dass nur ein paar Leute, die wirklich extrem nah dran sind, relativ schnell einen Exploit bauen können, sondern einfach die Masse an Leuten, die versuchen, Exploits zu bauen. Und du hast recht, ich habe auch ein paar Artikel gelesen, die gesagt haben, ist alles gar nicht so schlimm, das lässt sich in manchen Konstellationen gar nicht so ausnutzen, und man braucht dann irgendwie die 10.000 Requests, und dass man die ausführen kann, ist auch nicht gesagt. Es ist kein One-Click-Ding, sondern man muss schon ein bisschen mehr sophisticated sein, um das auszunutzen. Aber das Ding ist wieder die Masse an Leuten, die solche Exploits baut, und dann kann man gucken, dass man sich welche anschaut, die funktionieren, und schaut, in welchen Edge Cases sie nicht funktionieren, oder lässt die KI sich angucken, in welchen Edge Cases sie nicht funktionieren, und kann dann was kombinieren. Und einfach diese Geschwindigkeit von Veröffentlichung oder Bekanntwerden bis zum Ausnutzen, die sinkt extrem, und das ist schon eine Beschleunigung, die wir da sehen, die dann genau das verursacht, was du beschrieben hast, dass man wirklich sehr schnell sein muss.

Ole Wendland: Genau. Nebenbei gab es noch LiteLLM, die hatten auch einen Security Incident, die haben einen Passwort-Stealer mit ausgegeben. Das ist jetzt wieder die Gegenseite. Die Supply-Chain-Attacks nehmen zu, und wenn du sofort patchst, kannst du dir, also die Leute, die ihre LiteLLM-Version sofort hochgezogen haben, haben sich einen Passwort-Stealer installiert. Das ist auch ein Problem, dass du aufpassen musst, dass du dir da nicht was reinziehst, und eigentlich willst du mit dem Patch zumindest einen halben oder einen Tag warten.

Fabian Walther: Ja, das ist ein Gegenbeispiel. Das ist jetzt gerade so ein wirklich komplett widerstreitendes Interesse, das du hast. Du willst eigentlich immer sofort patchen, aber du hast auch das Problem, dass du diese Supply-Chain-Attacken überall hast. Auf so verschiedenste Projekte fokussiert sich das ja gerade, und du kannst nicht einfach sagen, ich lasse meinen Renovate in der Pipeline laufen, der zieht die ganze Zeit alles hoch, und ich deploye die ganze Zeit, sondern hast genau diese Punkte, dass du dir die Malware mit den Updates reinholst. Das führt dann wieder dazu, dass die Leute warten, und wie lange warte ich jetzt? Da gibt es einfach kein Richtig und Falsch. Warte ich eine Woche, warte ich einen Tag? Wahrscheinlich ist die Empfehlung, ein bisschen zu warten und nicht jedes Release, das zwei Stunden später kommt, direkt auf Produktion zu bringen. Aber eben auch nicht zu lange. Die ganzen Tools wie Renovate haben mittlerweile eingebaut, dass man so eine Cooldown-Periode konfigurieren kann, und dann sagen kann, wenn neue Versionen kommen, warte den Zeitraum X, bis du das wirklich ziehst. Das ist, glaube ich, auch eine ganz gute Idee.

Ole Wendland: Ja, Ben Thompson war da noch so ein bisschen, er war relativ negativ und hat in Frage gestellt, wie lange das offene Internet noch existiert und ob sich nicht alles mehr und mehr hinter gemanagte Räume, also passwortgeschützte Dinge, verlagert. Schauen wir mal.

Fabian Walther: Ja, das ist auf jeden Fall ein Punkt. Ich betreibe ja auch meine eigene Infrastruktur, und natürlich war da eine Nextcloud dabei, die auf PHP läuft. Da habe ich, ich glaube, ich war auf dem Rückweg aus dem Urlaub und habe das gelesen, und habe das Ding erst mal runtergefahren. Das sind so Sachen, das führt jetzt dazu, dass ich, es gibt auch wenig Gründe, das im offenen Internet zu haben, jetzt ist es halt hinterm VPN, wie vorher auch schon ein paar andere Dinge, die nicht unbedingt im Netz hängen müssen. Aber das führt dann dazu, dass ich zum Beispiel nicht mehr schnell mal Dateien mit Leuten über meine eigene Nextcloud tauschen kann, dann nehme ich doch wieder irgendeinen Cloud-Dienst, weil meine Nextcloud jetzt hinterm VPN ist. Es ist schon ein bisschen blöd, wenn das dazu führt, dass alles nur noch hinter zehn Ebenen VPNs abgesichert ist, weil du wirklich gar nicht mehr sichergehen kannst. Ich finde es schwierig, gerade Self-Hosting macht das Ganze nicht einfacher.

Ole Wendland: Ich sehe es auf jeden Fall ernst, ja. Und eigentlich war die Freiheit des Internets ja auch etwas, das wir liebten und mochten.

Fabian Walther: Ja, genau, das war so, jeder kann auch schnell mal was machen, aber es hat mittlerweile echt krassere Konsequenzen. Quick News?

Ole Wendland: Quick News.

Fabian Walther: Hauen wir noch ein paar raus, sonst haben wir nur zwei Themen besprochen. Huawei und DeepSeek spannen so ein bisschen zusammen. DeepSeek hat alle ihre Core Libraries auf Huawei Chips portiert und veröffentlicht. Sie haben fast eine genauso gute Marge wie Anthropic, irgendwie um die 80 % Gross Margin angegeben. Was man gesehen hat: Die Huawei Chips sind nicht ganz so performant wie die Nvidia, sie hängen ungefähr fünf Jahre hinterher, aber China schafft es mit Masse, das auszugleichen. China hat auch einen High Bandwidth Memory Mangel, also genau das, was SK Hynix herstellt, ist auch da das Problem. Da liegen also irgendwelche Huawei Chips rum, die einfach kein Memory kriegen.

Ole Wendland: Ja.

Fabian Walther: Ich hatte auch gelesen, dass DeepSeek tatsächlich ein Modell, ich weiß gar nicht, ob das das V4 war, verzögert hat, um es noch mehr auf die Huawei Chips zu optimieren, damit es darauf noch besser läuft. Dass sie gesagt haben, okay, wir haben mehr davon, das Modell ein bisschen zu verzögern, dafür läuft es performant auf diesen Chips, und wir können es wirklich gut anbieten, anstatt, dass wir es früher raushauen und es dann doch wieder nur auf Nvidia performant läuft. Fand ich auch ein interessantes Detail, dass Inferenz-Effizienz mittlerweile offensichtlich so ein Pfund ist, mit dem sie da wuchern, dass sie auch sagen, okay, dann sind wir halt ein bisschen später mit unserem Modell da.

Ole Wendland: Ja. Und wir haben unser erstes Open Weights Modell, was fast auf Fable Niveau liegt. Nee, es liegt sogar auf Fable Niveau. Es ist irgendwie auf Platz 4 hinter Opus, Sonnet, Muse Wonder Full und noch vor Fable, Astra und Argon. Also ich rede von Kimi.

Fabian Walther: Genau, du redest von Kimi K3.1 Pro.

Ole Wendland: Genau. Preislich auch gar nicht so günstig, 2 $ für 1 Million Input Tokens und 10 $ für 1 Million Output Tokens. Ist nicht ganz.

Fabian Walther: Ja, nee, das ist schon happig.

Ole Wendland: Es ist happig, es ist immer noch die Hälfte von dem, was die Amerikaner verlangen, aber in den ganzen Benchmarks kommt es auf das Niveau der amerikanischen Modelle.

Fabian Walther: Ja, wo du gerade Fable sagst, da muss ich diesen Link noch raussuchen, ich versuche euch das in die Shownotes zu packen. Das fand ich total interessant, da war dieses, wo irgendwie fünf Qwen 3.8 in dem Harness in dem einen Benchmark Fable geschlagen haben. Das fand ich noch mal extrem beeindruckend. Und das schlägt so ein bisschen in diese Kerbe, dass man sagt, okay, nicht immer nur die größeren, noch größeren, noch besseren Modelle sind mächtig, sondern wahrscheinlich eher eine Mischung aus vielen kleinen, schnellen Modellen, die zusammenarbeiten und sich die Aufgaben hin und her spielen, kann, wenn man das richtig orchestriert, extrem mächtig sein. Wir haben ja auch bei den ganzen Sicherheitsgeschichten gesehen, das waren auch alles zehntausende von Agenten, die sich koordinieren mussten. Das fand ich einen extrem interessanten Dreh, dass es nicht davon abhängt, immer das schnellste, größte Modell zu haben, sondern einfach die Software drumherum. Das ist, glaube ich, was am Ende den Unterschied macht.

Ole Wendland: Genau. Was war noch interessant? Sie haben die Cyber Hacking Capabilities beschnitten, wie es die amerikanischen Modelle auch machen. Eigentlich gehen sie jetzt genau den gleichen Weg wie die Amerikaner. Und es gab diese Headline, die sagt, dass die Open Weights Modelle jetzt nur noch einen Monat hinter den Frontier Modellen der Amerikaner sind. Das Geschmäckle daran: Das stand eins zu eins so in den Influencer-News, die Kimi mit rausgegeben hat, und zusätzlich stand dabei, dass die Influencer das nicht erwähnen sollten.

Fabian Walther: Ja, okay.

Ole Wendland: Das ist Paid Content, und die Influencer sollten das nicht disclosen. Da dachte ich so, okay, das ist jetzt nicht so die feine Art.

Fabian Walther: Habt ihr denn das nötig?

Ole Wendland: Ja, genau, habt ihr das nötig? Eigentlich ist euer Modell doch cool genug.

Fabian Walther: Ja. Aber ich glaube, wir kommen da schon auch irgendwann hin, dass das so ist. Was ich jetzt lokal bei mir gerade mache, ist, dieses Qwen3.8-Flash-Next zu benutzen, was unglücklicherweise relativ viel RAM braucht, irgendwie 60, 70 GB braucht man schon, aber das habe ich jetzt. Hat nicht jeder, kann man nicht voraussetzen, aber es ist nicht prohibitiv teuer. Wenn man Software baut, kann man das investieren. Ich hatte immer so damit rumgegammelt und hatte immer nur so 20 Tokens, und dann habe ich noch mal ein bisschen Zeit investiert und Claude benutzt, um die richtige Konfiguration dafür zu finden und das zu benchmarken. Und bin jetzt zwischen 50 und 60 Tokens pro Sekunde angelangt, und damit kann man echt lokal arbeiten, und das Ding ist wirklich gut. In dem Fall habe ich es mit Oh My Pi als Harness benutzt, und das war schnell genug, das Caching funktioniert gut, längere agentische Sessions funktionieren, weil diese Architekturen mittlerweile auch lokal besser werden. Auf den lokalen Systemen gehen die Tokenraten nach oben, die Caches verbrauchen nicht mehr ganz so viel Speicherplatz, und ich habe das Gefühl, dass diese Flash Next Architektur, in der ja von Qwen auch die großen neuen Modelle laufen sollen, das war ja so eine Tech Preview, wie die Architektur in Zukunft aussehen kann, einfach wirklich auf Inferenz optimiert ist. Was die Tokens angeht und auch die Caches, damit du agentisch arbeiten kannst, brauchst du ja einen guten Cache, damit du diesen Prefill nicht immer wieder hast, der so lange dauert. Das finde ich interessant. Das ist jetzt kein Frontier Modell, es belegt den RAM, den ich genannt habe, in der Quantisierung, die ich lokal habe, aber das Ding kann relativ lange Sessions abarbeiten. Ich habe das eine Projekt damit lokal bearbeitet, es hat funktioniert. War jetzt nicht die riesige Codebase, aber ich konnte damit Features implementieren, komplett lokal. Diese Richtung würde ich nach wie vor sehen: Die Open Weights Modelle werden da nah rankommen, und man wird Anwendungsfälle lokal damit gut abdecken können.

Ole Wendland: Weil ich es mir gestern Abend auch erst installiert habe: Benutzt du Hello Jean?

Fabian Walther: Nee.

Ole Wendland: Als Engine? Mach das. Wir machen ja keine Verkaufstipps, das ist eine proprietäre Engine, Closed Source, aber kostenfrei, und die ist speziell nur auf das Flash Next optimiert worden und bringt bei mir ungefähr 16-fache Beschleunigung.

Fabian Walther: Okay.

Ole Wendland: Einfach dadurch, dass du die Engine austauschst. Seitdem rennt es, ich habe es noch nicht tiefer gebenchmarkt, weil das erst gestern Abend vorm Schlafengehen die letzten Spielereien waren und ich recht müde war, aber die Benchmarks rennen wie Sau. Und das ist nicht die einzige, es gibt auch Open-Source-Varianten davon. Der nächste Trend ist wohl, für dein Modell eine customizete Engine zu nehmen und damit noch mal 10-, 20-fache Performance rauszuholen, einfach dadurch, dass du eine andere Engine verwendest. Die flogen nur so rum, die Tokens bei meinen Benchmarks.

Fabian Walther: Okay, aber das ist natürlich super spannend. Ich hatte ein paar Projekte gefunden, das war jetzt dieses MTPLX, die wohl die ersten waren, die für bestimmte Workloads bei 120 Tokens pro Sekunde gelandet sind. Aber für längeren agentischen Kontext, wo auch eine Mischung aus Text und Code ist, nicht nur Code, war dann kein Unterschied mehr zwischen MTPLX und jetzt diesem oMLX, was ein paar Dinge davon übernommen hat, lokal. Damit konnte ich auch diese 50, 60 im Schnitt erreichen, auch bei einem Kontext, der schon Richtung, das waren, glaube ich, so 150.000 Tokens in der Session, die ich hatte, hat das noch funktioniert mit 50, 60 Tokens. Das hat mich nicht genervt. Aber für bestimmte Anwendungsfälle gibt es das halt. Am anderen Ende der Skala habe ich wirklich auf so einem alten MacBook so ein Qwen 3.8, dieses 27B, was gerade so in die 32-Gig-RAM-Klasse reinpasst. Das MacBook habe ich so optimiert, dass da nichts mehr läuft außer diesem Modell, und das ist ein M1, ein älteres MacBook schon, und da kriegt man so sieben Tokens pro Sekunde raus. Kann man sagen, okay, ist total lahm, aber wenn das Ding im Hintergrund läuft und ich ihm so einen Research Task gebe, auch mit Open Code in dem Fall, und sage, recherchiere folgendes Thema, gleiche Quellen ab, nenn mir Quellen, das war so ein One-Shot-Ding, dann läuft das Ding zweieinhalb bis drei Stunden vor sich hin, weil es einfach lahm ist, aber dann kommt auch ein Ergebnis bei raus. Und wenn das nicht zeitkritisch ist, warum nicht? Je nach Anwendungsfall gibt es da mittlerweile Setups, die man bauen kann, die funktionieren. Das war jetzt ein bisschen lokale-Modell-Abschweife, die Experimente, die man mal machen kann. Ich packe ein paar Links zu den Tools, die wir erwähnt haben, in die Shownotes, könnt ihr euch anschauen. Ist leider wieder sehr MacBook- und Mac-spezifisch, aber die speziellen Engines gibt es natürlich für alle Plattformen. Ach, du bist ja auf Linux, ne?

Ole Wendland: Ich laufe auf Linux und Halo Tricks, und das ist okay, das ist nur ein Container, den müsst ihr euch nur runterladen. Davon ab, dass das Modell relativ groß ist, so 60 Gigabyte, das dauert ein bisschen, aber ansonsten den Container runtergeladen, gestartet, lief. Da hatte ich null Aufwand mit.

Fabian Walther: Ja. Und dann beeindruckt sein, wie die Tokens langfliegen.

Ole Wendland: Ja.

Fabian Walther: Ja, genau, du kannst mir den Link ja noch mal geben, dann packe ich das auch mit rein.

Ole Wendland: Machen wir gerne rein.

Fabian Walther: Und dann haben wir sogar Linux und Mac abgedeckt. Ist doch wunderbar.

Ole Wendland: Ja.

Fabian Walther: Cool. Eine Sache wollte ich noch erwähnen, bevor ich es vergesse: Ich bin ja ein alter Java-Entwickler und großer Fan von JetBrains und IntelliJ. Ich bin da schon immer dabei, und die haben viel ausprobiert und probieren immer noch viel aus. Manche beschweren sich schon, dass sie zu viele Produkte ankündigen und dann doch nicht weiterführen. Sie hatten ja auch diese JetBrains AI Umgebung, wo du verschiedene Agenten betreiben kannst und wo viel mit Enterprise Deployment und Compliance eingebaut ist. Das sah tatsächlich sehr nach Visual Studio Code aus, sehr daran angelehnt, sehr Code-zentriert. Es ist kein Visual Studio Code, weil sie ihren eigenen Kram machen und auch IDEs bauen können. Aber jetzt haben sie ThinkRail vorgestellt, was auf den ersten Blick spannender ist, weil es sehr fokussiert ist. Es ist auch so ein Agent Harness, aber sie gehen mehr in die Richtung, dass sie Git Work Trees verwenden, um Sachen zu isolieren. Sie machen auch Spec Driven Development, eingebaut mit so einem Spec-Graphen, der im Grunde Markdown ist, aber auch dem Agenten spezielle Tools bereitstellt, um diese Specs zu evolvieren. Du hast so einen Baum aus Specs, die sich verändern, und das Modell bearbeitet eben nicht nur dieses Markdown direkt, sondern hat wirklich Tools dafür, um dieses Spec zu pflegen, so eine Living Spec. Das fand ich einen total interessanten Ansatz, und dass sie eben nicht sagen, wir machen alle Agenten, die es so gibt, und wir können alles reinstecken, sondern sie haben sich ganz klar auf Pi als minimalen Harness fokussiert, den sie dann sehr spezifisch in dieser IDE einbauen. Das fand ich interessant, einfach dieser Fokus: ein Agent, den sie ganz speziell mit Tools versorgen, wo er Specs bekommt, Specs pflegen kann und dann parallel Features über diese Git Work Trees bearbeitet. Es ist ein sehr schmaler Produktfokus, und ich glaube, das ist eher etwas, das funktioniert. Diese Produkte, die sagen, wir können alle eure Agenten integrieren und es funktioniert alles, die gefallen mir nicht, und die haben sich meiner Meinung nach auch nicht langfristig überall durchgesetzt. Es gibt sie zwar, aber keines davon hat mich so richtig überzeugt. Ich bin eher ein Fan von fokussierten Tool-Ansätzen. Insofern, wenn ihr JetBrains als Firma schon kennt, könnt ihr euch das anschauen, ThinkRail. Es ist natürlich jetzt ein Experiment aus deren Research Department und noch kein fertiges Produkt. Aber es ist eben mal nicht der zwölfte Visual Studio Code Fork, den irgendjemand macht, sondern mal etwas Eigenes. Es sieht ein bisschen so aus, weil sie diese Monaco Editor Komponente drin haben, aber es ist etwas Eigenes. Also, das gerne mal anschauen, wenn ihr Pi als Agenten verwendet. Gut, das wollte ich noch erwähnen. Hast du noch was?

Ole Wendland: Grüße gehen raus an Steffi. Am 12. November ist INNOQ Technology Day. Ich glaube, da seid ihr die letzten drei Folgen drauf hingewiesen worden, aber weil das wahrscheinlich die letzte Folge vor dem INNOQ Technology Day ist: kräftig einschalten. Es gibt wieder jede Menge interessanter Vorträge.

Fabian Walther: Gut, dass du es gesagt hast, dann musste ich das nicht machen. Meldet euch an.

Ole Wendland: Genau. Ja, schreibt uns Kommentare, wenn euch irgendwas zur Folge einfällt. Schreibt uns am besten eine E-Mail. Ich weiß nicht, ob wir alle Kanäle richtig überwachen. Ich habe jetzt beim Workshop treue Hörer gefunden, was mich sehr gefreut hat, Grüße gehen noch mal raus, die beiden wissen, wer gemeint ist. Dabei fiel mir auf, die hören uns über Apple Podcasts, und vielleicht überwachen wir nicht immer alle Kanäle. Wenn wir eine Anfrage nicht beantwortet haben, dann schreibt uns einfach eine E-Mail, das ist auf keinen Fall böse Absicht, wenn wir mal nicht antworten.

Fabian Walther: Genau, guter Hinweis. Ich gucke auf YouTube ab und zu rein, aber es geht ja auch an Spotify und überall raus. Das können wir nicht alles im Blick behalten. Wenn ihr uns etwas Wichtiges mitteilen wollt, im Zweifelsfall auch über LinkedIn bei mir, da gucke ich regelmäßig rein, weil da vieles drüber läuft. Aber am besten ist wirklich E-Mail, da bin ich auch dabei, das sollte passen. Guter Hinweis. Dann haben wir unsere Pflicht erfüllt und auf die Termine hingewiesen. Dann danke ich euch für die Aufmerksamkeit. Danke dir, dass du dabei bist und dabei warst und mit mir das hier diskutierst. Sehr schön.

Ole Wendland: Und bis zum nächsten Mal. Folge 15 dann schon.

Fabian Walther: Folge 15, fast schon so ein Mini-Jubiläum. Ich freue mich drauf.

Ole Wendland: Ich mich auch.

Fabian Walther: Sehr schön. Danke dir und bis dahin. Ciao, ciao.

Diese Zusammenfassung wurde automatisiert erstellt und nicht manuell überprüft. Es kann daher Fehler enthalten. Massgeblich ist immer das im Mitschnitt gesprochene Wort.

Diese Folge beginnt mit den Zahlen hinter dem geplanten Anthropic-Börsengang und landet dann bei einer unbequemen Woche für die Sicherheit im Netz. Dazu lokale Modelle, die immer brauchbarer werden, und ein neues Experiment von JetBrains. Vorab zwei Korrekturen aus der letzten Folge: Kolibri kommt von Aleph Alpha, nicht von den Black Forest Labs, und die Gewichte von Mistral Le Chonk sind noch nicht offen.

Der Anthropic-Börsengang in Zahlen

Anthropic will an die Börse, und mit dem Pflichtdokument sind viele Zahlen öffentlich geworden, über die bisher nur spekuliert wurde. Ole fasst zusammen: ein geschätztes Volumen zwischen 1,5 und 2 Billionen US-Dollar, Kürzel ANT, in Q2 knapp eine Milliarde Gewinn. Spannend ist die Compute-Verteilung. Nur 15 Prozent gehen in Inference, also in das, was an Kunden verkauft wird, der große Rest in Research und Development. Anthropic hat damit einen Hebel, um bei Bedarf kurzfristig Umsatz zu erhöhen. Vom eingesammelten Investorengeld (140 Milliarden) ist zudem erst ein kleiner Teil verbraucht. Fabian und Ole ordnen auch die Risiken ein: Ein großer Teil des Umsatzes läuft über Marketplaces wie Bedrock, viele Kunden können schnell wechseln, und ein Großteil der ausgewiesenen 80 Milliarden Verlust ist ein Buchungseffekt, weil Anthropic viel mit eigenen Aktien bezahlt. Beide betonen: keine Anlagetipps. Am Rande die komplexe Lieferkette dahinter, von SK Hynix über ASML bis Zeiss.

Eine PHP-Lücke trifft das halbe Web

Der PHP-to-Shell-Vorfall sorgte für hektisches Patchen. Zwei kombinierte Lücken, seit Jahren im Code, von KI gefunden (unter anderem von OpenAI und Wiz), führten zu Remote Code Execution ohne Login. Betroffen war fast alles, was auf PHP läuft, grob 70 Prozent der Webseiten, also auch WordPress, Drupal und Joomla. Ganz so einfach ausnutzbar wie zuerst befürchtet war es nicht, aber inzwischen gibt es aktiv genutzte Exploits. Fabians Punkt: Die Zeit vom Bekanntwerden bis zum Ausnutzen sinkt dramatisch, weil nicht mehr nur wenige Spezialisten, sondern die Masse mit KI an Exploits arbeitet.

Das Patch-Dilemma

Gleichzeitig zeigt LiteLLM die Gegenseite. Dort wurde über ein kompromittiertes Release ein Passwort-Stealer ausgeliefert. Wer sofort patcht, holt sich womöglich die Malware ins System, wer wartet, bleibt verwundbar. Beide empfehlen eine kurze Cooldown-Phase, wie sie Tools wie Renovate inzwischen anbieten. Ole verweist auf Ben Thompson, der fragt, wie lange das offene Internet so noch besteht. Fabian hat seine eigene Nextcloud nach dem Vorfall hinter ein VPN gelegt, mit dem bitteren Beigeschmack, dass genau diese Abschottung die Offenheit kostet, die das Netz ausmachte.

China holt auf, und ein Geschmäckle

Huawei und DeepSeek rücken zusammen. DeepSeek hat seine Core Libraries auf Huawei-Chips portiert und erreicht Margen nahe denen von Anthropic. Die Chips hängen rund fünf Jahre zurück, China gleicht das mit Masse aus, kämpft aber auch mit dem Mangel an High Bandwidth Memory. Beim Modell Kimi K3.1 Pro liegt erstmals ein Open-Weights-Modell auf Fable-Niveau, Platz vier hinter Opus, Sonnet und Muse Wonder Full. Einen Haken gibt es: Die Botschaft, Open Weights seien nur noch einen Monat hinter den US-Frontier-Modellen, stand wortgleich in bezahlten Influencer-Posts, die das laut Vorgabe nicht offenlegen sollten.

Lokale Modelle werden brauchbar

Fabian berichtet aus der Praxis. Qwen3.8-Flash-Next läuft lokal mit 50 bis 60 Tokens pro Sekunde, genug für echte agentische Sessions, auch bei großem Kontext. Der nächste Hebel sind spezialisierte Inferenz-Engines, mit denen sich die Geschwindigkeit noch einmal vervielfacht. Selbst ein altes MacBook kann einen Research-Task über Stunden im Hintergrund abarbeiten. Sein Fazit passt zum roten Faden: Nicht das größte Modell gewinnt, sondern die Orchestrierung vieler kleiner, schneller Modelle und die Software drumherum.

ThinkRail von JetBrains

Zum Schluss ein Experiment aus JetBrains' Research. ThinkRail ist ein bewusst schmaler Agent Harness. Statt alle Agenten integrieren zu wollen, setzt JetBrains auf einen einzigen (Pi), isoliert Arbeit über Git Work Trees und pflegt Spezifikationen als Living Spec in einem Spec-Graphen, für den der Agent eigene Tools bekommt. Fabian gefällt der Fokus, weil sich die Alleskönner-Umgebungen seiner Meinung nach nicht durchgesetzt haben.