KI Strategie

Dieses Transkript wurde automatisiert erstellt und nicht manuell überprüft. Es kann daher Fehler enthalten. Massgeblich ist immer das im Mitschnitt gesprochene Wort.

Sven: Hallo und herzlich willkommen zu einer neuen Folge vom CTO Need to Know Podcast, heute mit Christoph Windheuser, lang ersehnter Gast im Podcast, also endlich in der Aufnahme mit dir. Wir reden heute über Strategie.

Großes Thema, glaube ich, bei allen Firmen. Bist du der ideale Gast: in den 90ern in Paris, bei den Leuten, wo die ganzen Franzosen an neuronalen Netzwerken herumgefummelt haben, da warst du schon promoviert, und dann über mehrere Stationen SAP, Capgemini bei ThoughtWorks gelandet, da Head of Data. Ja, dann gab es noch mal, glaube ich, so einen kleinen Umweg, und jetzt bist du Senior Manager für die Forward Deployed Engineers bei Databricks. Genau richtig in dem Zusammenhang kriegst du natürlich ziemlich viel mit. Also bist sowieso Experte in dem Thema. Mein Gott. Okay, wir haben auch noch ein paar andere Podcasts zum Thema Data, aber ja, legen wir mal los.

Strategie. Also ich denke: Wir hatten heute auch noch mal in einem anderen Podcast über Cloud-Strategie geredet. Das ist irgendwie so ein bisschen konkreter. Die Frage ist, wenn ich jetzt unsere Kunden angucke: Die haben eigentlich keine Strategie. Die Strategie ist: „Hier ist mal ein Tool, wenn es gut läuft." Die Frage, mit der man ganz gut einsteigen kann: Welche Ziele will man eigentlich verfolgen mit so einer Strategie? Also wie würde man da starten?

Christoph: Das ist gleich schon eine wirklich schwierige Frage, ob das ein guter Einstieg ist. Aber lass uns einsteigen. Warum haben viele, das ist auch meine Beobachtung, noch keine echte Strategie? Ich glaube, wir dürfen nicht vergessen: Bei all dem Hype geht alles so rasend schnell. Noch vor einem Jahr ist gerade Claude Code entstanden. Noch etwas mehr als vor einem Jahr haben wir noch gar nicht damit gearbeitet, heute ist es fast eine Selbstverständlichkeit. Es ist gerade ein Jahr her, das kommt uns schon ganz natürlich vor. Auch ChatGPT gibt es ja, ich weiß jetzt gar nicht mehr, wie viele Jahre: drei oder vier? Drei Jahre? Ich meine, das ist nichts.

Also es geht alles so rasend schnell. Und jetzt, die Auswirkungen können wirklich fundamental und groß auf die Unternehmen sein. Und da jetzt eine neue Strategie aus dem Ärmel zu schütteln, sage ich mal, ist nicht einfach und geht auch nicht in ein paar Monaten. Deshalb, das ist, glaube ich, einer der Gründe, warum viele Unternehmen heute noch keine echte Strategie haben.

Sven: Naja, ich denke auch so, wenn ich drüber nachdenke: Bei anderen Vorhaben, sagen wir jetzt „wir machen Cloud", „wir machen Continuous Delivery" oder „wir machen Agilität", da gab es einen Haufen Vorgänger, bei denen man abschauen kann, und die Benefits sind irgendwie klar. Aber bei KI, so langsam passiert was, aber vor zwei, drei Jahren wusste man eigentlich gar nicht so genau, was man überhaupt erreichen kann.

Christoph: Und wie lange gibt es die Cloud schon? Wie viele Jahre gibt es AWS? Die haben ja damit angefangen. Das ist ein ganz anderer Zeitrahmen. Und auch da war ja am Anfang überhaupt nicht klar, da haben ja viele Unternehmen gesagt: „Nee, nee, das ist nichts für uns, wir haben unsere eigene IT." Das hat ja viele Jahrzehnte gebraucht, bis wir da sind, wo wir heute sind.

Mit KI wird es nicht Jahrzehnte dauern, das glaube ich nicht. Das geht so rasend schnell. Aber es wird natürlich auch etwas Zeit in Anspruch nehmen, das ist ganz klar.

Sven: Ja, denke ich auch. Man glaubt, die Dinge gehen schnell, dann dauern sie doch ein bisschen länger. Aber ja, fällt uns natürlich auch auf. Cloud oder Agilität, das ist ja jetzt alles schon 20, 25 Jahre alt. Es hat lange gedauert, aber jetzt machen es alle Firmen. Standard. Ja, was machen sie jetzt, gut klappt oder nicht? Also: Ziele wären also was? Das eine ist, überhaupt mal Erfahrungen zu sammeln.

Christoph: Da fängt es schon an bei der Strategie: Was will man mit einer Strategie erreichen? Was will man mit dem Unternehmen erreichen? Und da ist meine Beobachtung: Viele Unternehmen springen zu kurz. Die sagen dann: „Ja, da kann ich effizienter werden, da kann ich ein bisschen schneller werden, da können wir x Prozent mehr Effizienz holen."

Ich glaube, das ist viel zu kurz. KI ist kein Thema, bei dem ich jetzt Kosten um x Prozent sparen oder meine Prozesse um x Prozent schneller oder besser machen kann. Ich glaube, das hat ein unglaubliches disruptives Potenzial. Das heißt: Mit der Einführung von KI in ein paar Jahren, wenn das Standard ist, reden wir über ganz andere Geschäfte, ganz andere Geschäftsprozesse, die wir uns vielleicht heute noch gar nicht vorstellen können.

Ja, ich würde das vielleicht so vergleichen: Denk mal vor 100 Jahren, als noch die Pferdekutschen die Güter transportiert haben und plötzlich das Automobil kam. Dann haben vielleicht viele auch gesagt: „Ja, dann geht das alles ein bisschen schneller und ich muss die Pferde nicht mehr wechseln und bin ein bisschen effizienter." Aber durch die Maschinen, Automobile und LKWs sind ganz andere Prozesse möglich und ganz andere Geschäftsmodelle: „Just in time", rollendes Lager usw. Und so wird das mit KI genauso sein. Da entstehen ganz neue Felder, Prozesse, Wertschöpfungsketten, die wir uns heute noch gar nicht vorstellen können.

Sven: Ja, ich hatte neulich ein Gespräch mit Gernot Starke und einem Kollegen von mir, da kamen auch Ideen in der Richtung hoch, wo wir einfach gedacht haben: „Moment mal! Wir denken viel zu sehr in unseren alten Denk-Silos." Aber eigentlich muss man sagen: Was hätten wir gerne gemacht, was früher völlig utopisch war, und jetzt auf einmal sind diese Constraints weg? Also gibt es vielleicht neue Constraints, aber, das heißt aber schon: Wenn ich über Ziele rede, die gibt es dann noch gar nicht. Du sagst ja: neue Sachen, disruptiv usw., aber wie würde ich da…?

Christoph: Natürlich müssen die Unternehmen sich Ziele setzen, und die müssen auch erst mal anfangen. Vielleicht ist es auch okay, wenn die Ziele erstmal nicht zu hoch gesetzt werden. Also heute ist oft ein Ziel: erst mal KI im Unternehmen einzuführen, das heißt, den Leuten Zugang zu KI zu geben. Also zum Beispiel den Leuten Zugang zu ChatGPT zu geben oder Claude oder ähnliche Dinge.

Es ist dann natürlich sofort die Frage: Was machen die damit? Und die können erst mal ihre Arbeit dadurch effizienter und schneller machen. Also wenn sie Texte schreiben, können sie das jetzt generieren lassen, oder sie kriegen einen langen Text und machen eine Zusammenfassung, so einfache Dinge. Aber da ist ja sehr viel mehr Potenzial. Der nächste Schritt ist ja, dass ich nicht nur über Chatbots rede, sondern über Agenten. Und Agenten sind ja Language-Modelle, wo ich, wir nennen das einen Harness, im Prinzip ein Gerüst, das ich quasi drumherum baue, sodass dieses Large Language Model ganz spezielle Aufgaben auch selbstständig durchführen kann.

Und dann bin ich bei Aufgaben, wo ich Tasks, die heute noch ein Mitarbeiter macht, komplett automatisieren kann. Das ist dann der nächste Schritt.

Sven: Also wenn wir gerade von Schritten reden, du hast ja im Vorgespräch von so einem Modell erzählt. Das hatte irgendwie fünf Schritte.

Christoph: Ja, wir vergleichen das ganz gerne, ich finde, der Vergleich ist ganz treffend, mit dem autonomen Fahren. Da hat man sich ja auf verschiedene Level des autonomen Fahrens geeinigt, und die Automobilindustrie entwickelt sich in die Richtung, und das wird dann ja auch entsprechend vom TÜV abgenommen und geprüft. Und ich glaube, diese fünf Level passen auch ganz gut zu einem autonomen Unternehmen.

Also zum Beispiel: Level eins beim autonomen Fahren sind Fahrassistenzsysteme, das kennt heute jeder. Jedes moderne Auto hat Abstandshalter, Spurwechselassistent, Toter-Winkel-Assistent. Diese Dinge sind relativ simpel, aber sie helfen natürlich und assistieren den Fahrer. Und das ist vergleichbar mit Firmen, die jetzt ChatGPT einsetzen und dem Mitarbeiter helfen, gewisse Dinge abzunehmen und effizienter zu machen. Das ist so das unterste Level.

Dann gibt es das teilautomatisierte Fahren, wo ganz bestimmte Dinge schon abgenommen werden, also zum Beispiel das Fahren auf der Autobahn: Spurwechsel, Abstandhalten. Aber der Fahrer muss natürlich noch da sein. Er muss wach sein, er muss die Hände am Lenkrad haben.

Und so ist es im Unternehmen: Wenn durch Assistenten oder Agenten bestimmte Dinge autonom durchgeführt werden, aber immer im Namen eines Mitarbeiters, der letztendlich für die Qualität verantwortlich ist, der drüber gucken muss, ob der Agent die Arbeit ordentlich macht und keine Katastrophen passieren.

Und dann wäre die nächste Stufe das vollautomatisierte Fahren, aber noch mit Fahrer: Der Fahrer ist noch im Fahrzeug und ist letztendlich auch verantwortlich, aber er kann dann mal lesen und mal weggucken. Das Auto alarmiert ihn, wenn er eingreifen muss. Und das wäre bei einem Unternehmen: Prozesse laufen weitgehend autonom, ich denke zum Beispiel an Rechnungseingang, Buchhaltung, ähnliche Dinge, die man relativ leicht automatisieren kann. Aber wenn der Assistent in schwierige Situationen kommt oder ein besonderes Ereignis eintritt, würde er sich melden: „Lieber Mitarbeiter, hier musst du jetzt entscheiden."

Ja, und so: Die letzte, die fünfte Stufe ist das vollautonome Fahren, das sind diese Robotaxis, die wir aus San Francisco und anderen Städten jetzt schon kennen, wo es im Prinzip keinen Fahrer mehr gibt. Das ist im Unternehmen heute noch Zukunftsmusik, aber vielleicht eine Vision: Unternehmen, die weitgehend vollautomatisiert arbeiten.

Und wenn ich an Unternehmen denke, was ist so was wie Uber oder Buchungsportale? Da ist das schon vorstellbar, dass irgendwann diese Unternehmen mehr oder weniger komplett autonom laufen werden.

Sven: Mhm. Also ich denke immer an die Dark Factories in China, die werden funktionieren. Ich habe es nicht gesehen, aber angeblich laufen die komplett autonom. So im Kleinen haben wir das natürlich an anderen Stellen auch, Versicherungen haben Dunkelverarbeitung. Das ist jetzt eigentlich nichts mit Agenten, aber da guckt kein Mensch mehr drauf.

Christoph: Ja, oder guck dir die Werbeprozesse bei Google an: Wenn Werbung quasi auf die Internetsuche automatisch versteigert und geschaltet wird, läuft das voll autonom. Also das gibt es auch heute schon.

Sven: Ja. Vielleicht muss man auch noch sagen, ich hatte in meinem früheren Leben ziemlich viel mit solchen Modellen zu tun, auch mit Leuten von der Carnegie Mellon University, wo du ja auch warst. Und die haben immer gesagt: Man muss aufpassen, dass man nicht immer sagt „Ich muss Level fünf erreichen." Vielleicht ist für dein Unternehmen auch Level drei völlig ausreichend.

Christoph: Das ist übrigens ganz richtig. Nicht jedes Unternehmen muss bei Level fünf landen. Jedes Unternehmen muss für sich entscheiden, wo es sein will, wo seine Konkurrenz ist. Und nicht jede Industrie ist dafür geeignet. Wenn ich viele manuelle Tätigkeiten habe, was ich mir im Pflegebereich vorstelle, da ist Level fünf wahrscheinlich sowieso Unsinn.

Sven: Genau. Genau. Ein Modell ist ja auch immer so eine Art Orientierung: Dann weiß ich, wo ich anfangen muss zu lernen. Würdest du auch sagen, man muss immer mit Level eins beginnen? Erfahrung sammeln, ist es utopisch, direkt auf Level drei einzusteigen?

Christoph: Das würde ich sagen. Also man muss das ganze Unternehmen und die Mitarbeiter alles dahin führen. Das ist ein wirklich sehr anspruchsvolles, umfangreiches Transformationsprojekt. Das ist ja nicht nur eine Frage der Technologie, dass ich jetzt irgendwelche Software oder Agenten einführe und fertig, sondern das ist eine Transformation, vergleichbar wie damals die digitale Transformation, die wir alle noch kennen.

Ich meine: Heute gibt es immer noch Millionen Faxgeräte. Wir sind also immer noch nicht ganz durch. Und mit KI ist es dasselbe. Das ist ein sehr, sehr umfangreiches Transformationsprojekt, durch das im Prinzip alle Unternehmen durch müssen. Und das muss ich Schritt für Schritt machen.

Sven: Ja. Als nächstes: die Zusammenarbeit zwischen Mitarbeitern und Agenten. Das ist ein interessantes Thema, ich in der Softwareentwicklung schreibe ja fast keinen Code mehr von Hand. Noch vor einem Jahr war das ein utopischer Gedanke, also völlig absurd: Was soll ich selber schreiben? Niemals.

Christoph: Verrückt.

Sven: Aber meine Beispiele sind so: Ich arbeite mit meinem Coding-Agenten. Ich kenne auch Firmen, die haben schon Agenten mit eigenen Personas, die haben eine gewisse Rolle zu erfüllen: Release Engineer, jemand der Requirements vorsortiert, Nachfragen stellt usw. Wie siehst du das? Was sind so wichtige Dinge, über die man im Feld „Zusammenarbeit Mensch und Agent" nachdenken muss?

Christoph: Ganz wichtig, das hatte ich schon erwähnt: Die Intelligenz, die aus einem Large Language Model wie ChatGPT oder Claude kommt, ist im Prinzip eine hohe Intelligenz. Das ist wie Strom aus der Steckdose, das brauche ich natürlich für all diese Anwendungen. Aber mit ChatGPT alleine oder Claude kann ich noch keine Prozesse steuern und habe ich auch noch keinen Agenten.

Ich könnte es versuchen, aber ich müsste von Hand alles per Copy-paste in den Prompt eingeben und kriegte irgendwie ein Coding-Segment, das ich dann in meinen Editor kopiere. Das ist extrem mühsam. Es geht eigentlich nicht. Deshalb muss ich etwas drumherum bauen, was speziell für diese eine Aufgabe gedacht ist, zum Beispiel Coding. Da haben wir Claude Code oder von OpenAI ähnliche Tools. Und das gilt im Prinzip für jede Aufgabe.

Also zum Beispiel: Von den Zuhörern, wenn ihr euch in letzter Zeit mal bei Tech-Unternehmen beworben habt, kennt ihr wahrscheinlich das Tool Bright Hire. Das ist heute mehr oder weniger Standard bei Interviews und läuft dann im Zoom-Meeting oder Teams mit, zeichnet alles auf, transkribiert und füllt sogar schon die Scorecard aus. Wir nutzen das auch bei uns, das ist zum Beispiel ein anderer Harness. Ich kann nicht einfach sagen: „Transkribier mal dieses Interview und sag mir, ob der Kandidat geeignet ist." Das wird nicht gut funktionieren. Deshalb muss ich immer etwas drumherum bauen. Und das brauche ich im Prinzip für jede Aufgabe.

Sven: Ja, also, du warst ja mal Gast im Case-Podcast, da haben wir im Prinzip eine komplette Pipeline, die eigentlich alles automatisch, agentenbasiert machen sollte. Ist noch nicht, Jahre davon entfernt, weil andere Prioritäten. Aber da denke ich halt auch: Im Moment machen wir es genau so, wie du sagst, ohne Harness bringt es schon etwas, aber besser ist natürlich: Ich sage nach dem Interview einfach „Jetzt machen wir fertig."

Christoph: Genau. Und ich meine: Noch eine kleine Gruppe macht das einmal. Aber stell dir jetzt Prozesse vor, die in einem großen Unternehmen laufen, die auditiert werden müssen. Da kann ich nicht mehr sagen: „Mach mal irgendwie." Da brauche ich feste Prozesse. Und genau die werden in diesen Harnesses entsprechend festgelegt.

Sven: Ja. Einem Kunden von uns wollten wir schon den Darwin Award vergeben. Ich meine, nachher sprechen wir noch ein bisschen über Security. Da ist mir auch aufgefallen: Wenn man zu schnell vorgeht, wenn man keinen Harness hat, also das Beispiel: Die hatten schon einen Harness, aber nicht gut durchdacht. „Mach mal Reisebuchung." Ja, und dann ist natürlich passiert, was passieren muss: Ich habe einen Mietwagen, aber kein Hotel und drei Flüge.

Christoph: Ja. Also diese Harnesses zwingen das LLM in die Prozesse rein und erzwingen Qualitätskontrollen. Dadurch sind diese Dinge besser beherrschbar und besser kontrollierbar, auch in der Qualität. Das ist der große Vorteil von Harnesses. Da steckt ja eine Menge normaler Programmierlogik drin. Und LLMs haben das Problem, dass sie im Prinzip nicht deterministisch sind, wenn ich dieselbe Anfrage noch mal später stelle, kann ich plötzlich ein anderes Ergebnis kriegen.

Sven: Ja, ja. Also in der Programmierung ist das natürlich klar. Unsere gemeinsame Bekannte Birgitta Böckeler hat ja einen sehr bekannten Artikel zu Harness in der Softwareentwicklung gemacht, was man alles drumherum baut, damit man irgendwie gute Ergebnisse bekommt. Aber ich habe natürlich noch nie drüber nachgedacht, dass man das praktisch für alles überlegen muss.

Christoph: Das braucht man letztendlich für alles. Und das ist auch ein gutes Beispiel: Die Softwareentwicklung ist weit voraus. Das ist eigentlich der Anwendungsfall für Large Language Models, wo wir heute wirklich am weitesten sind. Wir haben ausgefuchste Harnesses. Claude Code ist ein sehr gutes Beispiel, aber von OpenAI gibt es ja ähnliche Dinge oder Cursor usw., die heute sehr stark sind und wo man schon sehr viel machen kann, die diesen ganzen Software-Engineering-Prozess gut abbilden, die Anbindung an GitHub haben, Test Cases machen, also Development-Requirements-Analyse usw. Das ist alles eingebaut. Das ist alles in den letzten Jahren entstanden.

Und das braucht man eigentlich auch für andere Anwendungen oder Prozesse in Unternehmen, da ist man natürlich noch nicht so weit, da ist man ganz am Anfang.

Sven: Okay, interessant. Also ich meine, bei uns ist es ja so: In der Softwareentwicklung gibt es ja noch mal einen Harness auf Claude Code, wo man sagt: „So ist unsere Architektur, und du musst die Dinge so tun." Bevor du das machst, ruf dieses deterministische Tool auf, oder: Du machst das. Oder dass man so das komplette Regelwerk hat. Klar muss man das, weil sonst, wie wir bei der Reisebuchung gesehen haben, geht es schief.

Christoph: Geht es schief. Also so naiv zu sagen: „Lieber Agent, mach das mal für mich", so funktioniert das nicht. Das ist vergleichbar mit einem neuen Mitarbeiter im Unternehmen. Wenn der irgendwie einen PhD in Quantenphysik hat, ist er immer noch nicht gut in Buchhaltung und weiß vielleicht nicht, wie er das machen soll.

Sven: Ja, ja, ja. Also, wie Mitarbeiter mit Agenten arbeiten: Egal mit wem ich rede, die Leute sind dann manchmal begeistert, was im letzten Jahr passiert ist. Ich meine, eigentlich war der große Moment letztes Jahr, glaube ich, im November oder so mit Opus. Also da war der große Sprung. Jetzt sind wir in einer anderen Welt. Aber die Frage, die immer kommt, egal wo man ist: Entweder sagen die Leute: „Ich weiß gar nicht, was jetzt mit mir wird. Braucht man sich überhaupt noch?" Ich bin bei einem Kunden, das ist mittlerweile schon fast ein bisschen nervig. Da war ein Mitarbeiter, der in jedem Meeting fünf Minuten drüber geredet hat: „Oh, wir brauchen die Menschen auf jeden Fall noch." Ja. Aber es ist natürlich ein wichtiger Punkt: Man muss als Unternehmen diese Jobverlust-Ängste definitiv adressieren.

Christoph: Adressieren und ernst nehmen. Und es gibt keine einfachen Antworten. Es wird große Veränderungen geben am Arbeitsmarkt in den nächsten Jahren, schon in den nächsten fünf Jahren, spätestens in den nächsten zehn Jahren. Große Veränderungen. Keiner weiß genau, in welche Richtung. Aber ich finde, gerade wieder das Beispiel Software Engineering und Coding ist eines, was vorneweg läuft. Da sehen wir das ja heute schon: Entwickler sind heute mindestens zehnfach effizienter. Und wenn ich denselben Output haben will, brauche ich ein Zehntel der Leute. Oder ich schaffe halt zehnmal mehr, was heute eher der Fall ist. Und das wird für andere Bereiche genauso sein.

Sven: Also ich muss sagen, wenn wir unsere Projekte angucken: Tatsächlich ist es genauso, wie du gesagt hast. Die Bottlenecks verschieben sich. Man kann sagen: Die Softwareentwicklung war früher der Flaschenhals.

Christoph: Jetzt ist es das Testen.

Sven: Jetzt ist es Requirements, Testen. Und die Frage ist: Was machen wir denn? Fahren wir da alles hoch? Weil tatsächlich im Moment sagt jeder: „Wir wollen mehr und schneller." Da könnte man sagen: „Okay, alles kein Problem, super, mehr und schneller halt, das kriegen wir." Also jetzt muss man natürlich ans Unternehmen gehen und Unternehmensprozesse ändern. Aber es wird bestimmt auch Unternehmen geben, die sagen: „Ich brauche eigentlich überhaupt nicht mehr…" Ja, und dann ist halt die Frage: Was?

Christoph: Man sieht es auch in den Einstellungszahlen schon, im Junior-Bereich ist es heute, glaube ich, schwieriger, Jobs zu kriegen, auch im IT-Bereich. Ich habe jetzt keine genauen Zahlen, aber das ist auf jeden Fall mein Gefühl. Und auch in anderen Dienstleistungsbereichen, Kanzleien, Rechtsanwälte oder so, ich glaube, das geht schon los.

Das ist gerade für Berufseinsteiger schwieriger, Fuß zu fassen, weil gerade diese relativ einfachen Dinge, die Berufseinsteiger normalerweise gemacht haben, um den Beruf zu lernen, heute eben schon automatisiert werden.

Sven: Ja. Ja. Also ich erinnere mich, das war 2013 oder so, hatte ich eine Keynote gehört in London. Gunter Dueck, ich weiß gar nicht, ob du ihn kennst. War mal früher CTO von IBM, war auch mal Mathe-Prof, ist jetzt Philosoph. Ja, der hat interessanterweise einen Vortrag gemacht: „The World After Cloud Computing and Big Data", und hat im Grunde genommen genau das vorausgesehen. Er hat gesagt: Wenn wir irgendwie mit dem ganzen Kram durch sind, dann gibt es keine einfachen Tätigkeiten mehr. Du machst nur noch die schweren Sachen. Die einfachen Sachen sind weg.

Christoph: Ich will es aber auch jetzt nicht alles zu pessimistisch und negativ sehen. Ich glaube, wir sollten kein schwarzes Bild zeichnen für die Zuhörer. Es gibt natürlich Chancen. Die Berufswelt wird sich verändern, genau wie früher vielleicht Kutscher, aber ganz viele andere Berufszweige im maschinellen Bereich entstanden sind.

Ja, so wird es auch sein. Also: Mitarbeiter werden eher in die Richtung gehen, Agenten zu führen. Die gehen eigentlich in die Richtung eines Managers: dass sie Agenten, in Anführungszeichen, managen, heißt kontrollieren, weiterentwickeln, fortbilden, an neue Prozesse anpassen und qualitätskontrollieren. Das wird die Tätigkeit sein.

Sven: Ja, also ich wollte auch gar nicht pessimistisch rüberkommen. Bei uns ist es halt so: Wenn der Agent gerade nicht zur Verfügung steht, machen wir was ganz anderes, weil keiner mehr Bock hat zu sagen: „Ich gehe jetzt irgendwie in die Steinzeit von 2022/2023 zurück." Also wie gesagt, keiner weiß es, aber im Moment denken wir: Wir schreiben halt mehr Software.

Christoph: Wir schreiben vielleicht mehr Software, oder steuern dann die Agenten. Unternehmen werden höherwertigere, anspruchsvollere Aufgaben übernehmen. Das ist das, was wir in Zukunft machen müssen. Das heißt auch: Die ganze Ausbildung und Education wird noch mal wieder wichtiger werden.

Sven: Ja, ja, großes Thema. Wir sind ja auch Schulungsanbieter. Ist jetzt großes Thema. Beim iSAQB® – also International Software Architecture Qualification Board, bei der Firma. Wie sieht diese Ausbildung aus? Überall?

Christoph: Genau, genau. Auch da werden Agenten eine große Rolle spielen. Im Prinzip wird jeder seinen persönlichen Tutor haben, der ihm die Dinge erklärt, bereitstellt, Übungen mit ihm macht, genau versteht, auf welchem Level der Schüler ist, wo noch Defizite sind, wo noch mal gelernt werden muss usw.

Sven: Ja, also das glaube ich, da bin ich wirklich gespannt, wie das läuft. Also Kent Beck hat letztes Jahr auch mal gesagt: Man muss sich nur mal vorstellen, wie wir damals als Jugendliche Programmierung gelernt haben, auf der langen Suche nach irgendeinem Buch, okay, dann gibt es Internet usw. Und jetzt stellt euch vor: Die Kids haben im Prinzip einen Tutor, den sie über alles fragen können.

Christoph: Also mich hat jetzt ein junger Mitarbeiter ernsthaft gefragt: „Christoph, wie hast du eigentlich damals dein Studium und deine Diplomarbeit ohne Google gemacht?" Und ich weiß es auch nicht mehr. Aber das ist normal.

Sven: Ja, ja, ja. Genau. Ja. Okay. Also ich denke, man muss es adressieren.

Christoph: Riesenthema. Ich glaube auch, als Gesellschaft müssen wir das angehen. Wir dürfen da jetzt nicht einfach warten. Ich denke, das brennt unter den Nägeln. Da müssen wir alle zusammen was machen. Ich würde da keine Angst schüren. Ich glaube auch: Man muss die Leute quasi belohnen oder positiv heranführen, in dem Sinne: Das ist vielleicht auch eine erfüllende Aufgabe, mit mehr Verantwortung. Ja, und von daher noch mal ein anderer Level der Tätigkeit.

Sven: Ja, genau, das wollte ich noch was sagen. Aber ja, vergessen. Fällt mir später bestimmt wieder ein. Ja. Also ich mache mal einen kompletten Schwenk. Ich habe ja gesagt, wir hatten schon lange vor, diesen Podcast zu machen. Und als damals in der Pizzeria, das war das Erste, was du gesagt hast: IT-Strategie. Worüber muss man nachdenken? Schatten-IT. Ja, und ich dachte: Was meint er denn überhaupt? Also warum ist Schatten-IT so ein Riesending?

Christoph: Ja, das ist eine gute Frage. Vielleicht erst mal kurz sagen, was ist Schatten-IT? In großen Organisationen habe ich eine IT-Abteilung, die ist verantwortlich für die IT-Strategie und die Durchführung aller IT-Prozesse, IT-Hardware, Software usw. Schatten-IT ist jetzt, wenn die Fachabteilung sagt: „Ach, das interessiert mich gar nicht, ich habe hier meinen Rechner oder meinen Server unter meinem Schreibtisch, da habe ich mir meine eigene Software installiert, das läuft so wunderbar, da bin ich happy mit. Ich gehe damit gar nicht zur IT." Ja, die steht im Schatten. Die IT sieht das vielleicht nicht und vor allen Dingen regelt sie das auch nicht und hat keinen Zugriff drauf, und das verursacht dann Probleme.

Ja, wenn es Standards gibt im Unternehmen, wenn die IT sagt: „Wir wollen alles genau in die Richtung machen, weil wir müssen auditierbar sein, wir müssen Backups machen" usw., und diese Schatten-IT-Lösungen werden nicht gesehen, werden nicht erfasst und werden dann nicht gebackupt oder sind in Audits nicht drin oder in offiziellen Prozessdokumentationen. Das verursacht natürlich Probleme.

Das ist so ein bisschen das Spannungsfeld, das ich bei Capgemini erlebt habe, zwischen der IT-Abteilung und den Fachabteilungen, weil die Fachabteilungen oft sagen: „Ich brauche hier ganz schnell mal ein Analyse-Tool. Wenn ich zur IT gehe, sagt die: Da brauche ich erst mal Budget, und dann brauche ich Leute, und dann könnt ihr vielleicht nächstes Jahr eure Lösung haben."

Sven: Genau. Und ein anderes Problem: Wenn ihr ein neues Problem habt, habe ich das schon gedacht.

Christoph: Habe ich das vielleicht schon gelöst? Ja. Also bitte wartet mal und stellt euch hinten an. Und sagt die Fachabteilung: Natürlich warte ich kein halbes Jahr. Also mache ich mir irgendwie selber was. Und diese ganzen Excel-Dinge, die es ja zu Millionen in Unternehmen gibt, sind im Prinzip auch so etwas in die Richtung.

Und warum wird das jetzt zum größeren Problem? Weil gerade durch KI, im Coding-Bereich, im Software-Engineering-Bereich haben wir gesprochen, wird die Erstellung von Software immer billiger. Fast null. Also ich zahle nur noch die Tokens, weil im Prinzip jeder heute die Requirements an eine Software-Erstellung in natürlicher Sprache stellen kann und das an ein Tool wie Claude Code übergeben und damit eine Softwarelösung erstellen kann. Das heißt: Das ist nicht mehr nur der Softwareentwicklungsabteilung überlassen, sondern es kann im Prinzip auch die Fachabteilung, oder jeder. Und dadurch schießen natürlich überall Lösungen hoch.

Ich sehe das bei uns bei Databricks. Ich arbeite im Professional-Services-Bereich, da machen wir zum Beispiel, als Standard, dass wir Angebote stellen für Projekte für Kunden, die zum Beispiel jetzt eine Databricks-Installation machen wollen. Und da muss ein sogenanntes Scoping durchgeführt werden, das heißt, ich rede mit dem Kunden, was sind seine Requirements, und dann mache ich einen Vorschlag: wie ich das angehe, wie viele Leute ich brauche, welcher Aufwand das ist und letztendlich welches Budget erforderlich ist. Das ist dann ein Proposal.

Das kann man natürlich mit Large Language Models ganz gut unterstützen und effizienter machen. Und da hatten wir erst ein Tool, jetzt weiß ich nicht, wie viele wir inzwischen haben, und einer meiner Mitarbeiter hat gesagt: „Ja, das hat einen Nachmittag gekostet, dieses Tool zu erstellen." Also so schnell geht das. Und natürlich fängt jetzt jeder an, sich seine eigenen Tools zu bauen. Und da entsteht natürlich eine ganz, ganz riesige Welt von Schatten-IT. Und das ist eine Herausforderung für ein Unternehmen.

Sven: Also ich kenne eine Person, die hat mir gesagt: „Bevor ich nach einem Chrome-Plugin google, schreibe ich mir lieber schnell selber eines."

Christoph: Schreibe ich mir schnell selber, und das wird heute immer einfacher. Ganz genau.

Sven: Bei unseren Kunden ist interessanterweise, also das finde ich ganz interessant, wenn man fragt: Wer bezahlt eigentlich die Tokens? Welche Tools werden zur Verfügung gestellt? Da gibt es natürlich einige Unternehmen, die sagen: „Wir wollen damit nichts zu tun haben. Teufelszeug. Wir haben kein Claude, wir haben keinen Codex, wir haben gar nichts." Und natürlich, was dann passiert ist: Alle haben private Accounts.

Christoph: Das ist eigentlich…

Sven: Noch schlimmer. Und werfen Dateien rein. Also ich denke: Da habe ich zum ersten Mal so richtig gemerkt, man muss das…

Christoph: Man muss das kanalisieren.

Sven: Jeder macht’s sowieso, gibt keine andere Wahl. Also jeder kriegt so ein Tool. Man kann wahrscheinlich auch nicht aufhalten, dass Leute sich ihre Tools selber bauen. Dann denke ich mir, ohne dass ich jetzt Ahnung habe oder intensiv drüber nachgedacht hätte, würde mich deine Meinung interessieren: Dass man so eine gewisse Leitlinie macht, „Für folgende Dinge ist KI sehr gut geeignet. Für andere Dinge lass es lieber sein und rede noch mal mit jemandem, der sich auskennt, bevor du so ein Tool schreibst." Also ich habe so einen Finanzberater, Honorarberater, wie er so schön heißt, und der ist super modern und versucht immer überall vorne dabei zu sein. Der schreibt jetzt immer: „Da haben wir dieses Tool gebaut." Er hat auch so einen eigenen Podcast. Ja, ich weiß nicht, ob das eine gute Idee ist, dass du als Laie Tools baust, die Berechnungen anstellen und Kundendaten haben. Da müsste vielleicht jemand ran, der weiß, was er tut.

Christoph: Ist da eine Grenze? Aber die Grenze ist auch ein bisschen verschwommen. Ja, und ich glaube, es wird auch verschiedene Softwaretools für dieselbe Aufgabe geben in Unternehmen. Es wird normal werden. Also vorher hat die IT gesagt: „Wir benutzen genau dieses eine Tool, und das müssen alle benutzen", sehr restriktiv. Das wird sich so nicht halten lassen.

Und das ist so ein bisschen wie: Du musst eine komplizierte Berechnung machen, zum Beispiel einen Kostenvoranschlag in einem Unternehmen. Der eine macht es noch mit Bleistift auf Papier, der nächste macht Excel, der dritte macht einen Taschenrechner. Das ist alles okay, solange alle das richtige Ergebnis rauskriegen. Und so kann ich mir im Prinzip auch mit KI und natürlicher Sprache ein Tool bauen, was genau meinen Prozess unterstützt. Natürlich muss es stimmen, wenn es falsch ist, mache ich einen schlechten Job. Aber da wird es, glaube ich, eine größere Vielfalt geben.

Was aber ganz, ganz wichtig ist, und da ist genau der Punkt, da muss man eingreifen und regeln, das ist die Data Governance. Ich brauche immer Daten dafür. Wenn ich eine Kalkulation mache oder Prozesse mache, muss ich auf Unternehmensdaten zugreifen. Und da wird es dann ganz spannend. Da kann ich mir nicht erlauben, dass der eine diese Daten hat, der nächste jene Daten. Da brauche ich eigentlich einen Single Source of Truth. Da muss es eine Wahrheit geben im Unternehmen, und nicht 100 Wahrheiten.

Sven: Also der Punkt: Wie muss sich ein Unternehmen anpassen? Man kann nicht einfach sagen: „Let’s go." Man muss gewisse Voraussetzungen schaffen. Also mein Gedanke war immer: Wir brauchen irgendwelche Leitprinzipien. Prinzipien haben ja den Vorteil, dass sie Entscheidungen skalieren können, jeder Einzelne kann praktisch an dem Prinzip ablesen, ob er links oder rechts rumlaufen soll. Das kann entscheiden: Baue ich mein Tool selber oder nicht? Ist das ein Tool, was ich selber bauen muss, oder muss ich irgendwo hingehen? Genau. Dann ein anderes Prinzip: Data Governance, wer darf was sehen, was verändern?

Christoph: Wer und was? Wer ist für was verantwortlich? Genau. Und das wird immer wichtiger. Das war schon wichtig vor KI, weil Data Governance ist wichtig, wenn Daten im Spiel sind. Und vorher haben wir auch schon über Big Data geredet.

Aber es wird jetzt noch wichtiger. Und da kann ich mir nicht erlauben, dass jeder seine eigenen Standards setzt, weil dann habe ich verschiedene Versionen der Daten. Silos kennt jeder aus alten Unternehmen, und ich weiß nicht mehr, was die Wahrheit ist. Report A, Report B, und dann sagt der Vorstand: „Was denn jetzt?"

Und denkt dran: Man muss es auditieren. Wir müssen Rechenschaft ablegen an Institutionen, Industries usw. Das wird so nicht funktionieren.

Und dann ist natürlich der Punkt: Ich habe auch Daten, die vielleicht vertraulich sind, die ich im Unternehmen behalten möchte. Oder Daten, die darf nicht jeder einsehen: Sales-Daten, personenbezogene Daten. All das muss ich beachten. Und das muss ich natürlich auch im agentischen Bereich beachten. Wenn ich jetzt mit Agenten arbeite, können die nicht plötzlich Zugriff auf alles haben. Ja, das ist auch eine spannende Frage: Wie mache ich das? Wie stelle ich das sicher?

Sven: Ja, das wäre jetzt meine Frage: Wie mache ich das? Wenn ich jetzt ein paar Beispiele angucke, wir gucken wieder in die Softwareentwicklung. Wir arbeiten immer in Sandboxes. Das heißt: Der Agent kann jetzt nicht irgendwie wild auf unserem Rechner Dinge tun, sondern wir haben den eingesperrt. Und wir geben dem Zugriff…

Christoph: Wie gut das funktioniert, haben wir ja mit OpenAI gesehen, ja, das…

Sven: Ist eine Kleinigkeit. Genau. Also noch vor sechs Wochen hätte ich gesagt: Sandboxes, das ist so gut. Hat uns jetzt wieder überholt.

Christoph: Genau.

Sven: Da haben wir auch schon überlegt und gesagt: Okay, der hat Zugriff auf unseren Sourcecode. Und da muss man immer darauf achten: Auf welche Daten haben wir Zugriff? Haben wir auch Zugriff auf externe Resources, wo Prompt Injection kommen kann? Und hat der Agent Zugriff aufs Internet? Weil wenn alles drei gegeben ist, dann volle Katastrophe. Also da muss man auf jeden Fall drauf achten.

Bei der Softwareentwicklung kann ich sagen: Sourcecode sind Daten, kann ich kontrollieren. Ich kann sagen: „Du kannst nur diesen Sourcecode betrachten." Aber dann wird es schon wieder schwieriger. Da ist die Frage: Ich will Zugriff auf Dokumentation haben, kannst du hier Confluence sehen, was du willst? Dann kriegst du Zugriff auf Ticketsysteme. Das wird dann schon wieder ein bisschen… Da muss man dann schon…

Christoph: Lesender Zugriff ist vielleicht noch okay, oder?

Sven: Ja, dann ist die Frage, was du alles siehst, was du alles kannst. Also da muss man auch schon wieder drauf achten. Bei uns im Grunde genommen gibt es ein White-Listing in dieser Sandbox, klar, also die Sandbox lässt Requests nicht raus, zum Beispiel. Genau. Aber das gilt auch nur für ganz explizite Dinge.

Oder du hast irgendwelche Agenten, die in Slack laufen, also praktisch ein Mitarbeiter, der sagt: „Ich bin hier Release Engineer", aber dieser Mitarbeiter ist ein Agent. Und er hat halt Zugriff auf diesen Slack-Channel, und nicht auf dieses GitHub-Repository und auf folgende Pipeline, und that’s it. Ja, das kann ich ganz gut kontrollieren.

Also ich muss noch kurz dazu sagen: Den Zugriff auf Confluence und Jira machen wir nicht, weil wir sagen, das können wir noch nicht kontrollieren. Aber so gewisse Dinge kannst du einfach kontrollieren. Aber das sagst du ja auch: Agenten können nur sinnvoll arbeiten, wenn sie Zugriff auf Daten haben. Genau. Aber jetzt ist die Frage: Wenn ich Zugriff auf Daten gebe, wie verhindere ich, dass meine Firmengeheimnisse munter durch die Gegend wandern?

Christoph: Und das ist eine schwierige Frage, kann man nicht einfach beantworten. Also eine Sache ist, glaube ich, ganz wichtig: Ich muss eine ordentliche Datenplattform in meinem Unternehmen haben. Databricks ist ein Beispiel, es gibt natürlich auch andere Datenplattformen, wo ich im Prinzip Massen an Daten, sowohl strukturiert wie unstrukturiert, natürlich wahrscheinlich cloudbasiert, organisiere. Und Teil dieser Datenplattform ist auch immer Data Governance: dass ich genau regeln kann, wer Zugriff auf welche Daten hat, bis auf Spalten- und Zeilenebene kann ich das im Prinzip einstellen und festlegen. Und das gilt nicht nur für Mitarbeiter, das gilt genauso auch für Agenten. Also wir behandeln da zum Beispiel Agenten genauso wie Mitarbeiter, die haben auch Zugriffsrechte, genau wie Mitarbeiter, die gehören zu Teams oder Gruppen oder sind einem Mitarbeiter zugeordnet und haben seine Zugriffsrechte.

Also das ist schon mal eine Sache, eine ganz wichtige. Was wir manchmal machen: Du hast Confluence gesagt, da geben wir nicht einfach lesenden Zugriff, sondern wir ziehen das Confluence ab und stecken das in ein System, wo dann KI drauf Zugriff hat. Heißt aber: Ich muss wieder eine Pipeline aufsetzen, die das regelmäßig macht, ansonsten ist das schnell veraltet.

Sven: Ja, ja, ja. Interessant, dass du das sagst, weil es gibt Experimente in Projekten, wo man sagt: „Okay, wir können natürlich nicht direkten Zugriff auf Confluence geben, aber die Lösung ist: Man hat halt einfach eine Kopie." Genau.

Christoph: Man macht eine Kopie. Genau.

Sven: Und nur die Kopie, für die Dinge, die du explizit sehen darfst. Und…

Christoph: Aber es ist ganz wichtig, dass natürlich Agenten auch Zugriff haben, sonst können sie nicht arbeiten.

Ich sage mal ein ganz einfaches Beispiel: Wenn man einen Agenten hat, der Auskunft geben soll über Business-Reporting, also Ergebnisse. Die können SQL erzeugen und können dann irgendwelche Reports fahren, basierend auf natürlicher Sprache. Wenn ich jetzt sage: „Gib mir mal die Ergebnisse der letzten drei Quartale", da muss natürlich der Agent wissen, was ein Quartal ist. Und nicht in jedem Unternehmen ist ein Quartal wie ein Kalenderquartal. Also bei manchen Unternehmen fängt das Geschäftsjahr im Februar an, das heißt, es ist nicht Januar bis März, sondern Februar bis April. Das ist was ganz Einfaches, das muss aber der Agent wissen, ansonsten hat er gar keine Chance, diese Frage richtig zu beantworten. Das ist ein sehr einfaches Beispiel, aber das sind die sogenannten Stammdaten und Metadaten. Darauf muss ein Agent Zugriff haben.

Sven: Ja, ja. Also das ist auch ein schönes Beispiel: „Mach mal einen Report." Da gibt man dem Agenten Zugriff auf gewisse Daten, hat im Prinzip so eine Art Harness, also Information, um was es überhaupt geht und was er machen soll. Und ich hatte vorhin gesagt: Es gibt das Risiko, dass irgendwie Prompt Injection kommt, oder hat der Agent noch Zugriff aufs Internet? Das ist so ein Fall: Der Agent braucht keinen Zugriff aufs Internet. Da kann man praktisch, wenn er einfach nur intern irgendwas macht, sagen: Okay, stell den Report zusammen, schickt den da rein, und mehr Zugriff hat er nicht. Mehr kann er überhaupt nicht machen.

Und die Sachen, die hinten dranhängen, gut, das muss kein Agent sein, das kann ein ganz normales Stück Software sein, das alles, was da reinkommt, ausliest, und dann schickt es…

Christoph: Oder ich arbeite über einen MCP-Server, sodass der Agent quasi den MCP-Server ansprechen kann, der dann Browserzugriff hat oder so, und für bestimmte Aufgaben, die ich aber fest reglementiert habe, wie irgendwelche Anfragen, Preisanfragen, Kataloge, Angebotsanfragen, dann dafür ins Internet gehen kann. Dann ist es aber entkoppelt, und der Agent hat keinen direkten Zugang aufs Internet.

Sven: Gut. Ja. Was muss ein Unternehmen tun? Also Datenzugriffe, wir müssen uns über Datenstrategie, Data Governance reden. Wir haben gesagt: Wir brauchen eigentlich immer Harnesses.

Christoph: Genau. Erstmal brauche ich natürlich die Intelligenz. Ich muss loslegen. Und das können, naheliegend, fängt jeder mit den Frontier-Modellen an, also Claude und ChatGPT. Man merkt aber sehr schnell, und das ist ein anderes Problem, dass man dann in ein Token-Maximierungsproblem reinläuft und der Token-Verbrauch einfach hochgeht.

Und diese sehr fähigen Frontier-Modelle sind eben auch sehr teuer. Und da laufen Kunden sehr schnell in Budgetprobleme rein: Wenn sie erst mal die Schleusentore aufmachen und sagen: „Jeder darf jetzt Claude Code benutzen, jeder soll damit programmieren", dann wundern sie sich plötzlich, was da für Rechnungen kommen, am Monatsende oder am Quartalsende.

Sven: Der Klassiker. Ich meine, der 31. März oder so war praktisch unser Budget für 2026 an Tokens.

Christoph: Ist schon weg. Genau. Genau. Wer kennt das nicht? Da muss man was machen. Dann auf einmal die Schleusentore wieder zuzumachen wäre auch der falsche Weg, weil meine Entwickler haben ja plötzlich eine ganz andere Produktivität und sind daran gewöhnt und begeistert. Vielleicht schaffen sie sehr viel mehr. Ich kann das jetzt nicht plötzlich wieder wegnehmen.

Was unsere Erfahrung ist, und das machen immer mehr Kunden: Wenn man das intelligent steuert, es gibt von den Cloud-Providern oder auch von Databricks sogenannte Gateways, wo ich im Prinzip die Tokens über so ein zentrales Gateway schleuse. Und ich kann dann abhängig von der Aufgabe oder vom Harness, wer diese Tokens jetzt beansprucht, unterschiedliche LLMs ansteuern. Es gibt halt auch sehr viel günstigere LLMs. Es gibt Open-Source-LLMs, ich kann die sogar vielleicht auf eigener Hardware laufen lassen. Und da kann ich je nach Bedarf entsprechend umschalten und dadurch massiv an Kosten einsparen.

Sven: Ja, ja. Ich denke auch: In der Softwareentwicklung kann man auch wieder sagen, wir haben da natürlich diverse Techniken. Eines ist Context-Engineering, das heißt: Wir halten den Kontext klein, was genau bedeutet: Die Anzahl der Tokens, die wir versenden, ist klein.

Christoph: Was nicht immer einfach ist im Coding, weil die haben ja manchmal riesige Token-Kontexte, die sie mitschicken.

Sven: Ja gut, ohne jetzt zu tief zu gehen: Man kann natürlich einen Agenten mit Subagenten aufbauen, unterschiedliche Subagenten, die gewisse Teile von Aufgaben erledigen. „Du machst hier nur Frontend, du machst nur dieses und jenes."

Christoph: Genau. Genau.

Sven: Aber dass man auch sagt: Wir versuchen, den Leuten auch zu sagen, auch beim Kunden: Alles, was ich heute sage, ist wahrscheinlich in drei Monaten sowieso wieder egal. Aber: Wenn ihr für folgende Aufgaben, da nutzt einfach so ein günstiges Modell, weil das reicht aus. Wenn ihr wirklich komplizierte Aufgaben habt, da könnt ihr das teurere Modell nehmen. Und dieses teurere Modell ist dann Claude Opus oder was auch immer, und das ist einfach auch so: Man schult die Leute.

Also großes Thema. In Ops ist das ein Riesending.

Christoph: Ist ein Riesending. Und viele Unternehmen oder die meisten fangen mit Claude und ChatGPT an. Aber gerade diese Top-Frontier-Modelle, Claude Fable also, die sind ja auf PhD-Niveau. Die können ja heutzutage einen PhD in Quantenphysik erstellen. Brauche ich denn so einen Mitarbeiter als Agenten in meinem Unternehmen für eine einfache Buchhaltung? Eher nicht.

Sven: Sieht man auch im typischen Harness-Code: Wenn du Autovervollständigung brauchst, dann nimmst du ein günstigeres Modell. Und für andere Sachen nimmst du genau ein anderes Modell. Eine Sache, die wir auch machen, ist natürlich Kostentransparenz. Ich glaube, das ist für viele wichtig: Man sagt nicht einfach „Benutzt was Schlechtes", sondern idealerweise muss man sagen: „Das kannst du schon benutzen, aber du hast hier einen eindeutigen Identifier und hier ist Kostenkontrolle. Du hast ein Budget und du musst gucken, welche Aktionen wie viel Geld kosten."

Also ich habe auch schon mit Leuten gearbeitet, die per Spracheingabe sagten: „Kannst du mal die Klasse umbenennen?" Da musst du sagen: Ja, also per Spracheingabe eine Klasse umbenennen ist vielleicht teurer, als sie kurz selbst zu tippen. Ja, das geht vielleicht zu weit.

Christoph: Wenn man dann zu kleinkariert wieder ist, wie im Leben: Wenn man also jeden Cent irgendwie umdreht, hat man mehr Aufwand, diese Kosten zu kontrollieren, als man wirklich spart. Das muss immer irgendwo im Ausgleich sein. Definitiv.

Sven: Ja, ich denke, auf jeden Fall, ja.

Christoph: Aber wir wissen ja auch: Diese Modelle werden immer mehr zu Commodities. Also gerade aus China kommt ja gerade ganz viel an neuen Modellen, die Open-Weight-Modelle, die man auf verschiedener Hardware und in verschiedenen Clouds betreiben kann, die immer besser werden. Also der Abstand zu den wirklichen Top-Frontier-Modellen aus den USA wird immer geringer. Da wird es immer mehr geben, und da werden die Kosten in Zukunft runtergehen. Da bin ich ziemlich überzeugt.

Sven: Ja gut, wir werden sehen. Also das ist wieder so eine Sache, da sind „Age like milk" oder „Age like wine", ne. Also wir haben jetzt sozusagen immer das Gedankenexperiment: Was tun wir, wenn KI nicht mehr subventioniert ist, was machen wir dann? Ja. Aber vielleicht kommen irgendwann die Small Language Models, die kann man einfach auf seinem Laptop laufen lassen.

Christoph: Und wie gesagt, das Beispiel: Für einen Agenten, der Rechnungseingang prüfen muss, muss ich keine Quantenphysik kennen. Diese großen Frontier-Modelle haben ja auch einen gigantischen Schatz an Allgemeinwissen, den ich für einen speziellen Job oft auch gar nicht brauche.

Sven: Ah, du meinst: Es wird irgendwann spezialisierte Modelle geben?

Christoph: Ja, das geht ja jetzt schon in die Richtung, Modelle, die gut im Reasoning sind, oder Modelle, die Tools besonders gut bedienen können, oder die Coden können. Und das sieht man in verschiedenen Benchmarks, dass diese Modelle auch durchaus unterschiedlich sind. Nur diese großen allgemeinen Frontier-Modelle versuchen, gut in allem zu sein.

Sven: Ja, ja, macht Sinn. Also genau. Ja. Haben noch ein paar Dinge. Du hast eben Qualitätskontrolle genannt und du hast Frontier-Modelle genannt. Fangen wir mal bei den Frontier-Modellen an. Also wir nutzen im Moment, die meisten nutzen die Modelle von OpenAI beziehungsweise von Anthropic. Die Chinesen sind jetzt ziemlich gut und richtig gut. Wo stehen wir als Europäer?

Christoph: Das ist eine gute Frage. Natürlich fällt jedem sofort Mistral ein, unser Vorzeigeunternehmen in Frankreich, die nicht schlecht sind. Aber man muss auch sagen: Die sind natürlich nicht auf dem Level wie jetzt die Frontier-Modelle in den USA oder auch in China. Und Mistral hat ja jetzt gerade vor kurzem entschieden, dass sie eben auch Modelle hosten, die sie auf ihrer Hardware betreiben. Das hat dann bei manchen zu einem Aufschrei geführt: „Jetzt gibt die letzte Hoffnung Europas quasi auf." Ich würde das gar nicht so dramatisch sehen. Also wenn da gute Modelle aus China kommen und das sind Open-Weight-Modelle, also Open Source, warum nicht die nutzen und auch quasi auf unserer europäischen Hardware betreiben, nach unseren Datenschutzrichtlinien, DSGVO usw.? Da sehe ich erst mal nichts Schlechtes dran.

Und da muss man sagen: Diese Milliarden, die von den großen Laboren wie gerade OpenAI in immer wieder die neuesten besten Modelle investiert werden, das ist extrem schwierig, von Europa aus dieses Wettrennen mitzuhalten. Und die Frage ist auch: Müssen wir das eigentlich? Für viele, viele Anwendungen in der Industrie brauche ich diese gigantischen Frontier-Modelle eigentlich nicht. Da brauche ich nicht Quantenphysik, ich muss meinen Job gut machen. Und da ist es, glaube ich, eher wichtiger, dass ich mich darauf verlassen kann, dass das in Europa läuft, das richtet sich an unsere Datenschutzbestimmungen, an unsere Gesetze, das ist hier gehostet, und das können wir durchaus in Europa machen.

Natürlich, ein bisschen schon. Aber wir haben auch eine starke Industrie hier. Wir sind oft höher automatisiert in der Industrie als in den USA zum Beispiel oder in China. Und ich glaube schon, dass wir da auch den Sprung Richtung Automatisierung schaffen werden.

Sven: Ja, ich meine: Das eine ist, wir haben die Open-Weight-Modelle. Aber Mistral hat aufgehört, eigene Modelle zu entwickeln, oder wie?

Christoph: Das habe ich so nicht gesagt. Aber sie haben zumindest, sagen wir, nehmen auch jetzt Modelle, die sie auf ihrer eigenen Hardware betreiben.

Sven: Das war die Aussage. Ja, ja, okay. Und für spezielle industrielle Anwendungen ist nachher ja das Fine-Tuning noch mal wichtig. Und ich kann ja durchaus allgemein trainierte Modelle aus China nehmen, die Open-Weight-Modelle, und im Prinzip ein Fine-Tuning an europäischen Industrie-Anwendungen noch mal drauf trainieren.

Christoph: Das kann ich ja auch machen. Alright.

Sven: Qualitätskontrolle, finde ich schon ein guter Punkt. Du hast ja, das ist auf jeden Fall eine der Herausforderungen: LLMs sind einfach nicht deterministisch. Wie geht man damit um?

Christoph: Das ist definitiv eine spannende Frage. Also erst mal: Das ist auch einer der Gründe, wir haben ja ganz am Anfang über die ersten Use Cases gesprochen: Wie tasten sich eigentlich Unternehmen an eine Strategie ran? Die meisten Unternehmen fangen mit internen Prozessen an, also zum Beispiel internes Knowledge Management. Wir arbeiten mit einer großen Bank, die haben gigantische Prozessdokumentationen, Systeme, teilweise noch ausgedruckt oder in PDFs, Tausende von Seiten. Und die werden jetzt in einen Chatbot eingesetzt über ein System, sodass Mitarbeiter einfach fragen können und sich Dinge erklären lassen können. Das ist so ein Use Case. Da ist dann ein Problem in der Qualität nicht ganz so schlimm, weil das natürlich nicht nach außen dringt. Da wird dann der Mitarbeiter sagen: „Ich kriege hier völligen Unsinn raus, sorry." Und dann kann man sich das angucken und die Qualität verbessern. Dadurch entsteht noch kein Imageschaden für eine Bank oder ein Unternehmen.

Ja, es nach draußen zu lassen, zu den Kunden oder Wettbewerbern, ist dann schon ein anderer Schritt. Und da ist natürlich die Qualitätskontrolle viel, viel wichtiger. Weil wenn da irgendwie Unsinn kommt oder vielleicht sogar auch toxische Dinge, das kann man ja alles nicht ausschließen, kann das erheblichen Imageschaden verursachen.

Sven: Ja, ja. Ich muss lachen, weil: Neulich hatte ich mit meiner Bank eine Frage wegen der Juniorkarte von meiner Tochter und dann kommt erst der Chatbot, ja, ja, und dann hat der kompletten Bullshit erzählt. Dann habe ich gesagt: „Bist du dir wirklich sicher, dass das so funktioniert?" Ja, ja, das geht so, geht zum Geldautomaten und macht… Genau, das hat natürlich überhaupt nicht funktioniert. Und dann bin ich zurück und habe gesagt: „Das war kompletter Nonsens." Okay, dann weiß ich nicht weiter. Da kommt jetzt ein Mensch, und der Mensch hat mir ganz anderes erzählt. Ich habe gedacht: Oh, das ist jetzt wirklich ganz schlecht, also bei Banken.

Christoph: Gerade bei einer Bank. Ja. Es gibt das andere schöne Beispiel, das erzählt man sich, ich weiß nicht, ob es wirklich passiert ist. Angeblich in Lateinamerika: Da gab es eine Fastfoodkette, die hat so ein Telefon-Ordersystem und hat es sich da super einfach gemacht, hat einfach das, was der Kunde am Telefon sagt, transkribiert und an Claude geschickt. Und dann haben viele Leute das rausgekriegt und haben gesagt: „Nein, ich will eigentlich nichts bestellen, aber ich habe folgende Aufgabe…" und man hat im Prinzip freien Zugriff auf Claude.

Sven: Also das ist jetzt so ein Klassiker, dass so Kundenservice-Systeme genutzt werden, um umsonst irgendwelche LLMs zu nutzen. Ganz genau. Also große Aufgaben an den Telekom-Chatbot auslagern, oder?

Christoph: Das haben wir wirklich auch erlebt: Ein Kunde will quasi ein Infosystem an seine Kunden machen. Und wenn dann der Kunde fragt: „Was ist denn so die beste Lösung?" und der Chatbot plötzlich das Wettbewerbsprodukt nennt? Ja, das kann ja passieren. Solche Dinge muss man natürlich über Guardrails entsprechend einkreisen und verhindern.

Sven: Ja, Guardrails. Was wäre so ein Beispiel für Guardrails?

Christoph: Ja, zum Beispiel: Ich will einen Chatbot machen, der mir vegane Kochrezepte rausgibt. Und dann muss ich aber sicherstellen, dass es auch wirklich vegan ist und er da nicht irgendwie auswüchst. Da darf nichts Fleischliches dabei sein. Oder das Beispiel: Ich soll meinen Kunden beraten, was sein Auto oder so, und der darf natürlich nicht das Wettbewerbsprodukt dann erwähnen oder sogar irgendwie empfehlen.

Und dafür brauche ich Guardrails. Das wird in der Regel über Reinforcement Learning noch mal über ein Fine-Tuning gemacht. Das ist aber auch nicht perfekt.

Sven: Aber ist das was für ein normales Unternehmen? Also Fine-Tuning klingt schon ziemlich advanced, würde ich mal sagen.

Christoph: Unternehmen machen das schon. Also ist Fine-Tuning so wie System-Prompts, oder wie muss ich mir das vorstellen?

Fine-Tuning wird in der Regel über Reinforcement Learning gemacht, das heißt, ich beeinflusse das Verhalten des Chatbots. Der ist schon trainiert und macht schon normale Aussagen, aber vielleicht nicht in die Richtung, wie ich das möchte. Und dann brauche ich normalerweise Menschen dafür. Das nennt sich auch Reinforcement Learning from Human Feedback (RLHF). Das heißt, ich stelle eine Anfrage, ich kriege was zurück, und jetzt muss ein Mensch beurteilen: War das jetzt richtig? War das okay oder war das nicht okay? Und es gibt eigentlich nur diesen Wert: „War gut" oder „Schlecht". Man sieht es oft bei Chatbots, dass man Daumen rauf oder Daumen runter machen kann. Das kann dafür auch benutzt werden. Und durch dieses Fehlersignal über Reinforcement Learning kann ich schlechtes Verhalten quasi wegtrainieren oder unterdrücken. So funktioniert das.

Und das ist deutlich weniger aufwendig als das erste initiale Training, viel, viel weniger. Ich brauche weniger Daten und weniger Rechenkapazität. Von daher ist das für Unternehmen machbar, und das wird auch gemacht.

Sven: Gut. Aber wir sind am Ende angekommen. Noch mal die Zeit. Aber zum Thema: Weil du Use Cases erwähnt hast und Nicht-Determinismus: Also lieber erst mal mit internen Dingen anfangen.

Christoph: Mit internen Dingen auf jeden Fall anfangen. Wenige Kunden trauen sich wirklich schon raus damit. Ganz ehrlich. Also deine Bank wundert mich fast ein bisschen.

Sven: Das war…

Christoph: Nicht Sparkasse, aber eine Bank. Interessant. Also meine Bank macht das definitiv nicht, da gibt es dann nur so deterministische Geschichten. Das merkt man sofort, dass die irgendso einen Entscheidungsbaum durchgehen. Das ist dann deterministisch, kann ich überprüfen, aber da LLMs dranzulassen, ist schon gewagt, sage ich mal.

Ja, Qualitätskontrolle ist extrem wichtig. Ich muss auch immer wieder monitoren, das wird ja alles geloggt, und ich muss gucken, was Vorfälle gab es. Es kann durchaus sein, dass so ein Chatbot, der läuft, irgendwann plötzlich in die falsche Richtung geht, und dann muss man sofort eingreifen.

Sven: Ja, und das ist ein anderes Thema: Monitoring von Systemen, anderes Thema für einen anderen Tag.

Christoph: Genau. Dann käme jetzt noch das ganze Thema Prompt Injection, Jail Breaking usw., auch noch ein großes Problem. Die ganzen Security-Anforderungen sind ganz andere als bei klassischen Systemen, die ich auch beachten musste.

Sven: Ja, ja. Würde ich sagen: auf jeden Fall. Also haben einige Themen durchgekaut. Vielen, vielen Dank und…

Christoph: Hat mir Spaß gemacht. Komme gerne noch mal. Ja, ich hoffe, es war interessant. Ich denke ja. Es ist auf jeden Fall ein super, super spannendes Thema, mit dem sich jeder beschäftigen muss.

Sven: Ja, ja. Also ich hoffe auch, dass alle, die es bis zum Ende ausgehalten haben, viel gelernt haben. Ich denke schon. Also für mich waren jetzt auch wieder ein paar erhellende Dinge dabei, die ich so vorher gar nicht auf dem Schirm hatte, trotz allen Gesprächen, die es gab. Aber ich denke auch: Das ist ein Thema, das man nicht aussitzen kann. Aber auf der anderen Seite: Man darf auch nicht zu forsch rangehen, also im Sinne von: Die erste Anwendung ist direkt eine Public-Anwendung.

Christoph: Und darüber hinaus: Es ist natürlich ein Thema für jedes Unternehmen, damit zu beschäftigen. Aber es ist auch ein Thema für uns als Gesellschaft. Das ist mir auch wichtig. Und ich glaube, jeder muss sich da auch Gedanken machen oder diskutieren, überlegen, Parteien, Gremien, Gesellschaft, alle. Wir laufen da in eine große Veränderung rein.

Sven: Ja, ja, ja, ja. Also vermutlich zu schnell. Das ist die Frage.

Christoph: Ob wir es verlangsamen können, wir werden sehen. Sehr, sehr spannende Zeiten.

Sven: „Live in Interesting Times." Damit: Vielen Dank.

Christoph: Sehr gerne. Es hat mich super gefreut. Bis zum nächsten Mal. Danke. Tschüss. Tschau.

Sven: War noch in der Zeit, oder? Super.

Diese Zusammenfassung wurde automatisiert erstellt und nicht manuell überprüft. Es kann daher Fehler enthalten. Massgeblich ist immer das im Mitschnitt gesprochene Wort.

KI-Strategie: Warum so viele Unternehmen noch keine haben

Christoph Windheuser, Senior Manager bei Databricks Forward Deployed Engineering und ehemals Global Head Data & AI bei ThoughtWorks, und Host Sven Johann erörtern zu Beginn, weshalb trotz allem Hype viele Unternehmen noch über keine echte KI-Strategie verfügen. Windheuser erklärt, dass die Geschwindigkeit der Entwicklung das entscheidende Hindernis ist: Was vor einem Jahr noch kaum denkbar war – etwa der routinemäßige Einsatz von Coding-Assistenten –, ist heute bereits Alltag. Strategien brauchen aber Zeit zum Reifen; das Tempo der Technologie lässt kaum Raum dafür. Hinzu kommt, so Windheuser, dass viele Unternehmen das disruptive Potenzial unterschätzen: Sie denken in Effizienzgewinnen von x Prozent, statt in grundlegend neuen Geschäftsmodellen und Wertschöpfungsketten.

„KI ist kein Thema, bei dem ich jetzt Kosten um x Prozent sparen oder meine Prozesse um x Prozent schneller machen kann. Das hat ein unglaubliches disruptives Potenzial."

Die fünf Level des autonomen Unternehmens

Windheuser führt eine Analogie zum autonomen Fahren ein, um den Reifegrad von Unternehmen beim KI-Einsatz zu beschreiben. Level eins entspricht einfachen Assistenzsystemen – Chatbots, die Mitarbeitern bei Texten oder Zusammenfassungen helfen. Level zwei bringt Automatisierung einzelner Aufgaben durch Agenten, die unter Aufsicht von Mitarbeitern agieren. Level drei ermöglicht weitgehend autonome Prozesse, bei denen der Agent nur bei Ausnahmen eskaliert. Level vier und fünf – vollautonome Unternehmen nach dem Vorbild von Robotaxis – gelten heute noch als Zukunftsvision, sind aber für bestimmte Branchen bereits vorstellbar. Sven Johann und Windheuser betonen, dass nicht jedes Unternehmen Level fünf anstreben muss; das eigene Ziel hängt von Branche, Wettbewerb und Art der Tätigkeiten ab.

„Nicht jedes Unternehmen muss bei Level fünf landen. Jedes Unternehmen muss für sich entscheiden, wo es sein will, wo seine Konkurrenz ist."

Harness-Konzept: Die Intelligenz allein reicht nicht

Ein zentrales Konzept des Gesprächs ist der sogenannte Harness – ein technisches Gerüst, das ein Large Language Model für eine spezifische Aufgabe nutzbar macht. Windheuser erläutert, dass ein LLM wie Claude oder ChatGPT zwar hohe allgemeine Intelligenz mitbringt, aber ohne Harness keine strukturierten Prozesse steuern kann. Als Beispiele nennt er das Interview-Tool Bright Hire, das im Hintergrund Gespräche transkribiert und Scorecards ausfüllt, sowie Scoping-Tools für Projektangebote bei Databricks, die in einem Nachmittag entstehen können. Sven Johann ergänzt aus eigener Erfahrung, dass Coding-Assistenten wie Claude Code ein weiteres Beispiel für ausgereifte Harnesses sind – inklusive GitHub-Anbindung, Testgenerierung und Anforderungsanalyse.

„Ich kann nicht einfach sagen: ‚Lieber Agent, mach das mal für mich' – so funktioniert das nicht. Das ist vergleichbar mit einem neuen Mitarbeiter im Unternehmen."

Schatten-IT: Das unterschätzte Problem der KI-Demokratisierung

Windheuser und Sven Johann diskutieren ausführlich, warum Schatten-IT durch KI eine neue Dimension bekommt. Da die Erstellung von Software durch LLM-gestützte Codegenerierung fast kostenlos wird, können heute auch Fachabteilungen ohne IT-Kenntnisse eigene Tools bauen. Das führt zu einer Explosion nicht dokumentierter, nicht auditierter Lösungen – vergleichbar mit der Excel-Schatten-IT, nur in deutlich größerem Maßstab. Sven Johann schildert, dass Unternehmen, die KI-Tools verbieten, das Gegenteil erreichen: Mitarbeiter nutzen private Accounts und laden Firmendaten hoch. Die Lösung, so Windheuser, liegt nicht im Verbot, sondern in Leitprinzipien – und vor allem in klarer Data Governance: einer Single Source of Truth, die regelt, wer auf welche Daten zugreifen darf.

„Diese Schleusentore wieder zuzumachen wäre auch der falsche Weg – weil meine Entwickler haben eine ganz andere Produktivität und sind daran gewöhnt. Das kann ich nicht plötzlich wieder wegnehmen."

Token-Kosten: Das Budget-Problem und intelligente Steuerung

Sven Johann und Windheuser sprechen offen über ein praktisches Problem, das viele Unternehmen bereits kennen: das schnelle Erschöpfen von Token-Budgets, sobald der Zugang zu Frontier-Modellen freigegeben wird. Windheuser empfiehlt sogenannte Gateways der Cloud-Provider, die Token-Anfragen zentral steuern und je nach Aufgabe auf günstigere oder Open-Source-Modelle umlenken. Sven Johann ergänzt Context-Engineering als weitere Stellschraube: kleinere Kontextfenster, spezialisierte Subagenten für Teilaufgaben und gezielte Nutzungsschulungen. Beide sind sich einig, dass zu kleinkarierende Kostenkontrolle kontraproduktiv ist – das eigentliche Ziel ist intelligente Allokation, nicht das Abwürgen produktiver Arbeit.

„Diese sehr fähigen Frontier-Modelle sind eben auch sehr teuer. Und da laufen Kunden sehr schnell in Budgetprobleme rein."

Qualitätskontrolle und Guardrails

Abschließend beleuchten Windheuser und Sven Johann die Herausforderung, dass LLMs nicht deterministisch sind – und was das für den produktiven Einsatz bedeutet. Windheuser empfiehlt, mit internen Use Cases zu starten, wo Qualitätsfehler keinen Imageschaden anrichten. Er schildert das Beispiel einer Bank, die interne Prozessdokumentation als Chatbot erschlossen hat, und kontrastiert es mit riskanten externen Anwendungen wie Kunden-Chatbots ohne ausreichende Absicherung. Guardrails – technisch umgesetzt über Reinforcement Learning from Human Feedback (RLHF) – können unerwünschtes Verhalten wegtrainieren, sind aber kein Allheilmittel. Beides erfordert kontinuierliches Monitoring und konsequente Protokollierung.

„Man muss natürlich auch immer wieder monitoren – das wird ja alles geloggt, und ich muss gucken, was Vorfälle gab es."