Dieser Blogpost ist Teil einer Reihe.
- Teil 1: Wertschöpfung in Zeiten agentischer KI-Systeme
- Teil 2: Das Versprechen der Agenten (dieser Blogpost)
- Teil 3: Agenten - Kreise - Firmen
In Teil 1 habe ich ein Zukunftsszenario mit Hypothesen vorgestellt. Wir nehmen an, dass agentische Systeme Realität werden. In diesem Blogpost untersuchen wir genauer, was eigentlich das wichtigste Wertversprechen (Value Proposition) dieser Systeme ist.
Agentische KI-Systeme sind die große Wette der KI-Industrie. Sie sollen ganz neue Möglichkeiten eröffnen, wie wir mit Daten umgehen. Was ist an diesen Systemen neu im Vergleich zu traditionellen Systemen und welche Konsequenzen hat das für unsere gewohnten Prozesse?
Was ist “Agency”?
Agentic ist das Adjektiv zu agency, das in Deutsch kein Äquivalent hat. Agency umfasst die Begriffe Handlungsfähigkeit, Autonomie und Akteurschaft. Ich beneide Englisch für dieses elegante Wort[1]. Merriam-Webster sagt:
The capacity, condition, or state of acting or of exerting power
(Die Fähigkeit, der Zustand oder die Eigenschaft zu handeln oder Macht auszuüben)
Agentische KI-Systeme haben die Fähigkeit und die Freiheit, Handlungen zu planen, sobald sie erforderlich sind, und sie auch auszuführen. Das ist der entscheidende Unterschied zu konventionellen Systemen, deren Abläufe (Pläne) alle vorbestimmt sind.
Dass agentische Systeme Zugriff auf andere Systeme haben und mit diesen kollaborieren, um die Umwelt zu verändern, unterscheidet sie prinzipiell nicht von konventionellen Systemen.
Die Schlussfolgerungen, die wir hier ziehen werden, gelten in ähnlicher Form bereits heute für die etablierten KI-basierten Systeme (Chatbots, RAG-Systeme), die noch nicht agentisch sind. Sie sind von Haus aus noch “eingezäunt”. Sie erstellen sich selbst keine Pläne und haben eingeschränkten Zugang zur Außenwelt. Die Agency verstärkt die Wirkung und Reichweite der Systeme. Was sich schon heute andeutet, wird in Zukunft fundamental sein.
Konventionelle versus LLM-basierte Systeme
Weil heute die Large Language Models (LLMs) Stand der Technik sind, und niemand (außer theoretisch) davon ausgeht, dass sie bald abgelöst werden, nehmen wir sie als Grundlage für agentische KI-Systeme an. Die LLMs von morgen werden anders sein als heute, aber den gleichen Prinzipien folgen.
Konventionelle Systeme unterscheiden sich grundlegend von LLMs.
Ein konventionelles System besteht aus vorhergesehenen Regeln für vorhergesehene Daten. Die Aufgaben des Systems werden geplant und in klare, nachvollziehbare Regeln mit kausalem Zusammenhang (Ursache-Wirkung) formuliert. Das System erwartet und liefert Daten in einem festgelegten Format.
Ein LLM-basiertes System ist eine universelle Maschine, die nicht einsehbare Muster ausführt, die durch nicht vorhergesehene Daten ausgelöst werden können. Sie wird nur mit wenigen, grundlegenden Regeln per Prompt gesteuert.
Bei LLMs gibt es keinen erfassbaren, kausalen Zusammenhang. Wir können nicht den Deckel aufmachen und nachsehen, wie sie funktionieren, und gedanklich nachvollziehen, was mit bestimmten Eingabedaten passiert. Bei Anthropic gibt es erste Forschungsarbeiten zur Nachvollziehbarkeit, das sind dennoch noch lange keine Zusammenhänge, die in einen menschlichen Kopf passen.
LLMs zeigen ihre Eigenschaften nur durch das, was sie generieren. Sie sind nur über ihre Ausgaben beobachtbar und lassen sich nicht analysieren mit der konventionellen Herangehensweise, die Ursache und Wirkung untersucht. LLMs sind aus Daten entstanden. Die Muster im neuronalen Netz haben keinen Quellcode. Es sind Datenprogramme, keine Code-Programme.
Das Versprechen
Das Versprechen agentischer KI-Systeme ist, dass wir nicht mehr vollständig vorhersagen müssen, welche Aufgaben auf das System zukommen.
Wir müssen nicht mehr alle Daten im Detail spezifizieren. Das System soll eigenständig Lösungswege finden (siehe “Agency” oben), die notwendigen Daten aus umliegenden Systemen beschaffen, eine Lösung ausarbeiten und auf andere Systeme einwirken können. Es hat die Freiheit, flexibel auf verschiedene und unerwartete Situationen zu reagieren.
Würden wir diese Freiheit nicht zulassen, könnten wir genauso gut ein konventionelles System verwenden.
Möglich werden soll das alles durch Reasoning-Fähigkeiten der LLMs. Sie sollen in der Lage sein, über Eingabedaten “nachzudenken” und daraus Handlungen abzuleiten. Erste Ansätze sind heute schon zu beobachten und unser Zukunftsszenario extrapoliert den Fortschritt einfach weiter in der aktuellen Geschwindigkeit.
Agentische KI-Systeme sollen mehr leisten, als wir voraussehen können. Das ist der Kern ihres Wertversprechens.
Dazu passt ein Zitat aus dem visionären Film Her (2013):
Der Paradigmenwechsel des Nichtdeterminismus
Das klingt ja toll! Weniger grübeln müssen für mehr Output. Bekommen wir das alles geschenkt?
Absolut nicht.
Konventionelle Systeme sind streng deterministisch. LLM-basierte Systeme sind zu einem gewissen Grad nicht-deterministisch. Das müssen sie auch sein, weil sie sonst nicht flexibel auf nicht vorhergesehene Daten reagieren könnten. Der Nichtdeterminismus fängt bei agentischen KI-Systemen also schon mit den Eingabedaten an!
Und jetzt kommt’s:
Nicht-deterministische Systeme sind uns nicht vertraut und unsere Prozesse sind nicht dafür ausgelegt. [2]
Wissen Sie, wer schon immer mit nicht-deterministischen Systemen gearbeitet hat und mit allen notwendigen Verfahren vertraut ist? Machine Learning Experten.
Ist es nicht logisch, dass LLMs, die durch Machine Learning entstanden sind, von uns Umdenken verlangen und ein neues Mindset notwendig machen?
Testabdeckung ist heute – Approximieren und Stabilisieren ist morgen
Sprechen wir kurz über das Testen, weil das schnell ins Bewusstsein kommt, wenn wir über Nichtdeterminismus reden.
Wenn es keine Ursache-Wirkung-Zusammenhänge gibt, dann gibt es auch keine Testabdeckung mehr.
Testen in der Ära der LLMs verlangen ein neues Mindset. In konventionellen Systemen besteht das Testen aus der Verifizierung bekannter Ausgaben gegen bekannte Eingaben. Mit LLMs wird Testen zur Charakterisierung der Distribution (der messbaren Qualität) der Ausgaben und dem Vergewissern, dass sie innerhalb akzeptabler Grenzen liegt.
Das Testen überwacht die Approximation der Grenzen und Stabilität der Ausgaben. Im nächsten Blogpost stelle ich einige weitere Konzepte vor, die wir dazu brauchen.
LLM-basierte Systeme versagen anders
Man kann LLM-basierte Systeme nicht alleine lassen, bis sie sich mit einem (herkömmlichen) Fehler bemerkbar machen. Denn so sind wir es gewöhnt: Wir testen unser System ordentlich durch und wenn dann doch einmal etwas Unvorhergesehenes passiert, finden wir es in einem Log.
LLM-basierte Systeme versagen anders, haben andere failure modes:
- Sie geben immer eine Antwort. Binäre Ausfälle (geht - geht nicht) treten nicht auf - außer bei Versagen der Infrastruktur.
- Fehler manifestieren sich in der Qualität der Antwort oder in der Reaktion der User.
Daraus folgt unmittelbar:
Das kontinuierliche Aufzeichnen und Auswerten der Eingaben und Antworten von LLMs ist eine notwendige Voraussetzung.
Oder umgekehrt:
Wenn das Aufzeichnen dieser Daten nicht möglich ist, aus welchen Gründen auch immer, kann ein KI-System nicht erfolgreich sein.
Beim Testen erkennen wir leicht die Konsequenz des Paradigmenwechsels. Er geht aber noch viel weiter.
Im nächsten Blogpost werden wir sehen, dass die Grenzen zwischen Testen und Betreiben eines LLM-basierten Systems verschwimmen. Die gleichen Konzepte werden auf beides angewendet.
Fazit
Mit agentischen KI-Systemen werden wir uns weitreichend an das probabilistische Weltbild anpassen müssen, mit dem Machine Learning Experten schon immer vertraut sind. Diese neue Sichtweise und was Satya Nadella (CEO von Microsoft) unter “The New Idea of a Firm” versteht, untersuchen wir genauer im nächsten Blogpost.