Vortrag

AI Product Engineering Workshop: Wie ein KI-Feature in die bestehende Architektur kommt

Heikel wird ein KI-Feature, sobald das Modell mitten in einem Fachvorgang arbeitet und niemand mehr jede Antwort liest. Ein plausibler Fehler landet dann direkt im nachgelagerten System und sieht in keinem Log wie ein Fehler aus. Den ganzen Tag begleitet uns ein durchgehendes Beispiel aus einem Fachprozess, in dem ein KI-Feature eingehende Vorgänge einordnet und den nächsten Schritt anstößt. Prompt, Schema, Modell, Tools und Eval-Set behandeln wir als einen versionierten Vertrag, den Agent Contract. Im Schema steckt mehr Fachlichkeit, als man erwartet. Unsicherheit und Belegstellen bekommen eigene Felder und das Wissen des eigenen Hauses muss ausdrücklich in den Kontext. Evals bewerten pro Kriterium, und auch ein LLM-Judge muss sich an menschlichen Labels messen lassen. Schwierig sind Tools, die Erfolg melden, obwohl nichts geschehen ist. Ein Gate legt im Code fest, was der Agent selbst darf, was ein Mensch freigibt und was blockiert wird. Über mehrere Revisionen hinweg zeigen Traces, wann Qualität, Kosten oder Latenz still kippen. Das Modell bleibt dabei der einzige nichtdeterministische Baustein. Alles um ihn herum ist gewöhnliche Software, die ihr testet und betreibt wie den Rest eurer Systemlandschaft. Theorie und Übungen wechseln sich ab. Mitbringen müsst ihr nur einen Laptop mit Browser.

Datum
14.05.2027
Uhrzeit
09:00 - 16:30
Konferenz / Veranstaltung
JAX 2027
Ort
Rheingoldhalle Mainz, Mainz