This blog post is also available in English

TL;DR

  • Wenn Bauen billig ist, liegt es nahe, jede Idee auszuliefern und in Produktion zu lernen. Ein ausgeliefertes Feature testet aber die ganze Idee, und scheitert es, weiß man nicht, warum.
  • Coding Agents machen Prototype Tests und Research Spikes günstig. Damit lassen sich einzelne Annahmen zu Usability und Machbarkeit prüfen. Danach wird das Artefakt verworfen.
  • Bauen, um zu liefern, ist eine andere Tätigkeit. Das Ergebnis bleibt, muss gewartet werden, und seine Wirkung wird gemessen.
  • Ein Prototyp, den man behält, wird zu ungeplanter Delivery ohne Harness. Deshalb vor dem Bauen klären, welche Annahme geprüft wird, was ein Ergebnis bedeuten würde und wer den Prototyp danach löscht.

Dieser Blogpost ist Teil einer Reihe.

  • Teil 1: Bauen, um zu lernen, und Bauen, um zu liefern (dieser Blogpost)
  • Teil 2: Bauen um zu verstehen
  • Teil 3: Warum wir weiter Juniors brauchen

In These 3 beschäftigen wir uns mit dem Einwand, dass man dadurch, dass Bauen billig geworden ist, einfach alle Ideen umsetzen und in Produktion lernen kann, ob diese taugen. Bestimmte Annahmen, etwa zu Usability oder Machbarkeit, lassen sich durch agentisches Bauen tatsächlich deutlich günstiger testen als bisher. Ob das Gebaute aber auch in Produktion landen und erst dort getestet werden sollte, ist eine ganz andere Frage.

Teresa Torres unterscheidet in Continuous Discovery Habits klar zwischen Assumption Tests und Experimenten. Assumption Tests dienen dazu, in der Discovery einzelne Annahmen zu prüfen und helfen einerseits dabei, die Lösungsidee zu verbessern und andererseits zwischen mehreren Ideen zu entscheiden. Experimente, etwa A/B-Tests, messen, ob etwas, das ausgeliefert wurde, die angestrebte Wirkung erzielt und brauchen dafür entsprechend viel Traffic. Torres begründet die Trennung folgendermaßen: Erstens will man nicht erst alles bauen und dann zu erfahren, dass es das Falsche war. Zweitens weiß man, wenn man eine ganze Idee testet anstatt einer einzelnen, kleinen Annahme, nicht, warum diese scheitert. Scheitert ein einzelner Assumption Test, ist ziemlich klar, was sich ändern muss.

Das erste Argument hat sich durch agentische Entwicklung auf den ersten Blick überholt: Wenn Bauen wenig kostet, ist es nicht schlimm, etwas Falsches gebaut zu haben. Das zweite Argument gilt weiterhin: Ein ausgeliefertes Feature ist ein Test der gesamten Idee. Wird das Feature kaum genutzt, kommen dafür mehrere Ursachen in Frage, etwa fehlender Bedarf, schlechte Auffindbarkeit, Usability-Probleme oder ein eingeübter Workaround. Dass das Bauen billig war, hilft nicht der Ursache auf die Spur zu kommen.

Billiges Bauen kann aber auch dort helfen, wo eine einzelne Annahme getestet wird. Torres zählt Prototype Tests und Research Spikes zu den vier Arten von Assumption Tests. Mit Coding Agents lassen sich Usability- und Machbarkeitsannahmen prüfen, für die früher der Aufwand zu hoch war. Ein solches Artefakt hat eine Aufgabe: eine Frage beantworten. Danach wird es verworfen. Es braucht keine Produktionsqualität und läuft nicht dort, wo Nutzer:innen ihre Arbeit erledigen.

Bauen, um zu liefern, ist eine gänzlich andere Tätigkeit. Das Ergebnis soll bleiben und muss in Zukunft gewartet werden. Gemessen wird danach die Wirkung, im Sinne eines Experiments.

Es mag verlockend sein die Grenzen zu verwischen. Ein agentisch gebauter Prototyp sieht schnell aus wie ein Produkt, und Wegwerfen kostet oft Überwindung. Behält man ihn, wird aus dem Test ungeplant Delivery ohne Harness. Das erhöht die Wartungslast und erzeugt technische Schulden. Dagegen hilft Disziplin vor dem Bauen: Welche Annahme wird geprüft, was würde ein Ergebnis bedeuten, und wer löscht den Prototyp danach? Torres rät ohnehin dazu, die Erfolgskriterien vor dem Test festzulegen.

Auch der Ort des Tests zählt. Prototype Tests mit Menschen, die wissen, dass sie etwas ausprobieren, greifen nicht in die Oberfläche der Produktivnutzer:innen ein. Dasselbe gilt natürlich auch für andere Arten von Assumption Tests, etwa Data Mining auf vorhandenen Daten. Wer dagegen laufend Ideen in Produktion ausspielt, verbraucht Erwartungskonformität: Nutzer:innen bauen mentale Modelle durch wiederholte Nutzung auf, und jede Änderung setzt Teile davon zurück. Mehr dazu in “Faster Is Not Better”. Eine Ausnahme sind kurze Fake-Door-Tests, die man selten und befristet einsetzen sollte.

Agentic Trio

Zu den 12 Thesen