48 Jahre Human-in-the-Loop: So nutzt du KI-Agenten-Frameworks heute

Du verantwortest den Einsatz von KI-Agenten in deinem Unternehmen? Wir geben dir zehn Human-in-the-Loop-Prinzipien an die Hand, mit denen du Risiken einschätzen und Freigabeprozesse sicher gestalten kannst. (Direkt zu den 10 HITL-Prinzipien springen).
Dies ist der zweite Teil der zweiteiligen Serie. Teil 1 hat gezeigt, auf welchen Forschungsergebnissen diese Prinzipien beruhen. Hier erfährst du, wie du sie in der Praxis auf deine eigenen Agentensysteme überträgst.

Im ersten Blogbeitrag zu "48 Jahre Human in the Loop" haben wir auf 48 Jahre Forschung zur Zusammenarbeit von Mensch und Maschine geblickt. 1978 wurde nicht nur die Grundidee der Stufenautonomie geboren, sondern auch ich. Damit sind das HITL-Konzept und ich exakt gleich alt.

Trotzdem wird so getan, als wäre das HITL-Konzept ein ganz neues Forschungsfeld. Was wir aus der früheren Wissenschaft für heute lernen?

Kurz zusammengefasst: Autonomie ist ein Regler, kein An- und Ausschalter. Wie viel Freiheit eine Maschine bekommen sollte, hängt von der Aufgabe und dem Risiko ab (Sheridan/Verplank, 1978). Ist sich eine Maschine unsicher, sollte sie nachfragen, statt zu raten (Horvitz, 1999).

Und damit Menschen der Technik überhaupt vertrauen, braucht es vier Bedingungen:

1. Es muss klar sein, was der Agent als Nächstes vorhat.
2. Man muss ihn stoppen oder umlenken können.
3. Man muss jederzeit einsehen können, was er gerade tut.
4. Und beide Seiten müssen dasselbe Bild von der Lage haben (Klein et al., 2004).

Im zweiten Teil entsteht daraus eine Checkliste: Wie setzen LangGraph, OpenAI, Anthropic und Co. diese Theorie 2026 tatsächlich um. Was folgt daraus für dein eigenes Agentendesign? Wie daraus konkrete Agentensysteme entstehen, zeigt unsere Seite zur Entwicklung von KI-Agenten.

Wie aktuell dieser Regler-Gedanke von 1978 noch ist, zeigt ein Update aus dem Jahr 2025: Ein Forschungsteam der University of Washington hat mit „Levels of Autonomy for AI Agents" eine zeitgemäße Version vorgeschlagen (K. J. Kevin Feng, David W. McDonald und Amy X. Zhang).

Fünf Stufen zeigen, welche Rolle der Mensch jeweils übernimmt:

1. Operator: Der Mensch behält die volle Kontrolle über Planung und Strategie; der Agent unterstützt nur auf Zuruf, wie ein Copilot, und darf ohne Freigabe nichts ausführen.
2. Collaborator: Mensch und Agent planen und delegieren gegenseitig, arbeiten parallel mit engem Austausch; der Mensch kann jederzeit eingreifen und Ergebnisse direkt bearbeiten.
3. Consultant: Der Agent übernimmt Planung und Ausführung über längere Zeiträume selbst; der Mensch gibt nur noch indirekt Feedback und übergeordnete Leitplanken.
4. Approver: Der Mensch greift nur noch bei Blockern ein (fehlende Zugangsdaten, Systemausfälle, folgenreiche Entscheidungen); den Rest erledigt der Agent autonom.
5. Observer: Vollständig autonomer Betrieb ohne Eingriffsmöglichkeit außer einem Notausschalter; der Mensch beobachtet nur noch über Logs.

Wichtig dabei, ganz im Sinne von Sheridan und Verplank: Ein Agent muss nicht überall auf derselben Stufe stehen. Bei einer Aufgabe kann er mehr Freiheit haben, bei einer anderen weniger.

Genau das habe ich auch schmerzhaft lernen müssen: Ein Agent darf mir gerne fünf Antwortvorschläge für eine Kunden-Mail schreiben, aber auf 'Senden' drücke ich selbst.

In der Testwelle von OpenClaw hat mein Agent unangenehme E-Mails an meinen Elektriker geschickt. Damit ich nicht wieder im Boden versinken muss, habe ich die Zugriffsrechte massiv eingeschränkt.

Neben der Forschung veröffentlichen inzwischen auch die großen KI-Firmen Leitfäden dazu, wie viel Kontrolle Menschen über ihre Agenten behalten sollten. Drei Beispiele zeigen Ähnlichkeiten:

Einer der bekanntesten ist der Aufsatz von Anthropic. Drei Empfehlungen zum Human-in-the-Loop daraus sind besonders wichtig:

1. Ein Mensch sollte immer gefragt werden, bevor eine Aktion passiert, die man nicht rückgängig machen kann, z. B. eine Zahlung oder das Löschen von Daten.
2. Ein Agent sollte an definierten Haltepunkten immer auf einen Menschen warten: „Agents can then pause for human feedback at checkpoints or when encountering blockers.“
   Für Coding-Agenten hält der Aufsatz ausdrücklich fest, dass automatisierte Tests zwar die Funktion prüfen, die menschliche Durchsicht aber nötig bleibt, damit eine Lösung zu den übergeordneten Anforderungen passt.
3. Der Evaluator-Optimizer ist ein Muster, bei dem ein Modell erzeugt und ein zweites bewertet. Das ist erklärtermaßen ein Mittel für bessere Ergebnisse, kein Sicherheitsmechanismus.
   
   Warum dieser Unterschied entscheidend ist, steht weiter unten.

OpenAI war sogar früher dran: Ein Team um Yonadav Shavit und Sandhini Agarwal veröffentlichte damit ein deutlich ausführlicheres Rahmenwerk. Auch hier ist menschliche Kontrolle die zentrale Empfehlung:

• Für bestimmte Aktionen soll der Agent aktiv eine Freigabe einholen und sich nach einer Weile von selbst „pausieren", bis ihn ein Mensch erneut autorisiert.
• Seine Handlungen sollen in einem Protokoll nachvollziehbar bleiben, idealerweise zusätzlich automatisiert von einem zweiten System überwacht.
• Ein Mensch muss den Agenten jederzeit stoppen oder ihm den Zugriff entziehen können.

Auch Google zieht nach. Die technische Leitlinie sieht Human-in-the-Loop als festen Baustein vor. Werkzeuge können einen Workflow gezielt anhalten und erst nach menschlicher Bestätigung weiterführen, besonders bei folgenreichen Aktionen.

Soweit die Theorie. Was hat die Industrie daraus wirklich in Code gegossen? Einen praktischen Blick auf Agenten-Architektur, Orchestrierung und Kontrollpunkte bietet die Aufzeichnung unseres Webinars „KI-Agenten orchestrieren“.

Wer 2026 die HITL-Prinzipien von LangGraph, dem OpenAI Agents SDK, dem Claude Agent SDK und PydanticAI nebeneinanderlegt, sieht eine bemerkenswerte Konvergenz. Alle ernsthaften Frameworks setzen HITL über zwei Mechanismen um.

Der Agent will ein Werkzeug benutzen. Bevor der Aufruf ausgeführt wird, wird er abgefangen. Ein Mensch oder eine deterministische Regel entscheidet. Das ist die universellste HITL-Form, und jedes Framework hat sie:

1. LangGraph

LangGraph unterbricht die Ausführung mit einem sogenannten interrupt()-Befehl — einem Codebefehl, der den Ablauf genau an dieser Stelle anhält — direkt im betroffenen Verarbeitungsschritt.

Daneben kennt es eine HumanInTheLoopMiddleware: einen fertigen Baustein, mit dem sich pro Werkzeug einstellen lässt, ob eine Freigabe nötig ist, ohne das für jedes Werkzeug einzeln neu zu programmieren.

2. OpenAI Agents SDK

Das OpenAI Agents SDK markiert einzelne Werkzeuge mit der Eigenschaft “needs_approval” (sinngemäß: „braucht Freigabe") — entweder dauerhaft oder über eine Funktion, die das bei jedem Aufruf neu entscheidet.

Aufrufe, die eine Freigabe brauchen, erscheinen im Ergebnis als “interruptions”, also als offene Punkte, die erst noch von einem Menschen bestätigt werden müssen.

Das Claude Agent SDK kombiniert feste Regeln (zuerst wird geprüft, was verboten ist, dann der aktuell eingestellte Freigabemodus, dann was ausdrücklich erlaubt ist) mit einer Funktion namens “canUseTool”, die zur Laufzeit über jeden einzelnen Aufruf entscheidet.

Freigabemodi wie “plan” (der Agent darf nur lesen, nichts verändern) oder “acceptEdits” (Änderungen werden automatisch übernommen) legen fest, wie viel Freiheit eine ganze Sitzung bekommt.

3. PydanticAI

PydanticAI kennt „deferred tools" (sinngemäß: „aufgeschobene Werkzeuge"): Werkzeuge, die eine Freigabe brauchen, lösen statt einer sofortigen Ausführung erst eine Anfrage aus — wahlweise so, dass der Lauf komplett endet und später neu gestartet wird, oder so, dass er innerhalb desselben Prozesses einfach weiterläuft, sobald die Freigabe da ist.

Bei den Entscheidungstypen gehen die Frameworks dagegen auseinander — und das ist für die Auswahl wichtiger als jede Feature-Liste. LangGraph unterscheidet vier Optionen:

1. Approve = ausführen wie vorgeschlagen.
2. Reject = ablehnen, mit Begründung zurück ans Modell.
3. Edit = die Argumente des Werkzeugaufrufs vor der Ausführung ändern.
4. Respond = gar nicht das Werkzeug ausführen, sondern direkt eine Antwort liefern.

Andere Frameworks bieten weniger. Im OpenAI Agents SDK gibt es zu einem freigabepflichtigen Aufruf nur approve() und reject(). Wer Edit braucht – und Edit ist die mächtigste der vier Optionen – muss es selbst bauen oder ein Framework wählen, das es mitbringt.

Wer ein Freigabe-Fenster baut und nur Ja/Nein anbietet, verschenkt genau die Möglichkeit, die aus Aufsicht Zusammenarbeit macht: Der Mensch korrigiert den Empfänger, kürzt den Betrag, schärft den Text und der Agent läuft weiter. Das ist Steuerbarkeit im Sinne von Klein et al.

Der zweite Mechanismus ist unscheinbarer, aber entscheidend. Ein Mensch antwortet nicht in Millisekunden. Er ist in einem Meeting, im Feierabend, im Urlaub. Ein HITL-Gate, das den Agentenprozess so lange blockiert, ist in der Praxis unbrauchbar.

Deshalb koppeln die reifen Frameworks HITL an eine persistente, serialisierbare Zustandsschicht. Das bedeutet:

Der komplette Stand eines Agenten lässt sich dauerhaft speichern und später wieder laden, ähnlich einem Spielstand. Für mich als altes Amiga-Kind ist das wie früher das Speichern vor dem Endgegner, nur eben ohne Diskettenwechsel.

LangGraph braucht dafür zwingend einen sogenannten “Checkpointer”, also eine Komponente, die genau das übernimmt; OpenAI bietet einen serialisierbaren “RunState” (einen speicherbaren Schnappschuss des laufenden Prozesses).

Das Microsoft Agent Framework macht offene Anfragen zum festen Bestandteil dieses gespeicherten Zustands. Der Effekt: Der Agent pausiert, sein vollständiger Zustand wird abgelegt, und Tage später, notfalls auf einer anderen Maschine, läuft er an exakt der Stelle weiter.

Erst das macht asynchrones HITL möglich: Der Mensch entscheidet, wenn es ihm passt, nicht wenn es dem Prozess passt. Es ist die technische Umsetzung von Horvitz' Prinzip, die Kosten der Unterbrechung ernst zu nehmen.

Was passiert, wenn die Frist abläuft? Verfällt die Aktion oder wird sie ausgeführt?

Ein Freigabefenster, das nach 24 Stunden verfällt, schützt vor unbeabsichtigter Wirkung und blockiert den Prozess. Eines, das nach 24 Stunden ausführt, hält den Prozess am Laufen und macht Schweigen zur Zustimmung.

Nicht alle sehen die wachsende Autonomie als unbedenklich. Forschende von Hugging Face argumentierten 2025 in „Fully Autonomous AI Agents Should Not Be Developed":

Je mehr Kontrolle der Mensch abgibt, desto größer wird das Risiko für Fehler und Schäden.

Ihre Forderung ist, bewusst auf halb-autonome Systeme mit klaren Grenzen und menschlicher Aufsicht zu setzen.

Wie konkret dieses Risiko aussehen kann, zeigt eine Beobachtung, die das Sicherheitsdenken bei Agenten seit 2025 verändert hat. Der Entwickler Simon Willison prägte den Begriff der „Lethal Trifecta", dem tödlichen Trio.

Gefahr entsteht, sobald ein Agent drei Dinge gleichzeitig kann: Auf private Daten zugreifen, nicht vertrauenswürdigen Inhalt verarbeiten und nach außen kommunizieren.

Eine kontrollierte Zugriffsschicht wie ein MCP-Server kann helfen, solche Zugriffe zu begrenzen.

Eine Designentscheidung wird in der Sicherheitsdiskussion immer wieder betont und in der Praxis immer wieder verletzt:

Verlasse dich niemals auf die Bestätigung im Chat.

Ein Agent, der im Gesprächsverlauf schreibt „Soll ich die Mail jetzt senden? Bitte mit Ja bestätigen“ und dann auf das Wort „Ja“ wartet, hat kein Security-Gate. Er hat eine Konversation, die manipulierbar ist durch Prompt Injection, durch einen geschickt formulierten Fremdinhalt, durch das Modell selbst.

Das Gate muss außerhalb des modellbeeinflussbaren Pfades liegen: deterministischer Code, der die Entscheidung trifft, oder ein separater Kanal, den das Modell nicht erreichen kann, ein eigenes UI, ein Messenger-Approval, ein Klick in einer Oberfläche, die nicht Teil des Agentenkontexts ist.

Die unbequeme Wahrheit: Gegen Prompt Injection gibt es keine zuverlässige Abwehr auf Modellebene. Man kann ein Modell nicht „sicher genug" trainieren. Die einzige robuste Antwort ist architektonisch.

Man muss dieses Trio strukturell aufbrechen. Ein Agent, der Fremdinhalte verarbeitet, bekommt keinen Sendekanal. Der Sendekanal sitzt hinter einem separaten Gate.

Aus fast einem halben Jahrhundert Forschung und der heutigen Framework-Praxis lässt sich eine kompakte Liste erstellen. Jeder Punkt hat eine Quelle. Keiner davon ist wirklich neu, aber alle sind immer noch aktuell.

Kein An- und Aus-Schalter. Aktivitäten der Agenten wie Lesen und Analysieren dürfen hochautonom laufen; Entscheiden und Ausführen mit Außenwirkung gehören gedrosselt. (Sheridan/Verplank 1978; Parasuraman et al. 2000)

Beim Löschen oder Überschreiben, nicht überall. Reversibles braucht kein Gate, es braucht eine Möglichkeit, es rückgängig zu machen. Ein Gate an jeder Stelle erzeugt eine Abnick-Routine und die ist kein Schutz. (Anthropic 2024; Horvitz 1999)

Eine Rückfrage bei echter Unsicherheit ist die korrekte Handlung, kein Versagen. Lege dafür eine messbare Kennzahl fest, wie sicher sich der Agent sein muss, statt es dem Zufall zu überlassen. (Horvitz 1999; KnowNo 2023; Learning to Defer)

Nicht zwei. Approve, Reject, Edit, Respond. Wenn der Agent nur Ja/Nein anbietet, verschenkt er Potenzial, die KI spezifischer steuern zu können. (Framework-Konvergenz 2025/26)

Verlasse dich nie auf eine Bestätigung im Chat: Entscheiden soll fester, programmierter Code oder ein separater Kanal, den niemand manipulieren kann. (Lethal Trifecta, Willison 2025)

Speichere den Zustand des Agenten, solange er auf eine Freigabe wartet, statt ihn einfach laufen zu lassen. Der Mensch entscheidet nach seinem Takt, nicht nach dem des Prozesses. (Checkpoint/Resume; Horvitz: Kosten der Unterbrechung)

Nicht dekorativ. Eine Vorschau, die niemand liest, ist Theater. Platziere gezielte Reibung dort, wo der Mensch wirklich hinschauen muss, und entlaste ihn überall sonst. (Endsley/Kiris 1995; Bansal et al. 2019)

Vorhersehbarkeit, Steuerbarkeit, Beobachtbarkeit, geteiltes Lagebild. Das unterscheidet ein Werkzeug von einem Teammitglied. (Klein et al. 2004)

Aber verwechsele das nicht mit einem Gate.

Ein zweites Modell, das gegenliest, hebt die Qualität. Als Schutz taugt es nicht: Es liest denselben manipulierten Inhalt wie das erste und lässt sich mit derselben Injection täuschen. Prüfen verbessert das Ergebnis, gaten verhindert die Wirkung. (Anthropic 2024; Abgrenzung: Willison 2025)

Autonomie sollte mit nachgewiesener Zuverlässigkeit wachsen dürfen. Aber dieser Übergang ist eine bewusste Entscheidung mit Belegen, kein schleichendes Nachlassen der Aufsicht. (Levels of Autonomy 2025)

Ehrlich gesagt: Nichts von alldem hier ist neu. Sheridan und Verplank haben ihre Autonomie-Skala geschrieben, bevor irgendjemand das Wort „KI-Agent" auch nur kannte. Ich hätte damals höchstens Bausteine gestapelt, nicht aber Forschungspapiere gelesen.

Und Horvitz, der hat 1999 vorgerechnet, wann sich eine Rückfrage der Maschine wirklich lohnt. Zu einer Zeit, in der „Agent" höchstens eine Figur im nächsten Action-Film darstellte. Trotzdem klingt es 2026 wie eine Neuigkeit, wenn LangGraph, OpenAI und Anthropic genau dieselben Prinzipien plötzlich in Code gießen.

Eigentlich eine gute Nachricht: Die Industrie erfindet das Rad nicht neu, sie baut es endlich. “interrupt()-Befehle”, “Checkpointer”, “needs_approval”. Das ist im Kern 48 Jahre Forschung.

Die „Lethal Trifecta" macht klar, warum das Pflicht ist: Ein Chat-Fenster, das „Bitte mit Ja bestätigen" schreibt, ist kein Sicherheitsmechanismus. Das ist eine offene Tür. Also, bevor der nächste Agent in deinem Unternehmen auf Kundendaten oder Zahlungen losgelassen wird:

Nimm die zehn Prinzipien nicht als Checkliste zum Abhaken, sondern als Fragenkatalog für jedes einzelne Werkzeug. Wo sitzt das Gate? Wer entscheidet? Mensch, Modell oder harter Code? Und was passiert, wenn gerade niemand hinschaut?

Wer diese Fragen für jede Aktion beantworten kann, berücksichtigt im Prinzip schon die Erkenntnisse aus 48 Jahren Forschung, ohne jede einzelne Studie gelesen zu haben.