48 Jahre Human-in-the-Loop: Warum KI den Menschen nicht ersetzen wird

Die Entwicklung reicht von der Autonomieskala aus dem Jahr 1978 über Lisanne Bainbridges „Ironien der Automation“ bis zu den interrupt()-Aufrufen heutiger Agent-Frameworks.
Dies ist Teil 1 einer zweiteiligen Serie. Hier geht es um die Forschung: 48 Jahre, sieben Studien und eine Frage: Was lernen wir über den Human-in-the-Loop? Teil 2 macht daraus eine Checkliste für dein nächstes Agent-Framework. Also die Basis, auf der du KI-Agenten bauen kannst.

1983 veröffentlicht die britische Ingenieurpsychologin Lisanne Bainbridge in der Fachzeitschrift Automatica einen sechs Seiten kurzen Aufsatz mit einem Titel, der seitdem nicht mehr aus der Literatur verschwunden ist: „Ironies of Automation“.

Bainbridge beschreibt darin ein Problem, das damals vor allem in Flugzeugcockpits sichtbar wurde. Die Idee hinter Automatisierung ist verführerisch einfach: Der Mensch macht Fehler, also überlässt man die Arbeit der Maschine. Bainbridge zeigt, warum diese Rechnung nicht aufgeht.

Und zwar aus zwei Gründen, die sie „Ironien“ nennt:

1. Die erste Ironie: Man automatisiert die einfachen, gut verstandenen Teile einer Aufgabe, denn die lassen sich am leichtesten in Regeln gießen. Übrig bleibt für den Menschen ausgerechnet das, was schwer, selten und unvorhersehbar ist. Wir entlasten den Operator von der Routine und laden ihm die Ausnahme auf.
2. Die zweite Ironie: Wer Routine nicht mehr selbst ausführt, verlernt sie. Die Fertigkeiten, die ein Mensch im Krisenfall braucht, entstehen und erhalten sich nur durch ständige Übung. Automatisierung nimmt ihm genau diese Übung weg.
   Der Operator wird zum passiven Beobachter eines Systems, das er im Ernstfall, übermüdet, aus dem Kontext gerissen, nach Stunden der Untätigkeit souverän übernehmen soll. Bainbridge nennt das eine Zumutung. Und sie hat recht, wie ich finde.

Lese diese beiden Absätze noch einmal und ersetze „Operator“ durch „Nutzer“.

Du hast gerade die Problem-Analyse heutiger KI-Agentensysteme gelesen. Geschrieben, bevor es den ersten LLM-Agenten überhaupt gab.

Das Schlagwort Human-in-the-Loop (HITL) fühlt sich wie eine Erfindung der KI-Branche an. Als wäre es entstanden als Sprachmodelle anfingen, nicht mehr nur zu antworten, sondern zu handeln.

In Wahrheit ist HITL jedoch die Wiederentdeckung von einem halben Jahrhundert Forschung zur Mensch-Maschinen-Interaktion.

Die gute Nachricht: Wir müssen das Rad nicht neu erfinden. Die schlechte: Die meisten, die heute Agenten bauen, haben diese Studien nie gelesen.

Der Ursprung dieses Konzepts lässt sich auf ein Jahr datieren. 1978 schlugen Thomas Sheridan und William Verplank am Massachusetts Institute of Technology (MIT) eine Skala vor, die Autonomie zum ersten Mal in Stufen dachte: vom Menschen, der alles selbst erledigt, bis zur Maschine, die den Menschen dafür nicht mehr braucht.

Das ist der Geburtsjahrgang des HITL-Konzepts (eine kleine persönliche Anmerkung: Es ist auch meiner). Human-in-the-Loop und der Autor dieses Textes sind exakt gleich alt: 48 Jahre. Das zeigt den kollektiven Gedächtnisverlust der Branche umso erstaunlicher: ein ausgewachsenes Forschungsfeld, das sich gibt, als wäre es ein Start-up von gestern.

Dieser Beitrag zeigt, dass das akademische Fundament bei eben jener Skala von 1978 beginnt, über die jüngste KI-Forschung geht, bis zu dem, was die großen Agent-Frameworks heute konkret in Code gegossen haben. Und es endet mit einem Satz von Designprinzipien, die ich im zweiten Teil der Blogserie näher ausführen werde.

Über Jahre war ein Sprachmodell ein Gesprächspartner. Es produzierte Text. Ein solches System bildet die Grundlage vieler KI-Chatbots. Der schlimmste Fehler, den es machen konnte, war, Unsinn zu schreiben. Und den las ein Mensch, bevor irgendetwas damit geschah. Das Sicherheitsmodell war trivial: Der Mensch stand zwangsläufig zwischen Modell und Welt.

Der agentische Wandel hat genau dieses Sicherheitsmodell aufgelöst. Ein Agent ist ein Sprachmodell mit Werkzeugen: Er kann eine E-Mail senden, einen Kalendereintrag anlegen, eine Datenbankzeile löschen, Code in ein Repository pushen, eine Zahlung auslösen, einen Browser bedienen. In dem Moment, in dem ein Modell eine Aktion mit Außenwirkung ausführen kann, kehrt eine uralte Frage zurück:

Wer drückt den Knopf?
Human-in-the-Loop ist die strukturierte Antwort auf diese Frage. Nicht „der Mensch macht alles“. Dann bräuchte man keinen Agenten. Auch nicht „die Maschine macht alles“. Dann landet man bei Bainbridges Ironien. Sondern: ein bewusst entworfenes Geflecht aus Stellen, an denen ein Mensch sieht, prüft, korrigiert, eingreift oder freigibt.

HITL falsch gemacht heißt entweder, dass der Agent gefährlich autonom läuft, oder dass er bei jedem Schritt nachfragt und damit nutzlos wird.

Darin liegt auch der Reiz des Themas. Gutes HITL-Design ist die Kunst, die Reibung genau dort zu platzieren, wo sie etwas wert ist, und sie überall sonst wegzulassen. Und für diese Kunst gibt es, anders als die KI-Branche oft tut, eine reichhaltige Theorie.

Bevor wir zu Frameworks und Code kommen, lohnt sich der Blick zurück. Sieben Arbeiten genügen, um das Fundament zu legen. Sie stammen aus der Luftfahrt, der Ergonomie und der frühen Mensch-Computer-Interaktion. Jede einzelne hat ein direktes Gegenstück in der heutigen Agenten-Diskussion.

Kehren wir ins Jahr 1978 zu einem Konzept zurück, das diesem Artikel seinen Titel gibt. Thomas Sheridan und William Verplank schlugen damals am MIT eine zehnstufige Skala der Autonomie vor.

Sie reicht von Stufe 1 (der Mensch tut alles selbst, bis er den Computer mit einbezieht) bis Stufe 10 (der Computer handelt vollständig autonom und entscheidet, ob er den Menschen darüber informiert). Entscheidend sind die mittleren Stufen, und sie lesen sich wie eine Speisekarte heutiger HITL-Optionen:

• Level 3: Der Computer schlägt eine Handlungsalternative vor. (Das ist ein Draft.)
• Level 5: Der Computer führt den Vorschlag aus, wenn der Mensch zustimmt. (Das ist ein Approval-Gate.)
• Level 7: Der Computer führt aus und informiert den Menschen erst danach. (Das ist eine Benachrichtigung.)

Die Lehre, die fast immer verloren geht: Autonomie ist kein Ja/Nein. Sie ist ein Regler mit vielen Abstufungen, und für jede Aufgabe wählt man eine davon.

Parasuraman, Sheridan und Wickens schärften diese Einsicht im Jahr 2000 in einem vielzitierten Aufsatz noch einmal entscheidend. Ihr Modell unterscheidet vier Funktionsklassen, die unabhängig voneinander automatisiert werden können:

1. Information beschaffen
2. Information analysieren
3. eine Entscheidung treffen
4. und die Entscheidung ausführen.

Man automatisiert nicht „eine Aufgabe“. Man automatisiert Stufen.

Das ist der theoretische Kern fast jedes brauchbaren Agentendesigns. Ein Agent darf Informationen hochautonom beschaffen und analysieren. Lesen, Suchen, Zusammenfassen ist risikoarm und reversibel.

Bei den zwei letzten Stufen, wenn Agenten entscheiden und ausführen, gehört der Regler an Autonomie heruntergedreht. Das ist keine Bauchregel. Das basiert auf einem 25 Jahre alten Referenzmodell.

Die Umsetzung lässt sich an den jeweiligen Anwendungsfall anpassen, etwa durch individuelle Autonomiestufen und Kontrollpunkte bei der Entwicklung von KI-Agenten.

1995 beschrieben Endsley und Kiris ein Phänomen, dem sie den Namen Out-of-the-Loop Performance Problem gaben. Je höher der Automatisierungsgrad, desto stärker verliert der Mensch sein Situationsbewusstsein (=sein inneres Modell davon, was das System gerade tut und warum). Im Normalbetrieb fällt das nicht auf. Im Störfall ist es fatal: Der Mensch soll übernehmen, hat aber den Faden verloren.

Zwei verwandte Begriffe sollten alle kennen, die Agenten bauen:

1. Automation Bias ist die Neigung, einem Vorschlag zu vertrauen, weil er von einer Maschine kommt, auch gegen besseres Wissen.
2. Complacency (auf Deutsch: Selbstzufriedenheit) ist das Nachlassen der Wachsamkeit, wenn ein System lange zuverlässig läuft.

Hier liegt eine bittere Pointe für HITL: Je besser der Agent wird, desto größer die Wahrscheinlichkeit, dass beide Phänomene auftreten. Ein Mensch, der hundert gute Vorschläge abgenickt hat, nickt den hundertersten ungelesen ab, auch wenn er falsch ist.

Untersuchungen zur Mensch-KI-Teamarbeit, etwa von Bansal et al. ab 2019, zeigen das deutlich: Die Teamleistung hängt nicht nur an der Treffsicherheit der KI, sondern auch daran, wie der Mensch denkt, wann sich die KI irrt.

Das ist wiederum abhängig davon, ob die KI dabei ein lernbares Muster zeigt oder sich zufällig irrt. Vertut sie sich immer an denselben Stellen, etwa bei kurzen oder mehrdeutigen Eingaben, entwickelt der Mensch mit der Zeit ein Gespür dafür, wann er nachprüfen muss.

Streuen die Fehler dagegen ohne erkennbares Muster, bleibt dieses Gespür aus, und ein Modell-Update, das die Fehlergrenze verschiebt, reißt selbst das mühsam aufgebaute Vertrauen wieder ein.

1999 schrieb Eric Horvitz bei Microsoft Research den wohl wichtigsten Einzelaufsatz für jeden, der heute Agenten entwirft: „Principles of Mixed-Initiative User Interfaces“. Horvitz löst den damals üblichen Glaubenskrieg auf, alles steuern oder alles automatisieren. Er zeigt, wie sich beide koppeln lassen.

Seine Prinzipien lesen sich, als wären sie für 2026 geschrieben:

• Automatik nur dort, wo ihr erwarteter Nutzen den Aufwand übersteigt. Eine Aktion autonom ausführen zu lassen, lohnt sich nur, wenn der erwartete Wert höher ist als der des Nichtstuns.
• Bei kritischer Unsicherheit fragen statt raten. Wenn der Agent das Ziel nicht eindeutig kennt, ist die Rückfrage kein Versagen, sondern die korrekte Handlung.
• Die Kosten der Unterbrechung mitrechnen. Eine Rückfrage zur falschen Zeit ist allerdings ein Schaden.
• Ein Sicherheitsnetz: einfaches Rückgängigmachen, damit die Kosten einer falschen Schätzung gering bleiben.
• Jederzeit soll der Mensch abbrechen können.

Horvitz demonstrierte das 1999 an einem System namens LookOut, das aus E-Mails Kalendereinträge vorschlug. Das Prinzip hat sich in 27 Jahren nicht geändert, die Werkzeuge aber schon.

2004 formulierten Gary Klein et al. die vielleicht eleganteste Anforderungsliste für die Maschine: „Ten Challenges for Making Automation a Team Player“.

Ihre These: Ein automatisches System, das ein Teammitglied sein soll, muss vier Eigenschaften erfüllen:

1. Vorhersehbarkeit:  Der Mensch muss antizipieren können, was der Agent als Nächstes tut.
2. Steuerbarkeit: Der Mensch muss den Agenten umlenken und stoppen können.
3. Beobachtbarkeit: Status und Absicht des Agenten müssen sichtbar sein.
4. Gemeinsame Basis: ein geteiltes Lagebild, das laufend gepflegt wird.

Wer diese vier Eigenschaften berücksichtigt, hat eine Designcheckliste für HITL, die kein Framework-Hersteller wie LangGrap oder Crew AI heute hätte besser formulieren können. Die Übertragung dieser Prinzipien in die Praxis beschreibt der Leitfaden zum Erstellen von KI-Agenten.

Die klassische Forschung kannte ein Szenario nicht, das heute den Kern des Problems bildet: einen Agenten, der in Teilbereichen kompetenter ist als sein menschlicher Aufseher.

Ein Pilot versteht sein Flugzeug. Ein Mensch, der einen 200-Zeilen-Code eines LLM-Agenten freigeben soll, versteht im Zweifel nicht jede Zeile auf den ersten Blick.

Die KI-Sicherheitsforschung benennt das Problem Scalable Oversight. Bei einfachen Aufgaben kann ein Mensch leicht beurteilen, ob eine KI-Ausgabe richtig oder falsch ist. Bei sehr komplexen Aufgaben stößt menschliches Urteilsvermögen an Grenzen, weil die Aufgabe zu viel Fachwissen oder zu viel Zeit erfordert, um sie vollständig zu prüfen.

Die jüngere Forschung, von 2023 bis 2026, hat mehrere Bausteine geliefert, um das Problem zu lösen…

Horvitz’ Prinzip „fragen statt raten“ sagt, dass eine KI fragen soll, aber nicht wann. Die Arbeit Robots That Ask For Help von Ren et al. (2023) beantwortet genau diese Frage nach dem „Wann" – mit einem mathematisch abgesicherten Verfahren namens Conformal Prediction.

Ganz einfach gesagt: Der Roboter überlegt sich mehrere mögliche Handlungen und wie sicher er sich bei jeder ist. Ist er sich bei einer Option ganz sicher, macht er sie einfach. Bleiben aber mehrere Optionen übrig, bei denen er sich nicht sicher genug ist, fragt er lieber einen Menschen.

Das Besondere: Die Forscher von Ren et al. (2023) haben mathematisch bewiesen, wie sicher der Roboter sein muss, damit das System zuverlässig funktioniert. Es ist also ein Verfahren mit nachweisbarem Erfolg.

Eine ganze Welle von Arbeiten 2024 bis 2026 vertieft genau diese Frage: ob LLM-Agenten bei unterspezifizierten Aufträgen selbstständig erkennen, dass Informationen fehlen, statt eine Annahme zu treffen und wann eine Rückfrage den größten Wert hat.

„Learning to Defer" nennt sich das Forschungsfeld, das die Frage stellt: Wann sollte eine KI eine Entscheidung nicht selbst treffen, sondern an einen Menschen abgeben?

Die Grundidee (Madras, Pitassi, Zemel, 2018, später erweitert von Mozannar et al., 2020): Statt, dass das Modell nur sagt „ich bin unsicher, ich enthalte mich", lernt es zusätzlich, wann genau es einen bestimmten Fall besser an einen Experten weiterreicht.

Einfache Fälle mit geringem Risiko erledigt die KI selbst. Schwierige oder riskante Fälle gibt sie an den Menschen ab.

Der wichtige Punkt: Diese Entscheidung wird nicht pauschal für alle Fälle gleich getroffen, sondern für jeden einzelnen Fall neu. Und im besten Fall lernt das System dabei sogar dazu und wird über die Zeit besser.

Eine Studie von Fügener, Walzner und Gupta (2026) in Management Science erschienen, unterscheidet zwei Rollen der KI:

1. Automatisierung: die KI übernimmt die Aufgabe komplett, und
2. Augmentation: Mensch und KI bearbeiten denselben Fall gemeinsam, im Kern also Human-in-the-Loop.

Entscheidend ist, worin sich Mensch und KI ergänzen. Sind sie bei unterschiedlichen Fällen unterschiedlich gut, lohnt sich Automatisierung. Man teilt die Fälle auf und lässt jeweils die kompetentere Partei ran.

Sind sie dagegen beim selben Fall auf unterschiedliche Weise gut, machen zum Beispiel systematisch andere Fehler, lohnt sich Augmentation: Dann lösen KI und Mensch die Aufgabe gemeinsam. Wie sich diese Zusammenarbeit in der Arbeitswelt verändern kann, diskutieren wir beim Business, Bytes & Breakfast #4.

Genau diese zweite Form lässt sich empirisch beobachten, etwa bei Bildklassifikation, wo Mensch und Algorithmus sich systematisch an unterschiedlichen Stellen irren.

Die Ironien der Automation verschwindet auch mit KI nicht. Wer Routinen an einen Agenten abgibt, wird in dieser Routine ungeübter. Und je besser der Agent wird, desto stärker zieht er den Menschen aus der Schleife.

Bainbridge schrieb ihre Ironien 1983, ohne ein einziges Sprachmodell gesehen zu haben, und trotzdem beschreibt sie exakt das Problem, an dem heutige Agent-Teams sitzen.

Das ist keine Kuriosität. Das ist der Beweis, dass Human-in-the-Loop kein Feature ist, das man in ein Framework einbaut, sondern eine Designfrage, die seit fünf Jahrzehnten in derselben Grundform gestellt wird: Wie viel Autonomie soll die Maschine bekommen, an welcher Stelle, mit welchem Sicherheitsnetz.

Die Antwort ist nie „ganz oder gar nicht". Sheridan und Verplank haben das 1978 als Regler gedacht, nicht als Schalter. Parasuraman, Sheridan und Wickens haben gezeigt, dass man nicht Aufgaben automatisiert, sondern einzelne Stufen davon.

Horvitz hat vorgerechnet, wann sich eine Rückfrage lohnt und wann sie nur stört. Klein hat vier Eigenschaften benannt, die aus einem System ein Teammitglied statt einer Blackbox machen.

Und die neue Welle, Ren, Mozannar, Fügener, hat diese Prinzipien in etwas gegossen, das sich tatsächlich berechnen lässt: Wann ein Agent fragen soll, wann er eine Entscheidung abgeben soll, und wann Zusammenarbeit mehr bringt als Aufteilung.

Wer heute an einem Agent-Framework baut, muss also keine neue Theorie erfinden. Er muss nur alte Theorie ernst nehmen und wissen, wie er sie anwendet. Genau das zeigt Teil 2 (schon bald auch hier in den Insights zu lesen).