Ein Problem entsteht dort, wo Automatisierung an ihre Grenze kommt und die Übergabe nicht bei einer Stelle landet, die den Sonderfall tatsächlich lösen kann. „Ein Mensch im Loop“ allein garantiert noch keine Lösung. Entscheidend ist, ob dieser Mensch den Kontext kennt und entscheiden oder unmittelbar weitergeben kann.
Ein falsches Jahr – und plötzlich entsteht ein Prozess
Auf der Tierarztrechnung stand als Rechnungsdatum 2024. Es war August 2026.
Behandelt worden war an drei Tagen im Juli, am 24., 25. und 26., und diese drei Daten standen richtig auf der Rechnung. Nur oben, beim Rechnungsdatum, hatte sich die falsche Jahreszahl eingeschlichen. Ein Tippfehler, wie er vorkommt. Die Rechnung war im August ausgestellt worden, ich reichte sie sofort ein.
Dann passierte zunächst: nichts.
Also lud ich sie noch einmal über das Kundenportal hoch. Diesmal kam eine Rückfrage. Es ging um die Jahreszahl.
Von da an wurde aus einem Tippfehler ein Weg. Es folgte ein Telefonat, das mit einer KI-gestützten Telefonführung begann. Ich musste die Authentifizierung mehrfach wiederholen. Schließlich sprach ich mit einer Mitarbeiterin, schilderte den Sachverhalt, und sie verwies mich auf das Kontaktformular.
Aus meiner Sicht bestand an dieser Stelle keine Möglichkeit einer unmittelbaren Lösung. Ich möchte niemandem ein Motiv unterstellen. Vielleicht fehlte der Spielraum, vielleicht gibt es einen guten Grund im Prozess, den ich nicht kenne. Für mich blieb das Formular.
Also schrieb ich eine Beschwerde. Der Fall wurde erneut geprüft, und die 168,32 € wurden vollständig erstattet. Eine korrigierte Rechnung war am Ende nicht nötig.
Drei richtige Behandlungstage, ein falsches Jahr – und am Ende eine Lösung, die, so kam es mir jedenfalls vor, auch schon am Anfang hätte möglich sein können.
Über das Unternehmen sage ich hier nichts, es bleibt ungenannt. Mich beschäftigt etwas anderes: Was an diesem Ablauf könnte auch anderswo passieren, wo Kundenservice zunehmend automatisiert wird?
Das Problem war nicht die KI
Ich habe nichts gegen KI im Kundenservice. Ich nutze digitale Systeme gern, und ein Portal, das Rechnungen rund um die Uhr annimmt, ist ein echter Fortschritt. Auch dass eine Automatik stutzt, wenn ein Rechnungsdatum nicht zu den Behandlungstagen passt, finde ich richtig. Genau dafür ist sie da.
Der Fehler lag nicht im Stutzen. Er lag darin, wo der Fall danach landete.
Eine Schranke, die sich schließt, ist sinnvoll. Nur sollte irgendwo ein Weg daran vorbeiführen. Gute Automatisierung erkennt nicht nur, was sie selbst erledigen kann. Sie erkennt auch, wann sie aufhören muss – und übergibt dann an einen Ort, an dem der Sonderfall tatsächlich gelöst werden kann.
Dass Übergaben misslingen können, ist kein neues Thema. 2023 beschrieb die US-Verbraucherschutzbehörde CFPB in einer Untersuchung zu Chatbots im Finanzbereich automatisierte Antworten, die Menschen in „endlosen Schleifen aus wiederholtem, unhilfreichem Fachjargon“ halten, „ohne einen Ausstieg zu einem menschlichen Kundenservice-Mitarbeiter“. Das ist ein anderes Land und ein anderer Markt. Als Hinweis auf ein wiederkehrendes Muster taugt es trotzdem.
In meinem Fall gab es den Ausstieg sogar. Es gab eine Mitarbeiterin. Und trotzdem lag die Lösung noch eine Station weiter. An dieser Stelle wird es interessant.
Der eigentliche Fehler liegt hinter dem Chatbot
Warum landet ein einfacher Sonderfall bei einem Menschen, der ihn nicht lösen kann? Für diesen Fall weiß ich es nicht. Es gibt mehrere Möglichkeiten, und keine davon behaupte ich für das konkrete Unternehmen:
- Der Person fehlt der Entscheidungsspielraum.
- Der Prozess ist starr: Eine Rechnung muss formal korrekt sein, sonst wird sie zurückgegeben.
- Die Übergabe ist schlecht: Was die Automatik schon weiß, kommt beim Menschen nicht an.
- Es fehlt Kontext, und man beginnt wieder von vorn.
- Die Effizienzziele sind so gesetzt, dass jeder Sonderweg als Störung gilt.
- Die Eskalationswege sind unklar: Man weiß, dass es sie gibt, aber nicht, wo sie beginnen.
In der Debatte über KI-Aufsicht ist „Human in the Loop“ ein gängiger Begriff, der Mensch im Prozess. Die EU-Expertengruppe für KI unterschied 2019 in ihren Ethik-Leitlinien drei Formen menschlicher Aufsicht: Human-in-the-Loop, Human-on-the-Loop und Human-in-Command.
Aber ein Mensch, der im Loop ist, ist noch kein Mensch, der etwas ändern kann. Die EU-KI-Verordnung formuliert das für Hochrisiko-Systeme ausdrücklich: Betreiber sollen die menschliche Aufsicht Personen übertragen, die „die notwendige Kompetenz, Ausbildung und Befugnis“ haben (Art. 26 Abs. 2), und Art. 14 verlangt, dass diese Personen Ergebnisse übergehen, umkehren oder das System anhalten können. Ein normaler Kundenservice fällt in der Regel nicht unter diese Vorschriften. Ich nutze die Formulierung deshalb als Analogie und nicht als rechtliche Bewertung meines Falls.
„Human with Authority in the Loop“: Ein Mensch im Prozess, der den Kontext versteht und den Sonderfall entweder selbst lösen oder auf direktem Weg an eine entscheidungsfähige Stelle weitergeben kann.
Der Begriff ist meine eigene, zugespitzte Formulierung. Mir ist kein etablierter Fachbegriff dieses Namens begegnet. Er benennt eine Lücke, die sich hinter dem gängigen „Human in the Loop“ verbergen kann. Ähnliche Beobachtungen gibt es aus anderen Feldern:
- Lisanne Bainbridge beschrieb 1983 in „Ironies of Automation“, dass Automatisierung Menschen die Aufgaben überlässt, die sich nicht automatisieren lassen – oft die schwierigsten – und ihnen zugleich weniger Gelegenheit zum Üben lässt.
- Madeleine Clare Elish prägte 2019 den Begriff „moral crumple zone“: Wenn komplexe automatisierte Systeme versagen, kann die Verantwortung bei dem Menschen landen, der dem Geschehen am nächsten sitzt, obwohl seine Kontrolle über das System begrenzt war.
- Ben Green stellte 2022 infrage, ob Regelwerke, die menschliche Aufsicht über staatliche Algorithmen vorschreiben, die erhoffte Wirkung tatsächlich entfalten; schon der Titel seines Aufsatzes spricht von deren Mängeln („flaws“).
Alle drei betreffen andere Bereiche: automatisierte Anlagen und Unfälle, Verwaltungsalgorithmen. Ich lese sie als Parallelen, nicht als Belege für meinen Fall.
Wenn Automatisierung Arbeit nicht beseitigt, sondern zum Kunden verschiebt
Für einen Tippfehler musste ich
- die Rechnung erneut einreichen,
- telefonieren,
- die Authentifizierung mehrfach wiederholen,
- den Sachverhalt erklären,
- ein Kontaktformular ausfüllen,
- eine Beschwerde schreiben.
Für ein Unternehmen kann jeder dieser Schritte für sich effizient sein. Ein Portal nimmt Uploads Tag und Nacht an, eine automatisierte Telefonführung ist günstig, ein Formular lässt sich standardisiert bearbeiten. Ich stelle nicht in Frage, dass das intern Sinn ergibt.
Aber die Arbeit ist nicht verschwunden. Sie ist vom Unternehmen zum Kunden gewandert. Automatisierung ist nicht effizient, wenn sie Arbeit lediglich aus dem Unternehmen heraus und zum Kunden hin verschiebt.
Beides kann gleichzeitig stimmen, und genau darin liegt die Spannung. Die interne Effizienz eines einzelnen Kanals und der Gesamtaufwand aus Kundensicht sind zwei verschiedene Rechnungen. Wer nur die erste führt, sieht das Problem womöglich nicht.
Die gefährlichste Kennzahl könnte die falsche sein
Kundenservice wird häufig mit Zahlen gesteuert. Naheliegend sind zum Beispiel Automatisierungsquote, Self-Service-Quote, durchschnittliche Bearbeitungs- oder Gesprächsdauer und Kosten pro Kontakt. Ich behaupte nicht, dass ein bestimmtes Unternehmen genau diese Kennzahlen verwendet; ich nenne sie als übliche Beispiele. Sie sind nicht falsch, nur einseitig: Sie messen, was das Unternehmen leistet, nicht, was der Kunde aufwenden musste.
Für diese Perspektive gibt es seit 2010 ein Konzept: den Customer Effort Score. Matthew Dixon, Karen Freeman und Nick Toman stellten ihn in der Harvard Business Review vor, auf Grundlage von mehr als 75.000 Kundenkontakten im Callcenter und im Self-Service. Ihre These: Loyalität entsteht weniger dadurch, dass man Kunden begeistert, als dadurch, dass man ihnen Mühe erspart. Die Frage dahinter ist schlicht: Wie viel Mühe musste ich aufwenden, bis mein Problem gelöst war?
Bemerkenswert sind die Praxisempfehlungen, die aus der Untersuchung folgten. Unter anderem ging es darum, wiederholte Kontakte zu vermeiden und die Notwendigkeit zu verringern, dass Kunden zwischen Kanälen wechseln müssen. Ich lese meinen Fall durch diese Brille, und das ist meine Deutung, keine Messung: Portal, dann Telefon, dann Formular; zwei Kanalwechsel und mehrere wiederholte Kontakte für einen sehr einfachen Sonderfall.
Man kann sich vorstellen, wie derselbe Vorgang in einer internen Auswertung aussieht: digitaler Eingang, Telefonkontakt mit automatisierter Führung, Formular, Fall abgeschlossen. Das ist ein Gedankenexperiment, kein Blick in irgendwelche Daten. Aus Kundensicht waren dafür mehrere Kontakte und Kanalwechsel nötig.
Auch der Customer Effort Score hat Grenzen. Er erfasst nur, wer antwortet, und erst nach dem Kontakt. Wer nach mehreren Versuchen aufgibt, taucht in keiner Umfrage auf. Als Ergänzung bleibt er wertvoll, weil er die Frage stellt, die die klassischen Kennzahlen auslassen.
Wie KI-Kundenservice stattdessen aussehen müsste
Ich denke an vier Stufen:
1. Automatisieren. Klare Standardfälle laufen automatisch durch.
2. Unsicherheit erkennen. Widersprüche, Grenzfälle und geringe Sicherheit werden sichtbar. Der Ausstieg sollte dabei nicht allein vom System ausgehen können, denn auch eine Automatik kann sich sicher irren. Sagt ein Kunde „das passt nicht“, muss das als Signal genügen.
3. Kontext übergeben. Was das System schon weiß, geht mit: Daten, Verlauf, Anliegen. „Erzählen Sie bitte noch einmal von vorn“ ist kein Serviceelement.
4. Entscheidung ermöglichen. Die Person, die jetzt spricht, kann den Fall lösen oder ihn auf kürzestem Weg zu jemandem bringen, der es kann, ohne dass ich ihn erneut erzählen muss.
- Stufe 1AutomatisierenStandardfälle laufen durch.
- Stufe 2ErkennenGrenzfälle und Zweifel werden sichtbar.
- Stufe 3ÜbergebenDer Kontext geht mit.
- Stufe 4EntscheidenLösen oder direkt weitergeben.
Nicht möglichst wenig Mensch. Sondern Mensch genau dort, wo menschliches Urteilsvermögen Wert schafft.
In der Praxis entscheidet sich die Qualität deshalb besonders an Stufe drei und vier: Kommt der Kontext tatsächlich beim Menschen an? Und landet der Sonderfall bei jemandem, der ihn lösen oder auf direktem Weg weitergeben kann?
Nicht jeder Sonderfall braucht überhaupt einen Menschen. Ein System könnte einen Fall wie meinen, eindeutige Behandlungstage und eine erkennbar abweichende Jahreszahl, auch als Toleranzfall markieren und einer entscheidungsbefugten Stelle geben. Wichtig ist, dass irgendwo jemand entscheiden darf.
KI sollte menschliche Arbeit wertvoller machen – nicht Menschen zu Formular-Lotsen
Wenn KI Routine übernimmt, wird menschliche Kapazität frei. Sie kann Informationen aufnehmen, Standardfragen beantworten, Daten strukturieren, Dokumente vorsortieren und Wiederkehrendes unterstützen. Die frei werdende Zeit von Menschen sollte dorthin fließen, wo Kontext, Abwägung, Empathie oder Entscheidung gebraucht werden.
Also nicht: Mensch → KI. Sondern:
Routine → KI. Urteilskraft → Mensch.
Das Gegenmodell ist ein Mensch, dessen Aufgabe darauf schrumpft zu sagen: „Dafür gibt es ein Formular.“ Falls es bei meiner Mitarbeiterin so war, tut sie mir eher leid, als dass ich sie verantwortlich machen würde. Wer an der Schnittstelle sitzt, kann die Frustration für eine Gestaltungsentscheidung tragen, die an anderer Stelle getroffen wurde.
Ich will das nicht romantisieren. Auch Menschen machen Fehler, und ein klarer Fall braucht nicht zwingend einen Menschen. Es geht um eine sinnvolle Aufgabenteilung, nicht um ein Bekenntnis zu mehr oder weniger Technik.
Die entscheidende Frage für Unternehmen
Der Fall stammt aus dem Bereich einer Versicherung, aber die Fragen gehören ihr nicht. Sie stellen sich überall, wo Menschen mit einem Anliegen kommen, das nicht ins Standardformat passt: bei Versicherungen und Kostenträgern im Gesundheitswesen, in Kliniken, bei Digital-Health-Anbietern, in Behörden und in anderen komplexen Service- und Versorgungssystemen.
Die naheliegende Frage lautet: Wie viele Kundenkontakte können wir automatisieren? Ich würde zwei andere danach stellen:
An welcher Stelle braucht unser Kunde jemanden, der tatsächlich entscheiden kann?
Wie viel Aufwand musste er betreiben, bis sein Problem gelöst war?
Dahinter liegt eine Überlegung, für die ich keine Zahlen habe und die ich ausdrücklich als Überlegung meine: Wer Energie hat, schreibt die Beschwerde. Wer in einer Phase steckt, in der wenig Energie da ist, in Schwangerschaft, Wochenbett, Kinderwunschbehandlung oder Erschöpfung, schreibt sie womöglich nicht. Ein System, das Sonderfälle erst nach einer Beschwerde löst, würde dann womöglich weniger nach Berechtigung sortieren als nach Kapazität. Das ließe sich aus internen Kennzahlen allein kaum erkennen.
Zurück zur Rechnung
Die Rechnung wurde vollständig erstattet, 168,32 €. Eine neue Rechnung war nicht nötig.
Ich habe mich darüber gefreut. Und trotzdem bleibt ein anderer Gedanke, und er hat mit der KI wenig zu tun.
Nicht: Warum konnte die KI meinen Fall nicht lösen?
Sondern: Warum musste ich erst eine Beschwerde schreiben, bevor ein eigentlich einfacher Sonderfall dort landete, wo er gelöst werden konnte?
Kurz beantwortet
Was bedeutet „Human in the Loop“?
Gemeint ist, dass ein Mensch in einen automatisierten Prozess eingebunden ist und eingreifen kann. Die EU-Expertengruppe für KI unterschied 2019 in ihren Ethik-Leitlinien zwischen Human-in-the-Loop, Human-on-the-Loop und Human-in-Command. Ob der Mensch im Prozess einen Sonderfall tatsächlich lösen kann, sagt der Begriff allein nicht.
Was misst der Customer Effort Score?
Er soll erfassen, wie viel Mühe Kundinnen und Kunden aufwenden mussten, um ihr Anliegen zu klären. Vorgestellt wurde das Konzept 2010 von Matthew Dixon, Karen Freeman und Nick Toman in der Harvard Business Review. Es ergänzt klassische Servicekennzahlen um die Kundenperspektive, erfasst aber nur die Menschen, die antworten.
Was ist mit „Human with Authority in the Loop“ gemeint?
Es ist eine eigene Formulierung der Autorin und kein etablierter Fachbegriff. Gemeint ist ein Mensch im Prozess, der den Kontext kennt und einen Sonderfall entweder selbst lösen oder auf direktem Weg an eine entscheidungsfähige Stelle weitergeben kann.
Dieser Beitrag geht von einer persönlichen Erfahrung als Kundin aus dem August 2026 aus. Das Unternehmen wird bewusst nicht genannt und nicht bewertet.
Fallbeobachtung: die einleitende Szene. Interpretation: die genannten möglichen Ursachen, das Denkmodell „Human with Authority in the Loop“, das 4-Stufen-Modell und die Überlegung zur Kapazität. Belegte Forschung: die unten genannten Quellen, die hier als Parallelen dienen, nicht als Beleg für den geschilderten Einzelfall.
Der Beitrag ist redaktionell und unabhängig. Er ist keine Rechts- oder Verbraucherberatung.
Dixon, M., Freeman, K., Toman, N. (2010): „Stop Trying to Delight Your Customers“, Harvard Business Review, Juli–August 2010. (Angaben nach der Kurzfassung des Artikels.)
Bainbridge, L. (1983): „Ironies of automation“, Automatica 19(6), 775–779. DOI: 10.1016/0005-1098(83)90046-8.
Elish, M. C. (2019): „Moral Crumple Zones: Cautionary Tales in Human-Robot Interaction“, Engaging Science, Technology, and Society 5. DOI: 10.17351/ests2019.260.
Green, B. (2022): „The flaws of policies requiring human oversight of government algorithms“, Computer Law & Security Review 45. (Nur Titel und bibliografische Angaben herangezogen; der Volltext wurde nicht ausgewertet.)
Europäische Kommission, High-Level Expert Group on AI (8. April 2019): Ethics Guidelines for Trustworthy AI. Dreiteilung Human-in-the-Loop, Human-on-the-Loop, Human-in-Command im Abschnitt „Human agency and oversight“.
Verordnung (EU) 2024/1689 (KI-Verordnung), Art. 14 und Art. 26 Abs. 2. Gilt für Hochrisiko-Systeme; hier nur als Analogie herangezogen.
Consumer Financial Protection Bureau (6. Juni 2023): „Chatbots in consumer finance“ (Issue Spotlight). US-Finanzbereich; die zitierte Formulierung ist eine Übersetzung.