Blog · KI Agents

Zuverlässige KI-Agents bauen: Best Practices für Ihr KMU

Warum "funktioniert in der Demo" nicht bedeutet "ist zuverlässig"

Eine Demo testet meist den besten Fall: eine klare Frage, saubere Daten, keine unerwartete Eingabe. Die Praxis ist anders. Kunden stellen Fragen, die Sie nicht erwartet haben, Systeme geben Fehlermeldungen zurück, und Daten sind nie so sauber wie im Testset. Ein Agent, der in der Demo zu 95% korrekt funktioniert, kann in der Praxis auf unerwartete Weise genau bei den 5% versagen, die am wichtigsten sind — der verärgerte Kunde, die Bestellung, die nicht stimmt, die Rechnung mit dem falschen Betrag. Zuverlässigkeit misst man nicht an den besten Fällen, sondern an den unangenehmsten.

Guardrails: Grenzen setzen, bevor Sie Autonomie gewähren

Ein Guardrail ist eine harte Grenze, die der Agent nicht überschreiten kann, unabhängig davon, was das Modell für die "richtige" Aktion hält. Konkret: Ein Agent, der Angebote erstellt, darf niemals einen Betrag ohne Prüfung versenden, ein Kundenservice-Agent darf niemals eine Rückerstattung über einem festen Betrag autorisieren, und ein Agent, der E-Mails versendet, darf niemals etwas verschicken, das nicht zuvor durch einen Ton- und Inhaltsfilter geprüft wurde. Diese Grenzen bauen Sie in den Code, nicht in den Prompt — eine Anweisung im Prompt kann von einem Modell ignoriert oder falsch interpretiert werden, eine harte Prüfung im Code nicht.

Vergleichen Sie das mit dem Bau einfacher Automatisierung (wie in meinem Artikel zu KI-Automatisierungstools): Bei einem festen Workflow ohne KI-Entscheidungsfindung besteht dieses Risiko nicht. Sobald ein Modell selbst Entscheidungen trifft, wird ein Guardrail genauso wichtig wie die Funktionalität selbst.

Mensch-in-der-Schleife: wo ein Mensch freigeben muss

Nicht jeder Schritt muss von einem Menschen kontrolliert werden — das würde den ganzen Sinn der Automatisierung untergraben. Aber bestimmte Schritte verdienen immer eine Freigabe, bevor sie fortgesetzt werden:

• Finanztransaktionen — Zahlungen, Rückerstattungen, Preisänderungen
• Externe Kommunikation — in den ersten Monaten, bis Sie nachgewiesen haben, dass der Agent durchgängig angemessene Antworten gibt
• Irreversible Aktionen — Daten löschen, Verträge eingehen, Bestellungen endgültig stornieren
• Situationen außerhalb der Trainingsdaten — wenn der Agent selbst Unsicherheit signalisiert, sollte das immer an einen Menschen gehen

Der praktische Ansatz: Beginnen Sie mit einem Agenten, der Vorschläge macht, die Sie (oder Ihr Team) mit einem Klick freigeben. Sobald Sie über Monate zuverlässige Vorschläge gesehen haben, können Sie die risikoärmsten Schritte automatisch durchlaufen lassen.

Evaluierung: wie Sie messen, ob ein Agent gut performt

"Fühlt sich richtig an" ist keine Evaluierungsmethode. Was funktioniert: ein festes Set von Testfragen und -situationen (inklusive seltsamer, falscher und Grenzfälle), das Sie regelmäßig durch den Agenten laufen lassen und manuell bewerten. Das ist genau die Arbeit, die ich täglich bei Outlier.ai mache — ChatGPT-, Gemini- und Grok-Antworten auf Korrektheit, Ton und Vollständigkeit bewerten. Diese Systematik wende ich auf jedes Agent-Projekt an: ein Testset von 20-50 realistischen Situationen, inklusive der schwierigen, und ein Score dafür, wie oft der Agent es richtig macht. Ohne diese Messung wissen Sie nicht, ob eine Änderung den Agenten besser oder schlechter gemacht hat — Sie raten.

Logging und Eskalation: sehen, was passiert, und es beheben können

Jede Aktion, die ein Agent ausführt, muss protokolliert werden: welche Eingabe er erhalten hat, welche Entscheidung er getroffen hat, welches Tool er aufgerufen hat, und was das Ergebnis war. Ohne Logging können Sie nicht rekonstruieren, was schiefging, wenn sich ein Kunde beschwert. Jeder Agent braucht außerdem einen klaren Eskalationspfad: Wenn er nicht weiterkommt, unsicher ist oder außerhalb seines Scopes agiert, sollte er das explizit signalisieren und an einen Menschen übergeben — statt weiter zu raten. Genau darauf achte ich auch in meinem Artikel zu individueller Software und KI: Ein System, das "versagt", indem es ehrlich "ich weiß es nicht" sagt, ist sicherer als eines, das immer eine Antwort erfindet.

DSGVO: was ein Agent mit Kundendaten darf

Sobald ein Agent Kundendaten verarbeitet (Namen, E-Mail-Adressen, Bestellhistorie), gelten die üblichen DSGVO-Regeln uneingeschränkt. Ein paar praktische Punkte, die oft übersehen werden: (1) Daten, die Sie an eine KI-API senden (OpenAI, Claude), verlassen Ihr System — prüfen Sie die Datenverarbeitungsrichtlinie des Anbieters und halten Sie diese in einem Auftragsverarbeitungsvertrag fest, (2) protokollieren Sie keine unnötigen personenbezogenen Daten länger als nötig, und (3) seien Sie transparent gegenüber Kunden, wenn sie mit einem KI-System statt mit einem Menschen kommunizieren. Für die meisten europäischen KI-Anbieter (OpenAI und Anthropic bieten beide EU-Datenverarbeitungsoptionen) lässt sich das gut regeln, aber es muss bewusst eingerichtet werden — nicht als nachträglicher Gedanke.

Risikoniveau	Beispiel	Erforderliche Kontrollen
Niedrig	Interne Zusammenfassung von Dokumenten	Logging, stichprobenartige Evaluierung
Mittel	Kundenfragen anhand von FAQs beantworten	Logging, Eskalationspfad, regelmäßige Evaluierung
Hoch	Angebote erstellen, Bestellungen verarbeiten	Betrags-Guardrails, Mensch-in-der-Schleife, vollständiges Logging
Sehr hoch	Finanztransaktionen, vertragliche Entscheidungen	Verpflichtende menschliche Freigabe, keine autonome Ausführung

Was Sie bei ultimAItech bekommen

Ich baue keine Agents ohne diese Kontrollen von Tag eins an — nicht als Extra, sondern als Grundlage. Das kommt direkt aus meiner täglichen Arbeit als KI-Trainer bei Outlier.ai, wo ich genau sehe, wie Modelle versagen, wenn niemand diese Grenzen gesetzt hat.

• Individuelle Guardrails — harte Grenzen im Code, nicht nur Anweisungen in einem Prompt
• Evaluierungs-Setup — ein Testset mit realistischen und schwierigen Situationen, mit messbarem Score
• Logging und Eskalationspfad — damit Sie immer sehen können, was passiert ist, und Fehler beheben können
• DSGVO-bewusste Einrichtung — Auftragsverarbeitungsverträge, Datenminimierung und Transparenz gegenüber Kunden
• Schrittweise Autonomie — Start mit Mensch-in-der-Schleife, Erweiterung basierend auf nachgewiesenen Ergebnissen

Lesen Sie auch meinen Artikel darüber, was ein KI-Programmierer für Ihr Unternehmen tut, und wie ich diesen Prozess angehe.

Häufig gestellte Fragen

Was ist ein Guardrail bei einem KI-Agenten?

Ein Guardrail ist eine harte Grenze im Code (nicht nur eine Anweisung in einem Prompt), die verhindert, dass ein Agent bestimmte Aktionen ausführt, wie eine Zahlung über einem festgelegten Betrag oder das Versenden ungeprüfter E-Mails.

Muss jede Aktion eines Agenten von einem Menschen geprüft werden?

Nein, das würde den Wert der Automatisierung zunichtemachen. Finanzielle, irreversible oder unsichere Aktionen sollten immer bei einem Menschen bleiben, während risikoarme Aufgaben nach nachgewiesener Zuverlässigkeit automatisch ablaufen können.

Wie evaluiert man, ob ein KI-Agent gut genug performt?

Mit einem festen Testset realistischer und schwieriger Situationen, das Sie regelmäßig manuell auf Korrektheit, Ton und Vollständigkeit bewerten — nicht mit einem Bauchgefühl, sondern mit einem messbaren Score, den Sie über die Zeit vergleichen können.

Ist die Nutzung der OpenAI- oder Claude-API DSGVO-konform?

Das kann sie sein, sofern Sie einen Auftragsverarbeitungsvertrag mit dem Anbieter abschließen, nur notwendige Daten senden und gegenüber Kunden transparent über den KI-Einsatz sind. Beide großen Anbieter bieten Optionen für europäische Datenverarbeitung.

Was passiert, wenn ein Agent nicht weiterkommt oder einen Fehler macht?

Mit einem guten Eskalationspfad signalisiert der Agent explizit Unsicherheit und übergibt an einen Menschen, statt weiter zu raten. Vollständiges Logging macht es zudem möglich, nachträglich genau zu rekonstruieren, was passiert ist.

Fazit

Ein zuverlässiger KI-Agent ist keine Frage der Wahl des besten Modells — es geht um Guardrails, Evaluierung, Logging und menschliche Kontrolle, die von Tag eins an eingebaut sind. Der Agent, der in einer Demo am meisten beeindruckt, ist nicht automatisch der, den Sie sicher auf Ihre Kunden oder Finanzen loslassen können. Bauen Sie mit dieser Reihenfolge im Kopf, und Sie verhindern die meisten Probleme, bevor sie entstehen.

Möchten Sie einen KI-Agenten mit diesen Kontrollen bauen? Kostenloses Gespräch buchen oder eine WhatsApp-Nachricht senden. Ich denke gerne mit, was automatisch laufen darf und was nicht.