Das Wissensportal für IT-Professionals. Entdecke die Tiefe und Breite unseres IT-Contents in exklusiven Themenchannels und Magazinmarken.

heise conferences gmbh

(vormals SIGS DATACOM GmbH)

Rheinwerkallee 4, 53227 Bonn

Tel: +49 (0)511/53527-100

service-sigs@heise.de

KI-Agenten systemisch testen: vom Prompt zur kontrollierten Aktion: Qualitätssicherung für agentische Systeme

Die Qualität eines KI-Agenten zeigt sich nicht nur in richtigen Antworten. Entscheidend ist, ob Daten, Werkzeuge, Rechte, Freigaben und Rückfallwege auch bei unvollständigen Informationen und technischen Fehlern kontrolliert zusammenspielen. Ein systemischer Testansatz macht diese Kette prüfbar.

Warum Antworttests zu kurz greifen

Bei klassischen Tests für Sprachmodelle steht häufig die Antwortqualität im Mittelpunkt. Für einen KI-Agenten reicht das nicht. Er liest Daten aus mehreren Systemen, wählt Werkzeuge, verändert Zustände und wartet gegebenenfalls auf menschliche Freigaben. Eine fachlich plausible Antwort kann in diesem Ablauf trotzdem zu einer falschen Aktion führen, etwa weil der Datenstand veraltet ist, das Zielobjekt verwechselt wurde oder ein Werkzeug mehr Rechte besitzt als …