Das Wissensportal für IT-Professionals. Entdecke die Tiefe und Breite unseres IT-Contents in exklusiven Themenchannels und Magazinmarken.

heise conferences gmbh

(vormals SIGS DATACOM GmbH)

Rheinwerkallee 4, 53227 Bonn

Tel: +49 (0)511/53527-100

service-sigs@heise.de

Wenn die KI verhandelt: Qualitätssicherung für generative KI am Beispiel des Negotiation Buddy

Generative KI lässt sich heute in wenigen Tagen produktiv einsetzen, ihre Qualität jedoch nur schwer bestimmen. Ohne geeignete Bewertungsverfahren bleiben die Auswirkungen von Systemänderungen unklar. Am Beispiel des Negotiation Buddy von Avanade zeigt dieser Beitrag, wie Simulationen, Expertenannotation und statistische Kennzahlen KI-Qualität nachvollziehbar und messbar machen.

KI-Prototypen und die Bestimmung ihrer Qualität

Heute kann jedes Unternehmen in kürzester Zeit KI-Anwendungen erstellen. Man wählt ein Sprachmodell, formuliert einen Prompt, integriert ihn in eine Anwendung und schon steht ein erster Prototyp. Löst er das Problem noch nicht, wird der Prompt so lange angepasst, bis das Ergebnis zufriedenstellt.

Als grober Proof of Concept mag das genügen. Aber was ist, wenn hundert Nutzer täglich das Produkt verwenden und damit strategische Entscheidungen treffen?…