Wie Unternehmen den Erfolg von KI-Anwendungen messen können

Künstliche Intelligenz – insbesondere generative KI – ist in aller Munde. Anwendungen wie ChatGPT und LaMDA haben in allen Branchen für Aufruhr gesorgt und haben das Potenzial, die Art und Weise, wie wir arbeiten und mit Technologie interagieren, zu revolutionieren.

Ein grundlegendes Merkmal, das KI von herkömmlicher Software unterscheidet, ist ihre nichtdeterministische Natur. Auch bei gleicher Eingabe führen unterschiedliche Rechendurchläufe zu unterschiedlichen Ergebnissen. Diese Eigenschaft trägt zwar erheblich zum spannenden technologischen Potenzial der KI bei, birgt jedoch auch Herausforderungen, insbesondere bei der Messung der Wirksamkeit KI-basierter Anwendungen.

Im Folgenden sind einige der Feinheiten dieser Herausforderungen sowie einige Möglichkeiten aufgeführt, wie das strategische F&E-Management an deren Lösung herangehen kann.

Die Natur von KI-Anwendungen

Im Gegensatz zu herkömmlichen Softwaresystemen, bei denen Wiederholung und Vorhersagbarkeit sowohl erwartet als auch für die Funktionalität entscheidend sind, führt die nichtdeterministische Natur von KI-Anwendungen dazu, dass sie aus denselben Eingaben keine konsistenten, vorhersehbaren Ergebnisse liefern. Das sollten sie auch nicht – ChatGPT würde nicht so viel Aufsehen erregen, wenn es immer wieder dieselben Skriptantworten ausspucken würde, statt jedes Mal etwas Neues.

Diese Unvorhersehbarkeit ist auf die beim maschinellen Lernen und Deep Learning verwendeten Algorithmen zurückzuführen, die auf statistischen Modellen und komplexen neuronalen Netzen basieren. Diese KI-Systeme sind darauf ausgelegt, kontinuierlich aus Daten zu lernen und fundierte Entscheidungen zu treffen, was je nach Kontext, Trainingseingaben und Modellkonfigurationen zu unterschiedlichen Ergebnissen führt.

Die Herausforderung, den Erfolg zu messen

Aufgrund ihrer probabilistischen Ergebnisse, der auf Unsicherheit programmierten Algorithmen und der Abhängigkeit von statistischen Modellen erschweren KI-Anwendungen die Definition eines klaren Erfolgsmaßstabs auf der Grundlage vorgegebener Erwartungen. Mit anderen Worten: KI kann im Wesentlichen auf eine Weise denken, lernen und erschaffen, die dem menschlichen Geist ähnelt … aber woher wissen wir, ob das, was sie denkt, richtig ist?

Eine weitere kritische Komplikation ist der Einfluss der Datenqualität und -vielfalt. KI-Modelle hängen stark von der Qualität, Relevanz und Vielfalt der Daten ab, auf denen sie trainiert werden – den Informationen, aus denen sie „lernen“. Damit diese Anwendungen erfolgreich sind, müssen sie anhand repräsentativer Daten trainiert werden, die eine Vielzahl von Szenarien, einschließlich Grenzfällen, abdecken. Die Beurteilung der Angemessenheit und genauen Darstellung von Trainingsdaten ist entscheidend für den Gesamterfolg einer KI-Anwendung. Angesichts der relativen Neuheit der KI und der noch festzulegenden Standards für die Qualität und Vielfalt der von ihr verwendeten Daten schwankt die Qualität der Ergebnisse jedoch stark zwischen den Anwendungen.

Manchmal ist es jedoch der Einfluss von Die menschlich Geist – genauer gesagt kontextbezogene Interpretation und menschliche Voreingenommenheit –, die die Messung des Erfolgs in der künstlichen Intelligenz erschweren. KI-Tools erfordern häufig diese menschliche Beurteilung, da sich diese Anwendungen an unterschiedliche Situationen, Benutzervorurteile und andere subjektive Faktoren anpassen müssen.

Dementsprechend wird die Erfolgsmessung in diesem Zusammenhang zu einer komplexen Aufgabe, da es um die Erfassung der Benutzerzufriedenheit, subjektiver Bewertungen und benutzerspezifischer Ergebnisse geht, die möglicherweise nicht einfach quantifizierbar sind.

Die Herausforderungen meistern

Das Verständnis der Hintergründe dieser Komplikationen ist der erste Schritt zur Entwicklung der Strategien, die erforderlich sind, um die Erfolgsbewertung zu verbessern und die Funktionsfähigkeit von KI-Tools zu verbessern. Hier sind drei Strategien, die helfen können:

1. Definieren Sie probabilistische Erfolgsmetriken

Angesichts der inhärenten Unsicherheit bei den Ergebnissen von KI-Anwendungen müssen diejenigen, die mit der Bewertung ihres Erfolgs beauftragt sind, völlig neue Metriken entwickeln, die speziell auf die Erfassung probabilistischer Ergebnisse ausgelegt sind. Erfolgsmodelle, die für traditionelle Softwaresysteme sinnvoll gewesen wären, sind mit KI-Tool-Konfigurationen einfach nicht kompatibel.

Anstatt sich ausschließlich auf deterministische Leistungsmaße wie Genauigkeit oder Präzision zu konzentrieren, kann die Einbeziehung probabilistischer Maße wie Konfidenzintervalle oder Wahrscheinlichkeitsverteilungen – statistische Metriken, die die Wahrscheinlichkeit unterschiedlicher Ergebnisse innerhalb bestimmter Parameter bewerten – ein umfassenderes Bild des Erfolgs liefern.

2. Robustere Validierung und Bewertung

Für KI-Anwendungen ist die Einrichtung strenger Validierungs- und Bewertungsrahmen unerlässlich. Dazu gehören umfassende Tests, Benchmarking mit relevanten Beispieldatensätzen und die Durchführung von Sensitivitätsanalysen, um die Leistung des Systems unter verschiedenen Bedingungen zu bewerten. Die regelmäßige Aktualisierung und Neuschulung von Modellen zur Anpassung an sich entwickelnde Datenmuster trägt dazu bei, Genauigkeit und Zuverlässigkeit aufrechtzuerhalten.

3. Benutzerzentrierte Bewertung

KI-Erfolg existiert nicht nur innerhalb der Grenzen des Algorithmus. Ebenso wichtig ist die Wirksamkeit der Ergebnisse aus der Sicht derjenigen, die sie erhalten.

Daher ist es von entscheidender Bedeutung, Benutzerfeedback und subjektive Einschätzungen einzubeziehen, wenn der Erfolg von KI-Anwendungen gemessen wird, insbesondere bei verbraucherorientierten Tools. Das Sammeln von Erkenntnissen durch Umfragen, Benutzerstudien und qualitative Bewertungen kann wertvolle Informationen über Benutzerzufriedenheit, Vertrauen und wahrgenommenen Nutzen liefern. Durch den Ausgleich objektiver Leistungsmetriken mit benutzerzentrierten Ausgabeauswertungen erhalten Sie eine ganzheitlichere Sicht auf den Erfolg.

Bewerten Sie den Erfolg

Die Messung des Erfolgs eines bestimmten KI-Tools erfordert einen differenzierten Ansatz, der den probabilistischen Charakter seiner Ergebnisse berücksichtigt. Diejenigen, die in irgendeiner Funktion an der Entwicklung und Feinabstimmung von KI beteiligt sind, insbesondere aus der Sicht von Forschung und Entwicklung, müssen die Herausforderungen erkennen, die diese inhärente Unsicherheit mit sich bringt.

Nur durch die Definition geeigneter probabilistischer Metriken, die Durchführung einer strengen Validierung und die Einbeziehung benutzerzentrierter Bewertungen kann die Branche effektiv durch die spannenden, unbekannten Gewässer der künstlichen Intelligenz navigieren.

Dima Dobrinsky ist VP R&D bei Panoply by SQream.