Definition von KI-Systemaufgaben und technischen Anforderungen: NIST AI RMF Map 2.1

Das NIST AI Risk Management Framework (AI RMF) ist als freiwilliges Rahmenwerk konzipiert, das für jede Organisation gilt, die an der Konzeption, Entwicklung, Bereitstellung oder Nutzung von Systemen der künstlichen Intelligenz beteiligt ist. Es handelt sich nicht um eine zwingende Compliance-Anforderung im gleichen Sinne wie einige Vorschriften (z. B. der EU AI Act). Es bietet jedoch sehr nützliche Richtlinien – betrachten Sie es als Leitfaden, der Ihrer Organisation hilft, sicherzustellen, dass die Vorteile der KI verantwortungsvoll genutzt werden.

Worum geht es in Map 2.1?

Ist die Aufgabe Ihres KI-Systems klar definiert? Vermeiden Sie diese häufigen Fallstricke bei der Ausrichtung auf NISTs AI RMF 2.1:

1. Die Definition ist zu vage

“Das System wird lernen, die Kundenzufriedenheit zu verbessern.” Wie werden Sie die Verbesserung messen? Welche Maßnahmen wird das KI-System ergreifen?

Die KI wird lernen, die Wartezeiten der Kunden beim Telefonsupport zu verkürzen, indem sie das Anrufvolumen vorhersagt, den erwarteten Anruftyp analysiert und die Agentenplanung optimiert.

2. Der Umfang ist zu ehrgeizig

“Das System wird alle unsere Kundenserviceprobleme lösen.”

Wirklich?

3. Ignorieren von Annahmen und Einschränkungen (in Bezug auf Daten, Umgebung oder Benutzerverhalten)

Versteckte Annahmen können zu unerwarteten Fehlern führen. Einschränkungen sind keine Fehler.

Annahmen:

• Die Krankengeschichte und Symptome des Patienten sind im elektronischen Gesundheitsakt korrekt erfasst.
• Die für die Diagnose verwendeten Bilder haben eine ausreichende Qualität und Auflösung.
• Die in Spam-E-Mails verwendete Sprache entspricht überwiegend den Sprachen, auf die der Filter trainiert wurde. Einschränkung: Das System kann Schwierigkeiten mit Fragen haben, die ein nuanciertes Verständnis von Sarkasmus oder Humor erfordern.

4. Technische Spezifikationen und Anforderungen sind nicht klar definiert

Die KI sollte schnell und genau sein. Das KI-gestützte Betrugserkennungssystem muss einen Mindest-F1-Score von X auf einem zurückgehaltenen Testdatensatz von mindestens Y Transaktionen erreichen. Das System muss in der Lage sein, ein Transaktionsvolumen von bis zu Z Transaktionen pro Sekunde zu verarbeiten.

5. Keine Dokumentation von Entwicklung, Tests, Metriken und Leistung

Das System wurde auf einem großen Datensatz trainiert und ausgiebig getestet. Das Übersetzungssystem wurde unter Verwendung der X-Architektur entwickelt. Die Trainingsdaten bestanden aus parallelen Texten in Englisch und Spanisch, die aus öffentlich verfügbaren Datensätzen und unserem internen Korpus stammen. Wir haben den BLEU-Score als primäre Bewertungsmetrik verwendet. Das System erreichte einen durchschnittlichen BLEU-Score von 0,85 im Testset.

6. Kein Verweis auf Ihre rechenschaftspflichtbasierten Datenmanagementpraktiken

Unsere Organisation hält sich an die OECD-Datenschutzgrundsätze. Wir haben die folgenden Datenmanagement- und Schutzpraktiken implementiert: …

7. Keine Ausrichtung der Spezifikationen auf Ziele und Vorgaben

Die technischen Spezifikationen für das System umfassen eine Echtzeit-Bestandsverfolgung mit 99 % Genauigkeit und eine automatisierte Bestellung auf der Grundlage vordefinierter Schwellenwerte, optimiert nach Kosten und Lieferzeit. Diese Spezifikationen unterstützen direkt die Ziele der Reduzierung von Fehlbeständen und der Minimierung von Abfall, indem sie eine genauere Nachfrageprognose, eine bessere Bestandstransparenz und optimierte Bestellprozesse ermöglichen.

Überprüfen Sie diese Punkte: Indem Sie die Aufgaben Ihres Systems klar und eng definieren, erleichtern Sie die Zuordnung von Vorteilen und Risiken, was das Risikomanagement verbessert.