Définir la tâche et les exigences techniques du système d'IA : NIST AI RMF Map 2.1

Le NIST AI Risk Management Framework (AI RMF) est conçu comme un cadre volontaire applicable à toute organisation impliquée dans la conception, le développement, le déploiement ou l’utilisation de systèmes d’intelligence artificielle. Il ne s’agit pas d’une exigence de conformité obligatoire au même titre que certaines réglementations (par exemple, l’EU AI Act). Cependant, il offre des directives très utiles - considérez-le comme un guide pour aider votre organisation à garantir que les avantages de l’IA sont réalisés de manière responsable.

Qu’est-ce que Map 2.1 ?

La tâche de votre système d’IA est-elle clairement définie ? Évitez ces pièges courants lors de l’alignement avec le NIST AI RMF 2.1 :

1. La définition est trop vague

“Le système apprendra à améliorer la satisfaction client.” Comment mesurerez-vous l’amélioration ? Quelles actions le système d’IA entreprendra-t-il ?

L’IA apprendra à réduire les temps d’attente des clients lors de l’assistance téléphonique en prédisant le volume d’appels, en analysant le type d’appel attendu et en optimisant la planification des agents.

2. La portée est trop ambitieuse

“Le système résoudra tous nos problèmes de service client.”

Vraiment ?

3. Ignorer les hypothèses et les limitations (liées aux données, à l’environnement ou au comportement de l’utilisateur)

Des hypothèses cachées peuvent entraîner des échecs inattendus. Les limitations ne sont pas des échecs.

Hypothèses :

• L’historique médical et les symptômes du patient sont enregistrés avec précision dans le dossier de santé électronique.
• Les images utilisées pour le diagnostic sont de qualité et de résolution suffisantes.
• La langue utilisée dans les spams sera principalement celle sur laquelle le filtre a été entraîné. Limitation : Le système peut avoir des difficultés avec les questions qui nécessitent une compréhension nuancée du sarcasme ou de l’humour.

4. Les spécifications et les exigences techniques ne sont pas clairement définies

L’IA doit être rapide et précise. Le système de détection de fraude basé sur l’IA doit atteindre un score F1 minimum de X sur un ensemble de données de test mis de côté d’au moins Y transactions. Le système doit être capable de traiter un volume de transactions allant jusqu’à Z transactions par seconde.

5. Absence de documentation du développement, des tests, des métriques et des performances

Le système a été entraîné sur un grand ensemble de données et testé de manière approfondie. Le système de traduction a été développé à l’aide de l’architecture X. Les données d’entraînement étaient constituées de textes parallèles en anglais et en espagnol, provenant d’ensembles de données accessibles au public et de notre corpus interne. Nous avons utilisé le score BLEU comme principale métrique d’évaluation. Le système a obtenu un score BLEU moyen de 0,85 sur l’ensemble de test.

6. Absence de référence à vos pratiques de gestion des données basées sur la responsabilité

Notre organisation adhère aux Principes de confidentialité de l’OCDE. Nous avons mis en œuvre les pratiques de gestion et de protection des données suivantes : …

7. Absence d’alignement des spécifications avec les buts et objectifs

Les spécifications techniques du système comprennent le suivi des stocks en temps réel avec une précision de 99 % et la commande automatisée basée sur des seuils prédéfinis et optimisée pour le coût et le délai de livraison. Ces spécifications soutiennent directement les objectifs de réduction des ruptures de stock et de minimisation des déchets en permettant une prédiction de la demande plus précise, une meilleure visibilité des stocks et des processus de commande optimisés.

Examinez ces points : en définissant clairement et précisément les tâches de votre système, vous facilitez la cartographie des avantages et des risques, ce qui améliore la gestion des risques.