Documentation et transparence : NIST AI RMF Govern 1.4

Le NIST AI Risk Management Framework (AI RMF) est conçu comme un cadre volontaire applicable à toute organisation impliquée dans la conception, le développement, le déploiement ou l’utilisation de systèmes d’intelligence artificielle. Il ne s’agit pas d’une exigence de conformité obligatoire au même titre que certaines réglementations (par exemple, l’EU AI Act). Cependant, il offre des directives très utiles - considérez-le comme un guide pour aider votre organisation à garantir que les avantages de l’IA sont réalisés de manière responsable. Cet article poursuit une série de publications discutant du NIST AI RMF - point par point. Qu’est-ce que Govern 1.4 ? Govern 1.4 traite des avantages de l’établissement du processus de gestion des risques par le biais de politiques, de procédures et d’autres contrôles transparents (en fonction des priorités de risque de votre organisation).

Les politiques et procédures relatives à la documentation et à la transparence apportent de nombreux avantages :

Une documentation claire décrit les rôles des individus et des équipes impliqués dans le développement, le déploiement et l’utilisation de l’IA, garantissant que chacun comprenne ses responsabilités. Une communication efficace favorise la collaboration et prévient les malentendus, conduisant à des flux de travail plus fluides. Des rôles et des responsabilités clairs renforcent la responsabilité, garantissant que les individus sont tenus responsables de leurs actions. Vous pouvez retracer les décisions et les actions, ce qui facilite l’identification et la résolution des problèmes. La responsabilité d’une organisation est renforcée : les individus peuvent être tenus responsables de leurs actions. La documentation peut impliquer les parties prenantes tout au long du processus de développement, favorisant un sentiment d’appropriation. De plus, lorsque les parties prenantes sont impliquées et comprennent le produit, elles sont plus susceptibles de soutenir son adoption et son utilisation. Une documentation claire facilite la réplication des systèmes d’IA, garantissant la cohérence et la fiabilité. Les systèmes bien documentés sont souvent plus robustes car ils peuvent être facilement maintenus et mis à jour. L’explicabilité des modèles de ML est améliorée : il est plus facile de comprendre comment ils prennent des décisions.

Comme vous pouvez le voir, il y a deux aspects principaux ici : la transparence et la responsabilité, qui sont très étroitement liés. Pour permettre la responsabilité, votre organisation doit être transparente et clarifier les rôles et les responsabilités des personnes impliquées dans la conception, le développement, le déploiement, l’évaluation et la surveillance des systèmes d’IA auprès des parties prenantes concernées. Par exemple, le simple fait d’inclure les coordonnées des acteurs de l’IA dans la documentation du produit présente de nombreux avantages :

Ensuite, il y a la documentation relative aux modèles d’IA eux-mêmes, et ici vous pouvez documenter la justification commerciale, la portée et les utilisations du système d’IA, les risques potentiels, les données d’entraînement, la méthodologie algorithmique, les résultats des tests et de la validation, les plans de déploiement et de surveillance, les plans de divulgation publique des documents de gestion des risques de l’IA (par exemple, les résultats d’audit, la documentation des modèles, etc.). La documentation des modèles est un aspect particulièrement intéressant, et je laisserai des liens vers d’excellentes ressources dans les commentaires. Par exemple, vous devez documenter les ensembles de données utilisés pour l’entraînement du modèle (justification de la curation, sources de données, et bien plus encore). Il existe un guide intitulé “A Guide for Writing Data Statements for Natural Language Processing” d’Emily Bender qui nous aide à rendre compte d’aspects tels que les informations démographiques relatives à une source de données linguistiques, les données démographiques des locuteurs et des annotateurs, les variétés linguistiques (par exemple, au lieu de dire “American English”, il est recommandé de fournir plus de détails - par exemple, “Standardised American English” ou “Northeastern American English”), parmi beaucoup d’autres. “Model Cards for Model Reporting” aident à créer des fiches de modèle avec toutes les informations, y compris la manière dont un modèle a été construit, les hypothèses faites lors de son développement, le type de comportement du modèle que différents groupes de population culturels, démographiques ou phénotypiques peuvent expérimenter, et une évaluation de la performance du modèle par rapport à ces groupes.

La documentation joue un rôle essentiel pour garantir que les systèmes d’IA sont développés et déployés de manière responsable. En fournissant un enregistrement clair du développement, des tests et du déploiement du système, la documentation peut contribuer à renforcer la confiance dans les technologies d’IA.