Évaluation de la conformité de l'IA

Pensez-vous que les systèmes d’IA devraient être soumis à une évaluation de conformité rigoureuse ? La loi européenne sur l’IA en fait une pierre angulaire de son cadre réglementaire, en particulier pour les applications considérées comme présentant des risques importants. Cet article résume les principales conclusions du webinaire du AI Standards Hub de la semaine dernière - ce fut une session très instructive !

Qu’est-ce que l’évaluation de la conformité ?

L’évaluation de la conformité consiste à vérifier (et à prouver) que quelque chose est conforme à un ensemble de normes prédéfinies. Ce n’est pas un concept nouveau, il a été largement utilisé dans diverses industries pour garantir la qualité, la sécurité et la conformité. Mais avec l’essor de l’IA, en particulier dans les applications à haut risque comme les dispositifs médicaux, la nécessité d’une évaluation de conformité robuste est devenue encore plus critique, et les organismes d’évaluation de la conformité jouent désormais un rôle clé dans ce processus, car ils doivent s’adapter aux défis uniques posés par les systèmes d’IA.

Comment est-ce habituellement fait ?

L’évaluation de la conformité implique une gamme d’activités conçues pour vérifier qu’un produit, un service, un processus, un système ou une organisation répond aux exigences, normes ou réglementations spécifiées. Voici une élaboration de chacune des méthodes courantes :

Test : Le test consiste à soumettre un produit, un système ou un composant à des procédures spécifiques pour déterminer ses caractéristiques ou ses performances par rapport à des critères prédéfinis. Pour les systèmes d’IA, les tests peuvent inclure des tests de performance, des tests de biais et d’équité, ou des tests de sécurité. L’objectif est de générer des données objectives sur les attributs et le comportement du système d’IA, prouvant qu’il répond aux spécifications techniques et aux exigences fonctionnelles.
Inspection : L’inspection est l’examen d’un produit, d’un processus, d’un service ou d’une installation pour déterminer sa conformité à des exigences spécifiques. Contrairement aux tests, qui impliquent souvent une manipulation ou une entrée active, l’inspection implique souvent une vérification plus visuelle et systématique des caractéristiques, de la documentation ou des procédures. Pour les produits et processus d’IA, l’inspection peut impliquer un examen de la documentation ou une vérification du processus/cycle de vie.
Certification : Il s’agit d’une attestation par un tiers relative à des produits, processus, systèmes ou personnes. Un organisme de certification indépendant, après avoir effectué une évaluation (qui peut inclure des tests et une inspection), délivre un certificat attestant que l’objet de l’évaluation de la conformité répond aux exigences spécifiées.
Déclaration de conformité du fournisseur (SDoC) : Il s’agit d’une évaluation de la conformité par le fournisseur lui-même (fabricant, importateur ou partie responsable) qui déclare que son produit, processus ou service est conforme aux exigences spécifiées.
Évaluation du système de management (comme l’ISO 42001 pour les systèmes de management de l’IA) : Ce type d’évaluation se concentre sur le système de management d’une organisation plutôt que sur un produit spécifique. Il vérifie qu’une organisation a mis en place une approche systématique (un « système de management ») pour atteindre certains objectifs, tels que la qualité, la performance environnementale ou, dans notre cas, le développement et le déploiement responsables de l’IA. Pour l’IA, cela impliquerait principalement un audit par rapport à la norme ISO/IEC 42001:2023 - Système de management de l’intelligence artificielle (AIMS) : un auditeur indépendant évalue les processus de l’organisation liés au cycle de vie du système d’IA, y compris la gouvernance des données, la gestion des risques, les considérations éthiques, la transparence, la surveillance humaine et la responsabilité, et vérifie les mécanismes qui garantissent l’amélioration continue de l’AIMS.
Accréditation :

L’accréditation est la reconnaissance formelle par un organisme indépendant et faisant autorité (un « organisme d’accréditation ») qu’un organisme d’évaluation de la conformité (comme un laboratoire d’essais, un organisme d’inspection ou un organisme de certification) est compétent, impartial et fonctionne de manière cohérente selon les normes internationales (par exemple, ISO/IEC 17025 pour les laboratoires d’essais, ISO/IEC 17020 pour les organismes d’inspection, ISO/IEC 17021 pour les organismes de certification). Un organisme d’accréditation (par exemple, l’ENAC en Espagne, l’UKAS au Royaume-Uni) évalue de manière approfondie la compétence technique, les systèmes de management, l’impartialité et le fonctionnement cohérent d’un organisme d’évaluation de la conformité. L’accréditation fournit une couche supplémentaire de confiance et de crédibilité à l’ensemble du système d’évaluation de la conformité. Lorsqu’un produit est certifié par un organisme de certification accrédité, ou testé par un laboratoire accrédité, cela signifie que l’organisme qui effectue l’évaluation a lui-même été rigoureusement évalué et jugé compétent.

Pourquoi l’évaluation de la conformité de l’IA est-elle importante ?

La loi européenne sur l’IA impose une évaluation de la conformité pour les systèmes d’IA à haut risque avant leur mise sur le marché ou leur mise en service. Ce processus garantit que ces systèmes répondent aux exigences strictes de la loi.

Pour la plupart des systèmes d’IA à haut risque (énumérés à l’annexe III), les fournisseurs peuvent généralement effectuer une évaluation de conformité interne (auto-évaluation), à condition qu’ils appliquent les normes harmonisées pertinentes. Cependant, pour certains systèmes d’IA à haut risque critiques (par exemple, les systèmes biométriques utilisés dans les forces de l’ordre, ou lorsque aucune norme harmonisée n’est utilisée), une évaluation de conformité par un tiers par un « organisme notifié » désigné est obligatoire.

Le processus d’évaluation de la conformité en vertu de la loi sur l’IA implique de démontrer la conformité à des exigences telles que :

Système de gestion des risques
Gouvernance des données (qualité des données, atténuation des biais)
Documentation technique
Tenue de registres (journalisation des événements)
Transparence et fourniture d’informations aux déployeurs
Surveillance humaine
Précision, robustesse et cybersécurité

Une fois l’évaluation de la conformité terminée avec succès, le fournisseur délivre une déclaration de conformité UE et, pour les systèmes à haut risque, est tenu d’apposer le marquage CE.

Bien sûr, l’évaluation de la conformité n’est pas seulement importante pour la conformité réglementaire - elle garantit la sécurité, atténue les risques, renforce la confiance, favorise une plus grande responsabilité, promeut une culture d’amélioration continue et facilite même le commerce international en créant des normes et des schémas d’évaluation de la conformité reconnus au niveau mondial.

Quel est le rôle du Comité des obstacles techniques au commerce (OTC) de l’Organisation mondiale du commerce ?

Le Comité des obstacles techniques au commerce (OTC) de l’Organisation mondiale du commerce est celui qui maintient la fluidité du commerce international tout en protégeant des objectifs légitimes tels que la santé ou la sécurité humaine, la vie ou la santé animale ou végétale, l’environnement et les exigences de sécurité nationale. Ils le font en veillant à ce que les réglementations techniques, les normes et les procédures d’évaluation de la conformité ne créent pas d’obstacles inutiles au commerce. Par exemple, les sujets sur lesquels ils travaillent comprennent les analyses d’impact réglementaire, la réglementation des dispositifs médicaux, les technologies émergentes critiques, telles que les biocarburants, la production et le stockage d’énergie propre, les semi-conducteurs - et, bien sûr, l’IA. En 2024, le Comité OTC a adopté des lignes directrices (G/TBT/54) pour aider les régulateurs dans le choix et la conception des procédures d’évaluation de la conformité afin de garantir que les mesures visant à vérifier la conformité aux réglementations techniques et aux normes ne créent pas d’obstacles inutiles au commerce international.

Qu’en est-il des régulateurs nationaux ?

Les régulateurs nationaux des pays membres de l’OMC élaborent et promulguent des réglementations, conçoivent et mettent en œuvre des procédures d’évaluation de la conformité et effectuent une surveillance du marché. Au Luxembourg, par exemple, nous avons l’Institut luxembourgeois de la normalisation, de l’accréditation, de la sécurité et de la qualité des produits et services (ILNAS), mais aussi l’Agence luxembourgeoise des médicaments et des produits de santé (ALMPS) (qui réglemente les dispositifs médicaux) et la Commission nationale pour la protection des données (CNPD) (systèmes d’IA et conformité à la loi sur l’IA). L’Australie, à son tour, a un modèle de responsabilité partagée pour la réglementation de la sécurité des produits, impliquant les gouvernements fédéral, des États et des territoires : la Commission australienne de la concurrence et de la consommation (ACCC) supervise la sécurité générale des produits de consommation tandis que le ministère de l’Infrastructure, des Transports, du Développement régional, des Communications et des Arts est responsable de la sécurité des véhicules - et l’Autorité australienne des communications et des médias (ACMA). Ces régulateurs utilisent les lignes directrices de l’OMC sur les OTC pour s’assurer que leurs réglementations et procédures d’évaluation de la conformité sont efficaces et facilitent le commerce tout en protégeant les intérêts publics.

Qu’est-ce que la boîte à outils d’évaluation de la conformité de l’ISO (CASCO) ?

Il s’agit d’une collection complète de normes et de guides internationaux élaborés par le Comité de l’ISO pour l’évaluation de la conformité (CASCO). Elle peut être utilisée par les organismes d’évaluation et d’accréditation, ainsi que par les entreprises - pour comprendre comment se conformer aux exigences, sélectionner des prestataires d’évaluation de la conformité compétents et même mettre en œuvre leurs propres processus d’évaluation internes.

Que sont les schémas d’évaluation de la conformité ?

Le comité de l’ISO sur l’évaluation de la conformité existe depuis longtemps - mais il a maintenant une nouvelle tâche : développer des schémas d’évaluation de la conformité - des ensembles d’exigences et de procédures qui aident les organismes d’évaluation de la conformité à certifier un système ou un produit par rapport à une norme spécifique. Nous voyons de tels schémas appliqués dans la nature tous les jours : il suffit de regarder l’emballage d’un appareil ménager ou d’un appareil électrique que vous possédez - il y aura un logo d’un schéma de certification, ce qui signifie qu’il a passé des tests pour s’assurer qu’il est sûr et qu’il fonctionnera comme prévu. En d’autres termes, ce nouveau comité développera de tels schémas de certification pour vérifier les produits et systèmes d’IA et permettre à leurs fournisseurs de les étiqueter comme « certifiés » (c’est-à-dire sûrs et adaptés à l’usage prévu).

Le développement de tels schémas d’évaluation de la conformité pour l’IA est difficile pour un certain nombre de raisons :

Un système d’IA en tant que produit peut avoir différents composants, et chaque composant en tant que produit signifie une approche basée sur les risques. Ils sont faits de données, de logiciels, de modèles et d’infrastructures - pas aussi tangibles et prévisibles dans leur comportement que, disons, une bouilloire. Dans l’IA, les risques peuvent provenir des données d’entraînement, de la conception de l’algorithme et même de l’interface utilisateur. Ainsi, une évaluation des risques plus intégrée et plus holistique est nécessaire pour aller au-delà de l’évaluation au niveau des composants.
Besoin d’une évaluation en temps réel. De nombreux systèmes d’IA fonctionnent en temps réel (par exemple, les véhicules autonomes, la détection de fraude). Comme l’environnement change constamment, une évaluation ponctuelle standard ne suffira pas : nous avons besoin d’une surveillance continue, d’une journalisation efficace et de méthodes d’évaluation de la conformité adaptatives.
Contrôle de version et mises à jour. Les modèles d’IA sont fréquemment mis à jour, ré-entraînés, affinés, et des mises à jour comme celles-ci peuvent modifier de manière imprévisible le comportement du modèle. Nous avons besoin d’un système de gestion du changement robuste ici !
Une déclaration de conformité peut-elle garantir la sécurité du système ? Encore une fois, la nature dynamique de l’IA rend une déclaration définitive difficile et appelle à une surveillance continue post-commercialisation des performances du système, de la qualité des données et du respect des principes éthiques.

Tout cela nécessite le développement de nouvelles méthodes et cadres d’évaluation de la conformité plus dynamiques et adaptatifs. C’est ce que fait actuellement le groupe de travail. L’objectif est de publier les schémas en mai 2027, il y a donc beaucoup de temps pour que les experts s’impliquent dans la rédaction.

Y aura-t-il plus de soutien pour les organismes de certification et les auditeurs ?

Oui ! Un nouveau document, actuellement en cours de publication, apportera bientôt plus de soutien aux organismes de certification et aux auditeurs - il s’agit de l’ISO/IEC 42006 - « TI — IA — Exigences pour les organismes fournissant l’audit et la certification des systèmes de management de l’IA ». La nouvelle norme garantira que les organismes de certification fonctionnent avec la compétence et la rigueur nécessaires pour évaluer les organisations qui développent, déploient ou proposent des systèmes d’IA. Les systèmes d’IA présentent des défis uniques dans des domaines tels que l’éthique, la qualité des données, les risques et la transparence. Pour certifier qu’une organisation gère ces défis de manière responsable, les auditeurs eux-mêmes ont besoin de connaissances spécialisées et de règles claires pour mener des évaluations.

Saviez-vous qu’il existe tout un écosystème de normes ISO liées à l’IA ?

L’ISO/IEC 38507:2022 s’applique à toutes les organisations qui développent ou utilisent des systèmes et des solutions basés sur l’IA, quel que soit le secteur, la taille ou la capacité technique. Elle vérifie si l’organisation dispose de systèmes de gouvernance de l’IA et de gestion des risques de l’IA appropriés, en se concentrant spécifiquement sur la couche de gouvernance, en veillant à ce que la prise de décision liée à l’IA soit conforme aux objectifs de l’organisation ainsi qu’aux réglementations, aux attentes éthiques et aux valeurs de la société.
L’ISO/IEC 23894:2023 TI-IA - Lignes directrices sur la gestion des risques fournit des orientations sur la manière dont les organisations qui développent, produisent, déploient ou utilisent des produits, des systèmes et des services qui utilisent l’IA peuvent gérer les risques spécifiquement liés à l’IA.
L’ISO/IEC 42005:2025 - Évaluation de l’impact des systèmes d’IA - fournit des orientations aux organisations menant des évaluations de l’impact des systèmes d’IA. Elle peut être utilisée par toute organisation qui développe, fournit ou utilise des systèmes d’IA et qui souhaite évaluer et gérer les impacts potentiels de ses systèmes d’IA sur les personnes et la société.
L’ISO/IEC 42001:2023 spécifie les exigences pour l’établissement, la mise en œuvre, la maintenance et l’amélioration continue d’un système de management de l’intelligence artificielle (AIMS) au sein des organisations. Elle est conçue pour les entités qui fournissent ou utilisent des produits ou des services basés sur l’IA, garantissant un développement et une utilisation responsables des systèmes d’IA.

L’évaluation de la conformité n’est pas simplement un obstacle bureaucratique, mais un pilier fondamental pour le développement et le déploiement responsables et dignes de confiance de l’IA, en particulier pour les applications à haut risque comme les dispositifs médicaux compatibles avec l’IA. Elle fournit les mécanismes essentiels pour vérifier que les systèmes d’IA répondent aux normes prédéfinies en matière de sécurité, de performance, d’éthique et de conformité réglementaire.

Comment s’impliquer dans le développement de normes liées à l’IA ?

Rejoignez votre organisme national de normalisation : https://www.iso.org/about/members

Image : Chatons et chats ; un livre de contes, par Eulalie Osgood Grover ; 1911 ; Boston, Houghton Mifflin. — Source.