Evaluación de la conformidad de la IA

¿Cree que los sistemas de IA deberían estar sujetos a una rigurosa evaluación de la conformidad? La Ley de IA de la UE lo convierte en una piedra angular de su marco regulatorio, especialmente para las aplicaciones que se consideran de alto riesgo. Este artículo resume las principales conclusiones del seminario web del AI Standards Hub de la semana pasada. ¡Fue una sesión muy informativa!

¿Qué es la evaluación de la conformidad?

La evaluación de la conformidad consiste en comprobar (y demostrar) que algo cumple con un conjunto de normas predefinidas. No es un concepto nuevo, se ha utilizado ampliamente en diversas industrias para garantizar la calidad, la seguridad y el cumplimiento. Pero con el auge de la IA, especialmente en aplicaciones de alto riesgo como los dispositivos médicos, la necesidad de una evaluación de la conformidad sólida se ha vuelto aún más crítica, y los organismos de evaluación de la conformidad desempeñan ahora un papel clave en este proceso, ya que tienen que adaptarse a los desafíos únicos que plantean los sistemas de IA.

¿Cómo se hace normalmente?

La evaluación de la conformidad implica una serie de actividades diseñadas para verificar que un producto, servicio, proceso, sistema u organización cumple con los requisitos, normas o reglamentos especificados. A continuación se detallan cada uno de los métodos comunes:

Pruebas: Las pruebas implican someter un producto, sistema o componente a procedimientos específicos para determinar sus características o rendimiento en función de criterios predefinidos. Para los sistemas de IA, las pruebas podrían incluir pruebas de rendimiento, pruebas de sesgo y equidad, o pruebas de seguridad. El objetivo es generar datos objetivos sobre los atributos y el comportamiento del sistema de IA, demostrando que cumple con las especificaciones técnicas y los requisitos funcionales.
Inspección: La inspección es el examen de un producto, proceso, servicio o instalación para determinar su conformidad con requisitos específicos. A diferencia de las pruebas, que a menudo implican una manipulación o entrada activa, la inspección a menudo implica una verificación más visual y sistemática de las características, la documentación o los procedimientos. Para los productos y procesos de IA, la inspeción podría implicar la revisión de la documentación o la verificación del proceso/ciclo de vida.
Certificación: Es una atestación de terceros relacionada con productos, procesos, sistemas o personas. Un organismo de certificación independiente, después de realizar una evaluación (que puede incluir pruebas e inspección), emite un certificado que indica que el objeto de la evaluación de la conformidad cumple con los requisitos especificados.
Declaración de conformidad del proveedor (SDoC): Esta es una evaluación de la conformidad de primera parte en la que el propio proveedor (fabricante, importador o parte responsable) declara que su producto, proceso o servicio cumple con los requisitos especificados.
Evaluación del sistema de gestión (como la ISO 42001 para los sistemas de gestión de la IA): Este tipo de evaluación se centra en el sistema de gestión de una organización en lugar de en un producto específico. Verifica que una organización ha implementado un enfoque sistemático (un “sistema de gestión”) para lograr ciertos objetivos, como la calidad, el rendimiento medioambiental o, en nuestro caso, el desarrollo y la implementación responsables de la IA. Para la IA, esto implicaría principalmente la auditoría con respecto a la ISO/IEC 42001:2023 - Sistema de gestión de la inteligencia artificial (AIMS): un auditor independiente evalúa los procesos de la organización relacionados con el ciclo de vida del sistema de IA, incluida la gobernanza de los datos, la gestión de riesgos, las consideraciones éticas, la transparencia, la supervisión humana y la rendición de cuentas, y comprueba los mecanismos que garantizan la mejora continua del AIMS.
Acreditación:

La acreditación es el reconocimiento formal por parte de un organismo independiente y autorizado (un “organismo de acreditación”) de que un organismo de evaluación de la conformidad (como un laboratorio de pruebas, un organismo de inspección o un organismo de certificación) es competente, imparcial y opera de manera coherente de acuerdo con las normas internacionales (por ejemplo, ISO/IEC 17025 para laboratorios de pruebas, ISO/IEC 17020 para organismos de inspección, ISO/IEC 17021 para organismos de certificación). Un organismo de acreditación (por ejemplo, ENAC en España, UKAS en el Reino Unido) evalúa a fondo la competencia técnica, los sistemas de gestión, la imparcialidad y el funcionamiento coherente de un organismo de evaluación de la conformidad. La acreditación proporciona una capa adicional de confianza y credibilidad a todo el sistema de evaluación de la conformidad. Cuando un producto está certificado por un organismo de certificación acreditado, o probado por un laboratorio acreditado, significa que el propio organismo que realiza la evaluación ha sido rigurosamente evaluado y considerado competente.

¿Por qué es importante la evaluación de la conformidad de la IA?

La Ley de IA de la UE exige la evaluación de la conformidad para los sistemas de IA de alto riesgo antes de que se comercialicen o se pongan en servicio. Este proceso garantiza que estos sistemas cumplan con los estrictos requisitos de la Ley.

Para la mayoría de los sistemas de IA de alto riesgo (enumerados en el Anexo III), los proveedores generalmente pueden realizar una evaluación de la conformidad interna (autoevaluación), suponiendo que apliquen las normas armonizadas pertinentes. Sin embargo, para ciertos sistemas de IA de alto riesgo críticos (por ejemplo, los sistemas biométricos utilizados en la aplicación de la ley, o cuando no se utilizan normas armonizadas), es obligatoria una evaluación de la conformidad por parte de terceros por parte de un “organismo notificado” designado.

El proceso de evaluación de la conformidad en virtud de la Ley de IA implica demostrar el cumplimiento de requisitos como:

Sistema de gestión de riesgos
Gobernanza de los datos (calidad de los datos, mitigación de sesgos)
Documentación técnica
Mantenimiento de registros (registro de eventos)
Transparencia y suministro de información a los implementadores
Supervisión humana
Precisión, solidez y ciberseguridad

Una vez completada con éxito la evaluación de la conformidad, el proveedor emite una Declaración de conformidad de la UE y, para los sistemas de alto riesgo, debe colocar el marcado CE.

Por supuesto, la evaluación de la conformidad no solo es importante para el cumplimiento normativo: garantiza la seguridad, mitiga los riesgos, genera confianza, fomenta una mayor rendición de cuentas, promueve la cultura de la mejora continua e incluso facilita el comercio internacional mediante la creación de normas y esquemas de evaluación de la conformidad reconocidos a nivel mundial.

¿Cuál es el papel del Comité de Obstáculos Técnicos al Comercio (OTC) de la Organización Mundial del Comercio?

El Comité de Obstáculos Técnicos al Comercio (OTC) de la Organización Mundial del Comercio es el que mantiene el flujo del comercio internacional al tiempo que protege objetivos legítimos como la salud o la seguridad humana, la vida o la salud animal o vegetal, el medio ambiente y los requisitos de seguridad nacional. Lo hacen asegurándose de que los reglamentos técnicos, las normas y los procedimientos de evaluación de la conformidad no creen obstáculos innecesarios al comercio. Por ejemplo, los temas en los que trabajan incluyen evaluaciones de impacto normativo, regulación de dispositivos médicos, tecnologías emergentes críticas, como biocombustibles, generación y almacenamiento de energía limpia, semiconductores y, por supuesto, la IA. En 2024, el Comité OTC adoptó directrices (G/TBT/54) para ayudar a los reguladores en la elección y el diseño de los procedimientos de evaluación de la conformidad para garantizar que las medidas para verificar el cumplimiento de los reglamentos técnicos y las normas no creen obstáculos innecesarios al comercio internacional.

¿Y los reguladores nacionales?

Los reguladores nacionales de los países miembros de la OMC desarrollan y promulgan reglamentos, diseñan e implementan procedimientos de evaluación de la conformidad y realizan vigilancia del mercado. En Luxemburgo, por ejemplo, tenemos el Instituto Luxemburgués de Normalización, Acreditación, Seguridad y Calidad de los Productos y Servicios (ILNAS), pero también la Agencia Luxemburguesa de Medicamentos y Productos Sanitarios (ALMPS) (que regula los dispositivos médicos) y la Comisión Nacional para la Protección de Datos (CNPD) (sistemas de IA y cumplimiento de la Ley de IA). Australia, a su vez, tiene un modelo de responsabilidad compartida para la regulación de la seguridad de los productos, en el que participan los gobiernos federal, estatal y territorial: la Comisión Australiana de Competencia y Consumo (ACCC) supervisa la seguridad general de los productos de consumo, mientras que el Departamento de Infraestructura, Transporte, Desarrollo Regional, Comunicaciones y Artes es responsable de la seguridad de los vehículos, y la Autoridad Australiana de Comunicaciones y Medios (ACMA). Dichos reguladores utilizan las directrices del OTC de la OMC para garantizar que sus reglamentos y procedimientos de evaluación de la conformidad sean eficaces y faciliten el comercio al tiempo que protegen los intereses públicos.

¿Qué es la caja de herramientas de evaluación de la conformidad de la ISO (CASCO)?

Es una colección completa de normas y guías internacionales desarrolladas por el Comité de Evaluación de la Conformidad de la ISO (CASCO). Puede ser utilizada por los organismos de evaluación y acreditación, así como por las empresas, para comprender cómo cumplir con los requisitos, seleccionar proveedores de evaluación de la conformidad competentes e incluso implementar sus propios procesos de evaluación internos.

¿Qué son los esquemas de evaluación de la conformidad?

El Comité de evaluación de la conformidad de la ISO existe desde hace mucho tiempo, pero ahora tienen una nueva tarea: desarrollar esquemas de evaluación de la conformidad, conjuntos de requisitos y procedimientos que ayudan a los organismos de evaluación de la conformidad a certificar un sistema o un producto con respecto a una norma específica. Vemos tales esquemas aplicados en la práctica todos los días: solo mire el empaque de un electrodoméstico o un dispositivo eléctrico que posea; habrá un logotipo de algún esquema de certificación, lo que significa que ha pasado algunas pruebas para garantizar que es seguro y funcionará como se espera. En otras palabras, este nuevo comité desarrollará dichos esquemas de certificación para verificar los productos y sistemas de IA y permitir que sus proveedores los etiqueten como “certificados” (es decir, seguros y adecuados para el uso previsto).

El desarrollo de dichos esquemas de evaluación de la conformidad para la IA es un desafío por varias razones:

Un sistema de IA como producto puede tener diferentes componentes, y cada componente como producto significa un enfoque basado en el riesgo. Están hechos de datos, software, modelos e infraestructura, no tan tangibles y predecibles en su comportamiento como, por ejemplo, una tetera. En la IA, los riesgos pueden provenir de los datos de entrenamiento, el diseño del algoritmo e incluso la interfaz de usuario. Por lo tanto, se necesita una evaluación de riesgos más integrada y holística para ir más allá de la evaluación a nivel de componentes.
Necesidad de una evaluación en tiempo real. Muchos sistemas de IA operan en tiempo real (por ejemplo, vehículos autónomos, detección de fraudes). A medida que el entorno cambia constantemente, una evaluación instantánea estándar no será suficiente: necesitamos un monitoreo continuo, un registro eficiente y métodos de evaluación de la conformidad de alguna manera adaptativos.
Control de versiones y actualizaciones. Los modelos de IA se actualizan, se vuelven a entrenar y se ajustan con frecuencia, y actualizaciones como esta pueden cambiar de forma impredecible el comportamiento del modelo. ¡Necesitamos un sistema de gestión de cambios sólido aquí!
¿Puede una declaración de conformidad garantizar la seguridad del sistema? Una vez más, la naturaleza dinámica de la IA hace que una declaración definitiva sea un desafío y exige un monitoreo continuo posterior a la comercialización del rendimiento del sistema, la calidad de los datos y el cumplimiento de los principios éticos.

Todo esto requiere el desarrollo de métodos y marcos de evaluación de la conformidad nuevos, más dinámicos y adaptativos. Esto es lo que el WG está haciendo actualmente. El objetivo es publicar los esquemas en mayo de 2027, por lo que hay mucho tiempo para que los expertos se involucren en la redacción.

¿Habrá más apoyo para los organismos de certificación y los auditores?

¡Sí! Un nuevo documento, actualmente en publicación, pronto brindará más apoyo a los organismos de certificación y auditores: es la ISO/IEC 42006 - “TI — IA — Requisitos para los organismos que proporcionan auditoría y certificación de sistemas de gestión de IA”. La nueva norma garantizará que los organismos de certificación operen con la competencia y el rigor necesarios para evaluar a las organizaciones que desarrollan, implementan u ofrecen sistemas de IA. Los sistemas de IA presentan desafíos únicos en áreas como la ética, la calidad de los datos, el riesgo y la transparencia. Para certificar que una organización gestiona estos desafíos de manera responsable, los propios auditores necesitan conocimientos especializados y reglas claras para realizar las evaluaciones.

¿Sabía que existe todo un ecosistema de normas ISO relacionadas con la IA?

ISO/IEC 38507:2022 se aplica a todas las organizaciones que desarrollan o utilizan sistemas y soluciones basados en IA, independientemente de la industria, el tamaño o la capacidad técnica. Comprueba si la organización cuenta con sistemas adecuados de gobernanza de la IA y de gestión de riesgos de la IA, centrándose específicamente en la capa de gobernanza, garantizando que la toma de decisiones relacionada con la IA se alinee con los objetivos de la organización, así como con las regulaciones, las expectativas éticas y los valores de la sociedad.
ISO/IEC 23894:2023 TI-IA - La guía sobre gestión de riesgos proporciona orientación sobre cómo las organizaciones que desarrollan, producen, implementan o utilizan productos, sistemas y servicios que utilizan IA pueden gestionar el riesgo específicamente relacionado con la IA.
ISO/IEC 42005:2025 - La evaluación del impacto del sistema de IA proporciona orientación para las organizaciones que realizan evaluaciones del impacto del sistema de IA. Puede ser utilizada por cualquier organización que desarrolle, proporcione o utilice sistemas de IA que desee evaluar y gestionar los posibles impactos de sus sistemas de IA en las personas y la sociedad.
ISO/IEC 42001:2023 especifica los requisitos para establecer, implementar, mantener y mejorar continuamente un Sistema de Gestión de Inteligencia Artificial (AIMS) dentro de las organizaciones. Está diseñado para entidades que proporcionan o utilizan productos o servicios basados en IA, garantizando el desarrollo y uso responsables de los sistemas de IA.

La evaluación de la conformidad no es simplemente un obstáculo burocrático, sino un pilar fundamental para el desarrollo y la implementación responsables y fiables de la IA, especialmente para aplicaciones de alto riesgo como los dispositivos médicos habilitados para IA. Proporciona los mecanismos esenciales para verificar que los sistemas de IA cumplen con las normas predefinidas de seguridad, rendimiento, ética y cumplimiento normativo.

¿Cómo participar en el desarrollo de normas relacionadas con la IA?

Únase a su organismo nacional de normalización: https://www.iso.org/about/members

Imagen: Gatitos y gatos; un libro de cuentos, de Eulalie Osgood Grover; 1911; Boston, Houghton Mifflin. — Fuente.