Avaliação da Conformidade da IA

Acha que os sistemas de IA devem ser sujeitos a uma rigorosa avaliação da conformidade? A Lei da IA da UE torna-a uma pedra angular do seu quadro regulamentar, particularmente para aplicações consideradas de risco significativo. Este artigo resume as principais conclusões do webinar do AI Standards Hub da semana passada - foi uma sessão muito informativa!

O que é a avaliação da conformidade?

A avaliação da conformidade consiste em verificar (e provar) que algo está à altura de um conjunto de normas predefinidas. Não é um conceito novo, tem sido amplamente utilizado em várias indústrias para garantir a qualidade, segurança e conformidade. Mas com o aumento da IA, especialmente em aplicações de alto risco como dispositivos médicos, a necessidade de uma avaliação da conformidade robusta tornou-se ainda mais crítica, e os organismos de avaliação da conformidade desempenham agora um papel fundamental neste processo, uma vez que têm de se adaptar aos desafios únicos colocados pelos sistemas de IA.

Como é que normalmente é feita?

A avaliação da conformidade envolve uma série de atividades destinadas a verificar se um produto, serviço, processo, sistema ou organização cumpre os requisitos, normas ou regulamentos especificados. Eis uma elaboração sobre cada um dos métodos comuns:

Testes: Os testes envolvem submeter um produto, sistema ou componente a procedimentos específicos para determinar as suas características ou desempenho em relação a critérios predefinidos. Para sistemas de IA, os testes podem envolver testes de desempenho, testes de preconceito e equidade, ou testes de segurança e proteção. O objetivo é gerar dados objetivos sobre os atributos e o comportamento do sistema de IA, provando que cumpre as especificações técnicas e os requisitos funcionais.
Inspeção: A inspeção é o exame de um produto, processo, serviço ou instalação para determinar a sua conformidade com requisitos específicos. Ao contrário dos testes, que muitas vezes envolvem manipulação ou entrada ativa, a inspeção envolve frequentemente uma verificação mais visual e sistemática de características, documentação ou procedimentos. Para produtos e processos de IA, a inspeção pode envolver a revisão da documentação ou a verificação do processo/ciclo de vida.
Certificação: É uma declaração de terceiros relacionada com produtos, processos, sistemas ou pessoas. Um organismo de certificação independente, após realizar uma avaliação (que pode incluir testes e inspeção), emite um certificado a atestar que o objeto da avaliação da conformidade cumpre os requisitos especificados.
Declaração de Conformidade do Fornecedor (SDoC): Esta é uma avaliação da conformidade de primeira parte em que o próprio fornecedor (fabricante, importador ou parte responsável) declara que o seu produto, processo ou serviço está em conformidade com os requisitos especificados.
Avaliação do sistema de gestão (como a ISO 42001 para sistemas de gestão de IA): Este tipo de avaliação foca-se no sistema de gestão de uma organização em vez de um produto específico. Verifica se uma organização implementou uma abordagem sistemática (um “sistema de gestão”) para atingir determinados objetivos, como qualidade, desempenho ambiental ou, no nosso caso, desenvolvimento e implementação responsáveis de IA. Para a IA, isto envolveria principalmente a auditoria contra a ISO/IEC 42001:2023 - Sistema de Gestão de Inteligência Artificial (AIMS): um auditor independente avalia os processos da organização relacionados com o ciclo de vida do sistema de IA, incluindo governação de dados, gestão de riscos, considerações éticas, transparência, supervisão humana e responsabilidade, e verifica a existência de mecanismos que garantam a melhoria contínua do AIMS.
Acreditação:

A acreditação é o reconhecimento formal por um organismo independente e autoritário (um “organismo de acreditação”) de que um organismo de avaliação da conformidade (como um laboratório de testes, organismo de inspeção ou organismo de certificação) é competente, imparcial e opera de forma consistente de acordo com as normas internacionais (por exemplo, ISO/IEC 17025 para laboratórios de testes, ISO/IEC 17020 para organismos de inspeção, ISO/IEC 17021 para organismos de certificação). Um organismo de acreditação (por exemplo, ENAC em Espanha, UKAS no Reino Unido) avalia exaustivamente a competência técnica, os sistemas de gestão, a imparcialidade e o funcionamento consistente de um organismo de avaliação da conformidade. A acreditação proporciona uma camada adicional de confiança e credibilidade a todo o sistema de avaliação da conformidade. Quando um produto é certificado por um organismo de certificação acreditado, ou testado por um laboratório acreditado, significa que o organismo que realiza a avaliação foi ele próprio rigorosamente avaliado e considerado competente.

Porque é que a avaliação da conformidade da IA é importante?

A Lei da IA da UE exige a avaliação da conformidade para sistemas de IA de alto risco antes de serem colocados no mercado ou postos em serviço. Este processo garante que estes sistemas cumprem os requisitos rigorosos da Lei.

Para a maioria dos sistemas de IA de alto risco (listados no Anexo III), os fornecedores podem geralmente realizar uma avaliação da conformidade interna (autoavaliação), assumindo que aplicam as normas harmonizadas relevantes. No entanto, para certos sistemas de IA de alto risco críticos (por exemplo, sistemas biométricos utilizados na aplicação da lei, ou onde não são utilizadas normas harmonizadas), é obrigatória uma avaliação da conformidade por terceiros por um “Organismo Notificado” designado.

O processo de avaliação da conformidade ao abrigo da Lei da IA envolve a demonstração de conformidade com requisitos como:

Sistema de gestão de riscos
Governação de dados (qualidade dos dados, mitigação de preconceitos)
Documentação técnica
Manutenção de registos (registo de eventos)
Transparência e fornecimento de informações aos implementadores
Supervisão humana
Precisão, robustez e cibersegurança

Após a conclusão bem-sucedida da avaliação da conformidade, o fornecedor emite uma Declaração de Conformidade da UE e, para sistemas de alto risco, é obrigado a apor a marcação CE.

Claro que a avaliação da conformidade é importante não só para a conformidade regulamentar - garante a segurança, mitiga os riscos, constrói a confiança, promove uma maior responsabilidade, promove a cultura de melhoria contínua e até facilita o comércio internacional através da criação de normas e esquemas de avaliação da conformidade reconhecidos globalmente.

Qual é o papel do Comité sobre Barreiras Técnicas ao Comércio (TBT) da Organização Mundial do Comércio?

O Comité sobre Barreiras Técnicas ao Comércio (TBT) da Organização Mundial do Comércio** é aquele que mantém o comércio internacional a fluir, protegendo ao mesmo tempo objetivos legítimos como a saúde ou segurança humana, a vida ou saúde animal ou vegetal, o ambiente e os requisitos de segurança nacional. Fazem-no garantindo que os regulamentos técnicos, as normas e os procedimentos de avaliação da conformidade não criam obstáculos desnecessários ao comércio. Por exemplo, os tópicos em que trabalham incluem avaliações de impacto regulamentar, regulamentação de dispositivos médicos, tecnologias emergentes críticas, como biocombustíveis, geração e armazenamento de energia limpa, semicondutores - e, claro, IA. Em 2024, o Comité TBT adotou diretrizes (G/TBT/54) para apoiar os reguladores na escolha e conceção de procedimentos de avaliação da conformidade para garantir que as medidas para verificar a conformidade com os regulamentos técnicos e as normas não criam obstáculos desnecessários ao comércio internacional.

E os reguladores nacionais?

Os reguladores nacionais nos países membros da OMC desenvolvem e promulgam regulamentos, concebem e implementam procedimentos de avaliação da conformidade e fazem a vigilância do mercado. No Luxemburgo, por exemplo, temos o Instituto Luxemburguês de Normalização, Acreditação, Segurança e Qualidade de Produtos e Serviços (ILNAS), mas também a Agência Luxemburguesa de Medicamentos e Produtos de Saúde (ALMPS) (que regula os dispositivos médicos) e a Comissão Nacional para a Proteção de Dados (CNPD) (sistemas de IA e conformidade com a Lei da IA). A Austrália, por sua vez, tem um modelo de responsabilidade partilhada para a regulamentação da segurança dos produtos, envolvendo os governos federal, estaduais e territoriais: a Comissão Australiana da Concorrência e do Consumidor (ACCC) supervisiona a segurança geral dos produtos de consumo, enquanto o Departamento de Infraestruturas, Transportes, Desenvolvimento Regional, Comunicações e Artes é responsável pela segurança dos veículos - e a Autoridade Australiana de Comunicações e Meios de Comunicação (ACMA). Tais reguladores utilizam as diretrizes do TBT da OMC para garantir que os seus regulamentos e procedimentos de avaliação da conformidade são eficazes e facilitam o comércio, protegendo ao mesmo tempo os interesses públicos.

O que é a caixa de ferramentas de Avaliação da Conformidade (CASCO) da ISO?

É uma coleção abrangente de normas e guias internacionais desenvolvidos pelo Comité da ISO sobre Avaliação da Conformidade (CASCO). Pode ser utilizada por organismos de avaliação e acreditação, bem como por empresas - para compreender como cumprir os requisitos, selecionar fornecedores de avaliação da conformidade competentes e até mesmo implementar os seus próprios processos de avaliação interna.

O que são esquemas de avaliação da conformidade?

O Comité da ISO sobre avaliação da conformidade existe há muito tempo - mas agora têm uma nova tarefa: desenvolver esquemas de avaliação da conformidade - conjuntos de requisitos e procedimentos que ajudam os organismos de avaliação da conformidade a certificar um sistema ou um produto em relação a uma norma específica. Vemos esses esquemas aplicados na prática todos os dias: basta olhar para a embalagem de um eletrodoméstico ou de um dispositivo elétrico que possui - haverá um logótipo de algum esquema de certificação, o que significa que passou por alguns testes para garantir que é seguro e funcionará como esperado. Por outras palavras, este novo comité desenvolverá esses esquemas de certificação para verificar produtos e sistemas de IA e permitir que os seus fornecedores os rotulem como “certificados” (ou seja, seguros e adequados para o uso pretendido).

Desenvolver tais esquemas de avaliação da conformidade para a IA é um desafio por várias razões:

O sistema de IA como produto pode ter diferentes componentes, e cada componente como produto significa uma abordagem baseada no risco. São feitos de dados, software, modelos e infraestrutura - não tão tangíveis e previsíveis no seu comportamento como, digamos, uma chaleira. Na IA, os riscos podem resultar dos dados de treino, do design do algoritmo e até da interface do utilizador. Portanto, é necessária uma avaliação de risco mais integrada e holística para ir além da avaliação ao nível do componente.
Necessidade de avaliação em tempo real. Muitos sistemas de IA operam em tempo real (por exemplo, veículos autónomos, deteção de fraudes). Como o ambiente muda constantemente, uma avaliação instantânea padrão não será suficiente: precisamos de monitorização contínua, registo eficiente e métodos de avaliação da conformidade de alguma forma adaptativos.
Controlo de versões e atualizações. Os modelos de IA são frequentemente atualizados, retreinados, afinados, e atualizações como esta podem alterar o comportamento do modelo de forma imprevisível. Precisamos de um sistema robusto de gestão de alterações aqui!
Pode uma declaração de conformidade garantir a segurança do sistema? Mais uma vez, a natureza dinâmica da IA torna uma declaração definitiva desafiadora e exige uma monitorização contínua pós-comercialização do desempenho do sistema, da qualidade dos dados e da adesão aos princípios éticos.

Tudo isto exige o desenvolvimento de métodos e quadros de avaliação da conformidade novos, mais dinâmicos e adaptativos. É o que o GT está a fazer atualmente. O objetivo é publicar os esquemas em maio de 2027, pelo que há muito tempo para os especialistas se envolverem na redação.

Haverá mais apoio para os organismos de certificação e auditores?

Sim! Um novo documento, atualmente em publicação, fornecerá em breve mais apoio aos organismos de certificação e auditores - é a ISO/IEC 42006 - “TI — IA — Requisitos para organismos que fornecem auditoria e certificação de sistemas de gestão de IA”. A nova norma garantirá que os organismos de certificação operem com a competência e o rigor necessários para avaliar as organizações que desenvolvem, implementam ou oferecem sistemas de IA. Os sistemas de IA apresentam desafios únicos em áreas como ética, qualidade dos dados, risco e transparência. Para certificar que uma organização gere de forma responsável estes desafios, os próprios auditores precisam de conhecimentos especializados e de regras claras para a realização das avaliações.

Sabia que existe todo um ecossistema de normas ISO relacionadas com a IA?

A ISO/IEC 38507:2022 aplica-se a todas as organizações que desenvolvem ou utilizam sistemas e soluções baseados em IA, independentemente da indústria, tamanho ou capacidade técnica. Verifica se a organização possui sistemas adequados de governação de IA e de gestão de riscos de IA, focando-se especificamente na camada de governação, garantindo que a tomada de decisões relacionada com a IA se alinha com os objetivos da organização, bem como com os regulamentos, as expectativas éticas e os valores da sociedade.
A ISO/IEC 23894:2023 TI-IA - Orientações sobre gestão de riscos fornece orientações sobre como as organizações que desenvolvem, produzem, implementam ou utilizam produtos, sistemas e serviços que utilizam IA podem gerir o risco especificamente relacionado com a IA.
A ISO/IEC 42005:2025 - Avaliação de impacto do sistema de IA - fornece orientações para organizações que realizam avaliações de impacto do sistema de IA. Pode ser utilizada por qualquer organização que desenvolva, forneça ou utilize sistemas de IA que queira avaliar e gerir os potenciais impactos dos seus sistemas de IA nas pessoas e na sociedade.
A ISO/IEC 42001:2023 especifica os requisitos para estabelecer, implementar, manter e melhorar continuamente um Sistema de Gestão de Inteligência Artificial (AIMS) dentro das organizações. Foi concebida para entidades que fornecem ou utilizam produtos ou serviços baseados em IA, garantindo o desenvolvimento e a utilização responsáveis de sistemas de IA.

A avaliação da conformidade não é apenas um obstáculo burocrático, mas um pilar fundamental para o desenvolvimento e a implementação responsáveis e fidedignos da IA, especialmente para aplicações de alto risco como dispositivos médicos habilitados para IA. Fornece os mecanismos essenciais para verificar que os sistemas de IA cumprem as normas predefinidas de segurança, desempenho, ética e conformidade regulamentar.

Como se envolver no desenvolvimento de normas relacionadas com a IA?

Junte-se ao seu organismo nacional de normalização: https://www.iso.org/about/members

Imagem: Gatinhos e Gatos; um Livro de Contos, de Eulalie Osgood Grover; 1911; Boston, Houghton Mifflin. — Fonte.