Definición de la tarea y los requisitos técnicos del sistema de IA: NIST AI RMF Map 2.1

El NIST AI Risk Management Framework (AI RMF) está diseñado como un marco voluntario aplicable a cualquier organización involucrada en el diseño, desarrollo, implementación o uso de sistemas de inteligencia artificial. No es un requisito de cumplimiento obligatorio de la misma manera que lo son algunas regulaciones (por ejemplo, la Ley de IA de la UE). Sin embargo, ofrece pautas muy útiles: considérelo como una guía para ayudar a su organización a garantizar que los beneficios de la IA se realicen de manera responsable.

¿De qué trata Map 2.1?

¿Está claramente definida la tarea de su sistema de IA? Evite estas trampas comunes al alinearse con el NIST AI RMF 2.1:

1. La definición es demasiado vaga

“El sistema aprenderá a mejorar la satisfacción del cliente.” ¿Cómo medirá la mejora? ¿Qué acciones tomará el sistema de IA?

La IA aprenderá a reducir los tiempos de espera de los clientes en el soporte telefónico prediciendo el volumen de llamadas y analizando el tipo de llamada esperado y optimizando la programación de agentes.

2. El alcance es demasiado ambicioso

“El sistema resolverá todos nuestros problemas de servicio al cliente.”

¿En serio?

3. Ignorar suposiciones y limitaciones (relacionadas con los datos, el entorno o el comportamiento del usuario)

Las suposiciones ocultas pueden llevar a fallos inesperados. Las limitaciones no son fallos.

Suposiciones:

• El historial médico y los síntomas del paciente se registran con precisión en el registro electrónico de salud.
• Las imágenes utilizadas para el diagnóstico son de calidad y resolución suficientes.
• El idioma utilizado en los correos electrónicos de spam será predominantemente los idiomas en los que se entrenó el filtro. Limitación: El sistema puede tener dificultades con preguntas que requieren una comprensión matizada del sarcasmo o el humor.

4. Las especificaciones y requisitos técnicos no están claramente definidos

La IA debe ser rápida y precisa. El sistema de detección de fraude impulsado por IA debe alcanzar una puntuación F1 mínima de X en un conjunto de datos de prueba reservado de al menos Y transacciones. El sistema debe ser capaz de manejar un volumen de transacciones de hasta Z transacciones por segundo.

5. No hay documentación del desarrollo, pruebas, métricas y rendimiento

El sistema fue entrenado en un gran conjunto de datos y probado exhaustivamente. El sistema de traducción se desarrolló utilizando la arquitectura X. Los datos de entrenamiento consistieron en textos paralelos en inglés y español, obtenidos de conjuntos de datos disponibles públicamente y de nuestro corpus interno. Empleamos la puntuación BLEU como métrica de evaluación principal. El sistema alcanzó una puntuación BLEU promedio de 0.85 en el conjunto de prueba.

6. No hay referencia a sus prácticas de gestión de datos basadas en la rendición de cuentas

Nuestra organización se adhiere a los Principios de Privacidad de la OECD. Hemos implementado las siguientes prácticas de gestión y protección de datos: …

7. No hay alineación de las especificaciones con las metas y objetivos

Las especificaciones técnicas para el sistema incluyen el seguimiento del inventario en tiempo real con una precisión del 99% y pedidos automatizados basados en umbrales predefinidos y optimizados para el costo y el tiempo de entrega. Estas especificaciones respaldan directamente los objetivos de reducir las roturas de stock y minimizar el desperdicio al permitir una predicción de la demanda más precisa, una mejor visibilidad del inventario y procesos de pedido optimizados.

Revise estos puntos: al definir clara y estrictamente las tareas de su sistema, facilita el mapeo de beneficios y riesgos, lo que mejora la gestión de riesgos.