Documentación y transparencia: NIST AI RMF Govern 1.4

El NIST AI Risk Management Framework (AI RMF) está diseñado como un marco voluntario aplicable a cualquier organización involucrada en el diseño, desarrollo, implementación o uso de sistemas de inteligencia artificial. No es un requisito de cumplimiento obligatorio de la misma manera que lo son algunas regulaciones (por ejemplo, la Ley de IA de la UE). Sin embargo, ofrece pautas muy útiles: considérelo como una guía para ayudar a su organización a garantizar que los beneficios de la IA se realicen de manera responsable. Esta publicación continúa una serie de publicaciones que discuten el NIST AI RMF, elemento por elemento. ¿Qué es Govern 1.4? Govern 1.4 discute los beneficios de establecer el proceso de gestión de riesgos a través de políticas, procedimientos y otros controles transparentes (basados en las prioridades de riesgo de su organización).

Las políticas y procedimientos relacionados con la documentación y la transparencia conllevan muchos beneficios:

La documentación clara describe los roles de las personas y los equipos involucrados en el desarrollo, la implementación y el uso de la IA, asegurando que todos comprendan sus responsabilidades. La comunicación efectiva fomenta la colaboración y previene malentendidos, lo que conduce a flujos de trabajo más fluidos. Los roles y responsabilidades claros mejoran la rendición de cuentas, asegurando que las personas sean responsables de sus acciones. Puede rastrear decisiones y acciones, lo que facilita la identificación y resolución de problemas. Se mejora la rendición de cuentas de una organización: las personas pueden ser consideradas responsables de sus acciones. La documentación puede involucrar a las partes interesadas durante todo el proceso de desarrollo, fomentando un sentido de propiedad. Además, cuando las partes interesadas están involucradas y comprenden el producto, es más probable que apoyen su adopción y uso. La documentación clara facilita la replicación de los sistemas de IA, asegurando la coherencia y la fiabilidad. Los sistemas bien documentados suelen ser más robustos, ya que se pueden mantener y actualizar fácilmente. Se mejora la explicabilidad de los modelos de ML: es más fácil entender cómo toman decisiones.

Como puede ver, hay dos aspectos principales aquí: transparencia y rendición de cuentas, que están muy estrechamente conectados. Para permitir la rendición de cuentas, su organización debe ser transparente y aclarar los roles y responsabilidades de las personas involucradas en el diseño, desarrollo, implementación, evaluación y monitoreo del sistema de IA a las partes interesadas relevantes. Por ejemplo, simplemente incluir la información de contacto de los actores de IA en la documentación del producto tiene muchos beneficios:

Luego, está la documentación relacionada con los propios modelos de IA, y aquí puede documentar la justificación comercial del sistema de IA, el alcance y los usos, los riesgos potenciales, los datos de entrenamiento, la metodología algorítmica, los resultados de las pruebas y la validación, los planes de implementación y monitoreo, los planes para la divulgación pública de los materiales de gestión de riesgos de IA (por ejemplo, resultados de auditoría, documentación del modelo, etc.). La documentación del modelo es un aspecto particularmente interesante, y dejaré enlaces a algunos excelentes recursos en los comentarios. Por ejemplo, necesita documentar los conjuntos de datos utilizados para el entrenamiento del modelo (justificación de la curación, fuentes de datos y mucho más). Existe una Guía para escribir declaraciones de datos para el procesamiento del lenguaje natural de Emily Bender que nos ayuda a informar aspectos como la información demográfica relacionada con una fuente de datos lingüísticos, la demografía de los hablantes y anotadores, las variedades lingüísticas (por ejemplo, en lugar de decir “inglés americano”, se recomienda proporcionar más detalles, por ejemplo, “inglés americano estandarizado” o “inglés americano del noreste”), entre muchos otros. Las Model Cards for Model Reporting ayudan a crear tarjetas de modelo con toda la información, incluido cómo se construyó un modelo, qué suposiciones se hicieron durante su desarrollo, qué tipo de comportamiento del modelo pueden experimentar diferentes grupos de población culturales, demográficos o fenotípicos, y una evaluación de qué tan bien funciona el modelo con respecto a esos grupos.

La documentación juega un papel fundamental para garantizar que los sistemas de IA se desarrollen e implementen de manera responsable. Al proporcionar un registro claro del desarrollo, las pruebas y la implementación del sistema, la documentación puede ayudar a generar confianza en las tecnologías de IA.