Ética de la IA
La charla de Margaret Mitchell en DES2025 (Digital Enterprise Show, Málaga, España) sobre ética tecnológica me recordó el libro que acababa de terminar de leer: «The Careless People» de Sarah Wynn-Williams, y su relato sobre el papel de Facebook en el genocidio rohinyá en Myanmar.
En 2015, visité Myanmar durante su frágil transición democrática, justo cuando el acceso a Internet se disparó (hasta ~12 % de la población). En los años siguientes, en un centro de detención australiano, conocí a refugiados rohinyás que huían de la limpieza étnica. Si bien Facebook estaba en auge en ese momento, no era inmediatamente obvio cómo estaba impactando al mundo, no de una manera positiva, como resultó.
En su charla, Margaret nos recordó que todas las decisiones están impulsadas por valores, lo que exige una mini-revisión ética donde los valores se identifican, priorizan y son transparentes.
Facebook veía a Myanmar como un mercado sin explotar. Sin embargo, sus decisiones incitaron a la violencia étnica, ya que su inacción condujo a la difusión de información errónea y discursos de odio. Las advertencias de la sociedad civil y los informes internos señalaron los riesgos, pero no se implementó una moderación de contenido eficaz. Los algoritmos, diseñados para la participación, amplificaron el contenido dañino, creando una cámara de eco de material deshumanizante contra los rohinyás.
Parecía que los valores comerciales de la empresa no priorizaban la seguridad y los derechos humanos.
¿En qué valores se centraron?
Crecimiento y expansión del mercado
-
Rápida adopción de usuarios en un nuevo mercado: Facebook se convirtió básicamente en sinónimo de Internet en Myanmar.
-
Participación y retención de usuarios
Mantener a los usuarios en la plataforma, aumentando su interacción con algoritmos optimizados para ello, sin reconocer que el contenido cargado de emociones y el discurso de odio a menudo conducen a una alta participación.
- Generación de ingresos
Los anuncios dirigidos incentivaron la amplificación de contenido dañino a pesar de las violaciones de los derechos humanos.
- Tecno-optimismo
La empresa afirmó creer en «hacer un mundo mejor», pero ¿era eso posible sin comprender las realidades locales de Myanmar, los conflictos étnicos y el débil estado de derecho? Los impactos negativos no se previeron ni se gestionaron de forma proactiva.
- Eficiencia
Los moderadores de contenido humanos trabajaban de forma centralizada, sin moderadores locales (con conocimiento del idioma local) sobre el terreno. Los sistemas centralizados existentes no podían detectar de manera eficiente el contenido dañino en birmano y las amenazas no se abordaron.
Entonces, como advierte Margaret Mitchell: las empresas deben identificar y priorizar conscientemente los valores, y no se trata de una declaración de misión: agregar procesos transparentes para incentivar el trabajo ético, la gestión eficaz de riesgos y un enfoque centrado en el ser humano para la toma de decisiones relacionadas con la tecnología, y luego construiremos no solo mejores productos, sino también empresas más resilientes y confiables que aprovechen la tecnología para el bien colectivo.
Lean el libro también.
