Éthique de l'IA

Le discours de Margaret Mitchell à la DES2025 (Digital Enterprise Show, Malaga, Espagne) sur l’éthique de la technologie m’a rappelé le livre que je venais de finir de lire - « The Careless People » de Sarah Wynn-Williams - et son récit du rôle de Facebook dans le génocide des Rohingyas au Myanmar.

En 2015, j’ai visité le Myanmar pendant sa fragile transition démocratique, juste au moment où l’accès à Internet a explosé (pour atteindre ~12 % de la population). Dans les années qui ont suivi, dans un centre de détention australien, j’ai rencontré des réfugiés rohingyas fuyant le nettoyage ethnique. Alors que Facebook était alors en plein essor, il n’était pas immédiatement évident comment il impactait le monde - pas de manière positive, comme il s’est avéré.

Dans son discours, Margaret nous a rappelé que toutes les décisions sont motivées par des valeurs, exigeant une mini-revue éthique où les valeurs sont identifiées, hiérarchisées et transparentes.

Facebook considérait le Myanmar comme un marché inexploité. Pourtant, ses décisions ont incité à la violence ethnique car son inaction a entraîné la propagation de la désinformation et des discours de haine. Les avertissements de la société civile et les rapports internes ont signalé les risques, mais une modération de contenu efficace n’était pas en place. Les algorithmes, conçus pour l’engagement, ont amplifié les contenus préjudiciables, créant une chambre d’écho de matériel déshumanisant contre les Rohingyas.

Il semblait que les valeurs commerciales de l’entreprise ne donnaient pas la priorité à la sécurité et aux droits de l’homme.

Sur quelles valeurs se sont-ils concentrés ?

Croissance et expansion du marché

• Adoption rapide par les utilisateurs sur un nouveau marché : Facebook est devenu pratiquement synonyme d’Internet au Myanmar.

• Engagement et fidélisation des utilisateurs

Garder les utilisateurs sur la plate-forme, augmenter leur interaction avec des algorithmes optimisés pour cela - sans reconnaître que le contenu chargé d’émotion et les discours de haine entraînent souvent un engagement élevé.

• Génération de revenus

Les publicités ciblées incitaient à amplifier les contenus préjudiciables malgré les violations des droits de l’homme.

• Techno-optimisme

L’entreprise a prétendu croire en « rendre le monde meilleur » - mais était-ce même possible sans comprendre les réalités locales du Myanmar, les conflits ethniques et la faiblesse de l’État de droit ? Les impacts négatifs n’ont pas été prévus ou gérés de manière proactive.

• Efficacité

Les modérateurs de contenu humains travaillaient de manière centralisée - sans modérateurs locaux (connaissant la langue locale) sur le terrain. Les systèmes centralisés existants ne pouvaient pas détecter efficacement le contenu préjudiciable en birman, et les menaces n’ont pas été traitées.

Ainsi, comme le prévient Margaret Mitchell : les entreprises doivent consciemment identifier et hiérarchiser les valeurs - et il ne s’agit pas d’un énoncé de mission : ajoutez des processus transparents pour encourager le travail éthique, une gestion efficace des risques et une approche centrée sur l’humain pour la prise de décision liée à la technologie, et nous construirons alors non seulement de meilleurs produits, mais aussi des entreprises plus résilientes et plus fiables qui exploitent la technologie pour le bien collectif.

Lisez aussi le livre.