L’intelligence artificielle (IA) existe depuis des décennies et nous l’utilisons de manière courante depuis des années – sur nos smartphones, pour effectuer des recherches sur internet, faire des achats en ligne, regarder Netflix, faire des traductions automatiques, programmer un thermostat ou utiliser le système de navigation d’une voiture. Mais récemment, l’IA a fait un grand pas en avant, devenant capable de produire un discours semblable à celui d’un humain. C’est à ce moment-là que l’on a pris conscience de la situation.

Pourtant, la société civile mène depuis longtemps des recherches qui mettent en évidence les risques pour les processus démocratiques, la vie privée, la protection des données et les droits humains fondamentaux. Elle avertit du danger des algorithmes opaques qui reproduisent des stéréotypes et des préjugés et de la mauvaise utilisation des outils alimentés par l’IA, posant une série connexe de questions délicates en matière de sûreté, de sécurité et de responsabilité.

Stimulée par ces préoccupations, l’Union européenne (UE) a lancé en 2021 un processus visant à élaborer un ensemble de règles pour relever les défis associés aux technologies de l’IA et réglementer leur développement, leur déploiement et leur utilisation dans les États membres. C’est pendant que ce processus était en cours, en novembre 2022, que l’outil ChatGPT a été lancé. L’essor de l’IA générative, c’est à dire l’IA qui produit ou manipule du texte, des images, et du contenu audio et vidéo, a été un sujet que les négociateurs de l’UE ont eu du mal à appréhender, ce qui montre à quel point la technologie est en avance sur les efforts de réglementation.

L’outil juridique qui résulte de ce processus, la loi sur l’IA de l’UE, suit largement les lignes préconisées par la société civile en termes de classification des risques. Toutefois, les groupes de la société civile restent préoccupés par la version actuelle, presque finale, de l’acte. Alors que le processus entre dans sa phase finale, ils continuent de demander que les protections des droits humains soient renforcées et que les lacunes soient comblées.

Utilisations et risques

Selon la définition de la proposition de loi européenne sur l’IA, un système d’IA est un type de logiciel qui a « la capacité, pour un ensemble donné d’objectifs définis par l’homme, à générer des résultats tels que du contenu, des prédictions, des recommandations ou des décisions qui influencent l’environnement avec lequel le système interagit ». Il s’agit de logiciels tels que les moteurs de recherche, les assistants virtuels et les systèmes de reconnaissance vocale et faciale, ainsi que de logiciels incorporés dans des objets tels que les drones, les robots, les voitures et d’autres dispositifs.

La question de savoir si l’« intelligence artificielle » est une désignation exacte ou une appellation erronée a fait l’objet de nombreuses discussions. Certains affirment qu’elle n’est pas vraiment artificielle, par opposition à humaine, étant donné qu’elle dépend de la production continue de pensée et d’art par des êtres humains réels et créatifs. Ils affirment qu’elle n’est pas vraiment intelligente non plus, du moins pas encore ni dans le futur proche, car l’intelligence humaine est bien plus qu’une simple systématisation de motifs.

Quoi qu’il en soit, à l’image des technologies réussies qui l’ont précédée, l’IA se répand rapidement en raison de ses nombreuses utilisations bénignes. Grâce à sa capacité à traiter et à systématiser de grandes quantités de données, à identifier des modèles et à faire des prédictions, l’IA est déjà utilisée dans des domaines allant de la fabrication et de la vente à la production alimentaire et énergétique, à l’agriculture et au transport, en passant par la recherche en santé, les soins de santé, l’administration publique, la préparation aux catastrophes et l’atténuation de leurs effets. En ce qui concerne l’internet, elle est utilisée pour détecter la désinformation et pour identifier et combattre les cybermenaces, entre autres.

Mais il y a un hic : à côté des bonnes utilisations, il y en a beaucoup de mauvaises. L’IA peut servir à repousser les attaques contre les processus démocratiques et préserver l’intégrité des élections, mais elle peut aussi encourager les chambres d’écho dans les médias, polariser l’opinion publique, créer et diffuser des « deepfakes », détruire des réputations, fausser la prise de décision, manipuler les électeurs, perpétrer des fraudes et réprimer les personnes qui se mobilisent pour leurs droits. Les dernières technologies utilisées par les gouvernements pour identifier, harceler et intimider les manifestants sont alimentées par l’IA.

Si certains effets négatifs potentiels de l’IA, comme le fait de rendre obsolètes certaines compétences et d’éliminer des catégories entières d’emplois, sont communs à d’autres technologies qui l’ont précédée, d’autres sont spécifiques à l’IA.

En tête de liste, l’organisation de défense des droits numériques Access Now souligne les violations des droits humains résultant des préjugés des algorithmes et du manque de transparence de la programmation, qui touchent de manière disproportionnée les groupes marginalisés. Alimentée par des données historiques où les inégalités prévalent, l’IA renforce souvent les préjugés et les stéréotypes occidentaux fondés sur certaines caractéristiques comme l’âge, le sexe et la classe sociale. Les technologies biométriques sont généralement conçues pour fonctionner avec ce qui est considéré comme un corps « normal », ce qui perpétue les préjugés à l’égard des personnes handicapées, et les préjugés raciaux peuvent conduire à des résultats terribles.

Les technologies biométriques physiques et comportementales basées sur l’IA, telles que les systèmes de reconnaissance faciale et vocale, utilisées pour identifier les personnes et faire des prédictions à leur sujet, ne sont souvent pas aussi précises et fiables qu’elles sont présentées – et elles sont particulièrement sujettes au détournement de leurs objectifs initiaux, en l’apparence inoffensifs. Un système biométrique de reconnaissance vocale conçu pour les professionnels de la santé dans la détection de troubles mentaux, par exemple, pourrait facilement être reconverti en détecteur de mensonges entre les mains des services d’immigration.

Réglementation

En 2021, la Commission européenne a proposé d’établir un ensemble complet de règles pour relever les défis éthiques et juridiques des technologies de l’IA et réglementer leur développement, leur déploiement et leur utilisation dans les États de l’UE. Après l’adoption par le Parlement européen d’une première version de la loi sur l’IA de l’UE en juin 2023, un dernier cycle de débats – connu sous le nom de « trilogue » – a eu lieu entre la Commission européenne, le Conseil et le Parlement.

La Commission a été pressée de terminer le processus avant la fin de l’année 2023 afin que la loi puisse être soumise à un vote parlementaire avant les élections du Parlement européen de 2024, prévues pour le mois de juin. Bien que des points litigieux subsistent, un accord politique provisoire sur ce qui devrait être le premier texte législatif complet sur l’IA a été conclu le 8 décembre.

Le texte, qui n’est pas encore totalement définitif, a été salué à Bruxelles comme réalisant le meilleur équilibre possible entre les entreprises et les citoyens, l’application de la loi et les libertés, l’innovation et la protection des droits. La société civile ne partage pas cet avis.

À la veille de l’accord européen, une coalition mondiale de plus de 50 organisations de la société civile et de défense des droits humains de plus de 30 pays a publié un « Manifeste de la société civile pour une IA éthique », une initiative visant à orienter les politiques d’IA vers la sauvegarde des droits et à décoloniser le discours sur l’IA. Le manifeste demandait l’inclusion de la voix des citoyens – et donc de la société civile – dans le processus d’élaboration d’une norme véritablement mondiale, inclusive et responsable.

Une approche fondée sur les risques

La loi fixe des normes et des obligations d’autant plus strictes que le risque est élevé, tant pour les individus comme pour la société dans son ensemble. Alors que les systèmes d’IA présentant des niveaux de risque jugés « inacceptables » sont purement et simplement interdits, ceux qui sont considérés comme présentant un risque limité sont seulement soumis à des exigences de transparence.

Les modèles d’IA générative sont considérés comme présentant un risque limité et doivent donc respecter des exigences minimales en matière de transparence pour permettre aux utilisateurs de prendre des décisions en connaissance de cause. Par exemple, les utilisateurs doivent être informés qu’ils interagissent avec l’IA et non avec une personne, ou que le contenu a été généré par l’IA, afin qu’ils puissent décider s’ils souhaitent y accéder. Les modèles doivent être conçus de manière à ne pas générer de contenu illégal, et les résumés des données protégées par le droit d’auteur utilisées pour l’entraînement de l’IA doivent être publiés.

La loi reconnaît qu’il s’agit d’un domaine qui évolue rapidement et admet que les modèles d’IA à usage général et à fort impact, tels que le modèle GPT-4 plus avancé, pourraient présenter un risque systémique, de sorte qu’ils devraient faire l’objet d’une évaluation approfondie et que tout incident grave devrait être signalé.

Un cran plus haut sur l’échelle des risques, les systèmes d’IA présentant des risques potentiels pour la santé, la sécurité, les droits fondamentaux, l’environnement, la démocratie ou l’État de droit sont considérés comme présentant un risque élevé et sont donc soumis à des obligations plus strictes, notamment des évaluations de l’impact sur les droits fondamentaux et des évaluations de conformité obligatoires, ainsi que des exigences en matière de gouvernance des données, d’enregistrement, de gestion des risques, de gestion de la qualité et de transparence, entre autres.

Cela s’applique à deux catégories de systèmes d’IA : ceux utilisés dans des produits déjà couverts par la législation européenne sur la sécurité des produits, tels que les jouets, les voitures et les dispositifs médicaux, et ceux employés dans des domaines spécifiques, qui doivent être enregistrés dans des bases de données distinctes, notamment ceux qu’on utilise pour la gestion des infrastructures critiques, l’éducation et la formation professionnelle, les ressources humaines, le recrutement et la gestion des travailleurs, l’accès aux services et prestations publics, l’application de la loi et les migrations, l’asile et le contrôle des frontières. Les systèmes d’IA à haut risque doivent être évalués avant leur mise sur le marché et tout au long de leur cycle de vie.

Les systèmes d’IA qui doivent être interdits en raison de leur niveau de risque inacceptable comprennent ceux qui impliquent la manipulation cognitive et comportementale de personnes ou de groupes vulnérables spécifiques, l’exploitation des vulnérabilités des personnes, la notation sociale basée sur le comportement social ou les caractéristiques personnelles, et les systèmes de reconnaissance des émotions – qui interprètent les expressions faciales – ainsi que l’identification et la catégorisation biométriques.

Mais même pour les systèmes d’IA interdits en raison d’un risque inacceptable, la loi sur l’IA prévoit des exceptions à des fins d’application de la loi. L’identification biométrique à distance en temps réel, par exemple, peut être autorisée dans un nombre limité de cas particulièrement graves, tandis que l’identification biométrique en temps différé peut être autorisée avec l’accord d’un tribunal pour poursuivre d’autres crimes graves.

Le diable se cache dans les détails

En l’absence de texte juridique définitif lors de la conclusion de l’accord politique le 8 décembre, l’enjeu des réunions techniques ultérieures était d’autant plus important. Alors que les travaux se poursuivent pour régler les détails et nettoyer le projet qui sera soumis au Parlement et adopté par le Conseil, la société civile s’engage dans une course contre la montre pour tenter de réduire ou d’éliminer les exceptions et d’accroître les protections des droits humains.

Les principales préoccupations de la société civile portent sur la surveillance de masse et la reconnaissance des émotions, ainsi que sur l’utilisation de ces systèmes et d’autres systèmes alimentés par l’IA à l’encontre des personnes en déplacement et des personnes racisées.

L’interdiction de l’utilisation des technologies de reconnaissance des émotions devait initialement s’appliquer à l’éducation, au lieu de travail, au maintien de l’ordre et à l’immigration. Mais un point de désaccord se subsiste étant donné que finalement la norme n’interdit pas leur utilisation dans le cadre du maintien de l’ordre et de l’immigration. Le projet semble également inclure une faille dangereuse, permettant l’utilisation de la reconnaissance des émotions à des fins médicales ou de sécurité : cependant les systèmes de « détection d’agression » déjà sur le marché sont connus pour classer les images d’hommes noirs comme plus agressives que celles d’hommes blancs.

L’intention initiale d’interdire inconditionnellement l’utilisation de la reconnaissance faciale en direct a également été modifiée, ce qui pourrait aussi résulter dans des violations des droits humains. Si bien le projet autorise une utilisation limitée de la reconnaissance faciale et la soumet à des garanties, les groupes de défense des droits humains ont fait valoir qu’il devrait y avoir une interdiction totale de son utilisation dans les espaces publics et aux frontières, car aucune garantie ne peut empêcher les atteintes aux droits humains, à l’espace civique et à l’État de droit que la reconnaissance faciale est susceptible d’infliger. La société civile critique également la politique de deux poids, deux mesures que suppose le fait que la loi n’interdise pas l’exportation de technologies d’IA préjudiciables, y compris pour le marquage social, qui seront illégales dans l’UE.

#ProtectNotSurveil, une coalition de groupes de la société civile, d’activistes, de chercheurs et d’autres personnes travaillant pour s’assurer que la loi européenne sur l’IA protège les personnes en déplacement contre les préjudices résultant de l’IA, a averti que les personnes en déplacement et les minorités raciales d’Europe sont le terrain d’essai des outils de surveillance et de suivi alimentés par l’IA – mais une fois que les technologies auront été mises en place, tout le monde sera affecté. Et les implications ne s’arrêtent pas là, puisque les lois de l’UE pourraient influencer tout éventuel régime réglementaire mondial.

Pour mettre fin à cela, #ProtectNotSurveil appelle à ce que plusieurs modifications soient apportées à la loi européenne sur l’IA. L’une d’entre elles consiste à réglementer tous les systèmes d’IA à haut risque utilisés dans le domaine de la migration, en particulier les technologies de surveillance utilisées pour le contrôle des frontières et les vérifications d’identité, afin qu’ils soient soumis à des mesures de surveillance et de redevabilité. Il s’agit notamment des systèmes d’analyse prédictive utilisés pour prévenir les migrations, des évaluations automatisées des risques et des systèmes de profilage qui renforcent le racisme et les préjugés, des « détecteurs de mensonges » et autres technologies pseudo-scientifiques qui prétendent déduire des émotions à partir de données biométriques, et de l’identification biométrique à distance qui permet une surveillance de masse des frontières et des centres de détention.

Pour la société civile, l’essentiel est clair : les systèmes d’IA considérés comme présentant des risques inacceptables pour les droits fondamentaux, qui ne sont pas susceptibles de faire l’objet de correctifs techniques ou de garanties procédurales, doivent être purement et simplement interdits. Les enjeux sont trop importants.