Par Brunessen Bertrand, Professeur à l’Université de Rennes

En quoi certains systèmes d’intelligence artificielle sont considérés comme inacceptables ?

L’application de l’AI Act a été fixée en août 2026, toutefois, compte tenu du risque inacceptable associé à certaines utilisations de l’IA, les interdictions du règlement s’appliquent de façon anticipée. Ces interdictions ne portent pas sur des technologies en tant que telles mais sur certaines finalités et applications jugées contraires aux valeurs européennes. Ces valeurs sont globalement celles de l’article 2 TUE, et, même s’il s’agit davantage de droits fondamentaux que de « valeurs » stricto sensu (respect de la dignité humaine, liberté, égalité, droits fondamentaux consacrés dans la Charte), il est clair que le texte assume une vision très européenne de valeurs sociétales, que l’on croit deviner derrière la protection de la « démocratie et de l’état de droit », qui est une façon dépolitisée d’évoquer un projet d’intégration politique et social. Cette mise en avant d’une conception autonome de la protection de l’individu face à des innovations technologiques et d’une juridicisation de considérations éthiques contribue, à l’évidence, au scepticisme, à la raillerie voire à l’opposition que suscite ce texte hors des frontières de l’UE.

Le texte interdit de façon générale les pratiques de manipulation et d’exploitation utilisées pour conduire les personnes à adopter des comportements indésirables ou prendre des décisions d’une manière qui compromet leur autonomie et leur liberté de choix. Ces systèmes d’IA, par exemple de réalité virtuelle, peuvent altérer substantiellement les comportements humains parce qu’ils reposent sur des techniques subliminales (stimuli sonores ou visuels) que l’individu ne peut percevoir, parce qu’ils échappent à la perception humaine ou annihilent son libre arbitre. Sont également interdites les IA qui exploitent les vulnérabilités d’une personne en raison de son âge, d’un handicap ou de sa situation sociale ou économique (extrême pauvreté, minorités ethniques ou religieuses). De tels systèmes d’IA peuvent avoir pour objectif ou simplement pour effet d’altérer substantiellement les comportements des individus, de sorte que l’interdiction ne suppose pas de démontrer une intention de manipuler, simplement d’établir que cette IA est susceptible de causer un préjudice important. Complémentaire avec les règles relatives aux pratiques commerciales déloyales, cette interdiction ne concerne pas les pratiques licites dans le cadre de traitements médicaux ni les pratiques commerciales légitimes (publicité).

L’AI Act entend également prohiber les pratiques qui peuvent manifestement conduire à des discriminations. Deux interdictions peuvent ici être évoquées. D’une part, les IA qui identifient les émotions d’une personne sur la base de ses données biométriques si elles sont utilisées sur le lieu de travail et dans les établissements d’enseignement, sous réserve de raisons médicales ou de sécurité qui en justifieraient usage. Le manque de fiabilité de ces systèmes et la subjectivité de l’expression des émotions sont à l’évidence de nature à conduire à des résultats biaisés. D’autre part, les systèmes qui catégorisent les personnes sur la base de données biométriques pour établir des déductions ou des inférences concernant leur race, leurs opinions politiques ou syndicales, leurs convictions religieuses ou philosophiques, leur vie ou orientation sexuelles.

Des interdictions en trompe l’œil de certains systèmes d’intelligence artificielle ?

L’IA Act est un emblème européen de la volonté de défendre un modèle de société qui s’inscrit à rebours du « capitalisme de surveillance » américain et du système de contrôle social chinois. A ce titre, il arbore certaines interdictions emblématiques de ces modèles de société sans aller réellement au bout de cette logique puisque leur champ est si précisément défini que l’on peut s’interroger sur la réalité de ces interdictions de principe.

L’IA Act interdit d’abord le « social scoring », les systèmes de notation sociale popularisés, si l’on peut dire, par le crédit social chinois. Les systèmes d’IA destinés à l’évaluation ou la classification de personnes en fonction de leur comportement social, de caractéristiques personnelles ou de personnalité connues, déduites ou prédites, sont formellement prohibés. Mais cette interdiction ne vaut que si et seulement si cette note conduit au traitement défavorable de ces personnes soit dans des contextes sociaux dissociés du contexte dans lequel ces données ont été collectées, soit à un traitement injustifié ou disproportionné par rapport à la gravité de leur comportement. Au-delà de la volonté européenne ainsi affichée de défendre une conception politique d’un ordre social protecteur des individus et de leurs libertés, de nombreuses évaluations automatisées des individus restent possibles et relèvent parfois des dispositions encadrant l’IA « à haut risque » : c’est le cas, en matière d’éducation et de formation, des IA utilisées pour déterminer l’admission ou l’affectation dans des établissements, pour évaluer les acquis d’apprentissage ou surveiller les comportements interdits lors d’examens. On trouve aussi des évaluations automatisées en matière d’emploi (recrutement, promotion, licenciement, évaluation des performances) qui relèveront des IA à haut risque, de même que les IA utilisées pour évaluer l’éligibilité aux prestations sociales, la solvabilité et la note de crédit ou la tarification en matière d’assurance-vie ou d’assurance maladie. Cette qualification s’applique aussi, en matière de gestion des contrôles aux frontières, aux IA utilisées pour évaluer le risque (pour la santé, la sécurité ou pour les migrations irrégulières) posé par une personne. Il reste donc de nombreuses possibilités de notation automatisée des individus.

Autre interdiction emblématique : celle parfois qualifiée de police prédictive. L’AI Act interdit les IA destinées à évaluer ou prédire le risque qu’une personne commette une infraction pénale, dès lors qu’elle se fonde uniquement sur le profilage de la personne ou de l’évaluation de ses traits de personnalité ou caractéristiques (nationalité, lieu de naissance ou de résidence, nombre d’enfants, niveau d’endettement, etc.). La présomption d’innocence implique de façon classique que les personnes soient jugées sur leur comportement réel et non sur la base d’un comportement prédit par l’IA, sans qu’il existe un motif raisonnable de soupçonner que cette personne est impliquée dans une activité criminelle. Là encore, cette interdiction a un champ bien délimité : elle ne s’applique pas aux IA utilisées pour étayer l’évaluation humaine de l’implication d’une personne dans une activité criminelle, qui est déjà fondée sur des faits objectifs et vérifiables, directement liés à une activité criminelle. L’idée est d’interdire les décisions autonomes, pas les décisions augmentées, même si le biais d’automatisation limite en pratique cette distinction. En outre, cette interdiction ne concerne pas l’analyse des risques non fondée sur le profilage des personnes ou sur les traits de personnalité comme les analyses pour évaluer la probabilité de fraude financière de la part d’entreprises sur la base de transactions suspectes ou d’outils d’analyse des risques permettant de prédire la probabilité de la localisation de stupéfiants ou de marchandises illicites par les autorités douanières, par exemple sur la base de voies de trafic connues.

Autre interdiction « signature » : l’utilisation de systèmes d’identification biométrique à distance en temps réel dans des espaces accessibles au public à des fins répressives. Le législateur reprend là les mêmes justifications, que l’on peut estimer discutables, formulées par la Cour de justice dans sa ligne de jurisprudence sur les données de connexion, fondées sur le chilling effect c’est-à-dire la possibilité de « susciter un sentiment de surveillance constante » et ainsi dissuader indirectement l’exercice de certaines libertés. On lit la même justification pour l’interdiction des IA qui développent des bases de données de reconnaissance faciale par le moissonnage non ciblé d’images faciales provenant d’internet ou de la vidéosurveillance : « cette pratique ne fait qu’accentuer le sentiment de surveillance de masse » (cons 43), même si la violation du droit à la protection des données à caractère personnel permet déjà de sanctionner ces pratiques comme l’avait montré la CNIL dans l’affaire Clearview.

L’interdiction de principe des systèmes d’identification biométrique à distance en temps réel dans des espaces accessibles au public à des fins répressives comprend des exceptions importantes, signe d’une profonde divergence de vues entre Etats membres sur les questions de protection de l’ordre public. Ces IA restent ainsi possibles dans trois cas : la recherche de personnes (victimes d’enlèvement ou de traite d’êtres humains, personnes disparues), la prévention d’une menace substantielle et imminente pour la vie ou la sécurité physique de personnes ou d’une menace réelle et actuelle ou réelle et prévisible d’attaque terroriste; la localisation ou l’identification d’une personne soupçonnée d’avoir commis certaines infractions pénales. Ces systèmes peuvent alors être déployés, sous réserve du respect de certaines garanties, pour confirmer l’identité de la personne spécifiquement ciblée. Cette interdiction de principe laisse intacte la possibilité pour les autorités répressives ou les autorités chargées des contrôles aux frontières d’utiliser des IA pour identifier une personne qui refuse d’être identifiée ou n’est pas en mesure de prouver son identité.

Quelle est la portée de ces interdictions ?

Si le plein effet de ces interdictions découle de la mise en place de la gouvernance et du contrôle du respect du texte, le législateur européen a souhaité, de façon symbolique, anticiper l’application des interdictions pour souligner le refus de l’UE des risques « inacceptables » présenté par certaines utilisations de l’IA, les termes d’inacceptabilité et de valeur conférant une connotation politique au texte. La liste des interdictions est importante même si une approche avec plus de granularité tempère cette revendication de la défense des valeurs européennes.

Il reste que la marge de manœuvre des Etats pour autoriser les exceptions permises par le texte est notable et permettra sans doute de constater que ces valeurs ne font pas l’objet d’une appréciation univoque au sein de l’Union européenne -à l’image de certaines villes en Italie qui ont déjà déployé certaines formes de social scoring- et que le recours à des technologies, principalement étrangères, n’est évidemment pas décorrélé d’enjeux géopolitiques majeurs qui fracturent l’Europe depuis toujours.