Presaje

Anaëlle Martin, est docteur en droit et rédactrice au Comité national pilote d'éthique du numérique (CCNE-CNPEN).

Je vais vous parler aujourd’hui de Borgès dont je suis une grande lectrice. Et, à la lecture du règlement sur l'IA, j'ai fait spontanément des liens entre les lectures de ses nouvelles et le règlement. Je précise également que ce règlement, qui est fort complexe, répond à la complexité de son objet qui est l'intelligence artificielle.

J'aimerais être à la hauteur des deux précédentes communications puisque j'ai été très inspirée en les écoutant. Je retiens deux citations que j'espère que je ne vais pas les attribuer de façon apocryphe: “l'ordina-terre, un seul ordinateur, un seul fichier, un seul index”, comme l'a dit Jean Rohmer, et dans la deuxième communication, une hésitation entre “la maîtrise ultime de l'illusion ou l'illusion de la maîtrise ultime”. Et ça, je trouvais intéressant.

Méthode juridique et difficultés pour les juristes à comprendre l'IA

L'une des coquetteries juridiques de notre temps consiste à invoquer les droits de l'Homme, quel que soit d'ailleurs le domaine considéré. Le règlement sur l'IA n'échappe pas à la règle comme l'attestent les quelques 103 occurrences de l'expression « droits fondamentaux » dans le texte du règlement sur l'IA. Face au danger de l'intelligence artificielle, le réflexe est donc d'égrener le chapelet des droits humains. L'emprise rhétorique n'est pas sans paradoxes, puisque les libertés apparaissent à la fois comme ce qui est menacé par les systèmes d'intelligence artificielle à hauts risques, et comme ce qui permet de parer à ces risques. La question c'est de savoir si les bouclages, les circularités et les itérations ne sont pas au cœur de la méthode commune des juristes et des informaticiens.

Malgré leur omniprésence dans le texte, ce n'est pas sur les droits fondamentaux que je souhaite me concentrer mais plutôt sur ce qui tend subtilement à les faire passer au second plan, je veux parler des risques. Quantitativement, le mot “risque” apparaît 177 fois dans le règlement sur l'IA. La question que je me pose en tant que juriste est de savoir ce qu'une telle approche nous dit de la méthode juridique adoptée par l'Union Européenne pour réglementer les systèmes d'intelligence artificielle.

Dans Cybernétique et Société¹, Norbert Wiener, le père de la cybernétique, se livrait à une réflexion épistémologique sur l'applicabilité des méthodes formelles issues des sciences dures aux sciences humaines. En tant que scientifique et philosophe, il n'hésitait pas à recourir aux expériences de pensée mais également aux mythes et aux contes pour rendre commensurable ce qu'il appelait les risques non calculables que présentent ces nouvelles machines. J’ai trouvé intéressante la notion de risque non-calculable puisque Wiener soulignait que, si les conséquences mécaniques de l'utilisation des machines de nos ancêtres étaient prévisibles (quoique les conséquences sociales ne l'étaient pas) les nouvelles machines que nous utilisons, les ordinateurs, les systèmes d’IA, présentent la caractéristique que ni leurs conséquences mécaniques ni leurs conséquences sociales ne sont pleinement prévisibles.

Ainsi, la réflexion éthique et juridique ne saurait s'arrêter à l'estimation des risques dans un tableau des coûts et des bénéfices. Sans vouloir jouer sur les mots, n'est-il pas risqué d'adopter une approche par les risques quand on sait que certains risques sont incalculables, imprévisibles?

L'approche par les risques suppose donc la prédiction du risque. Mais est-il possible de prédire de façon correcte les risques des systèmes d’IA eux-mêmes prédictifs ? C'est un paradoxe que l'on peut pointer. L'article 3 du règlement sur l'IA définit les systèmes d’IA comme “des systèmes automatisés qui déduisent, à partir des entrées qu'ils reçoivent, des sorties telles que des prédictions qui peuvent influencer les environnements physiques ou virtuels.” Or Jacques Ellul, je vais le citer une seule fois, a souligné à plusieurs reprises que, dans tout objet technique, il existe une part irréductible d'imprévisibilité puisque toute technique comporte des effets voulus, des effets prévisibles et des effets imprévisibles². Ces trois types d'effets sont intrinsèquement imbriqués. On sait que la Commission Européenne a proposé l'approche par les risques pour tenter de trouver un équilibre entre, d'une part la protection des droits fondamentaux et, d'autre part, le souci d'éviter de créer une charge disproportionnée sur les entreprises. Le régime de protection a donc vocation à varier en fonction du risque... en fonction peut-être aussi du secteur et de l'utilisation de ces systèmes d'IA. Certaines pratiques vont être interdites et d'autres pour lesquelles on va prévoir des méthodes d'évaluation des risques permettant donc de les recenser.

Les obligations des fournisseurs dépendront de la classification du système d'IA. Plus le risque sera élevé, plus les obligations seront nombreuses et contraignantes. Système de gestion des risques, documentation technique, information aux utilisateurs etc…Il nous semble néanmoins que les critères d'évaluation des risques restent flous malgré le haut niveau de complexité du texte du règlement sur l'intelligence artificielle.

La loterie de Babylone.

J'en viens maintenant à l'objet même de ma communication. L'approche fondée sur les risques de l'Union Européenne n'est pas sans évoquer la loterie de Babylone³. Je ne sais pas si certains d'entre vous sont fans de Borges ou s'ils ont lu cette nouvelle mais c'est assez intéressant. Dans sa nouvelle, Borges relate le fonctionnement juridico-mathématique de l'institution éponyme sous l’emprise de laquelle les babyloniens se trouvent placés. Si la Compagnie, ainsi qu'on la nomme à Babylone, était à l'origine un jeu plébéien, elle va au fil du temps s'immiscer dans la vie et dans les affaires du peuple. Le juriste qui rédigeait un contrat ne manquait d'y introduire des détails erronés. Les récits des historiens comportaient généralement une certaine dose de fausseté. Quant aux livres, aucun n'était publié sans divergence entre chaque exemplaire. Ces mystifications de la loterie font écho bien sûr au déboire des utilisateurs de ChatGPT relayés par la presse. Pensons par exemple à ces avocats new-yorkais ayant rendu des mémoires truffées d'erreurs. Ou ces chercheurs ayant produit des articles frauduleux. Ou ces start-ups ayant subi des pertes pour une ligne de code générée par le chatbot de OpenAi. Ces derniers semblent avoir confondu, à l'instar des citoyens de Babylone, le jeu et la réalité. Force est d'admettre que la machine de Babylone affiche des ressemblances frappantes avec l'IA générative sur lesquelles il est loisible de s'attarder. Je vais recenser quelques ressemblances.

• Hasard

ChatGPT est un système d'IA intégrant le hasard. Si on rentre les mêmes données plusieurs fois d'affilée dans vos prompts, vous l'avez remarqué sans doute, les essais générés ne sont jamais les mêmes. Les sorties de ChatGPT sont assez hasardeuses et peut-être qu'elles rappellent un petit peu la loterie de Borgès. Le fonctionnement de ChatGPT comme celui de la Compagnie s'apparente à un jeu de hasard aux conséquences potentiellement désastreuses pour les utilisateurs imprudents ou peu scrupuleux.

• Jeu et probabilités

Produire une liste de mots classés en fonction des probabilités, c'est se poser la question du prochain mot à ajouter. On parle d'ailleurs de tokens comme on évoque des jetons par exemple d'un casino. Le caractère ludique est apparent quand on voit les effets des IA génératives, même si certains exemples relayés dans la presse sont assez tragiques.

• Erreur, mensonge et vérité

Les hallucinations de l'IA, c'est un phénomène techniquement documenté et assez connu. La loterie de Babylone présente également le même rapport troublant à la réalité : le document exhumé dans un temple pouvait provenir du tirage d'hier ou d'un tirage séculaire.

• Fonctionnement mystérieux

Les systèmes d'IA générant du texte se fondent sur des réseaux de neurones qui fonctionnent comme une boîte noire. Ça a été souligné il y a quelques minutes.

De même, les conséquences des tirages sont incalculables tandis que les agents de la compagnie usent de suggestions ou de magie. En outre, la compagnie bénéficie des archives recueillant des renseignements jusqu'aux intimes espoirs et terreurs de chacun. Cette description peut également s'appliquer à nos algorithmes actuels ainsi qu'aux acteurs économiques de l'intelligence artificielle.

Source du contentieux inépuisable lors de son instauration, la loterie ne tarda pas à susciter des conflits. Comme souvent, les litiges ont pour origine des intérêts économiques. Le bot d'OpenAI a également suscité des litiges, on le voit notamment aux Etats-Unis.

Justice algorithmique

Je voudrais également revenir brièvement sur d'autres caractéristiques comme la justice algorithmique ou prédictive. À l'heure des Legal Tech, il est bien sûr utile de relire cette nouvelle à la lumière des promesses de l'IA dans le domaine notamment de la justice. Dans le règlement sur l'IA, ce domaine est bien sûr considéré comme à haut risque.

A l’image du logiciel, de la machine procédurale et de l’automatisation des processus, les Babyloniens dans la nouvelle ont cédé aux illusions mathématico-juridiques puisqu’ils décident d'une réforme dont les complexités ne sont intelligibles qu'aux spécialistes. Le narrateur de décrire la machine procédurale: premier tirage suivi pour l'exécution du verdict d'un second tirage qui propose aux agents un troisième tirage etc... Aucune décision n'est finale. Toutes se ramifient. On pense bien sûr à l'ordi-nature de Jean Rohmer.

Nous pourrions nous enquérir de l'existence d'un human-in-the-loop mais la vraie question, me semble-t-il, porte davantage sur la nature de la décision.

Négation de la décision humaine

A Babylone, nulle place pour la délibération : le peuple féru de logique mais dépourvu de bon sens voue une confiance aveugle à la compagnie. Les Babyloniens respectent les décisions du hasard. La rationalité des prescriptions peut néanmoins être interrogée. Il y a des tirages d'une intention indéfinie. Celui-ci ordonnera de lâcher un oiseau du haut du toit. Cet autre de retirer tous les siècles un grain de sable à la plage ou de l'y ajouter. Les conséquences sont parfois terribles ou peu opérantes. Les promesses prescriptives peuvent en outre se révéler illusoires. L'illusion cybernétique réside dans la liberté offerte aux utilisateurs. Les milliers de prescriptions juridico-mathématiques de la loterie laissent des options libres, un champ de liberté à l'intérieur duquel la décision peut s'exercer. Ainsi, même une machine prescriptive peut laisser un semblant de liberté à ses usagers.

Une machine à gouverner

La loterie de Babylone, à l'instar de l'IA prédictive, est une machine à gouverner. Son pouvoir normatif est attesté par son immixtion dans les affaires du gouvernement. Comme l'IA, son instauration est perçue comme une étape historique nécessaire. Le narrateur évoque son influence bienfaisante dans un style assez proche des discours sur l'IA de confiance. Le règne de la machine prescriptive est-il inéluctable ? Les Babyloniens préfigurent-ils d'une certaine façon l'avènement d'un gouvernement machinique, c'est-à-dire gouverner de manière non-humaine un monde d'humains?

L'ironie de Borges, comme toujours, témoigne de son scepticisme. Les Babyloniens disposent d'un puissant outil qu'ils ne maîtrisent pas. Les ramifications des lois de la loterie échappent aux mortels. Plus préoccupantes sont les sorties aléatoires non contrôlées que la machine de Babylone peut engendrer. Hasardeuse dans sa conception, la loterie s'avère tout aussi incompréhensible dans la génération des tirages produits à toute allure. A l'image, donc, de ces millions de lignes de commande informatiques.

La machine juridico-informatique est aveugle aux externalités. Les Babyloniens de Borges illustrent peut-être la crainte, exprimée par Yannick Meneceur dans son livre sur le L’IA en procès⁴, d’une société qui serait consentante à son emprise par les technologies. Le jeu babylonien est à bien des égards notre contemporain. Les artifices du prescriptivisme, soit la soumission aux décisions de la machine, est un moyen d'échapper au fardeau de se gouverner.

Revenons à présent au règlement sur l'IA et finissons-en également. Livrons-nous à une expérience de pensée ; exercice plus familier aux savants et aux conteurs qu'aux juristes. Supposons effectivement que la loterie de Babylone soit, au plan de la qualification juridique, un système à haut risque. Selon les termes du règlement, les systèmes d'IA sont classés à hauts risques s'ils présentent un risque élevé de causer un préjudice aux droits fondamentaux en tenant compte à la fois de la gravité et de la probabilité du préjudice éventuel. La définition mathématique du “risque” est significative. Je rappelle la définition du “risque” dans le RIA: combinaison de la probabilité d'un préjudice et de la sévérité de celui-ci. Combinaison. Le langage des risques comme celui des libertés va de pair avec l'innovation, le calcul des bénéfices, notamment économiques, l'avantage compétitif, la modélisation mathématique, l'informatique et les probabilités. Gestion des risques, balance, coûts-bénéfices, logique de calculabilité, optimisation de la norme, etc.

Tout cela, calculabilité, modélisation, instrumentation, sont au cœur du règlement sur l'IA. Et si vous ne me croyez pas, vous pouvez lire ce règlement si ce n'est déjà fait : la méthode juridique s'avère ici à un mélange de positivisme dur et de droit souple.

Sans implémentation dans le hardware du droit positif, le logiciel universel des droits humains est voué à rester théorique. Le soft law semble davantage relever de l'éthique du droit puisque les fournisseurs et les déployeurs sont encouragés, je cite encore une fois, “à appliquer sur une base volontaire des exigences supplémentaires liées aux éléments des lignes directrices en matière d'éthique pour une IA digne de confiance”.

L'efficacité du dispositif étant douteuse, le législateur européen indique que ces codes volontaires doivent s'appuyer sur les objectifs clairs et les indicateurs de performance clé permettant de mesurer la réalisation de ces objectifs. Ainsi, seuls les systèmes d'IA à hauts risques sont soumis aux prescriptions contraignantes: système de gestion des risques documenté tenu à jour, processus itératif continu et planifié - je vous épargne les articles, mais je les prends dans l'ordre - exigences en matière de données et de gouvernance des données, jeux de données soumis à des critères de qualité, pratiques de gestion et de gouvernance, section et correction des biais, documentation technique, évaluation de la conformité, enregistrement, traçabilité, fonctionnalité, journalisation, transparence, fourniture d'informations, interprétation des sorties du système, notice d'utilisation, contrôle humain, interface homme-machine, mesure de contrôle, détection et traitement des anomalies, exactitude, robustesse, cybersécurité… je n'ai pas assez de salive et pas assez de temps sans doute pour énumérer tout ça. Mais il y a tout un tas de contraintes qui vont s'appliquer aux déployeurs de ces systèmes d'intelligence artificielle.

Le catalogue des libertés est-il suffisant - c’est la question que pose le juriste - pour tenir la promesse d'une IA centrée sur l'humain, et limiter la puissance du cyber-Léviathan ? La machine juridico-informatique n'est-elle pas déjà déployée en vue de générer des bénéfices pour le marché, sous couvert, bien sûr, de respecter les droits des citoyens ? Le langage des droits fondamentaux ne doit pas tromper. La langue maternelle de l'Union Européenne, comme j'ai souvent coutume de le rappeler, reste le droit économique. C'est le droit du marché, le droit de la concurrence. Le RIA prend pour base légale d'ailleurs l'article 114 du traité sur le fonctionnement de l'UE qui vise à rapprocher des législations pour consolider le marché. De même que l'intelligence artificielle animée par la statistique n'a d'autres ambitions que le suivi d'une fonction-objectif, le fonctionnalisme de l'Union européenne la pousse à poursuivre l'objectif du fonctionnement du marché en veillant à ce que les législations interopèrent. C'est aussi l'ambition du règlement sur l'IA qui garantit la circulation des biens et services fondés sur l'IA, empêchant les États d'imposer des restrictions à la commercialisation des systèmes d'IA.

Je voudrais finir par une question : le règlement sur l'IA ne fait-il pas le jeu de l'IA ?

La loterie de Borgès résume de façon caricaturale l'ambition d'une gouvernance unique au sein d'un monde probabiliste dont la prudence et la raison humaine sont exclues. Une telle vision ne peut que résulter sur une conception appauvrie du droit qui finit par substituer au langage des valeurs des critères formels de sens: “valide”, “conforme”, “calculable”, “opérable”.

Je l'ai dit, il y a le rôle primordial du marché. Le RIA repose sur l'article 114 qui vise à harmoniser les législations pour garantir le fonctionnement du marché. L’objectif principal n'est pas tant la protection des droits fondamentaux que l'interopérabilité et la croissance économique. Les obligations imposées au système d'IA aux risques sont conçues pour éviter des barrières réglementaires et bien plus qu'instaurer un cadre éthique solide.

¹ Norbert Wiener, The Human Use of Human Beings. 1950. The Riverside Press (Houghton Mifflin Co.).

² Jacques Ellul, La Revue administrative, juillet-août 1965, 18e Année, No. 106, pp. 380–391

³ Jorge Luis Borges, La lotería en Babilonia, 1941

⁴ Yannick Meneceur, L'intelligence artificielle en procès, Plaidoyer pour une réglementation internationales et européenne, 2020, Bruylant (Micro Droit - Macro Droit)