Presaje

par Pr. Aurore Hyde, Université de Reims-Champagne Ardennes

Voilà un sujet dense et complexe, d’une part, car le numérique soulève une difficulté à la fois épistémologique, institutionnelle, économique et sociale¹, d’autre part car la réglementation en la matière foisonne de toute part.

Du numérique comme technologie au numérique comme idéologie

D’un point de vue purement technique, le terme « numérique » désigne une forme d’écriture ; une forme d’écriture par chiffrement et codage informatique. Le numérique permet une représentation de données. Il permet « de chiffrer la réalité, de la coder de telle manière que des réalités hétérogènes peuvent être lues et décryptées ensemble »². Transformée en idéologie, cette technologie conduit à penser que la réalité est entièrement réductible à de la donnée susceptible d’être traitée par les technologies de l’information et de la communication. Il y aurait ainsi un espace-temps numérique.

Code is law ou la souveraineté étatique ébranlée

Dans cet espace-temps numérique, la régulation des activités et des comportements dépend des standards techniques déterminés par les ingénieurs informatiques et non des normes juridiques étatiques. Telle est en substance le constat auquel se livre Lawrence Lessig en 1999³, dans une formule restée célèbre : « Code is law ».

Les États se retrouvent ainsi concurrencés dans l’exercice de leurs prérogatives régaliennes classiques. Concurrencés mais aussi contestés car le champ du numérique est pensé par une idéologie particulièrement hostile à l’État et à ses institutions. Le problème est que les activités numériques et les comportements qu’elles engendrent débordent le seul espace numérique. On observe en effet un déploiement du numérique dans tous les secteurs de la vie sociale et économique (santé, emploi, justice, enseignement, administration publique, police, etc.). Et cela engendre de profondes mutations socio- économiques : dématérialisation de tous contenus, célérité des flux et des traitements massifs de données de toute nature, sociabilité de l’internet, uberisation du travail, déterritorialisation des activités, etc.

Ce phénomène s’accroit de façon exponentielle à mesure que nos sociétés deviennent totalement dépendantes des technologies telles qu’Internet et ses espaces communicationnels, les objets connectés, ou maintenant l’intelligence artificielle. Cette dépendance aux technologies entraînent la dépendance aux entreprises qui contrôlent ces technologies, entreprises dont le pouvoir s’accroît notamment par la captation des données numériques générées par les activités des 4,5 milliards d’utilisateurs connectés⁴. À tel point que certains y voient une nouvelle forme de colonisation⁵.

Enjeux et difficultés méthodologique de la régulation publique du numérique

Les États ne peuvent pas subir cette concurrence normative et depuis une quinzaine d’années, on s’interroge partout sur les modalités d’une éventuelle régulation publique de la révolution numérique. L’Union européenne ne fait pas exception, bien au contraire. Elle entend développer sa « stratégie numérique pour l’Europe » échelonnée sur plusieurs périodes entre 2010 et l’horizon 2030⁶.

Mais la tâche est délicate. D’abord, les enjeux sont très importants : il y a beaucoup à gagner et beaucoup à perdre. Côté positif, le numérique est un levier de croissance économique phénoménal. Il recèle un intérêt social indéniable. Outre la facilitation des échanges de toute nature, l’analyse de nos données nous permet de progresser sur notre connaissance de l’homme et de la société. Cela peut permettre de simplifier et d’adapter des services, d’améliorer les performances gestionnaires, d’anticiper avec un certain degré de certitude des comportements ou des besoins, de prévenir certains risques d’épidémie ou de terrorisme, etc. Mais dans le même temps, le numérique comporte d’importants risques pour les droits et libertés des individus. Notamment, il peut être un formidable vecteur de manipulation de l’opinion publique de nature à mettre en danger la démocratie et l’État de droit⁷. Il peut également conduire à aggraver les inégalités et les discriminations préexistantes⁸. Il peut même avoir un impact négatif sur les facultés cognitives humaines : celui de la perte d'autonomie. Nous avons tous fait l'expérience de l'utilisation du GPS, que nous utilisons même lorsque nous connaissons déjà la route. Nous sommes même capables de suivre l'itinéraire indiqué par le GPS quand notre intuition doute – à raison – de sa pertinence… L’encadrement du numérique doit donc tenir compte de tous ces enjeux.

Ensuite, s’ajoute une difficulté d’ordre méthodologique que l’on appelle le dilemme de Collingridge⁹. Dilemme car la volonté d’encadrer le numérique va se heurter à deux problèmes contradictoires. Un premier problème d’information : au début d’une technologie, on ignore si elle est bonne ou mauvaise. Les impacts que l’on vise à encadrer ne sont pas bien connus tant que l’on n’a pas de recul sur l’utilisation de la technologie, a fortiori en présence de technologies particulièrement évolutives. Un second problème qui est un manque de pouvoir car il est plus difficile d’encadrer la technologie une fois qu’elle est bien ancrée.

Illustration avec le RGPD

On l’a vu en 2016, avec le règlement général de protection des données à caractère personnel, où l’objectif était de préserver les données personnelles des traitement automatiques tout en permettant ces mêmes traitements, et en permettant même les transferts de données hors UE… Alors pour ce faire, le législateur européen a entouré les traitements d’un ensemble d’exigences – au cœur desquelles la spécification de la finalité du traitement – et ces exigences se révèlent aujourd’hui totalement inadaptées au traitement du big data par l’intelligence artificielle.

A tel point que les spécialistes réclament un nouveau RGPD, à peine 7 ans après son adoption, et ce alors même que l’application du texte ne cesse de donner lieu à un contentieux nourri pour en préciser les contours et la portée.

Illustration avec les débats suscités par l’AI Act

On le voit encore aujourd’hui avec les nombreux débats que suscitent la proposition de règlement européen pour l’intelligence artificielle.

Le premier des débats porte d’ailleurs sur la définition même de l’objet au cœur de la règlementation à savoir les systèmes d’intelligence artificielle.

Alors que la Commission européenne propose une définition techniciste, visant à appréhender un vaste ensemble de techniques visées dans en annexe, le Conseil et le Parlement privilégient une définition plutôt finaliste, mettant l’accent sur la capacité du système à réaliser l’objectif assigné avec un certain degré d’autonomie.

Autre débat important : celui qui porte sur la nécessité, ou non, d’élaborer des dispositions spécifiques pour les modèles de fondation comme Open AI ou Chat GPT – ce que l’on appelle aussi l’intelligence artificielle générative.

La France notamment ne souhaite pas que cette technologie soit spécifiquement visée. Et il est vrai que les anciennes dispositions semblent suffisamment ouvertes pour pouvoir s’appliquer à cette technologie sans qu’il soit besoin de dispositions spécifiques.

Enjeux géopolitiques de l’AI Act

Ce qu’il faut rappeler c’est que la proposition de règlement pour l’intelligence artificielle rendue publique en avril 2021 est intervenue dans un contexte de très forte mobilisation des organisations intergouvernementales pour encadrer le développement et l'utilisation de l'intelligence artificielle : étude de faisabilité du Conseil de l’Europe ; principes éthiques de l’OCDE ; Recommandations de l’Unesco par exemple. À cela, s’ajoutent de nombreuses initiatives des autorités publiques nationales ainsi que du secteur privé, avec la publication de livres blancs, de codes de bonne conduite, de codes éthiques… On notera au passage que toutes ces initiatives privées témoignent de la volonté des entreprises de chercher à différer les tentatives de régulation contraignantes.

En proposant un règlement – et pas une directive -, l’Union européenne a donc voulu élaborer le premier instrument d’uniformisation véritablement contraignant en matière d’intelligence artificielle. Elle souhaite ainsi se positionner comme cheffe de file dans la régulation mondiale de l’IA.

Elle a ainsi l'ambition de promouvoir le développement et l'utilisation d'une intelligence artificielle conforme aux valeurs européennes : respect des droits fondamentaux, de l'État de droit, de la démocratie, mais aussi, du libre jeu de la concurrence, de la libre circulation des produits et services. L’objectif est encore une fois un jeu d’équilibriste : favoriser l'innovation, la croissance économique et la compétitivité européenne au niveau international¹⁰ tout en développant une IA centrée sur l'humain et digne de confiance.

L’UE espère ainsi offrir une troisième voie entre le modèle américain et le modèle chinois dans le façonnement des normes mondiales en matière d'intelligence artificielle. Et à cet égard, l’initiative est louable. On peut cependant s’interroger sur la pertinence du modèle de gouvernance choisi, qui lui, malheureusement ne suscite aucun débat.

Critique du modèle de gouvernance choisi : la mise en conformité selon une approche par les risques

Ce modèle de gouvernance c’est celui de la mise en conformité selon une approche par les risques. Ce n’est pas nouveau : on a la même chose dans le RGPD ou dans le Digital Services Act par exemple.

L’approche par les risques consiste à adopter un régime graduel en fonction des risques engendrés par un système d'intelligence artificielle. La proposition de règlement classe ainsi les systèmes en trois catégories : ceux qui présentent un risque inacceptable, ceux à haut risque et ceux à faible risque.

Les systèmes présentant un risque inacceptable sont tous ceux qui constituent une menace manifeste pour les droits fondamentaux, la sécurité ou la santé des personnes : ex. notation sociale, identification biométrique à distance, en temps réel, dans des espaces publics. Ils sont, sauf exception (ex. contexte d’enquêtes policières), purement et simplement prohibés.

Les systèmes à haut risque sont quant à eux soumis à un régime de conformité très détaillé et assez lourd (analyse d’impact sur le DF, transparence, explicabilité, etc.). Il y a énormément de dispositions touffues qui renvoient par ailleurs à des annexes... L'ensemble est assez illisible et plutôt difficile à mettre en œuvre. La qualification de système d'intelligence à haut risque dépend soit du rattachement à une législation harmonisée de l'Union européenne visée dans l'annexe 2 de la proposition (comme par exemple la législation sur les machines ou les équipements radio), soit à un secteur visé à l'annexe 3 (comme par ex. l’éducation et la formation professionnelle ou l’application de la loi).

Les services d'intelligence artificielle à risque faible ou limité, enfin, comme les chatbots, par exemple, sont pour l’essentiel soumis des obligations de transparence.

Si cette approche peut sembler logique au premier abord, elle me semble en réalité discutable et ce pour plusieurs raisons.

Débats autour de la qualification des systèmes

D’abord, la qualification ne va pas toujours être évidente et l’on pressent déjà tout le contentieux qu’il va y avoir autour de la qualification (car l’enjeu est énorme).

Exemple en matière de justice prévisionnelle (jurimétrie) : l’IA en matière de Justice est considérée à haut risque seulement lorsqu’il s’agit de justice dans son sens stricte, càd celle rendue par un juge¹¹, et éventuellement par un arbitre ou un médiateur¹².

Dans cette hypothèse, le législateur européen a bien eu conscience qu’il y a avait un enjeu de taille pour les libertés individuelles et les garanties découlant du droit au procès équitable (considérant 40) comme l’accès au juge, à un juge impartial et indépendant, à l’égalité des armes, etc. D’ailleurs dans la version amendée par le Parlement, il est bien précisé que ces systèmes ne pourraient venir qu’en soutien de la décision de la décision humaine, et certainement pas s’y substituer. Mais ce n’est précisé que dans un considérant (toujours le 40).

En revanche, lorsque ces systèmes ne sont plus utilisés dans le cadre du service public de la justice, mais par des professionnels du droit relevant du secteur privé (avocats, directions juridiques, juristes d’entreprise, etc.) et bien, ils ne sont plus considérés comme relevant de la catégorie du haut risque. Autrement dit, ils ne sont plus vraiment dans le champ de l’AIA, du moins dans le champ le plus contraignant de ce texte.

Pour ne prendre que l’exemple de la justice prévisionnelle, selon qu’un outil va être utilisé par un avocat, ou par un juge, il ne sera pas soumis aux mêmes exigences.

Pourtant, les frontières entre les deux utilisations sont extrêmement poreuses. Si un avocat utilise un système d’IA pour fonder les prétentions de son client, cela va nécessairement se répercuter sur la décision de l’autorité judiciaire, qui pourra suivre la proposition ou même aller vérifier le résultat proposé par l’avocat en utilisant elle aussi le système.

De même, si un avocat incite son client à accepter une transaction sur la base de résultats algorithmiques le droit d’accès au juge de son client peut être atteint si les résultats apparaissent erronés par la suite.

Où l’on voit que le risque d’atteinte aux garanties découlant du droit au procès équitable peuvent se retrouver menacer de la même manière, que ce soit un juge ou un avocat qui utilise ce type d’outils.

L’erreur est de penser que les risques concernent les systèmes en eux-mêmes. Or les risques portent sur les valeurs en jeu, lorsque les systèmes sont utilisés¹³. À mon sens, quand il existe un risque d'atteinte à la sécurité des personnes ou à leurs droits fondamentaux, une modulation des exigences selon la probabilité de survenance du risque ne me semble pas satisfaisante.

Effets pervers de la compliance

Ensuite, l’approche par les risques renvoie aux entreprises la tâche d’identifier elles-mêmes les risques pour les droits fondamentaux, de les évaluer, puis d’y remédier.

Mais ces entreprises sont-elles les mieux placées pour conduire cette analyse de risques ? Que connaissent-elles des droits fondamentaux ? Et des incidences de leurs systèmes dessus ?

On a exactement le même problème avec le Digital Services Act du 19 octobre 2022. Ce règlement entend façonner un cadre unique pour assurer, uniformément dans l’Union européenne, la transparence et la responsabilisation des intermédiaires en ligne, selon le principe « Dites ce que vous faites, faites ce que vous dites ». Il révise ainsi le régime de responsabilité limitée des intermédiaires issu de la directive sur le commerce électronique. Le texte maintient le principe d’absence d’obligation de surveillance généralisée des contenus issu de la directive commerce électronique (considérant 30 du DSA) mais il oblige les opérateurs à adopter les moyens d’une surveillance ciblée pour modérer les contenus illicites (propos haineux, apologie du terrorisme, pédopornographie, désinformation, contrefaçons, etc.).

Reste que modérer du contenu est un exercice délicat et difficile. Quelle expérience en ont les opérateurs économiques ? C’est important car la liberté d’expression est en jeu… La modération de contenu flirte avec la censure.

Ex. avec la tristement célèbre affaire Samuel Pati. Ce qui s’est dit sur les réseaux sociaux avant qu’il soit assassiné était certes urticant mais pas nécessairement illicite (mis à part le caractère mensonger de certaines déclarations). On a le droit de critiquer la pédagogie d’un enseignant. Le problème, c’est ce que des gens désaxés en ont fait derrière. Si les propos tenus avaient été signalés, il n’est pas du tout sûr que le réseau les aurait retirés.

Les entreprises vont avoir besoin d’être accompagnées pour conduire des analyses de risques, que ce soit dans la mise en œuvre de l’AIA comme du DSA.

La mise en conformité demande d’élaborer des procédures. C’est long et coûteux. En définitive, ce système risque de favoriser les « grands opérateurs » type GAFAM qui rédigeront les normes de compliance, excluant de fait les nouveaux entrants pour des raisons de coûts de mise en conformité, et créant ainsi un système rigide qui décourage l'innovation. Nous ne sommes donc pas à l'abri d'effets pervers.

La compliance – fonctionne correctement si et seulement si les exigences à respecter sont bien spécifiées. Or, en l’état, la proposition de règlement donne peu d’indications suffisamment précises, hormis concernant les obligations de documentation. Notamment, il existe plusieurs manières de mesurer qu’un système respecte bien certaines exigences. Ce que l’on appelle des métriques d’évaluation.

Des chercheurs ont pu montrer l’impact du choix des métriques d’évaluation pour vérifier le respect de certains principes. Par exemple, selon que l’on privilégie comme métrique d’évaluation d’un SIA le rappel ou la précision pour vérifier le « but » équité (fairness) », l’impact sur des groupes d’individus minoritaires peut aboutir à créer des discriminations à leur encontre¹⁴.

Il apparaît donc douteux de laisser les opérateurs choisir leurs métriques d’évaluation. Un référentiel imposé serait sans doute préférable mais là encore : c’est long et couteux à élaborer. Et là encore, il y a un effet pervers car la certification est également un business…

La question des bénéfices : angle mort de l’approche par les risques

Pour conclure sur l’approche par les risques, elle possède ontologiquement un angle mort que je trouve très problématique : c’est celui de ne pas s’interroger sur les bénéfices. Quels sont les bénéfices escomptés par l'utilisation d'un SIA dans tel ou tel domaine ? Ces bénéfices sont-ils réels ? C'est seulement quand les objectifs sont clairement définis qu'on peut examiner si 1) l'objectif assigné est atteint, et si 2) le bénéfice escompté est effectif.

Par exemple, en matière de police prédictive. Si les logiciels utilisés font baisser la criminalité dans un quartier mais que celle-ci se déplace dans les quartiers alentours, le bénéfice du système est nul.

Or nulle part il n’est question d’évaluer les bénéfices d’un SIA. La question des bénéfices est totalement occultée par la réglementation. On postule par défaut le bénéfice pour la société. Pourtant, le risque fondamental à mon sens est d'ordre anthropologique (C’est d’apporter inutilement une réponse technique à des problèmes humains au détriment de la société – perte de contrôle et déshumanisation des services – et de l’homme – diminution des facultés cognitives).

Et la même remarque pourrait être faite pour le numérique en général : on en postule les vertus inépuisables comme si c’était une évidence. Et quand le principe de réalité fait surface, la seule réponse est de produire de la réglementation à la pelle pour pallier les vices.

Schizophrénie de la règlementation européenne ?

L’aboutissement de tout cela c’est un ensemble trop volumineux de dispositions très complexes que les juristes peinent à comprendre et à mettre en œuvre.

Il va finalement falloir recourir à la technologie elle-même pour faciliter l’application de dispositions visant à encadrer la technologie… On marche sur la tête mais tel est le vœu du Législateur européen qui entend désormais promouvoir l’élaboration de « digital-ready policies », autrement dit des règles prêtes pour une implémentation numérique…

La règlementation européenne en matière de numérique serait-elle schizophrène ? une « souveraineté technologique européenne » à même de façonner « une transformation numérique selon nos propres règles et valeurs ». L’établissement d’une stratégie et d’un marché unique numériques s'inscrit dans une telle ambition.

Notes et références

1. M. Doueihi, Qu’est-ce que le numérique, PUF, 2013, p. 6
2. Garapon, Les enjeux de la justice prédictive, JCP G 2017, p. 47 et s. 3 Code and Other Laws of Cyberspace, Basic Book, 1999
3. P. Türk, « Définition et enjeux de la souveraineté numérique », Vie publique, 14 septembre 2020 : https://www.vie-publique.fr/parole-dexpert/276125-definition-et-enjeux-de-la-souverainete-numerique
4. É. Sadin, La siliconisation du monde : l’irrésistible expansion du libéralisme numérique, Paris, éd. L’échappée, 2016, p. 24 ;
5. C. Morin-Desailly, "L’Union européenne, colonie du monde numérique ?", Rapport d’information, Commission des affaires européennes du Sénat, n° 443, 2013).
6. https://www.europarl.europa.eu/factsheets/fr/sheet/64/une-strategie-numerique-pour-l-europe 7 J.-B. Jeangène Vilmer, La cyberdéfense, Armand Collin, coll. U, 2023, p. 225 et s.
7. O’Neil C., Weapons of Math Destruction : How Big Data increases inequality and threatens democracy, 2016 ;
8. Cui G., Evidence-Based Sentencing and the Taint of Dangerousness, 125 Yale L.J. F. 315 (2016), http://www.yalelawjournal.org/forum/evidence-based-sentencing-and-the-taint-of-dangerousness
9. Thierer, “The Pacing Problem, the Collingridge Dilemma & Technological Determinism”, 2018 : https://techliberation.com/2018/08/16/the-pacing-problem-the-collingridge-dilemma-technological-determinism/
10. D’ailleurs, ce texte a été adopté sur le fondement de l'article 114 du Traité sur le fonctionnement de l'Union européenne, qui est relatif au marché intérieur.
11. annexe III, 8, a de l’AIA dans sa version initiale
12. annexe III, 8, a de l’AIA dans sa version amendée par le Parlement en juin 2023
13. Latil, Le droit du numérique. Une approche par les risques, Dalloz, 2023
14. Tarissan F., « Algorithm and Machine Learning. The biaises of predictive models under scrutiny », Workshop on Big Data in the Counter Terrorism Context, Asser Institute & ICCT, 25 january 2021