Jean Rohmer est Président de l'Institut Fredrik Bull, qui entretient des liens étroits avec les mondes du Droit et de la Justice. Un groupe de réflexion sur le droit et l'informatique s'y est tenu pendant de longues années, sous la direction de Pierre Catala, entre autres fondateur de Juris-Data. Ce groupe a produit un ouvrage collectif chez Masson "L'Hermine et la Puce"

Quelle est l'étendue et la profondeur de l'IA? Comment la penser dans un ordinateur en fonctionnement?

J'ai souvent l'habitude de demander à des publics d'étudiants combien il y a d'ordinateurs dans internet? On me répond toujours, “des millions, des milliards”. Aujourd'hui, je voudrais la réponse à un prêt. Évidemment, il n'y en a qu'un et c'est ce que j'appelle l'ordinaterre et, qu'avec Arnaud Billion, nous traduisons aussi en computearth.

De la terre au cristal

Pourquoi un seul ordinateur ? C’est l’objet de cette intervention, on verra que c'est parce qu’il y a un assemblage de dizaines ou centaines de milliards de machines très petites - et le mot machine a déjà été utilisé par Emmanuelle Legrand - et c'est bien celui qui convient.

Donc c'est une centaine de milliards de machines comme celle que vous avez dans votre smartphone, dans votre pc, dans votre montre connectée. Et cette machine élémentaire est ce qu'on appelle la machine de von Neumann. C'est une architecture qui n'a pas varié depuis son invention en 1945 par John von Neumann.

Cette machine, c'est un circuit électrique constitué par des dépôts de métaux plus ou moins rares et qui constituent en quelque sorte un cristal. Ce cristal est dessiné avec une finesse de traits qui aujourd'hui approche le nanomètre, c'est-à-dire le millionième de millimètre.

Jusqu'à la fin des années 60, un ordinateur c'était gros. C'était un objet isolé qui était seul dans une pièce. En général, on entrait dans la pièce de l'ordinateur et c'était le monde qui arrivait à l'ordinateur.

Mais à partir de la fin des années 60, on a commencé à construire des plus gros ordinateurs en mettant plusieurs petits à l'intérieur. Des petites machines qu'on reliait entre elles par des fils électriques. Et on a fait une autre chose très importante : on a commencé à relier les ordinateurs petits ou gros entre eux à travers le monde.

Comment ? en utilisant ce qu'on avait à disposition, c'est-à-dire le téléphone. Autrement dit, les ordinateurs sont devenus des téléphones, chacun avait un numéro et ils s'appelaient les uns les autres.

Ces machines élémentaires, ces “atomes de calcul”, on considère qu’il y en a à peu près actuellement 200 milliards sur terre. Et dans l'ordinaterre elles sont toutes plus ou moins reliées entre elles de diverses manières.

Mais où se trouvent ces 200 milliards de machines ? Où se trouvent finalement les constituants de l'ordinaterre?

D'une part, dans tous les dispositifs qui sont proches de vous. Éventuellement des capteurs, dans votre téléphone, dans votre voiture, dans les appareils ménagers. Également dans tous les systèmes techniques et industriels, les grands réseaux d'énergie et ainsi de suite. Il y a beaucoup d'ordinateurs dans les usines. Et enfin, de plus en plus, dans des supercalculateurs qui vont regrouper jusqu'à des millions de machines élémentaires.

Ces supercalculateurs étant eux-mêmes regroupés dans des grands centres de données qui sont des espèces de quartiers, d'auberges à superordinateurs comme celui que l'on voit quand on quitte l'A86 et qu'on va vers l'autoroute A1, juste après le stade de France. Un bâtiment très bizarre comme vous n'en avez jamais vu. C'est un centre de données ou data center.

Toutes ces machines, si elles sont partout, elles ne se fabriquent pas partout. Elles se fabriquent d'abord dans les mines. Parce qu'il faut extraire tous ces matériaux. Et ces mines, il n'y en a qu'une quantité limitée dans le monde. Par exemple, le cuivre est extrêmement utilisé: 40% du cuivre est produit au Chili. 46% du lithium est produit en Australie, 23% au Chili. Et même si ces métaux ne sont pas rares, on n'en a pas assez. On considère qu'on va manquer de 30% de cuivre en 2030 et de 20% de lithium. Donc les mines sont localisées dans quelques rares endroits dans le monde.

Ensuite, il y a quasiment un seul endroit dans le monde où on fabrique les machines à fabriquer les ordinateurs. Et cet endroit, il est européen et en Hollande. C'est la société ASML.

Ces machines bataves sont livrées aux vrais fabricants de circuits qui, eux, sont aussi en tout petit nombre et dans un endroit bien précis de la planète puisque c'est d'une part Taïwan avec TSMC et d’autre part Samsung en Corée du Sud. Des endroits pas forcément sympathiques du point de vue géopolitique.

Enfin la conception de ces machines fabriquées en Extrême-Orient est la chasse gardée de trois grosses sociétés qui dessinent les plans de ces machines : Intel, AMD et Nvidia, qui ont toutes leur siège dans la même petite ville de cent-dix-mille habitants, Santa Clara dans la Silicon Valley, la bien-nommée.

Donc une concentration de la chaîne de valeur assez incroyable!

Ce qui est aussi important, c’est que toutes ces machines sont du même modèle. Elles sont du même modèle parce que, pour en fabriquer 200 milliards, on ne va pas faire du sur-mesure ; on fait du très standard, très unifié, en très grandes séries. Il ne peut pas y avoir 35 000 constructeurs et autant de modèles, donc ce sont des oligopoles ou des monopoles qui conçoivent ces machines-là. Ca s’explique aussi par le fait qu'une usine de fabrication de circuits, aujourd'hui, ça coûte près de 50 milliards d'euros. A méditer quand on parle de “souveraineté numérique”.

Comment produire ces machines en grandes quantités? Il n'y a qu'une seule solution c'est la photographie, c'est-à-dire que ces usines à 50 milliards sont en fait des espèces d'imprimeries de circuits par des procédés photographiques et optiques, qui atteignent une précision nanométrique.

Il ne faut pas oublier un autre composant : ce sont les disques magnétiques qui contiennent de manière permanente les informations. Aujourd'hui, si vous comptez en bits (0/1), il y a plus d'un million de milliards de milliards de bits (10 puissance 24) qui sont stockés dans les disques sur la Terre entière. Et un milliard de milliards de caractères sont enregistrés chaque jour qui passe. Et il faut bien que les disques correspondants soient produits au même rythme.

Du cristal à l'éponge

Comme vous le savez, parmi tous ces circuits, il y a des circuits qui font du calcul - les opérations, addition des multiplications - mais il y en a beaucoup qui font juste la mémorisation, des circuits de mémoires qui contiennent les bits.

Autant les circuits de calcul sont semblables à des cristaux solides, des structures rigides, autant la mémoire est malléable : chaque bit de la mémoire est destiné à osciller entre 0 et 1 de manière plus ou moins indéfinie.

Si on s'amuse à dénombrer le nombre d'états possibles de la mémoire dans les disques sur Terre - parce que finalement ce sont ces mémoires qui vont commander l'ordinateur et donc tout ce qu'ils font pour nous - et bien il y en a un nombre de 0 qui est égal à des millions de milliards de milliards de 0. Voilà le nombre de configurations possibles de l'ordinateur.

Vous savez que ces mémoires contiennent aussi des programmes qui vont commander les opérations et, depuis le début de l'informatique, on estime à environ 3 000 milliards le nombre de lignes d'instructions qui ont été programmées, jusqu'à présent par des humains.

On imagine rapidement que la rigidité du matériel et la souplesse potentielle des mémoires, ne font pas très bon ménage. Pour y remédier on va utiliser des programmes qui sont dans les mémoires, pour encore augmenter le caractère unique et uniforme de l'ordinateur. En particulier, deux types de programmes :

• le protocole IP, c'est celui qui règle la téléphonie entre les ordinateurs. Rappelez-vous que chaque ordinateur a un numéro au téléphone, et le protocole IP ce sont des programmes qui leur permettent d'échanger entre eux. Tous les ordinateurs ayant le numéro au téléphone des autres, c'est ça qui produit ce que j'appelle l'ordinaterre.
• ensuite il y a le protocole HTTP, que vous connaissez bien, c'est celui qui permet de faire les pages Web sur internet. Il faut comprendre que le web, c'est un seul fichier. Imaginez un seul fichier Word, et chaque page du Web est en fait un sous-chapitre de ce fichier. Chaque page d'internet, chaque URL, est un sous-titre. Dans le fichier web, il y a environ 50 milliards de sous-titres. Bien sûr, il s'en ajoute tous les jours.

Il y a donc un seul ordinateur, un seul fichier, très gros. Donc il nous faut un index et vous savez tous quel est cet index : il s'appelle Google. C'est quasiment l'unique index de ce fichier sur l'unique ordinateur.

Enfin, dans une dernière étape, arrivent les LLM, l'IA. Qu'est-ce qu'elle prétend faire ? Elle prétend ne faire finalement qu'une seule application à laquelle nous pouvons exprimer tous nos besoins. Geoffrey Hinton, Prix Nobel de Physique en 2024, qui a été l’un des metteurs au point des réseaux de neurones, a expliqué que l'apprentissage machine résoudrait tous les problèmes. Une déclaration toute en simplicité …

Alors vous voyez que même avec ces mémoires, l'ordinaterre conserve une énorme homogénéité. On peut dire que l'ordinaterre est plate. Elle est constituée d'un seul matériau, il n'y a pas de relief, il n'y a pas de frontières naturelles. Tout le monde est logé à la même enseigne : les gendarmes, les voleurs, les juges, les avocats, tout ça est fait du même matériau. Et tous les chats sont gris. Tous les Chats sont gris. Ce sont des zéros et des uns, partout. Pour les virus et la criminalité, c'est formidable, c'est open bar. C’est ce qui a fait dire au consultant Jean-Claude Lévy que les informaticiens avaient réussi à créer le désordre sans espace dans cet univers uniforme.

Pourquoi est-il aussi difficile d'établir des barrières, des frontières, d'établir un droit du sol sur internet? C'est parce que dès l'origine il y avait une volonté de liberté et d'ouverture de la part des pionniers et d'internet.

Le cristal est inerte mais les mémoires, les données, les calculs, semblent donner vie au système. C’est au prix de son alimentation en énergie électrique. Je ne vais pas élaborer sur ce sujet mais sachez que, maintenant les géants du numérique sont en train d'installer des petites centrales nucléaires à l'intérieur des murs de leurs centres de calcul.

L'ordinateur est-il vivant ? Je ne sais pas mais il est immortel, ce qui est déjà pas si mal. J’en veux pour preuve que j'ai posé un jour la question : peut arrêter la blockchain qui supporte le bitcoin ? On m’a dit “non, c'est impossible, inimaginable, pour un pouvoir humain d'arrêter la blockchain, sauf à détruire un par un chacun des ordinateurs qui la supportent”.

Avec cette quantité de mémoire qui ne demande qu'à se remplir, il est assez tentant de comparer l'ordinaterre à une éponge qui veut absorber la moindre goutte d'eau, par capillarité. La capillarité, c'est comme si vous aviez partout des tubes très fins - et il n'y a rien de plus fin qu'un micro-ordinateur. Et vous savez aussi que les éponges ont été longtemps considérées comme des végétaux puis un jour on s'est aperçu que c'était peut-être le premier animal sur Terre.

Nous descendons tous de ces éponges et on peut se demander qu'est-ce qui va descendre de l'ordinateur.

De l'éponge à ChatGPT

On peut se dire que l'arrivée de ChatGPT était écrite. C'était le destin, je vais vous l'expliciter.

L'ordinaterre n'est pas tombé du ciel, il a été construit par des humains au fil des technologies, au fil des millénaires. Les humains on n'a pas attendu l'ordinateur pour traiter l'information. Avec la parole, le dessin, le langage, l'écriture, les scribes, les imprimeries, les érudits, les savants, les juristes etc…

Et Diderot lui-même disait que son Encyclopédie était faite pour “faire, sans s'égarer, le tour du monde littéraire”⁽¹⁾. Ici, “littéraire” était au sens de tout ce qui est écrit. Ça fait longtemps donc qu'il y a des technos élaborées de traitement d'information. On a aussi appelé ça la République des Lettres.

Ainsi s'est créé autour des connaissances humaines, une espèce d'objet que j'appelle un trou noir. Un trou noir parce que toute l'activité intellectuelle du monde s'y est unifiée naturellement. Un espèce de trou noir littéraire qui absorbait toutes les activités humaines. Et je vais considérer que l'ordinaterre - l'informatique - c'est un autre trou noir, que j'ai appelé le trou noir du calcul. Pendant longtemps, le trou noir littéraire et le trou noir du calcul - plus récent - ont bien cohabité parce que le trou noir littéraire sous-traitait simplement les tâches de duplication, de reproduction, d'archivage, de comptabilité, de transmission, d’inspection, de perception des impôtset des droits d'auteur etc.

La loi de Moore, loi empirique énoncée en 1965, qui veut que la puissance de calcul double tous les 12 à 24 mois, a conduit à une croissance exponentielle, l’ordinaterre est devenue de plus en plus puissante. Et le trou noir de calcul a simplement décidé un jour de tuer le père. C'est ce qui est en train de se produire : l'ordinaterre - le trou noir de calcul - est en train d'avaler le trou noir littéraire.

Ce n'est pas la première fois qu'il mange quelque chose. Au début, je vous ai dit que les ordinateurs, entre eux, sont passés par le téléphone. Maintenant c'est la 5G qui passe par les ordinateurs. Le téléphone est un flux parmi d'autres, parmi toutes les données qui passent dans l'ordinateur.

Les informations entrent dans l'ordinateur par des claviers, par des écrans tactiles, des caméras, des capteurs, etc… Tout ça est capté et enregistré dans les mémoires. Et quand vous ajoutez, comme beaucoup de gens fortunés le font maintenant, un nouveau supercalculateur, dans l’ordinaterre, sa mémoire est vide au départ et elle est gigantesque, tout en étant de taille finie. Ce supercalculateur ne va pas inventer des données pour le plaisir de remplir sa mémoire; ce qu'il va faire, c'est qu'il va les piquer partout ailleurs. L'ordinature ayant horreur du vide, il va fouiller chez les autres, avec ou sans autorisation. C'est ce que font les grands modèles de langage: ils poussent la rapacité à l'extrême.

Qu’est qu’un grand modèle de langage? C'est un supercalculateur qui décide d'aller pomper toutes les informations de tout l'internet. Le procédé conduit à augmenter le caractère unique de l’ordinaterre parce que, des “touts”, il n'y en a pas beaucoup, il n'y en a même qu'un.

Donc on va aspirer cet ensemble qui, par origine, est unique. Les grands modèles de langage peuvent lire, approximativement, 50 000 milliards de caractères sur Internet. Vous allez construire un réseau de neurones profonds qui lui contiendra “seulement” 50 milliards de paramètres. Qu'est-ce qui se passe à chaque fois que je veux remplir mes mémoires ? Je lis tout et, la plupart du temps, ça se répète, parce que les gens sur Terre disent tous à peu près la même chose partout. Il y a énormément de redondances là-dedans et donc j’essaie de n'enregistrer que le minimum. Que la différence, que le la vraie nouveauté.. Puis à un moment donné, je manque de place dans ma mémoire, donc je vais retirer d'autres choses pour mettre à la place cette nouveauté que je considère comme plus importante.. C'est ça que fait un grand modèle de langage pendant sa phase d’apprentissage.

C'est une alchimie absolument talentueuse et à la fois obscure. Obscure parce que personne ne sait vraiment pourquoi ça marche, y compris les concepteurs chez ChatGPT et les autres. Donc on dévore tous les mots après leur avoir fait un petit traitement : on les transforme en chiffres pour pouvoir utiliser les opérations de multiplication et d'addition des machines pour arriver à nos fins.

L'idée finale est de compresser : on essaie de tirer du jus, une espèce de substantifique moelle, d'élixir du savoir, un concentré. C'est ça ChatGPT; c'est ça un modèle de langage.

Ensuite, on lance une opération inverse qui, à partir d'une goutte de ce concentré, reconstitue quelque chose qui est homogène à la chose d’origine.

On peut dire que, finalement, les grands modèles de langage réalisent le projet des philosophes du XVIIe siècle. On en a parlé plusieurs fois avec Anaëlle Martin : penser et calculer c'est la même chose.

Alors je plaisante un peu mais c'est comme si le ministre de la Justice disait un jour que les greffiers avaient assez écouté et assez archivé et qu’ils en savent assez maintenant pour remplacer les juges.

On a un seul ordinateur, un seul fichier, un seul index et une seule base de connaissances universelles. C'est normal que ceci ait commencé chez Google. C'est Google le premier qui a fait ça en 2017, parce que ça ne lui faisait pas peur de lire tout le web puisqu'il faisait ça tous les jours. Simplement ce qu’il se passe maintenant c'est qu’alors que le moteur de recherche de Google travaillait au niveau des documents, les modèles de langage descendent au niveau des mots et des phrases. C'est ça le grand changement.

Pour conclure disons que l'idée de l'ordinaterre, c'est de faire un effort pour regarder l’ensemble de la chaîne depuis le nanomètre jusqu'à des milliers de kilomètres- des câbles transatlantiques. Et on peut voir qu'il y a une grande cohérence dans le système. C'est parce que les machines sont si minuscules, que l'ordinateur est immense. C'est parce qu' elles sont si semblables qu'il n'y a que quelques fabricants. Et c'est enfin parce qu’à peu près tout le monde dit la même chose partout qu'on peut réduire tout ça dans un grand modèle de langage qui va se mesurer en milliards: 5 milliards, 10 milliards, 175 milliards de paramètres. Et c'est assez notable que la grandeur, le milliard, qu'on utilise pour mesurer un grand modèle de langage, c'est la même grandeur que l'on utilise pour mesurer le génome humain.

Je vous remercie pour votre attention

⁽¹⁾ Encyclopédie, Denis Diderot et Jean le Rond d'Alembert