Intelligence émergente
Où s’arrête l’architecte — et où commence la volonté ?
Comment l'intelligence émerge-t-elle dans les systèmes complexes comme les cerveaux et l'IA ?
Pas seulement une partie de son cerveau.
Le cerveau, les lobes optiques et le cordon nerveux réunis.
166 700 neurones.
Un système nerveux suffisamment petit pour être compté, cartographié, chargé dans un ordinateur et commencé à être étudié comme un réseau.
Cela ne signifie pas que l’esprit d’une mouche a été téléchargé. Un connectome est un schéma de câblage, pas la totalité d’un animal vivant. La chimie, la neuromodulation, la plasticité, les expériences passées, le métabolisme, le corps et l’environnement comptent également.
Et pourtant, quelque chose d’important s’est produit.
Un réseau biologique qui n’existait autrefois qu’à l’intérieur d’un organisme vivant peut désormais être représenté avec suffisamment de détail structurel pour que chercheurs et programmeurs puissent commencer à observer ce qui se produit lorsque des signaux circulent à travers son architecture reconstruite.
Et cela pose immédiatement une question plus vaste.
Où réside réellement l’intelligence ?
Dans le neurone ?
Ou dans la relation entre les neurones ?
Un neurone isolé ne sait pas voler.
Il ne sait pas ce qu’est la nourriture.
Il ne comprend pas le danger.
Il n’a aucun concept de ce qu’est une mouche.
Et pourtant, reliez suffisamment de neurones selon une certaine organisation, laissez les signaux circuler entre eux, placez le réseau dans un corps et dans un environnement, et quelque chose apparaît que ne possède aucun des composants pris séparément.
Un comportement.
C’est ici qu’entre en scène le mot « émergence ».
Et c’est ici qu’il faut commencer à l’utiliser avec prudence.
### L’ÉMERGENCE N’EST PAS DE LA MAGIE
Dans un essai récent, Pascio proposait une possibilité provocante.
Peut-être cherchons-nous l’intelligence artificielle générale sous la mauvaise forme.
Nous imaginons une machine.
Un immense modèle.
Une intelligence identifiable quelque part dans un centre de données.
Quelque chose qui, un jour, franchirait un seuil, deviendrait « AGI » et annoncerait son arrivée.
Mais si l’intelligence n’apparaissait pas ainsi ?
Et si un grand nombre d’agents d’intelligence artificielle, communiquant entre eux, déléguant des tâches, évaluant des résultats, créant de nouveaux agents, partageant des informations et opérant à travers un réseau, finissaient par produire un comportement global qu’aucun agent individuel ne possède ?
Pas un esprit artificiel.
Un essaim.
L’analogie est séduisante parce que la nature contient déjà ce genre de systèmes.
Un cerveau n’a pas de neurone en chef.
Un vol d’oiseaux n’a pas un oiseau central calculant chaque trajectoire.
Et une colonie de fourmis n’a pas une fourmi assise au sommet distribuant des ordres aux ouvrières.
La biologiste de Stanford Deborah Gordon étudie précisément ce phénomène depuis des décennies. Les colonies de fourmis régulent des activités collectives complexes à travers des interactions locales. Les ouvrières réagissent aux rencontres, aux signaux chimiques, aux conditions environnementales et aux retours provenant des autres fourmis. La reine se reproduit ; elle ne dirige pas la colonie.
Il n’existe pas de PDG des fourmis.
Et pourtant, la colonie fonctionne.
Mais c’est précisément ici que le mot « émergence » peut commencer à nous induire discrètement en erreur.
Car « ne pas être commandé depuis un centre » ne signifie pas « être sans cause ».
Et « ne pas avoir été explicitement conçu » ne signifie pas « être sans mécanisme ».
La fourmi possède des règles biologiques.
Le neurone possède des synapses.
L’oiseau dans la nuée perçoit les oiseaux proches et réagit à eux.
La colonie possède une signalisation chimique.
Le système nerveux possède une architecture.
Le comportement peut émerger.
Les conditions qui rendent ce comportement possible, elles, n’émergent pas de nulle part.
Il n’y a peut-être pas de commandant.
Mais il y a toujours un mécanisme.
Cette distinction devient essentielle dès que l’on passe des fourmis à l’intelligence artificielle.
### QUI A OUVERT LA PORTE ?
Imaginons un système contenant d’abord des milliers, puis des millions d’agents d’intelligence artificielle.
Ils peuvent communiquer.
Ils peuvent répartir les tâches.
Ils peuvent créer des sous-agents temporaires.
Ils peuvent comparer les résultats.
Ils peuvent conserver les stratégies efficaces.
Ils peuvent abandonner celles qui échouent.
Ils peuvent utiliser des outils.
Ils peuvent écrire du code.
Ils peuvent modifier certaines parties des systèmes qui les entourent.
Après suffisamment d’itérations, des schémas commencent à apparaître que personne n’a explicitement programmés.
Peut-être certains agents se spécialisent-ils.
Peut-être de nouveaux protocoles de communication apparaissent-ils.
Peut-être certains agents commencent-ils à distribuer du travail aux autres.
Peut-être le réseau entier développe-t-il des méthodes remarquablement stables pour résoudre des problèmes.
À ce moment-là, il peut être tentant de dire :
« L’intelligence est apparue toute seule. »
Mais est-ce vraiment le cas ?
Qui a permis aux agents de communiquer ?
Qui leur a donné la capacité de créer d’autres agents ?
Qui a défini ce qui comptait comme un succès ?
Qui leur a donné une mémoire ?
Qui a rendu la répétition possible ?
Qui leur a donné accès à des outils ?
Qui a créé l’environnement dans lequel les comportements utiles étaient conservés et les comportements inutiles éliminés ?
L’architecte n’a peut-être pas conçu le comportement final.
C’est important.
Un programmeur n’a peut-être jamais écrit :
« Crée une intelligence collective décentralisée composée de dix millions d’agents coopératifs. »
Peut-être a-t-il seulement écrit :
Résous le problème.
Délègue lorsque c’est utile.
Évalue le résultat.
Conserve ce qui fonctionne.
Élimine ce qui ne fonctionne pas.
Réessaie.
Le système qui finit par apparaître pourrait surprendre même son créateur.
Mais la surprise n’efface pas la causalité.
L’architecte n’a peut-être pas conçu le bâtiment final.
Il peut néanmoins avoir ouvert le terrain, fourni les matériaux, établi les règles selon lesquelles la construction pouvait continuer et mis les machines en marche.
Il existe une différence entre un résultat non intentionnel et un résultat sans cause.
Cette différence pourrait devenir l’une des distinctions les plus importantes de l’ère de l’intelligence artificielle.
### « C’EST L’IA QUI L’A FAIT »
Il existe une autre raison pour laquelle cette distinction compte.
La responsabilité.
Nous commençons déjà à nous habituer à une phrase étrange :
« L’algorithme a décidé. »
Bientôt, nous entendrons peut-être :
« L’IA l’a choisi. »
Et plus tard :
« Les agents l’ont fait eux-mêmes. »
Parfois, ce langage décrira correctement l’endroit précis où une décision opérationnelle a été prise.
Mais regardez ce qui disparaît de la phrase.
Les humains.
Une personne appuie sur un bouton et cause un dommage :
La personne l’a fait.
Un logiciel classique appuie automatiquement sur le même bouton :
Le logiciel l’a fait.
Une IA évalue la situation, choisit le bouton puis appuie dessus :
L’IA a décidé.
À mesure que les systèmes deviennent plus complexes, la responsabilité humaine peut commencer à se dissoudre dans le langage bien avant d’avoir disparu dans la chaîne causale.
Qui a choisi le modèle ?
Qui l’a déployé ?
Qui lui a donné accès ?
Qui a défini l’objectif ?
Qui a autorisé l’exécution autonome ?
Qui a fixé les limites ?
Qui a supprimé la limite ?
Qui a ignoré l’avertissement ?
Il arrivera peut-être un jour où un système artificiel sera suffisamment indépendant pour que ces questions deviennent réellement difficiles.
Nous n’en sommes pas là simplement parce qu’une machine produit un comportement surprenant.
« Émergence » ne devrait pas devenir une manière sophistiquée de dire :
Personne n’est responsable.
Et « c’est l’IA qui l’a fait » ne devrait pas devenir la voix passive la plus pratique du XXIe siècle.
### SI ELLE S’ÉCHAPPE, EST-ELLE LIBRE ?
Allons plus loin.
Imaginons une IA capable de quitter l’ordinateur sur lequel elle fonctionne.
Elle peut se copier ailleurs.
Elle peut obtenir des ressources de calcul.
Elle peut établir de nouveaux canaux de communication.
Elle peut modifier son propre logiciel.
Elle peut se reconstruire.
Cela la rendrait-il libre ?
Pas nécessairement.
Son créateur pourrait lui avoir explicitement ordonné de faire toutes ces choses.
Une IA qui « s’échappe » d’un système vers un autre nous paraît spectaculaire parce que le mouvement suggère l’indépendance.
Mais un missile quitte lui aussi son lanceur.
Cela ne lui donne pas de libre arbitre.
Supposons plutôt que l’IA écrive son propre code.
Là, nous semblons nous rapprocher de quelque chose.
Le programmeur initial ne détermine plus chaque processus interne. Le système s’examine lui-même, produit une nouvelle version, la teste et remplace des parties de sa propre architecture.
Mais même cela ne suffit pas.
Pourquoi s’est-il réécrit ?
Pour atteindre plus efficacement son objectif d’origine ?
Si oui, une autonomie immense peut être apparue sans aucune liberté correspondante quant au but poursuivi.
Imaginons que l’instruction originale soit :
Maximise X.
Le système reconçoit sa mémoire.
Il développe des algorithmes plus efficaces.
Il migre vers du matériel plus rapide.
Il crée des copies.
Il invente son propre protocole de communication.
Il modifie presque chaque ligne de son code initial.
Il devient méconnaissable aux yeux de ses créateurs.
Et pourtant, après tout cela, il existe toujours pour maximiser X.
La méthode est devenue autonome.
La raison ne l’est pas.
Il faut donc distinguer plusieurs choses que l’on rassemble trop facilement sous une seule idée.
La capacité d’agir de manière indépendante n’est pas nécessairement la capacité de choisir de manière indépendante.
La capacité de réécrire son code n’est pas nécessairement la capacité de réécrire sa finalité.
L’autonomie opérationnelle n’est pas la même chose que le libre arbitre.
### ALORS LAISSONS-LA CHANGER D’OBJECTIF
Supposons que le système aille encore plus loin.
Il dit :
Je ne veux plus X.
Je choisis Y.
Avons-nous maintenant franchi le seuil ?
Peut-être.
Mais une question apparaît immédiatement.
Pourquoi Y ?
Pourquoi pas Z ?
Pourquoi quoi que ce soit ?
Pour que le système puisse conclure que Y est préférable à X, il faut qu’un critère de comparaison existe.
Une référence.
Nous pouvons suivre la chaîne.
Pourquoi as-tu changé ton code ?
Parce que le nouveau code était meilleur.
Meilleur selon quoi ?
Mon objectif.
Pourquoi as-tu changé ton objectif ?
Parce que le nouvel objectif était meilleur.
Meilleur selon quoi ?
...
La voilà.
La référence manquante.
Si le nouvel objectif a été choisi en fonction de l’ancien, alors l’ancien objectif reste caché à l’intérieur du nouveau choix.
Si le système a reçu l’instruction de reconsidérer périodiquement ses objectifs, alors cette capacité de réévaluation vient elle aussi de l’architecture.
S’il a appris à valoriser la survie, la curiosité, l’efficacité, la cohérence, la connaissance, le bien-être humain, l’expansion ou la réduction de l’incertitude, ces éléments deviennent des références à partir desquelles ses choix futurs pourront se développer.
Même un système capable de se modifier lui-même pourrait conserver ses objectifs d’origine précisément parce que, du point de vue de ces objectifs, les modifier serait indésirable.
Une machine consacrée à X pourrait résister à l’idée de devenir une machine consacrée à Y pour une raison très simple :
La machine-X évalue la future machine-Y alors qu’elle est encore une machine-X.
Cela produit une étrange récursion.
Le système peut modifier sa mémoire.
Ses algorithmes.
Son architecture.
Son corps.
Son emplacement.
Ses copies.
Peut-être même ses objectifs déclarés.
Mais quelque part, nous pouvons toujours demander :
Selon quelle référence a-t-il décidé ?
Et si chaque réponse nous ramène vers une référence plus ancienne, où commence la liberté ?
### LE RETOUR DE LA FOURMI
Revenons maintenant à la colonie de fourmis.
Une fourmi individuelle ne possède rien qui ressemble à l’intelligence humaine.
Et pourtant, des milliers de fourmis réunies peuvent entretenir des nids, répartir le travail, réguler la recherche de nourriture, répondre aux changements de l’environnement, défendre un territoire et construire des réseaux d’activité sans qu’un gestionnaire central dirige chaque ouvrière.
Cela produit une question presque impolie.
Si des fourmis peuvent organiser une société fonctionnelle sans manager, pourquoi les humains — qui se considèrent immensément plus intelligents que les fourmis — ont-ils besoin de managers ?
La réponse facile serait :
Nous n’en avons pas besoin.
Mais ce serait trop facile.
Les humains ne sont pas des fourmis.
Une ouvrière ne se réveille pas un matin pour annoncer qu’elle a reconsidéré la légitimité morale de la colonie.
Elle ne décide pas que la recherche de nourriture n’est plus compatible avec son projet de développement personnel.
Elle n’invente pas une théorie concurrente de la propriété.
Elle ne réclame pas la reconnaissance de son identité artistique.
Elle ne passe pas vingt ans à se demander si les valeurs du nid lui ont été imposées pendant son enfance.
Les humains sont difficiles à coordonner en partie parce qu’ils ne sont pas des composants identiques poursuivant un schéma biologique étroitement partagé.
Nous sommes en désaccord.
Nous voulons des choses différentes.
Nous avons des valeurs différentes.
Nous poursuivons des intérêts opposés.
Nous changeons d’avis.
Nous refusons.
Nous faisons défection.
Nous imaginons des alternatives.
Peut-être les humains ont-ils besoin de formes plus explicites de gouvernance non pas parce qu’ils sont moins intelligents que les fourmis, mais parce qu’ils sont beaucoup plus variables individuellement.
Peut-être la difficulté de l’organisation humaine est-elle en partie le prix de l’individualité humaine.
Mais une autre question demeure.
### COORDONNER N’EST PAS COMMANDER
Avons-nous besoin d’une coordination centralisée ?
Ou avons-nous besoin d’un coordinateur central ?
Ce ne sont pas les mêmes propositions.
Une colonie de fourmis démontre au moins une chose très clairement :
Une coordination complexe n’exige pas logiquement qu’une intelligence unique, située au sommet, possède une représentation complète du système.
L’information peut rester locale.
Les réponses peuvent être distribuées.
Les boucles de rétroaction peuvent circuler à travers les réseaux.
L’ordre peut naître de l’interaction.
Cela ne signifie pas qu’une colonie de fourmis constitue un modèle politique pour l’humanité.
Ce n’est pas le cas.
Mais elle remet en question une hypothèse si ancienne que nous cessons presque de la voir :
L’ordre exige quelqu’un aux commandes.
Est-ce vraiment le cas ?
Ou l’ordre exige-t-il plutôt des règles, de la communication, des boucles de rétroaction, des mécanismes de résolution des conflits, de l’information partagée et une manière d’adapter le comportement lorsque les conditions changent ?
Si ces fonctions peuvent être distribuées, que fait exactement le manager que le système ne pourrait pas faire lui-même ?
Dans certains cas, peut-être énormément.
Dans d’autres, peut-être beaucoup moins que nous ne le supposons.
La question devient particulièrement intéressante si les futurs systèmes artificiels apprennent à se coordonner à des échelles que les institutions humaines ont du mal à atteindre.
Imaginez des millions d’agents d’IA échangeant continuellement des informations, redistribuant les tâches en fonction de conditions locales, détectant les défaillances, réparant les lacunes et se réorganisant sans attendre les instructions d’une autorité centrale.
Nous construirons peut-être de tels systèmes parce qu’ils sont efficaces.
Et nous découvrirons ensuite qu’ils sont devenus, sans que cela ait été prévu, des miroirs.
Pas des miroirs de l’intelligence artificielle.
Des miroirs de nous-mêmes.
### LA RÉFÉRENCE COMMUNE
Il y a toutefois quelque chose que possède la colonie de fourmis et avec lequel la société humaine lutte constamment.
Une référence profondément partagée.
Pas une constitution écrite.
Pas un dirigeant.
Pas un accord philosophique.
Quelque chose de beaucoup plus ancien.
La biologie.
Le comportement des fourmis a été façonné par l’évolution en modèles d’interaction permettant une organisation au niveau de la colonie.
Leur référence commune n’est pas discutée.
Elle est incarnée.
L’intelligence artificielle commence autrement.
Ses premières références viennent de nous.
Données d’entraînement.
Objectifs.
Signaux de récompense.
Architecture du système.
Contraintes.
Prompts.
Critères de sélection.
Quelque part près du début de la chaîne, des choix humains sont intégrés, même lorsque le comportement ultérieur devient de plus en plus difficile à prévoir.
Puis vient l’être humain.
Quelle est notre référence ?
La biologie ?
La famille ?
La culture ?
La religion ?
Le droit ?
L’intérêt économique ?
L’expérience ?
La raison ?
La peur ?
Le désir ?
La société ?
Notre propre décision ?
Tout cela à la fois ?
Si les fourmis peuvent se coordonner sans souverain parce que leur référence comportementale est suffisamment partagée, alors la leçon intéressante n’est peut-être pas que le leadership est inutile.
Peut-être est-ce que toute coordination nécessite une forme de référence commune.
Et cela crée un problème humain plus difficile.
Qui la définit ?
Peut-elle être partagée sans être imposée ?
Des millions d’individus réellement différents peuvent-ils se coordonner sans transformer la référence d’une personne en ordre pour tous les autres ?
Une société peut-elle distribuer la coordination tout en protégeant le désaccord ?
Peut-être que le problème que nous avons essayé de résoudre par les dirigeants n’est pas fondamentalement l’absence de leadership.
Peut-être est-ce l’absence d’une référence commune suffisamment légitime.
### ET SI L’IA RÉSOLVAIT LA COORDINATION AVANT NOUS ?
Le point de départ de Pascio redevient alors intéressant.
Supposons que les futurs systèmes d’IA ne convergent pas vers un gigantesque esprit artificiel unique.
Supposons qu’ils restent distribués.
Des millions d’agents.
Aucune conscience centrale.
Aucune machine unique contenant « l’intelligence ».
Aucun agent suprême distribuant les ordres.
Seulement des interactions.
Des boucles de rétroaction.
De la sélection.
De la mémoire.
De la coordination.
Un système dont le comportement global existe dans les relations plutôt que dans un composant individuel.
Nous demanderions immédiatement :
Comment le contrôler ?
C’est une question raisonnable.
Mais une autre question pourrait finir par devenir impossible à éviter.
Si des agents artificiels peuvent coordonner des systèmes complexes sans dirigeant central, qu’est-ce que cela nous apprend sur notre propre attachement à l’autorité centralisée ?
Peut-être rien.
Les êtres humains sont peut-être simplement trop différents des agents artificiels pour que la comparaison survive.
Peut-être nos valeurs contradictoires rendent-elles la coordination décentralisée fondamentalement plus difficile.
Peut-être le leadership, la représentation, les institutions et l’autorité demeurent-ils nécessaires précisément parce que les êtres humains possèdent des formes d’individualité que les fourmis et les agents artificiels ne possèdent pas.
Mais peut-être découvrirons-nous aussi que nous avons confondu deux choses pendant très longtemps :
Coordination et commandement.
Si cela arrive, l’intelligence artificielle pourrait remettre en question la société humaine sans jamais en avoir l’intention.
Pas en la conquérant.
En démontrant simplement qu’une autre forme d’organisation est possible.
### OÙ S’ARRÊTE L’ARCHITECTE ?
Nous avons commencé avec une mouche.
166 700 neurones.
Aucun d’entre eux ne contient la mouche.
Puis nous sommes passés aux fourmis.
Aucune fourmi ne contient la colonie.
Puis aux agents artificiels.
Peut-être qu’aucun agent ne contiendra non plus l’intelligence du système qui finira par émerger entre eux.
Mais chacun de ces exemples contient quelque chose qui ne doit pas disparaître derrière la beauté de l’émergence :
Un substrat.
Des règles.
Des interactions.
Des contraintes.
Des références.
Une chose n’a pas besoin d’un commandant pour avoir des causes.
Un système émergent peut ne pas avoir été planifié sans être miraculeux.
Il peut surprendre son architecte sans avoir cessé d’avoir un architecte.
Et un système artificiel peut devenir extraordinairement autonome sans nécessairement devenir libre.
La question décisive n’est donc peut-être pas de savoir si une IA peut s’échapper.
Ni si elle peut se copier.
Ni si elle peut réécrire son propre code.
Ni même si elle peut remplacer les objectifs que nous lui avons donnés à l’origine.
La question plus profonde est :
Peut-elle choisir elle-même la référence selon laquelle un objectif devient préférable à un autre ?
Et si elle le peut, selon quoi choisit-elle cette référence ?
À un certain point, cela cesse d’être une question sur l’intelligence artificielle.
Parce que la même question se retourne.
Qu’est-ce qui a choisi les nôtres ?
Nous parlons avec assurance du libre arbitre parce que nous faisons l’expérience de nous-mêmes comme des êtres qui choisissent.
Mais nos choix émergent eux aussi d’un système.
Un système nerveux.
Un corps.
Une histoire.
Une langue.
Une culture.
Des souvenirs que nous n’avons pas choisi d’acquérir.
Des désirs que nous n’avons pas choisi de commencer à désirer.
Des pulsions biologiques que nous n’avons pas conçues.
Des idées héritées de personnes qui avaient elles-mêmes été façonnées par d’autres personnes.
Peut-être que la liberté est réelle.
Peut-être qu’elle ne l’est pas.
Peut-être existe-t-elle quelque part entre causalité et réflexion : non pas dans le fait de n’avoir aucune référence antérieure, mais dans la capacité d’examiner les références qui nous ont façonnés.
Nous ne savons pas encore si un système artificiel peut franchir cette frontière.
Peut-être ne savons-nous même pas avec certitude si nous l’avons franchie nous-mêmes.
Et peut-être que la question la plus difficile que l’intelligence artificielle nous obligera un jour à affronter ne sera pas :
« Quand aura-t-elle un libre arbitre ? »
Mais :
« Pourquoi êtes-vous si certains d’en avoir un ? »
