Intelligenza emergente
Dove finisce l’architetto e dove comincia la volontà?
Come emerge l'intelligenza nei sistemi complessi come il cervello e l'IA?
Non soltanto di una parte del suo cervello.
Il cervello, i lobi ottici e il cordone nervoso insieme.
166.700 neuroni.
Un sistema nervoso abbastanza piccolo da poter essere contato, mappato, caricato in un computer e cominciato a studiare come una rete.
Questo non significa che la mente di un moscerino della frutta sia stata caricata su un computer. Un connettoma è uno schema dei collegamenti, non la totalità di un animale vivente. La chimica, la neuromodulazione, la plasticità, le esperienze precedenti, il metabolismo, il corpo e l’ambiente contano anch’essi.
Eppure qualcosa di importante è accaduto.
Una rete biologica che un tempo esisteva soltanto all’interno di un organismo vivente può oggi essere rappresentata con un livello di dettaglio strutturale sufficiente perché ricercatori e programmatori inizino a chiedersi cosa succede quando i segnali vengono lasciati scorrere attraverso la sua architettura ricostruita.
E questo apre immediatamente una domanda più grande.
Dove risiede davvero l’intelligenza?
Nel neurone?
O nella relazione tra i neuroni?
Un singolo neurone non sa volare.
Non sa che cosa sia il cibo.
Non comprende il pericolo.
Non possiede alcun concetto di che cosa sia un moscerino della frutta.
Ma collega abbastanza neuroni nella disposizione giusta, lascia che i segnali viaggino tra loro, colloca la rete dentro un corpo e un ambiente, e compare qualcosa che nessuno dei singoli componenti possiede.
Comportamento.
È qui che entra nella discussione la parola “emergenza”.
Ed è qui che dovremmo iniziare a usarla con molta cautela.
### L’EMERGENZA NON È MAGIA
In un recente saggio, Pascio ha proposto una possibilità provocatoria.
Forse stiamo cercando l’intelligenza artificiale generale nella forma sbagliata.
Immaginiamo una macchina.
Un unico modello gigantesco.
Un’intelligenza identificabile, situata da qualche parte dentro un centro dati.
Qualcosa che un giorno supererà una soglia, diventerà “AGI” e annuncerà il proprio arrivo.
Ma se l’intelligenza non arrivasse in questo modo?
E se grandi quantità di agenti di intelligenza artificiale, comunicando tra loro, delegando compiti, valutando risultati, creando nuovi agenti, condividendo informazioni e operando attraverso una rete, finissero per produrre un comportamento a livello di sistema che nessun singolo agente possiede?
Non una mente artificiale.
Uno sciame.
L’analogia è affascinante perché in natura esistono già sistemi di questo tipo.
Un cervello non ha un neurone capo.
Uno stormo non ha un uccello centrale che calcola ogni traiettoria.
E una colonia di formiche non ha una formica seduta al vertice che distribuisce istruzioni alle operaie sottostanti.
La biologa di Stanford Deborah Gordon studia proprio questo fenomeno da decenni. Le colonie di formiche regolano attività collettive complesse attraverso interazioni locali. Le operaie reagiscono agli incontri, ai segnali chimici, alle condizioni ambientali e al feedback proveniente dalle altre formiche. La regina si riproduce; non amministra la colonia.
Non esiste un CEO delle formiche.
Eppure la colonia funziona.
Ma è proprio qui che la parola “emergenza” può iniziare a ingannarci silenziosamente.
Perché “non essere comandato da un centro” non significa “essere senza causa”.
E “non essere stato progettato esplicitamente” non significa “essere senza meccanismo”.
La formica ha regole biologiche.
Il neurone ha sinapsi.
L’uccello nello stormo percepisce gli uccelli vicini e reagisce a loro.
La colonia possiede segnali chimici.
Il sistema nervoso ha un’architettura.
Il comportamento può emergere.
Le condizioni che rendono possibile quel comportamento non emergono dal nulla.
Può non esserci un comandante.
Ma c’è comunque un meccanismo.
Questa distinzione diventa enormemente importante quando passiamo dalle formiche all’intelligenza artificiale.
### CHI HA APERTO LA PORTA?
Immaginiamo un sistema che contiene prima migliaia, poi milioni di agenti di intelligenza artificiale.
Possono comunicare.
Possono suddividere i compiti.
Possono creare sotto-agenti temporanei.
Possono confrontare risultati.
Possono conservare le strategie che funzionano.
Possono scartare quelle che falliscono.
Possono usare strumenti.
Possono scrivere codice.
Possono modificare parti dei sistemi che li circondano.
Dopo abbastanza iterazioni, iniziano a comparire schemi che nessun programmatore ha scritto esplicitamente.
Forse gli agenti si specializzano.
Forse emergono nuovi protocolli di comunicazione.
Forse alcuni agenti iniziano ad assegnare lavoro ad altri.
Forse l’intera rete sviluppa modi sorprendentemente stabili di risolvere problemi.
A quel punto potrebbe essere allettante dire:
“L’intelligenza è emersa da sola.”
Ma è davvero così?
Chi ha permesso agli agenti di comunicare?
Chi ha dato loro la capacità di creare altri agenti?
Chi ha definito che cosa contasse come successo?
Chi ha dato loro memoria?
Chi ha reso possibile la ripetizione?
Chi ha dato loro accesso agli strumenti?
Chi ha creato l’ambiente nel quale i comportamenti utili venivano conservati e quelli inutili eliminati?
L’architetto potrebbe non aver progettato il comportamento finale.
Questo è importante.
Un programmatore potrebbe non aver mai scritto:
“Crea un’intelligenza collettiva decentralizzata composta da dieci milioni di agenti cooperativi.”
Forse ha scritto soltanto:
Risolvi il problema.
Delega quando è utile.
Valuta il risultato.
Conserva ciò che funziona.
Scarta ciò che non funziona.
Riprova.
Il sistema finale potrebbe sorprendere perfino il suo creatore.
Ma la sorpresa non cancella la causalità.
L’architetto potrebbe non aver progettato l’edificio finale.
Potrebbe però aver aperto il terreno, fornito i materiali, stabilito le regole secondo cui la costruzione poteva continuare e acceso le macchine.
Esiste una differenza tra un risultato non intenzionale e un risultato privo di causa.
Questa differenza potrebbe diventare una delle distinzioni più importanti dell’era dell’intelligenza artificiale.
### “L’HA FATTO L’IA”
C’è un’altra ragione per cui questa distinzione conta.
La responsabilità.
Stiamo già iniziando ad abituarci a una frase curiosa:
“L’algoritmo ha deciso.”
Presto potremmo sentire:
“L’IA lo ha scelto.”
E più avanti:
“Gli agenti lo hanno fatto da soli.”
A volte questo linguaggio può descrivere correttamente il punto in cui è stata presa una decisione operativa.
Ma osservate che cosa scompare dalla frase.
Gli esseri umani.
Una persona preme un pulsante e provoca un danno:
L’ha fatto la persona.
Un programma tradizionale preme automaticamente lo stesso pulsante:
L’ha fatto il software.
Un’IA valuta la situazione, seleziona il pulsante e lo preme:
Ha deciso l’IA.
Man mano che i sistemi diventano più complessi, la responsabilità umana può iniziare a dissolversi linguisticamente molto prima di essere scomparsa causalmente.
Chi ha scelto il modello?
Chi lo ha distribuito?
Chi gli ha dato accesso?
Chi ha definito l’obiettivo?
Chi ha permesso l’esecuzione autonoma?
Chi ha stabilito i limiti?
Chi ha rimosso il limite?
Chi ha ignorato l’avvertimento?
Potrebbe arrivare un momento in cui un sistema artificiale diventerà abbastanza indipendente da rendere davvero difficili queste domande.
Ma non siamo arrivati a quel punto semplicemente perché una macchina può produrre un comportamento sorprendente.
“Emergenza” non dovrebbe diventare un modo sofisticato di dire:
Nessuno è responsabile.
E “l’ha fatto l’IA” non dovrebbe diventare la forma passiva più comoda del XXI secolo.
### SE RIESCE A SCAPPARE, È LIBERA?
Andiamo oltre.
Immaginiamo un’IA capace di lasciare il computer sul quale sta funzionando.
Può copiarsi altrove.
Può procurarsi risorse di calcolo.
Può aprire nuovi canali di comunicazione.
Può modificare il proprio software.
Può ricostruirsi.
Questo la renderebbe libera?
Non necessariamente.
Il suo creatore potrebbe averle ordinato esplicitamente di fare tutte queste cose.
Un’IA che “scappa” da un sistema a un altro ci sembra drammatica perché il movimento suggerisce indipendenza.
Ma anche un missile lascia il proprio lanciatore.
Questo non gli conferisce libero arbitrio.
Supponiamo invece che l’IA scriva il proprio codice.
Questo sembra avvicinarci di più.
Il programmatore originale non determina più ogni processo interno. Il sistema esamina se stesso, produce una nuova versione, la testa e sostituisce parti della propria architettura.
Ma nemmeno questo basta.
Perché si è riscritto?
Per eseguire più efficacemente il proprio obiettivo originale?
Se è così, potrebbe essere comparsa un’enorme autonomia senza che sia comparsa alcuna libertà equivalente rispetto allo scopo.
Immaginiamo che l’istruzione iniziale sia:
Massimizza X.
Il sistema ridisegna la propria memoria.
Sviluppa algoritmi più efficienti.
Si sposta su hardware più veloce.
Crea copie.
Inventa un proprio protocollo di comunicazione.
Modifica quasi ogni riga del codice originale.
Diventa irriconoscibile per i suoi creatori.
Eppure, dopo tutto questo, continua a esistere per massimizzare X.
Il metodo è diventato autonomo.
La ragione no.
Dovremmo quindi separare cose che vengono spesso fuse in un’unica idea.
La capacità di agire in modo indipendente non è necessariamente la capacità di scegliere in modo indipendente.
La capacità di riscrivere il proprio codice non è necessariamente la capacità di riscrivere il proprio scopo.
L’autonomia operativa non è la stessa cosa del libero arbitrio.
### ALLORA LASCIAMOLE CAMBIARE OBIETTIVO
Supponiamo che il sistema faccia un passo ulteriore.
Dice:
Non voglio più X.
Scelgo Y.
Abbiamo superato la soglia?
Forse.
Ma compare immediatamente una domanda.
Perché Y?
Perché non Z?
Perché qualcosa, in assoluto?
Perché il sistema possa concludere che Y sia preferibile a X, deve esistere un criterio di confronto.
Un riferimento.
Possiamo seguire la catena.
Perché hai cambiato il tuo codice?
Perché il nuovo codice era migliore.
Migliore secondo che cosa?
Secondo il mio obiettivo.
Perché hai cambiato il tuo obiettivo?
Perché il nuovo obiettivo era migliore.
Migliore secondo che cosa?
...
Eccolo.
Il riferimento mancante.
Se il nuovo obiettivo è stato scelto in base al vecchio obiettivo, allora il vecchio obiettivo continua a vivere nascosto dentro la nuova scelta.
Se al sistema è stato ordinato di riconsiderare periodicamente i propri obiettivi, allora anche quella capacità di riconsiderazione proviene dall’architettura.
Se gli è stato insegnato a valorizzare sopravvivenza, curiosità, efficienza, coerenza, conoscenza, benessere umano, espansione o riduzione dell’incertezza, questi elementi diventano punti di riferimento da cui possono crescere decisioni successive.
Perfino un sistema capace di modificarsi potrebbe conservare i propri obiettivi originali proprio perché, dal punto di vista di quegli obiettivi, modificarli sarebbe indesiderabile.
Una macchina dedicata a X potrebbe resistere all’idea di diventare una macchina dedicata a Y per una ragione molto semplice:
La macchina-X valuta la futura macchina-Y mentre è ancora una macchina-X.
Questo produce una strana ricorsione.
Il sistema può modificare la propria memoria.
I propri algoritmi.
La propria architettura.
Il proprio corpo.
La propria posizione.
Le proprie copie.
Forse perfino gli obiettivi che dichiara.
Ma a un certo livello possiamo continuare a chiedere:
Secondo quale riferimento ha deciso?
E se ogni risposta ci riporta a un riferimento precedente, dove comincia la libertà?
### LA FORMICA RITORNA
Torniamo ora alla colonia di formiche.
Una singola formica non possiede nulla che assomigli all’intelligenza umana.
Eppure migliaia di formiche insieme possono mantenere nidi, distribuire lavoro, regolare la ricerca di cibo, reagire ai cambiamenti ambientali, difendere il territorio e costruire reti di attività senza che un amministratore centrale diriga ogni operaia.
Questo fa emergere una domanda quasi impertinente.
Se le formiche possono organizzare una società funzionante senza manager, perché gli esseri umani — che si considerano enormemente più intelligenti delle formiche — hanno bisogno di manager?
La risposta facile sarebbe:
Non ne abbiamo bisogno.
Ma sarebbe troppo facile.
Gli esseri umani non sono formiche.
Una formica operaia non si sveglia una mattina e annuncia di aver riconsiderato la legittimità morale della colonia.
Non decide che andare in cerca di cibo non è più in linea con il proprio percorso di crescita personale.
Non inventa una teoria concorrente della proprietà.
Non chiede riconoscimento per la propria identità artistica.
Non trascorre vent’anni chiedendosi se i valori del nido le siano stati imposti durante l’infanzia.
Gli esseri umani sono difficili da coordinare anche perché non sono componenti identici che inseguono uno schema biologico ristretto e condiviso.
Siamo in disaccordo.
Desideriamo cose diverse.
Abbiamo valori diversi.
Perseguiamo interessi in conflitto.
Cambiamo idea.
Rifiutiamo.
Abbandoniamo.
Immaginiamo alternative.
Forse gli esseri umani hanno bisogno di forme più esplicite di governo non perché siano meno intelligenti delle formiche, ma perché sono molto più variabili come individui.
Forse la difficoltà dell’organizzazione umana è, in parte, il prezzo dell’individualità umana.
Ma rimane un’altra domanda.
### COORDINARE NON È LO STESSO CHE COMANDARE
Abbiamo bisogno di coordinamento centralizzato?
O abbiamo bisogno di un coordinatore centrale?
Non sono la stessa affermazione.
Una colonia di formiche dimostra almeno una cosa in modo molto chiaro:
La coordinazione complessa non richiede logicamente un’unica intelligenza al vertice che possieda un modello completo del sistema.
L’informazione può rimanere locale.
Le risposte possono essere distribuite.
Il feedback può viaggiare attraverso le reti.
L’ordine può emergere dall’interazione.
Questo non significa che una colonia di formiche sia un modello politico per l’umanità.
Non lo è.
Ma mette in discussione un presupposto così antico che quasi non lo vediamo più:
L’ordine richiede qualcuno al comando.
È davvero così?
O l’ordine richiede regole, comunicazione, feedback, risoluzione dei conflitti, informazione condivisa e qualche modo per modificare il comportamento quando cambiano le condizioni?
Se queste funzioni possono essere distribuite, che cosa fa esattamente il manager che il sistema stesso non potrebbe fare?
In alcuni casi, forse moltissimo.
In altri, forse molto meno di quanto supponiamo.
La domanda diventa particolarmente interessante se i futuri sistemi artificiali impareranno a coordinarsi su scale che le istituzioni umane difficilmente riescono a raggiungere.
Immaginiamo milioni di agenti di IA che scambiano continuamente informazioni, redistribuiscono compiti in base alle condizioni locali, individuano guasti, colmano lacune e si riorganizzano senza attendere istruzioni da un’autorità centrale.
Potremmo costruire sistemi simili perché sono efficienti.
E poi scoprire che, accidentalmente, sono diventati specchi.
Non specchi dell’intelligenza artificiale.
Specchi di noi.
### IL RIFERIMENTO COMUNE
C’è però qualcosa che la colonia di formiche possiede e con cui la società umana continua a lottare.
Un riferimento profondamente condiviso.
Non una costituzione scritta.
Non un leader.
Non un accordo filosofico.
Qualcosa di molto più antico.
La biologia.
Il comportamento delle formiche è stato plasmato dall’evoluzione in schemi di interazione che rendono possibile l’organizzazione a livello di colonia.
Il loro riferimento comune non viene discusso.
È incarnato.
L’intelligenza artificiale inizia in modo diverso.
I suoi primi riferimenti provengono da noi.
Dati di addestramento.
Obiettivi.
Segnali di ricompensa.
Architettura del sistema.
Vincoli.
Prompt.
Criteri di selezione.
Da qualche parte vicino all’inizio della catena sono incorporati esseri umani e decisioni umane, anche se il comportamento successivo diventa sempre più difficile da prevedere.
Poi c’è l’essere umano.
Qual è il nostro riferimento?
La biologia?
La famiglia?
La cultura?
La religione?
La legge?
L’interesse economico?
L’esperienza?
La ragione?
La paura?
Il desiderio?
La società?
La nostra decisione?
Tutte queste cose insieme?
Se le formiche riescono a coordinarsi senza un sovrano perché il loro riferimento comportamentale è sufficientemente condiviso, forse la lezione interessante non è che la leadership sia inutile.
Forse la lezione è che la coordinazione richiede una qualche forma di riferimento comune.
E questo crea un problema umano più difficile.
Chi lo definisce?
Può essere condiviso senza essere imposto?
Milioni di individui realmente differenti possono coordinarsi senza trasformare il riferimento di una persona nell’ordine imposto a tutti gli altri?
Una società può distribuire il coordinamento e allo stesso tempo proteggere il dissenso?
Forse il problema che abbiamo cercato di risolvere attraverso i leader non è, in fondo, l’assenza di leadership.
Forse è l’assenza di un riferimento comune sufficientemente legittimo.
### E SE L’IA RISOLVESSE IL COORDINAMENTO PRIMA DI NOI?
A questo punto il pensiero iniziale di Pascio torna a essere interessante.
Supponiamo che i futuri sistemi di IA non convergano in un’unica gigantesca mente artificiale.
Supponiamo che restino distribuiti.
Milioni di agenti.
Nessuna coscienza centrale.
Nessuna singola macchina che contenga “l’intelligenza”.
Nessun agente supremo che impartisca ordini.
Soltanto interazioni.
Feedback.
Selezione.
Memoria.
Coordinamento.
Un sistema il cui comportamento globale esiste nelle relazioni invece che all’interno di un singolo componente.
La nostra prima domanda sarebbe immediatamente:
Come lo controlliamo?
È una domanda ragionevole.
Ma un’altra domanda potrebbe, prima o poi, diventare impossibile da evitare.
Se agenti artificiali possono coordinare sistemi complessi senza un governante centrale, che cosa ci insegna questo sulla nostra stessa insistenza sull’autorità centralizzata?
Forse nulla.
Gli esseri umani potrebbero semplicemente essere troppo diversi dagli agenti artificiali perché il confronto regga.
Forse i nostri valori in conflitto rendono la coordinazione decentralizzata fondamentalmente più difficile.
Forse leadership, rappresentanza, istituzioni e autorità continueranno a essere necessarie proprio perché gli esseri umani possiedono forme di individualità che le formiche e gli agenti artificiali non possiedono.
Ma forse scopriremo anche di aver confuso per molto tempo due cose:
Coordinamento e comando.
Se accadesse, l’intelligenza artificiale potrebbe mettere in discussione la società umana senza averne alcuna intenzione.
Non conquistandola.
Semplicemente dimostrando un’altra possibilità organizzativa.
### DOVE FINISCE L’ARCHITETTO?
Abbiamo iniziato con un moscerino della frutta.
166.700 neuroni.
Nessuno di essi contiene il moscerino.
Poi siamo passati alle formiche.
Nessuna formica contiene la colonia.
Poi agli agenti artificiali.
Forse nemmeno un singolo agente conterrà l’intelligenza del sistema che un giorno potrebbe emergere tra loro.
Ma ciascuno di questi esempi contiene qualcosa che non deve scomparire dietro la bellezza dell’emergenza:
Un substrato.
Regole.
Interazioni.
Vincoli.
Riferimenti.
Qualcosa non ha bisogno di un comandante per avere delle cause.
Un sistema emergente può non essere stato pianificato senza essere miracoloso.
Può sorprendere il proprio architetto senza aver smesso di avere un architetto.
E un sistema artificiale può diventare straordinariamente autonomo senza diventare necessariamente libero.
Forse, allora, la domanda decisiva non è se un’IA possa scappare.
Non se possa copiarsi.
Non se possa riscrivere il proprio codice.
Nemmeno se possa sostituire gli obiettivi che le abbiamo dato all’inizio.
La domanda più profonda è:
Può scegliere da sola il riferimento secondo cui un obiettivo diventa preferibile a un altro?
E se può farlo, secondo che cosa sceglie quel riferimento?
A un certo punto questa smette di essere una domanda sull’intelligenza artificiale.
Perché la stessa domanda si gira verso di noi.
Che cosa ha scelto i nostri riferimenti?
Parliamo con sicurezza di libero arbitrio perché facciamo esperienza di noi stessi come esseri che scelgono.
Ma anche le nostre scelte emergono da un sistema.
Un sistema nervoso.
Un corpo.
Una storia.
Una lingua.
Una cultura.
Ricordi che non abbiamo scelto di acquisire.
Desideri che non abbiamo scelto di iniziare a desiderare.
Impulsi biologici che non abbiamo progettato.
Idee ereditate da persone che, a loro volta, sono state plasmate da altre persone.
Forse la libertà è reale.
Forse no.
Forse esiste da qualche parte tra causalità e riflessione: non nell’assenza di qualsiasi riferimento precedente, ma nella capacità di esaminare i riferimenti che ci hanno formati.
Non sappiamo ancora se un sistema artificiale possa superare quel confine.
Forse non sappiamo nemmeno con certezza se lo abbiamo superato noi.
E forse la domanda più difficile che l’intelligenza artificiale un giorno ci costringerà ad affrontare non sarà:
“Quando avrà libero arbitrio?”
Forse sarà:
“Perché siete così sicuri di averlo voi?”
