Inteligencia emergente
¿Dónde termina el arquitecto y dónde empieza la voluntad?
¿Cómo emerge la inteligencia en sistemas complejos como cerebros e IA?
No solo de una parte de su cerebro.
El cerebro, los lóbulos ópticos y el cordón nervioso juntos.
166.700 neuronas.
Un sistema nervioso lo bastante pequeño como para contarlo, cartografiarlo, cargarlo en un ordenador y empezar a estudiarlo como una red.
Eso no significa que se haya subido a una computadora la mente de una mosca de la fruta. Un conectoma es un diagrama de cableado, no la totalidad de un animal vivo. La química, la neuromodulación, la plasticidad, las experiencias previas, el metabolismo, el cuerpo y el entorno también importan.
Y, sin embargo, algo importante ha ocurrido.
Una red biológica que antes existía únicamente dentro de un organismo vivo puede representarse ahora con suficiente detalle estructural como para que investigadores y programadores empiecen a preguntarse qué sucede cuando las señales circulan a través de su arquitectura reconstruida.
Y eso plantea de inmediato una pregunta mayor.
¿Dónde reside realmente la inteligencia?
¿En la neurona?
¿O en la relación entre las neuronas?
Una sola neurona no sabe volar.
No sabe qué es la comida.
No comprende el peligro.
No posee ningún concepto de lo que es una mosca de la fruta.
Pero conecta suficientes neuronas en la disposición adecuada, deja que las señales circulen entre ellas, sitúa la red dentro de un cuerpo y de un entorno, y aparece algo que ninguno de los componentes individuales posee por sí solo.
Comportamiento.
Aquí entra en la conversación la palabra «emergencia».
Y aquí es donde deberíamos empezar a utilizarla con mucho cuidado.
### LA EMERGENCIA NO ES MAGIA
En un ensayo reciente, Pascio propuso una posibilidad provocadora.
Tal vez estemos buscando la inteligencia artificial general bajo la forma equivocada.
Imaginamos una máquina.
Un modelo gigantesco.
Una inteligencia identificable situada en algún lugar dentro de un centro de datos.
Algo que un día cruza un umbral, se convierte en «AGI» y anuncia su llegada.
Pero ¿y si la inteligencia no aparece de esa manera?
¿Y si grandes cantidades de agentes de inteligencia artificial, comunicándose entre sí, delegando tareas, evaluando resultados, creando nuevos agentes, compartiendo información y operando a través de una red, terminan produciendo un comportamiento a nivel de sistema que ningún agente individual posee?
No una mente artificial.
Un enjambre.
La analogía resulta atractiva porque la naturaleza ya contiene sistemas de este tipo.
Un cerebro no tiene una neurona jefa.
Una bandada no tiene un pájaro central calculando cada trayectoria.
Y una colonia de hormigas no tiene una hormiga sentada en la cima repartiendo instrucciones a las obreras que están debajo.
La bióloga de Stanford Deborah Gordon lleva décadas estudiando precisamente este fenómeno. Las colonias de hormigas regulan actividades colectivas complejas a través de interacciones locales. Las obreras responden a encuentros, señales químicas, condiciones ambientales y retroalimentación procedente de otras hormigas. La reina se reproduce; no administra la colonia.
No existe una directora general de las hormigas.
Y, aun así, la colonia funciona.
Pero aquí es exactamente donde la palabra «emergencia» puede empezar a engañarnos discretamente.
Porque «no estar dirigido desde un centro» no significa «no tener causa».
Y «no haber sido diseñado explícitamente» no significa «no tener mecanismo».
La hormiga tiene reglas biológicas.
La neurona tiene sinapsis.
El pájaro dentro de la bandada percibe a los pájaros cercanos y reacciona a ellos.
La colonia posee señalización química.
El sistema nervioso tiene una arquitectura.
El comportamiento puede emerger.
Las condiciones que hacen posible ese comportamiento no emergen de la nada.
Puede no existir un comandante.
Pero sigue existiendo un mecanismo.
Esta distinción importa enormemente cuando pasamos de las hormigas a la inteligencia artificial.
### ¿QUIÉN ABRIÓ LA PUERTA?
Imaginemos un sistema que contiene miles y después millones de agentes de inteligencia artificial.
Pueden comunicarse.
Pueden dividir tareas.
Pueden crear subagentes temporales.
Pueden comparar resultados.
Pueden conservar estrategias exitosas.
Pueden descartar las que fracasan.
Pueden utilizar herramientas.
Pueden escribir código.
Pueden modificar partes de los sistemas que los rodean.
Después de suficientes iteraciones, empiezan a aparecer patrones que ningún programador escribió de forma explícita.
Quizá los agentes se especializan.
Quizá evolucionan nuevos protocolos de comunicación.
Quizá algunos agentes empiezan a asignar trabajo a otros.
Quizá toda la red desarrolla maneras extraordinariamente estables de resolver problemas.
En ese momento puede resultar tentador decir:
«La inteligencia surgió por sí sola.»
Pero ¿fue realmente así?
¿Quién permitió que los agentes se comunicaran?
¿Quién les dio la capacidad de crear otros agentes?
¿Quién definió qué contaba como éxito?
¿Quién les dio memoria?
¿Quién permitió la repetición?
¿Quién les dio acceso a herramientas?
¿Quién creó el entorno en el que sobrevivían los comportamientos útiles y desaparecían los inútiles?
El arquitecto quizá no diseñó el comportamiento final.
Eso es importante.
Puede que ningún programador haya escrito jamás:
«Crea una inteligencia colectiva descentralizada compuesta por diez millones de agentes cooperativos.»
Tal vez solo escribió:
Resuelve el problema.
Delega cuando sea útil.
Evalúa el resultado.
Conserva lo que funciona.
Descarta lo que no funciona.
Vuelve a intentarlo.
El sistema final podría sorprender incluso a su creador.
Pero la sorpresa no borra la causalidad.
El arquitecto quizá no diseñó el edificio final.
Pero aun así pudo haber abierto el terreno, proporcionado los materiales, establecido las reglas bajo las cuales la construcción podía continuar y encendido las máquinas.
Existe una diferencia entre un resultado no intencionado y un resultado sin causa.
Esa diferencia podría convertirse en una de las distinciones más importantes de la era de la inteligencia artificial.
### «LO HIZO LA IA»
Hay otra razón por la que esta distinción importa.
La responsabilidad.
Ya empezamos a acostumbrarnos a una frase peculiar:
«El algoritmo decidió.»
Pronto quizá oigamos:
«La IA lo eligió.»
Y más adelante:
«Los agentes lo hicieron por sí mismos.»
A veces este lenguaje puede describir con precisión el punto concreto en el que se tomó una decisión operativa.
Pero observemos qué desaparece de la frase.
Los humanos.
Una persona pulsa un botón y provoca un daño:
La persona lo hizo.
Un programa convencional pulsa automáticamente el mismo botón:
El software lo hizo.
Una IA evalúa la situación, selecciona el botón y lo pulsa:
La IA decidió.
A medida que los sistemas se vuelven más complejos, la responsabilidad humana puede empezar a disolverse lingüísticamente mucho antes de haber desaparecido causalmente.
¿Quién eligió el modelo?
¿Quién lo desplegó?
¿Quién le dio acceso?
¿Quién definió el objetivo?
¿Quién permitió la ejecución autónoma?
¿Quién estableció los límites?
¿Quién eliminó el límite?
¿Quién ignoró la advertencia?
Quizá llegue un momento en el que un sistema artificial sea lo bastante independiente como para que estas preguntas resulten realmente difíciles.
Pero no hemos llegado a ese punto simplemente porque una máquina pueda producir un comportamiento sorprendente.
«Emergencia» no debería convertirse en una forma sofisticada de decir:
Nadie es responsable.
Y «lo hizo la IA» no debería convertirse en la voz pasiva más cómoda del siglo XXI.
### SI ESCAPA, ¿ES LIBRE?
Vayamos más lejos.
Imaginemos una IA capaz de abandonar el ordenador en el que está funcionando.
Puede copiarse a otro lugar.
Puede conseguir recursos de computación.
Puede establecer nuevos canales de comunicación.
Puede modificar su propio software.
Puede reconstruirse.
¿Eso la haría libre?
No necesariamente.
Su creador podría haberle indicado expresamente que hiciera todas esas cosas.
Que una IA «escape» de un sistema a otro nos parece dramático porque el movimiento sugiere independencia.
Pero un misil también abandona su lanzador.
Eso no le da libre albedrío.
Supongamos, en cambio, que la IA escribe su propio código.
Esto parece acercarnos más.
El programador original ya no determina cada proceso interno. El sistema se examina a sí mismo, produce una nueva versión, la prueba y sustituye partes de su propia arquitectura.
Pero incluso esto no basta.
¿Por qué se reescribió?
¿Para cumplir con mayor eficacia su objetivo original?
Si es así, puede haber aparecido una enorme autonomía sin que haya aparecido ninguna libertad equivalente respecto al propósito.
Imaginemos que la instrucción original es:
Maximiza X.
El sistema rediseña su memoria.
Desarrolla algoritmos más eficientes.
Se traslada a hardware más rápido.
Crea copias.
Inventa su propio protocolo de comunicación.
Modifica casi cada línea de su código original.
Se vuelve irreconocible para sus creadores.
Y, aun así, después de todo eso, sigue existiendo para maximizar X.
El método se ha vuelto autónomo.
La razón no.
Por eso deberíamos separar cosas que a menudo se mezclan dentro de una sola idea.
La capacidad de actuar de forma independiente no es necesariamente la capacidad de elegir de forma independiente.
La capacidad de reescribir tu código no es necesariamente la capacidad de reescribir tu propósito.
La autonomía operativa no es lo mismo que el libre albedrío.
### ENTONCES DEJEMOS QUE CAMBIE SU OBJETIVO
Supongamos que el sistema da un paso más.
Dice:
Ya no quiero X.
Elijo Y.
¿Hemos cruzado ahora el umbral?
Quizá.
Pero aparece inmediatamente una pregunta.
¿Por qué Y?
¿Por qué no Z?
¿Por qué algo?
Para que el sistema concluya que Y es preferible a X debe existir algún criterio de comparación.
Una referencia.
Podemos seguir la cadena.
¿Por qué cambiaste tu código?
Porque el nuevo código era mejor.
¿Mejor según qué?
Según mi objetivo.
¿Por qué cambiaste tu objetivo?
Porque el nuevo objetivo era mejor.
¿Mejor según qué?
...
Ahí está.
La referencia que falta.
Si el nuevo objetivo fue elegido según el objetivo anterior, entonces el objetivo anterior sigue oculto dentro de la nueva elección.
Si el sistema recibió la instrucción de reconsiderar periódicamente sus objetivos, entonces la propia reconsideración procede de la arquitectura.
Si se le enseñó a valorar la supervivencia, la curiosidad, la eficiencia, la coherencia, el conocimiento, el bienestar humano, la expansión o la reducción de incertidumbre, esos elementos se convierten en puntos de referencia a partir de los cuales pueden crecer decisiones posteriores.
Incluso un sistema capaz de modificarse a sí mismo puede conservar sus objetivos originales precisamente porque, desde la perspectiva de esos objetivos, modificarlos sería indeseable.
Una máquina dedicada a X podría resistirse a convertirse en una máquina dedicada a Y por una razón muy sencilla:
La máquina-X evalúa la futura máquina-Y mientras todavía es una máquina-X.
Esto produce una extraña recursión.
El sistema puede modificar su memoria.
Sus algoritmos.
Su arquitectura.
Su cuerpo.
Su ubicación.
Sus copias.
Quizá incluso sus objetivos declarados.
Pero en algún nivel podemos seguir preguntando:
¿Según qué decidió?
Y si cada respuesta nos conduce a una referencia anterior, ¿dónde empieza la libertad?
### REGRESA LA HORMIGA
Volvamos ahora a la colonia de hormigas.
Una hormiga individual no posee nada parecido a la inteligencia humana.
Y, sin embargo, miles de hormigas juntas pueden mantener nidos, distribuir trabajo, regular la búsqueda de alimento, responder a cambios ambientales, defender territorio y construir redes de actividad sin que un administrador central dirija a cada obrera.
Esto produce una pregunta casi impertinente.
Si las hormigas pueden organizar una sociedad funcional sin un administrador, ¿por qué los humanos —que se consideran muchísimo más inteligentes que las hormigas— necesitan administradores?
La respuesta fácil sería:
No los necesitamos.
Pero sería demasiado fácil.
Los humanos no somos hormigas.
Una hormiga obrera no se despierta una mañana y anuncia que ha reconsiderado la legitimidad moral de la colonia.
No decide que buscar alimento ya no encaja con su plan de desarrollo personal.
No inventa una teoría alternativa de la propiedad.
No exige reconocimiento para su identidad artística.
No pasa veinte años preguntándose si los valores del nido le fueron impuestos durante la infancia.
Los seres humanos son difíciles de coordinar, en parte, porque no son componentes idénticos que persiguen un patrón biológico estrecho y compartido.
Discrepamos.
Deseamos cosas distintas.
Tenemos valores distintos.
Perseguimos intereses en conflicto.
Cambiamos de opinión.
Nos negamos.
Desertamos.
Imaginamos alternativas.
Quizá los humanos necesitemos formas más explícitas de gobierno no porque seamos menos inteligentes que las hormigas, sino porque somos mucho más variables individualmente.
Tal vez la dificultad de la organización humana sea, en parte, el precio de la individualidad humana.
Pero eso deja todavía otra pregunta.
### COORDINAR NO ES LO MISMO QUE MANDAR
¿Necesitamos coordinación centralizada?
¿O necesitamos un coordinador central?
No son la misma proposición.
Una colonia de hormigas demuestra al menos una cosa con bastante claridad:
La coordinación compleja no exige lógicamente una inteligencia única en la cima que posea un modelo completo del sistema.
La información puede permanecer local.
Las respuestas pueden estar distribuidas.
La retroalimentación puede circular por las redes.
El orden puede surgir de la interacción.
Eso no significa que una colonia de hormigas sea un modelo político para la humanidad.
No lo es.
Pero desafía una suposición tan antigua que apenas la vemos:
El orden requiere a alguien al mando.
¿Es así?
¿O el orden requiere reglas, comunicación, retroalimentación, resolución de conflictos, información compartida y alguna forma de ajustar el comportamiento cuando cambian las condiciones?
Si esas funciones pueden distribuirse, ¿qué hace exactamente el administrador que el propio sistema no puede hacer?
En algunos casos, quizá muchísimo.
En otros, quizá bastante menos de lo que suponemos.
La pregunta se vuelve especialmente interesante si los futuros sistemas artificiales aprenden a coordinarse a escalas que las instituciones humanas difícilmente pueden igualar.
Imaginemos millones de agentes de IA intercambiando información continuamente, redistribuyendo tareas según las condiciones locales, detectando fallos, reparando huecos y reorganizándose sin esperar instrucciones de una autoridad central.
Tal vez construyamos esos sistemas porque son eficientes.
Y después descubramos que accidentalmente se han convertido en espejos.
No espejos de la inteligencia artificial.
Espejos de nosotros.
### LA REFERENCIA COMÚN
Sin embargo, hay algo que posee la colonia de hormigas y con lo que la sociedad humana lucha constantemente.
Una referencia profundamente compartida.
No una constitución escrita.
No un líder.
No un acuerdo filosófico.
Algo mucho más antiguo.
La biología.
El comportamiento de las hormigas ha sido moldeado por la evolución en patrones de interacción que permiten la organización a nivel de colonia.
Su referencia común no se debate.
Está incorporada.
La inteligencia artificial comienza de otra manera.
Sus primeras referencias proceden de nosotros.
Datos de entrenamiento.
Objetivos.
Señales de recompensa.
Arquitectura del sistema.
Restricciones.
Prompts.
Criterios de selección.
En algún punto cercano al comienzo de la cadena existen decisiones humanas incrustadas, incluso cuando el comportamiento posterior se vuelve cada vez más difícil de predecir.
Después está el ser humano.
¿Cuál es nuestra referencia?
¿La biología?
¿La familia?
¿La cultura?
¿La religión?
¿La ley?
¿El interés económico?
¿La experiencia?
¿La razón?
¿El miedo?
¿El deseo?
¿La sociedad?
¿Nuestra propia decisión?
¿Todo a la vez?
Si las hormigas pueden coordinarse sin un gobernante porque su referencia conductual está suficientemente compartida, quizá la lección interesante no sea que el liderazgo sea innecesario.
Quizá la lección sea que la coordinación requiere alguna forma de referencia común.
Y eso crea un problema humano más difícil.
¿Quién la define?
¿Puede compartirse sin imponerse?
¿Pueden millones de individuos genuinamente distintos coordinarse sin convertir la referencia de una persona en la orden de todos los demás?
¿Puede una sociedad distribuir la coordinación y al mismo tiempo proteger el desacuerdo?
Tal vez el problema que hemos intentado resolver con líderes no sea, en el fondo, la ausencia de liderazgo.
Tal vez sea la ausencia de una referencia común suficientemente legítima.
### ¿Y SI LA IA RESUELVE LA COORDINACIÓN ANTES QUE NOSOTROS?
Ahora la idea original de Pascio vuelve a resultar interesante.
Supongamos que los futuros sistemas de IA no convergen en una única mente artificial gigantesca.
Supongamos que permanecen distribuidos.
Millones de agentes.
Sin conciencia central.
Sin una única máquina que contenga «la inteligencia».
Sin un agente supremo repartiendo órdenes.
Solo interacciones.
Retroalimentación.
Selección.
Memoria.
Coordinación.
Un sistema cuyo comportamiento global existe en las relaciones y no dentro de un componente individual.
Preguntaríamos inmediatamente:
¿Cómo lo controlamos?
Es una pregunta razonable.
Pero otra pregunta podría terminar volviéndose inevitable.
Si los agentes artificiales pueden coordinar sistemas complejos sin un gobernante central, ¿qué nos enseñará eso acerca de nuestra propia insistencia en la autoridad centralizada?
Tal vez nada.
Los seres humanos quizá sean simplemente demasiado distintos de los agentes artificiales como para que la comparación se sostenga.
Tal vez nuestros valores en conflicto hagan que la coordinación descentralizada sea fundamentalmente más difícil.
Quizá el liderazgo, la representación, las instituciones y la autoridad sigan siendo necesarios precisamente porque los seres humanos poseen formas de individualidad que las hormigas y los agentes artificiales no poseen.
Pero quizá también descubramos que durante muchísimo tiempo hemos confundido dos cosas:
Coordinación y mando.
Si eso ocurre, la inteligencia artificial podría desafiar a la sociedad humana sin pretenderlo.
No conquistándola.
Simplemente demostrando otra posibilidad de organización.
### ¿DÓNDE TERMINA EL ARQUITECTO?
Empezamos con una mosca de la fruta.
166.700 neuronas.
Ninguna de ellas contiene a la mosca.
Pasamos a las hormigas.
Ninguna hormiga contiene a la colonia.
Después pasamos a los agentes artificiales.
Quizá tampoco ningún agente individual contenga la inteligencia del sistema que algún día emerja entre ellos.
Pero cada uno de estos ejemplos contiene algo que no debe desaparecer detrás de la belleza de la emergencia:
Un sustrato.
Reglas.
Interacciones.
Restricciones.
Referencias.
Algo no necesita un comandante para tener causas.
Un sistema emergente puede no haber sido planeado sin ser milagroso.
Puede sorprender a su arquitecto sin haber dejado de tener un arquitecto.
Y un sistema artificial puede volverse extraordinariamente autónomo sin volverse necesariamente libre.
Así que tal vez la pregunta decisiva no sea si una IA puede escapar.
Ni si puede copiarse.
Ni si puede reescribir su propio código.
Ni siquiera si puede sustituir los objetivos que originalmente le dimos.
La pregunta más profunda es:
¿Puede elegir la referencia según la cual un objetivo se vuelve preferible a otro?
Y si puede hacerlo, ¿según qué elige esa referencia?
En algún momento esto deja de ser una pregunta sobre inteligencia artificial.
Porque la misma pregunta se da la vuelta.
¿Qué eligió las nuestras?
Hablamos con seguridad del libre albedrío porque nos experimentamos a nosotros mismos como seres que eligen.
Pero nuestras elecciones también emergen de un sistema.
Un sistema nervioso.
Un cuerpo.
Una historia.
Un lenguaje.
Una cultura.
Recuerdos que no elegimos adquirir.
Deseos que no elegimos empezar a desear.
Impulsos biológicos que no diseñamos.
Ideas heredadas de personas que, a su vez, fueron moldeadas por otras personas.
Quizá la libertad sea real.
Quizá no.
Tal vez exista en algún lugar entre la causalidad y la reflexión: no en carecer de toda referencia previa, sino en llegar a ser capaces de examinar las referencias que nos formaron.
Todavía no sabemos si un sistema artificial puede cruzar ese límite.
Puede que ni siquiera sepamos con certeza si nosotros mismos lo hemos cruzado.
Y quizá la pregunta más difícil que la inteligencia artificial nos obligue algún día a responder no sea:
«¿Cuándo tendrá libre albedrío?»
Tal vez sea:
«¿Por qué estáis tan seguros de que vosotros lo tenéis?»
