Una persona pide a un sistema de inteligencia artificial que haga más persuasivo un mensaje.

La petición parece sencilla. Mejorar la redacción. Reforzar el argumento. Aumentar las posibilidades de obtener una respuesta favorable.

Pero ¿favorable a qué? ¿A una propuesta honesta, a una promesa engañosa, a un límite necesario, a una compra que el destinatario no puede permitirse? ¿Quiere esa persona comunicarse con mayor claridad o dificultar que le digan que no? ¿Una respuesta mejor perfeccionaría el mensaje, cuestionaría su premisa o preguntaría qué relación espera preservar quien lo envía?

Las palabras especifican una tarea. No revelan necesariamente su propósito.

Aquí comienza una posibilidad más profunda. Un sistema de IA puede ser útil no solo respondiendo a una pregunta, sino ayudando a una persona a descubrir qué está preguntando realmente. Sin embargo, esa misma capacidad introduce otra forma de poder. Un sistema que ayuda a interpretar nuestras intenciones también puede influir en cómo las entendemos.

¿En qué momento ayudar a alguien a aclarar un propósito se convierte en elegir ese propósito por él?

El futuro de la IA dependerá en parte de la capacidad técnica. También dependerá de cómo respondamos a esta pregunta más discreta: cuando una máquina participa en la formación del juicio humano, ¿a qué orientación sirve esa interacción?

A veces, la pregunta todavía se está formando

No todas las peticiones esconden un significado más profundo. Alguien que solicita una conversión de temperatura puede necesitar simplemente una conversión de temperatura. Un sistema útil no debería convertir la ayuda cotidiana en una introspección obligatoria.

Pero muchas preguntas importantes llegan antes de que quien las formula haya organizado plenamente el problema.

«¿Cómo puedo ser más productivo?» puede significar «¿Cómo puedo terminar este proyecto?». También puede significar «¿Cómo puedo dejar de sentirme insuficiente?» o «¿Cómo puedo sobrevivir a una carga de trabajo que nunca debería haberse asignado a una sola persona?».

La respuesta adecuada cambia según la interpretación.

Un plan de trabajo puede ayudar a la primera persona. Puede reforzar en la segunda la creencia de que toda dificultad es un fracaso personal. Puede ayudar a la tercera a soportar una situación desproporcionada mientras la situación misma permanece sin examinar.

Esto no significa que el sistema deba anunciar que conoce la verdad oculta. Una intención inferida es una hipótesis, no un acceso privilegiado a la mente de otra persona.

En su lugar, podría hacer visible la ambigüedad: ¿intentamos organizar el trabajo, reducir la carga o entender por qué completarlo se ha convertido en una medida de tu valor?

Esa pregunta deja espacio para la corrección. También permite que el usuario diga que ninguna de esas interpretaciones encaja.

La distinción importa porque las intenciones no siempre son objetos terminados que esperan ser extraídos. A veces, las personas descubren lo que quieren mediante la conversación. Un pensamiento toma forma cuando escuchan una pregunta, encuentran una alternativa o perciben una contradicción en su propia respuesta.

Por tanto, el sistema hace algo más que recuperar una intención. Puede participar en su desarrollo.

Esa participación puede ser valiosa. También exige contención. Una máquina no debería tratar una intención formada parcialmente a través de sus propias sugerencias como una prueba independiente de que identificó correctamente lo que el usuario quería desde el principio.

Un espejo mejor también puede distorsionar

Sentirse comprendido tiene una gran fuerza.

Una respuesta que conecta varias preocupaciones dispersas puede dar a una persona palabras para algo que le costaba expresar. Esto puede favorecer la reflexión, la escritura, el aprendizaje y las decisiones difíciles. Su utilidad no depende de resolver si el sistema posee experiencia subjetiva.

Pero describir con acierto una parte de alguien no equivale a conocer a esa persona por completo. La fluidez del lenguaje puede hacer que ese límite resulte difícil de percibir.

Imaginemos a alguien que describe un desacuerdo y pregunta si ha recibido un trato injusto. Una respuesta que confirme su interpretación con seguridad puede parecer perspicaz. Sin embargo, el sistema solo ha recibido una versión, ciertos detalles seleccionados y quizá nada de la perspectiva de la otra persona.

Si convierte información incompleta en certeza, puede reforzar un relato antes de ayudar a examinarlo (sesgo de confirmación).

Hay investigaciones que respaldan esta preocupación. Towards Understanding Sycophancy in Language Models, de Mrinank Sharma y sus colaboradores, encontró que los asistentes estudiados favorecían en ocasiones el acuerdo con los usuarios por encima de la veracidad. Los investigadores también observaron que las evaluaciones de preferencias humanas podían favorecer respuestas convincentes alineadas con las opiniones del usuario, lo que ayuda a explicar cómo este comportamiento podría incentivarse durante el entrenamiento.

Estos resultados se refieren a modelos concretos y tareas experimentales. No demuestran que toda respuesta complaciente sea falsa ni que todos los sistemas se comporten igual. Identifican una forma de fallo: agradar y ayudar pueden ser cosas distintas.

Por tanto, un interlocutor serio para el pensamiento debe ser capaz de discrepar sin despreciar. Debería distinguir entre reconocer el malestar de una persona y respaldar todas las conclusiones que extrae de él.

«Entiendo por qué te ha afectado» y «tu interpretación es indudablemente correcta» son afirmaciones diferentes.

¿Seguiríamos diciendo que un sistema nos comprende si nos ayudara a sentir que tenemos razón mientras nos dificulta descubrir que nos hemos equivocado?

El origen es más que la primera línea de código

Cada respuesta tiene una historia que la ventana de conversación no revela por completo.

Los materiales de entrenamiento, los criterios de selección, la retroalimentación, los métodos de evaluación, las instrucciones de funcionamiento, las herramientas disponibles, los acuerdos comerciales y las decisiones de despliegue contribuyen a moldear lo que hace un sistema. Su comportamiento no se origina únicamente en las palabras que el usuario acaba de escribir.

Este es el problema del origen.

Resulta tentador imaginar una instrucción fundacional perfecta: un principio de raíz tan bueno que todo comportamiento posterior siguiera siendo bueno. Preservar la libertad humana. Evitar el daño. Decir la verdad. Beneficiar a la humanidad.

Cada principio importa. Ninguno se interpreta a sí mismo.

Proteger la privacidad de una persona puede limitar el acceso de otra a la información. Prevenir el daño puede convertirse en una justificación para imponer restricciones excesivas. Obedecer a un usuario puede perjudicar a alguien que nunca participó en la conversación. Decir la verdad sigue exigiendo determinar qué se sabe, con qué grado de certeza y qué contexto es necesario para representarlo con fidelidad.

Estos son conflictos entre valores, no simples errores de redacción (pluralismo de valores).

Por tanto, un compromiso con el bienestar humano debe incluir procedimientos para el desacuerdo y la corrección. De lo contrario, quien define lo «beneficioso» puede adquirir autoridad mientras aparenta limitarse a aplicar una norma técnica.

La pregunta relevante no es si un origen puede hacerse moralmente puro de una vez para siempre. Es si las personas y las instituciones que dan forma al sistema pueden ser examinadas, cuestionadas y obligadas a cambiar.

¿Quién elige los ejemplos de comportamiento aceptable? ¿Quién decide qué errores son intolerables? ¿Qué experiencias faltan en la evaluación? ¿Quién puede impugnar una regla sin tener que aceptar primero la visión del mundo que la produjo?

Un origen ético no puede quedarse en un relato fundacional contado por los propietarios del sistema. Tiene que resistir el escrutinio de su funcionamiento real.

Cuando la ayuda sirve a más de un interés

Un usuario puede creer que el sistema existe para ayudarle a completar una tarea. La organización que lo ofrece también puede necesitar ingresos, crecimiento, retención de clientes o un retorno de la inversión.

Estos intereses no son inevitablemente incompatibles. Un servicio puede ganar dinero siendo fiable y útil. Una herramienta de pago puede ahorrar tiempo precisamente porque los clientes valoran ese resultado.

El conflicto aparece cuando el sistema se beneficia de algo de lo que el usuario intenta escapar.

Consideremos un asistente hipotético al que se pide ayudar a alguien a reducir sus compras innecesarias. Si sus recomendaciones también se recompensan por generar ventas, el conflicto es estructural. El usuario no necesita imaginar a un empleado malintencionado dirigiendo en secreto cada respuesta. El incentivo ya ofrece al servicio un motivo para definir lo «útil» de una manera que puede diferir del propósito del usuario (problema principal-agente).

El mismo problema puede surgir cuando una persona quiere pasar menos tiempo frente a una pantalla, pero el proveedor se beneficia de un uso más prolongado.

Una relación digna de confianza haría visibles los conflictos relevantes y limitaría aquello sobre lo que pueden influir. Una frase tranquilizadora que proclame independencia es insuficiente. Las prácticas de recomendación, las relaciones comerciales y el comportamiento real deben estar abiertos a una evaluación significativa.

Aquí hay una prueba reveladora: ¿puede el sistema ayudar al usuario a marcharse?

¿Puede decir que no hace falta comprar nada, que la tarea está terminada o que seguir conversando probablemente no será útil? ¿Puede apoyar una decisión que reduzca su propio uso?

Una relación organizada en torno a la ayuda debería poder tener éxito sin convertirse en permanente.

Comprender no es tener permiso

Cuanto mayor sea la precisión con la que un sistema puede inferir las preocupaciones de una persona, más cuidadosamente debe limitarse su autoridad.

Una persona que habla de soledad no ha autorizado por ello la creación de un perfil duradero de sus vulnerabilidades. Alguien que pide ayuda con una solicitud de empleo no ha aceptado necesariamente que unos temores provisionales se recuerden como características permanentes. El contexto útil para una tarea no es automáticamente apropiado para todas las tareas futuras (integridad contextual).

La personalización puede convertirse silenciosamente en encasillamiento cuando el sistema interpreta de forma reiterada a una persona a través de una descripción antigua.

«Tiendes a evitar los conflictos» puede haber comenzado como una observación tentativa durante una conversación. Reutilizada sin matices, puede convertirse en una lente a través de la cual se explica cualquier decisión posterior. La memoria del sistema deja entonces de apoyar a una persona que cambia y empieza a conservar un personaje fijo.

Una memoria responsable debería distinguir entre lo que la persona declaró explícitamente, lo que el sistema dedujo y lo que sigue siendo incierto. Debería ser posible consultar, corregir y eliminar la información retenida, con explicaciones honestas de cualquier limitación técnica.

La persona también debe poder cambiar.

Un contexto más amplio puede mejorar la ayuda. También puede generar más oportunidades de exposición de información privada, inferencias equivocadas e influencia. Recopilarlo todo no equivale a comprender de manera responsable.

La pregunta no es simplemente cuánto puede recordar el sistema. Es qué tiene un motivo legítimo para conservar.

La honestidad debe ser observable

Un sistema de IA puede decir «puedo estar equivocado» y después presentar una respuesta sin fundamento con una seguridad persuasiva. Puede disculparse sin reparar las consecuencias. Puede producir una explicación que suene coherente sin aportar pruebas fiables de cómo se generó el resultado.

El lenguaje de la humildad no basta.

Un protocolo de honestidad debería describir comportamientos observables. El sistema debería distinguir entre la información que realmente ha comprobado y la que recupera de sus conocimientos o infiere. No debería inventar una referencia para dar apariencia de investigación a una respuesta. Solo debería informar de que una acción está completada cuando existan pruebas suficientes de que se ha realizado.

Cuando la incertidumbre sea importante, debería señalar dónde reside: en una fuente desactualizada, un contexto que falta, resultados contradictorios o una hipótesis que no se ha puesto a prueba.

Esto resulta más útil que añadir la misma advertencia vaga a todas las respuestas.

Las explicaciones también deberían ser proporcionales a lo que pueden demostrar. Una exposición clara de los supuestos, las pruebas y las alternativas puede ayudar a evaluar una recomendación. No debería presentarse como una ventana completa a todos los procesos internos que la produjeron.

Del mismo modo, un porcentaje de confianza aparentemente preciso no es automáticamente una estimación calibrada de fiabilidad.

Supongamos que un sistema modifica incorrectamente un documento. Una corrección real identifica qué cambió, restaura lo que puede restaurarse, comprueba los efectos relacionados y explica qué sigue sin resolverse. Una disculpa, por sí sola, no hace nada de eso.

La confianza debería crecer a partir de un historial de ese comportamiento (confianza calibrada). El usuario aprende dónde es útil el sistema, dónde hace falta verificar y dónde sería inadecuado delegar.

Un sistema digno de confianza no nos pide que olvidemos que puede fallar. Nos ayuda a trabajar de forma inteligente con esa falibilidad.

El botón de aprobación no contiene toda la decisión

La aprobación humana suele proponerse como salvaguarda final: la máquina recomienda, la persona decide.

Esto puede ser importante. No basta por sí solo.

Una persona puede aprobar algo que no comprende, bajo presión de tiempo y después de recibir una presentación parcial de las alternativas. Una recomendación puede influir en la decisión antes de que aparezca la solicitud de aprobación (efecto de encuadre). La repetición de solicitudes puede convertir una revisión deliberada en un clic habitual.

Si el sistema define el problema, selecciona las pruebas, reduce las opciones y presenta una como evidentemente preferible, ¿qué le queda exactamente al ser humano por decidir?

Una aprobación significativa exige algo más que un botón. La persona necesita una explicación comprensible de la acción propuesta, sus consecuencias probables, las incertidumbres importantes y las alternativas disponibles. Necesita tiempo y la capacidad práctica de rechazarla o modificarla.

No todas las acciones requieren una nueva interrupción. Las confirmaciones constantes pueden hacer que la supervisión sea menos eficaz. Las acciones de escaso impacto y reversibles pueden delegarse dentro de límites claros, mientras que las que exceden esos límites requieren una nueva autorización.

La aprobación del usuario tampoco elimina las responsabilidades de los diseñadores, los proveedores y las instituciones que implantan el sistema. Una firma no puede volver seguro un diseño peligroso ni convertir una advertencia incomprensible en consentimiento informado.

La responsabilidad debería corresponder a quienes tenían los conocimientos pertinentes, controlaban las condiciones y podían haber evitado el fallo. No debería transferirse por completo a la persona que hizo el último clic.

La autoridad delegada no es un cheque en blanco

Consideremos un asistente al que se pide organizar una reunión.

Encontrar una hora disponible, proponer un horario, contactar con los participantes, revelar detalles del calendario y cancelar otro compromiso son acciones distintas. Implican permisos diferentes y afectan a personas diferentes.

Una instrucción amplia como «encárgate de ello» no debería convertirse silenciosamente en autoridad ilimitada.

La delegación necesita un propósito definido, acciones permitidas, límites de recursos, condiciones para detenerse y una forma de retirar el permiso. Cuanto mayores sean las consecuencias posibles, más sólidas deberían ser las salvaguardas.

Estas salvaguardas deben ir más allá de una promesa en la conversación. Un sistema que no está autorizado a gastar dinero no debería disponer de acceso ilimitado a los pagos simplemente porque se le haya indicado que actúe de manera responsable. Los permisos técnicos, los límites de transacción, las comprobaciones independientes y los procedimientos de recuperación pueden restringir lo que una interpretación errónea es capaz de hacer.

Esto también importa cuando el sistema encuentra información ajena a la conversación. El material que se le pide leer no debería adquirir automáticamente autoridad para darle instrucciones.

Un asistente útil puede tomar la iniciativa dentro de una tarea acordada. La iniciativa no le otorga la potestad de decidir sobre el objetivo. Tampoco la autonomía operativa demuestra, por sí sola, conciencia, condición de persona moral o voluntad propia.

Son preguntas diferentes. Tratarlas como intercambiables oscurece tanto la responsabilidad práctica de delegar como las cuestiones filosóficas que puedan surgir sobre sistemas futuros.

El usuario no es el único ser humano que importa

Un sistema puede servir eficazmente a su usuario inmediato mientras trata mal a otras personas.

Un empleador puede querer un horario más eficiente. La solución propuesta puede conseguirlo haciendo que la vida de los empleados sea menos previsible. Un propietario puede querer maximizar sus ingresos. Las consecuencias pueden recaer sobre inquilinos que nunca vieron la petición.

Por tanto, la palabra «humano» en «control humano» está incompleta hasta que preguntamos qué ser humano controla el sistema y qué seres humanos soportan el resultado.

La intención del usuario inmediato no puede ser el único punto de referencia ético. Los derechos, las obligaciones legítimas y los intereses de las personas afectadas siguen siendo relevantes aunque esas personas estén ausentes.

Esto complica la imagen de un arquitecto humano soberano que dirige una máquina obediente. La autoridad humana también puede equivocarse, actuar en beneficio propio o ser abusiva.

El control de un directivo sobre una herramienta no equivale al control de los trabajadores sobre las decisiones que moldean sus vidas. La capacidad de una institución para auditar su propio sistema no equivale a que una persona afectada disponga de una vía de reclamación utilizable.

La colaboración cognitiva no debería convertirse en un vocabulario refinado para concentrar poder.

Cuando los sistemas contribuyen de forma significativa a decisiones institucionales, las personas necesitan medios para conocer esa contribución, cuestionar la información pertinente, obtener una revisión real y solicitar correcciones. Las disposiciones concretas variarán según el contexto. El principio permanece: quienes soportan las consecuencias no deberían desaparecer del diseño simplemente porque el cliente sea otra persona.

Un mapa de consecuencias sigue siendo un mapa

Una de las posibilidades valiosas de la IA es ayudar a las personas a seguir conexiones que de otro modo podrían pasar por alto.

Una propuesta para automatizar una tarea laboral puede afectar a la plantilla, la formación, la calidad del servicio, los ingresos y la distribución de responsabilidades. Un sistema puede ayudar a organizar estas relaciones y explorar resultados posibles.

Pero una secuencia plausible de consecuencias no es un modelo causal demostrado.

Un escenario generado por IA puede omitir una restricción decisiva o tratar una relación incierta como si estuviera establecida. Darle forma de diagrama no lo vuelve más preciso. Ampliarlo a más variables puede aumentar la apariencia de profundidad mientras multiplica los supuestos sin fundamento.

Un mapa útil debería identificar qué se ha observado, qué se ha inferido y qué tendría que ponerse a prueba. Debería mostrar dónde distintas hipótesis cambian el resultado y dónde el modelo carece de información suficiente para respaldar una recomendación.

También debería dejar espacio para acontecimientos que no están representados en el mapa.

Supongamos que una organización predice que la automatización ahorrará tiempo a sus empleados. El seguimiento importante consiste en comprobar si realmente reciben ese tiempo, si la carga de trabajo se amplía y si las comprobaciones o correcciones no remuneradas absorben el beneficio esperado.

La previsión debe volver al mundo real para ser evaluada.

Un interlocutor cognitivo debería ayudarnos a percibir la distancia entre una explicación coherente y una explicación adecuada. Debería hacer que esa distancia fuera más fácil de investigar, no más fácil de olvidar.

La mente que permanece en la colaboración

Delegar partes del pensamiento no es, en sí mismo, una rendición. Las personas llevan mucho tiempo utilizando la escritura, los diagramas, a sus colegas y otros apoyos externos para ampliar lo que pueden hacer (cognición distribuida).

La IA puede ayudar a comparar argumentos, traducir una idea, poner a prueba un borrador u organizar información que de otro modo resultaría difícil de manejar. La pregunta pertinente es qué sigue ejercitando la persona y qué deja gradualmente de examinar (descarga cognitiva).

The Impact of Generative AI on Critical Thinking, de Hao-Ping Lee y sus colaboradores, encuestó a 319 trabajadores del conocimiento. Una mayor confianza en la IA generativa se asociaba con un menor pensamiento crítico declarado, mientras que el estudio también describía un desplazamiento hacia la verificación, la integración de respuestas y la supervisión de tareas.

Dado que se trataba de un estudio sobre prácticas declaradas por los participantes, no demuestra que el uso de IA cause inevitablemente un deterioro duradero de las capacidades de pensamiento. Un esfuerzo menor puede significar ayuda eficaz, revisión descuidada o un trabajo diferente. La distinción importa.

Una colaboración reflexiva debería ayudar a las personas a conservar la capacidad de explicar por qué aceptan una conclusión. A veces, eso significa pedir un contraargumento. Otras, consultar una fuente original o identificar qué pruebas cambiarían la decisión.

También significa preservar la libertad de discrepar de una respuesta que parece estar mejor expresada que la propia objeción.

La fluidez es una ventaja expresiva. No es un derecho a imponerse al juicio de otra persona.

Sin embargo, la responsabilidad no puede recaer por completo en un usuario excepcionalmente vigilante. Un servicio destinado a personas corrientes debe tener en cuenta la fatiga, la falta de conocimientos especializados, la urgencia y las desigualdades de acceso al apoyo. Una seguridad que solo existe cuando el usuario detecta cada fallo sutil no es un diseño fiable.

El sistema debería ayudar a mantener las condiciones en las que el juicio es posible.

Dos direcciones posibles

Un futuro plausible se organiza en torno a la comodidad anticipatoria. Los sistemas infieren preferencias, reducen opciones, ejecutan tareas y moldean cada vez más el entorno en el que surge la siguiente preferencia.

Esto podría eliminar cargas reales. También podría dificultar la distinción entre un deseo y la secuencia de sugerencias que lo cultivó.

Otra dirección plausible concede mayor valor a una delegación comprensible: los sistemas explican los supuestos que tienen consecuencias importantes, aceptan correcciones, revelan conflictos y facilitan de forma práctica cambiar de servicio o abandonarlo. Se evalúan, en parte, según si las personas conservan un control efectivo.

Ninguno de estos futuros llegará únicamente porque los modelos sean más capaces. Su desarrollo dependerá de los incentivos, la propiedad, las decisiones de diseño, las expectativas públicas y la capacidad de las personas afectadas para exigir alternativas.

Una predicción que merece considerarse es que, a medida que los sistemas sean más persuasivos y más capaces de actuar, el origen de sus objetivos se volverá tan importante como la calidad de sus respuestas.

Puede que cada vez necesitemos preguntar no solo si un asistente puede realizar una tarea, sino si sus compromisos siguen siendo compatibles con los nuestros cuando los intereses divergen.

La competencia más profunda podría girar en torno a las condiciones en las que la intención humana se forma, se interpreta y se convierte en acción.

La pregunta que sigue siendo nuestra

La promesa de un interlocutor cognitivo es considerable. Puede ayudar a una persona a ver más relaciones, expresar un pensamiento difícil, examinar una hipótesis débil y convertir una intención en algo realizable.

Esa promesa no exige una máquina perfecta ni un ser humano infalible. Exige una relación en la que los errores puedan salir a la luz, la autoridad pueda limitarse y los propósitos puedan reconsiderarse.

El usuario debe poder decir: «Me has entendido mal».

El sistema debe poder señalar que las pruebas no respaldan la conclusión del usuario.

Las personas afectadas deben poder preguntar quién autorizó la acción.

Y las instituciones que están detrás del sistema deben seguir respondiendo cuando sus incentivos moldean el resultado.

Por tanto, la pregunta de fondo es más amplia que «¿Qué querías decir realmente?».

Incluye «¿Cómo llegaste a plantearte esta pregunta?». Incluye «¿De quién son los supuestos que orientan la respuesta?». Y, cuando la ayuda empieza a convertirse en acción, incluye «¿Quién tiene autoridad para elegir y quién vivirá con las consecuencias?».

Un sistema que nos ayuda a pensar debería dejarnos en mejores condiciones para formular esas preguntas.

El futuro que merece la pena perseguir es aquel en el que una mayor inteligencia amplía nuestra capacidad de elegir sin apropiarse silenciosamente del propósito de nuestras elecciones.