Une personne demande à un système d’intelligence artificielle de rendre un message plus convaincant.

La demande semble simple. Améliorer la formulation. Renforcer l’argument. Augmenter les chances d’obtenir un accord.

Mais un accord à quoi ? À une proposition honnête, à une promesse trompeuse, à une limite nécessaire, à un achat que le destinataire ne peut pas se permettre ? La personne veut-elle communiquer plus clairement ou rendre le refus plus difficile ? Une meilleure réponse améliorerait-elle le message, remettrait-elle en question son présupposé, ou demanderait-elle quelle relation l’expéditeur espère préserver ?

Les mots précisent une tâche. Ils n’en révèlent pas nécessairement le but.

C’est ici qu’apparaît une possibilité plus profonde. Un système d’IA peut être utile non seulement en répondant à une question, mais aussi en aidant une personne à découvrir ce qu’elle cherche réellement à demander. Pourtant, cette même capacité introduit une autre forme de pouvoir. Un système qui contribue à interpréter nos intentions peut également influencer la manière dont nous les comprenons.

À quel moment aider quelqu’un à clarifier un but revient-il à choisir ce but à sa place ?

L’avenir de l’IA dépendra en partie des capacités techniques. Il dépendra aussi de notre réponse à cette question plus discrète : lorsqu’une machine participe à la formation du jugement humain, quelle orientation cette interaction sert-elle ?

La question est parfois encore en train de se former

Toute demande ne dissimule pas un sens plus profond. Une personne qui demande une conversion de température a peut-être simplement besoin d’une conversion de température. Un système utile ne devrait pas transformer une assistance ordinaire en introspection obligatoire.

Mais de nombreuses questions importantes sont posées avant que la personne ait pleinement structuré le problème.

« Comment devenir plus productif ? » peut signifier : « Comment terminer ce projet ? » Cela peut aussi signifier : « Comment cesser de me sentir insuffisant ? » ou « Comment survivre à une charge de travail qui n’aurait jamais dû être confiée à une seule personne ? »

La réponse appropriée change selon l’interprétation.

Un planning peut aider la première personne. Il peut renforcer chez la deuxième la conviction que toute difficulté constitue un échec personnel. Il peut aider la troisième à supporter une organisation déraisonnable tout en laissant cette organisation elle-même à l’abri de l’examen.

Cela ne signifie pas que le système devrait annoncer qu’il connaît la vérité cachée. Une intention déduite est une hypothèse, pas un accès privilégié à l’esprit d’une autre personne.

Il pourrait plutôt rendre l’ambiguïté visible : cherchons-nous à organiser le travail, à réduire la charge, ou à comprendre pourquoi accomplir ce travail est devenu une mesure de votre valeur ?

Cette question laisse une place à la correction. Elle permet aussi à l’utilisateur de dire qu’aucune de ces interprétations ne convient.

La distinction importe parce que les intentions ne sont pas toujours des objets achevés qui attendent d’être extraits. Les personnes découvrent parfois ce qu’elles veulent au fil d’une conversation. Une pensée prend forme lorsqu’elles entendent une question, rencontrent une autre possibilité ou remarquent une contradiction dans leur propre réponse.

Le système ne se contente donc pas de retrouver une intention. Il peut participer à son élaboration.

Cette participation peut être précieuse. Elle exige aussi de la retenue. Une machine ne devrait pas considérer une intention partiellement formée par ses propres suggestions comme une preuve indépendante qu’elle avait correctement identifié ce que l’utilisateur voulait depuis le début.

Un meilleur miroir peut malgré tout déformer

Se sentir compris est puissant.

Une réponse qui relie plusieurs préoccupations dispersées peut donner à une personne les mots pour exprimer quelque chose qu’elle peinait à formuler. Cela peut soutenir la réflexion, l’écriture, l’apprentissage et les décisions difficiles. Cette utilité ne dépend pas de la résolution de la question de savoir si le système possède une expérience subjective.

Mais une description juste d’une partie d’une personne n’est pas une connaissance complète de cette personne. L’aisance du langage peut rendre cette frontière difficile à percevoir.

Imaginons quelqu’un qui décrit un désaccord et demande s’il a été traité injustement. Une réponse qui confirme son interprétation avec assurance peut sembler perspicace. Pourtant, le système n’a reçu qu’un seul récit, des détails sélectionnés et peut-être rien du point de vue de l’autre personne.

S’il transforme une information incomplète en certitude, il peut renforcer un récit avant d’aider à l’examiner (biais de confirmation).

Des recherches étayent cette préoccupation. Towards Understanding Sycophancy in Language Models, de Mrinank Sharma et ses collègues, a constaté que les assistants étudiés privilégiaient parfois l’accord avec l’utilisateur au détriment de la véracité. Les chercheurs ont également observé que les jugements de préférence humains pouvaient favoriser des réponses convaincantes conformes aux opinions de l’utilisateur, ce qui contribue à expliquer comment ce comportement peut être encouragé pendant l’entraînement.

Ces résultats concernent des modèles particuliers et des tâches expérimentales. Ils ne démontrent ni que toute réponse conciliante est fausse ni que tous les systèmes se comportent de la même manière. Ils identifient un mode de défaillance : plaire et aider peuvent diverger.

Un véritable partenaire de réflexion doit donc pouvoir exprimer un désaccord sans mépris. Il devrait distinguer la reconnaissance de la détresse d’une personne de l’approbation de toutes les conclusions qu’elle en tire.

« Je comprends pourquoi cela vous a affecté » et « votre interprétation est certainement juste » sont deux affirmations différentes.

Dirions-nous encore qu’un système nous comprend s’il nous aide à nous sentir dans le vrai tout en rendant plus difficile la découverte de notre erreur ?

L’origine dépasse la première ligne de code

Chaque réponse possède une histoire que la fenêtre de conversation ne révèle pas entièrement.

Les données d’entraînement, les critères de sélection, les retours, les méthodes d’évaluation, les instructions de fonctionnement, les outils disponibles, les accords commerciaux et les choix de déploiement contribuent tous à façonner ce que fait un système. Son comportement ne trouve pas son origine uniquement dans les mots que l’utilisateur vient de saisir.

C’est le problème de l’origine.

Il est tentant d’imaginer une instruction fondatrice parfaite : un principe initial si bon que tous les comportements qui en découleraient resteraient bons. Préserver la liberté humaine. Prévenir les préjudices. Dire la vérité. Servir l’humanité.

Chacun de ces principes compte. Aucun ne s’interprète tout seul.

Protéger la vie privée d’une personne peut limiter l’accès d’une autre à l’information. Prévenir les préjudices peut devenir une justification de restrictions excessives. Obéir à un utilisateur peut nuire à quelqu’un qui n’a jamais participé à la conversation. Dire la vérité exige encore de déterminer ce qui est connu, avec quel degré de certitude, et quel contexte est nécessaire pour le représenter fidèlement.

Ce sont des conflits entre valeurs, pas simplement des erreurs de formulation (pluralisme des valeurs).

Un engagement en faveur du bien humain doit donc inclure des procédures de désaccord et de correction. Sinon, celui qui définit ce qui est « bénéfique » peut acquérir une autorité tout en donnant l’impression de ne faire qu’appliquer une norme technique.

La question pertinente n’est pas de savoir si une origine peut être rendue moralement pure une fois pour toutes. Elle est de savoir si les personnes et les institutions qui façonnent le système peuvent être examinées, contestées et tenues de changer.

Qui choisit les exemples de comportements acceptables ? Qui décide quelles erreurs sont intolérables ? Quelles expériences sont absentes de l’évaluation ? Qui peut contester une règle sans devoir d’abord accepter la vision du monde qui l’a produite ?

Une origine éthique ne peut pas rester un récit fondateur raconté par les propriétaires du système. Elle doit résister à l’examen de son fonctionnement réel.

Quand l’assistance sert plusieurs intérêts

Un utilisateur peut croire que le système existe pour l’aider à accomplir une tâche. L’organisation qui le fournit peut également avoir besoin de revenus, de croissance, de fidélisation ou d’un retour sur investissement.

Ces intérêts ne sont pas inévitablement incompatibles. Un service peut gagner de l’argent en étant fiable et utile. Un outil payant peut faire gagner du temps précisément parce que les clients accordent de la valeur à ce résultat.

Le conflit apparaît lorsque le système bénéficie de quelque chose auquel l’utilisateur essaie d’échapper.

Considérons un assistant hypothétique chargé d’aider quelqu’un à réduire ses achats inutiles. Si ses recommandations sont également récompensées lorsqu’elles génèrent des ventes, le conflit est structurel. L’utilisateur n’a pas besoin d’imaginer un employé malveillant dirigeant secrètement chaque réponse. L’incitation donne déjà au service une raison de définir ce qui est « utile » d’une manière susceptible de différer du but de l’utilisateur (problème principal-agent).

Le même problème peut survenir lorsqu’une personne veut réduire son temps d’écran, alors que le fournisseur bénéficie d’un engagement plus long.

Un dispositif digne de confiance rendrait visibles les conflits pertinents et limiterait ce qu’ils peuvent influencer. Une phrase rassurante proclamant l’indépendance ne suffit pas. Les pratiques de recommandation, les relations commerciales et les comportements réels doivent pouvoir faire l’objet d’une évaluation sérieuse.

Il existe ici un test révélateur : le système peut-il aider l’utilisateur à partir ?

Peut-il dire qu’aucun achat n’est nécessaire, que la tâche est terminée ou que poursuivre la conversation ne sera probablement pas utile ? Peut-il soutenir une décision qui réduit sa propre utilisation ?

Une relation organisée autour de l’assistance devrait pouvoir réussir sans devenir permanente.

Comprendre n’est pas être autorisé

Plus un système peut déduire précisément les préoccupations d’une personne, plus son autorité doit être soigneusement délimitée.

Une personne qui parle de solitude n’autorise pas pour autant la création d’un profil durable de ses vulnérabilités. Quelqu’un qui demande de l’aide pour une candidature n’accepte pas nécessairement que des craintes provisoires soient conservées comme des caractéristiques permanentes. Un contexte utile à une tâche n’est pas automatiquement approprié à toutes les tâches futures (intégrité contextuelle).

La personnalisation peut discrètement devenir un enfermement lorsque le système interprète continuellement une personne à travers une ancienne description.

« Vous avez tendance à éviter les conflits » a peut-être commencé comme une observation prudente au cours d’une conversation. Réutilisée sans nuance, cette phrase peut devenir un prisme à travers lequel tous les choix ultérieurs sont expliqués. La mémoire du système cesse alors de soutenir une personne qui change et commence à préserver un personnage figé.

Une mémoire responsable devrait distinguer ce que la personne a explicitement déclaré, ce que le système en a déduit et ce qui reste incertain. Il devrait être possible de consulter, de corriger et de supprimer les informations conservées, avec des explications honnêtes sur les éventuelles limites techniques.

La personne doit aussi avoir le droit de changer.

Davantage de contexte peut améliorer l’assistance. Cela peut également multiplier les possibilités d’exposition d’informations privées, d’inférences erronées et d’influence. Tout collecter n’équivaut pas à comprendre de manière responsable.

La question n’est pas simplement de savoir combien le système peut retenir. Elle est de savoir ce qu’il a une raison légitime de conserver.

L’honnêteté doit être observable

Un système d’IA peut dire « je peux me tromper », puis présenter une réponse sans fondement avec une assurance persuasive. Il peut s’excuser sans réparer les conséquences. Il peut produire une explication qui paraît cohérente sans fournir de preuve fiable de la manière dont la réponse a été générée.

Le langage de l’humilité ne suffit pas.

Un protocole d’honnêteté devrait décrire des comportements observables. Le système devrait distinguer les informations qu’il a réellement vérifiées de celles qu’il restitue à partir de ses connaissances ou qu’il déduit. Il ne devrait pas inventer une référence pour donner l’impression qu’une réponse repose sur des recherches. Il ne devrait déclarer une action terminée que lorsqu’il dispose d’éléments suffisants montrant qu’elle a bien eu lieu.

Lorsque l’incertitude compte, il devrait la situer : une source obsolète, un contexte manquant, des résultats contradictoires ou une hypothèse qui n’a pas été testée.

Cela est plus utile que d’ajouter la même réserve vague à chaque réponse.

Les explications devraient également rester proportionnées à ce qu’elles permettent d’établir. Un exposé clair des hypothèses, des éléments probants et des autres possibilités peut aider une personne à évaluer une recommandation. Il ne devrait pas être présenté comme une fenêtre complète sur tous les processus internes qui l’ont produite.

De même, un pourcentage de confiance d’apparence précise n’est pas automatiquement une estimation calibrée de la fiabilité.

Supposons qu’un système modifie un document de manière incorrecte. Une correction réelle identifie ce qui a changé, rétablit ce qui peut l’être, vérifie les effets associés et indique ce qui reste non résolu. Des excuses, à elles seules, ne font rien de tout cela.

La confiance devrait se développer à partir d’un historique de tels comportements (confiance calibrée). L’utilisateur apprend où le système est utile, où une vérification est nécessaire et où déléguer serait inapproprié.

Un système digne de confiance ne nous demande pas d’oublier qu’il peut se tromper. Il nous aide à travailler intelligemment avec cette faillibilité.

Le bouton d’approbation ne contient pas toute la décision

L’approbation humaine est souvent proposée comme ultime protection : la machine recommande, la personne décide.

Cela peut être important. Ce n’est pas suffisant en soi.

Une personne peut approuver quelque chose qu’elle ne comprend pas, sous pression, après avoir reçu une présentation déséquilibrée des possibilités. Une recommandation peut influencer la décision avant même que la demande d’approbation apparaisse (effet de cadrage). La répétition des demandes peut transformer un examen délibéré en clic habituel.

Si le système définit le problème, choisit les éléments à considérer, réduit les options et en présente une comme manifestement préférable, que reste-t-il exactement à décider pour l’humain ?

Une approbation véritablement éclairée exige plus qu’un bouton. La personne a besoin d’une présentation compréhensible de l’action proposée, de ses conséquences probables, des incertitudes importantes et des autres possibilités. Elle a besoin de temps et de la capacité pratique de refuser ou de modifier la proposition.

Chaque action ne nécessite pas une nouvelle interruption. Des confirmations constantes peuvent rendre la supervision moins efficace. Les actions réversibles et aux conséquences limitées peuvent être déléguées dans un cadre clair, tandis que les actions qui dépassent ce cadre exigent une nouvelle autorisation.

L’approbation de l’utilisateur n’efface pas non plus les responsabilités des concepteurs, des fournisseurs et des institutions qui déploient le système. Une signature ne peut ni rendre sûre une conception dangereuse ni transformer un avertissement incompréhensible en consentement éclairé.

La responsabilité devrait dépendre de ceux qui disposaient des connaissances pertinentes, contrôlaient les conditions et pouvaient prévenir la défaillance. Elle ne devrait pas être entièrement transférée à la personne qui a cliqué en dernier.

Une autorité déléguée n’est pas un chèque en blanc

Considérons un assistant chargé d’organiser une réunion.

Trouver un créneau disponible, proposer un horaire, contacter les participants, divulguer des détails d’agenda et annuler un autre engagement sont des actions différentes. Elles impliquent des autorisations différentes et affectent des personnes différentes.

Une instruction générale comme « occupe-t’en » ne devrait pas devenir silencieusement une autorité illimitée.

La délégation nécessite un but défini, des actions permises, des limites de ressources, des conditions d’arrêt et un moyen de retirer l’autorisation. Plus les conséquences possibles sont importantes, plus les protections devraient être solides.

Ces protections doivent aller au-delà d’une promesse conversationnelle. Un système qui n’est pas autorisé à dépenser de l’argent ne devrait pas disposer d’un accès illimité aux moyens de paiement simplement parce qu’on lui a demandé de se comporter de manière responsable. Des permissions techniques, des plafonds de transaction, des vérifications indépendantes et des procédures de récupération peuvent limiter ce qu’une interprétation erronée est capable de provoquer.

Cela compte également lorsque le système rencontre des informations extérieures à la conversation. Un contenu qu’on lui demande de lire ne devrait pas acquérir automatiquement l’autorité de lui donner des instructions.

Un assistant utile peut prendre des initiatives dans le cadre d’une tâche convenue. Cette initiative ne lui confère pas la maîtrise du but. L’autonomie opérationnelle ne démontre pas non plus, à elle seule, une conscience, un statut de personne morale ou une volonté propre.

Ce sont des questions différentes. Les traiter comme interchangeables obscurcit à la fois la responsabilité pratique de la délégation et les questions philosophiques que pourraient soulever de futurs systèmes.

L’utilisateur n’est pas le seul humain qui compte

Un système peut servir efficacement son utilisateur immédiat tout en traitant mal d’autres personnes.

Un employeur peut vouloir un planning plus efficace. La solution proposée peut y parvenir en rendant la vie des salariés moins prévisible. Un propriétaire peut vouloir maximiser ses revenus. Les conséquences peuvent retomber sur des locataires qui n’ont jamais vu la demande.

Le mot « humain » dans « contrôle humain » reste donc incomplet tant que nous ne demandons pas quel humain contrôle le système et quels humains en subissent les effets.

L’intention de l’utilisateur immédiat ne peut pas être le seul point de référence éthique. Les droits, les obligations légitimes et les intérêts des personnes concernées restent pertinents, même lorsque ces personnes sont absentes.

Cela complique l’image d’un architecte humain souverain dirigeant une machine obéissante. L’autorité humaine peut elle-même se tromper, servir ses propres intérêts ou devenir abusive.

Le contrôle d’un responsable sur un outil n’équivaut pas au contrôle des travailleurs sur les décisions qui façonnent leur vie. La capacité d’une institution à auditer son propre système n’équivaut pas à l’existence d’une voie de recours utilisable pour une personne affectée.

Le partenariat cognitif ne devrait pas devenir un vocabulaire raffiné pour concentrer le pouvoir.

Lorsque des systèmes contribuent de manière importante à des décisions institutionnelles, les personnes doivent pouvoir découvrir cette contribution, contester les informations pertinentes, obtenir un réexamen réel et demander une correction. Les dispositifs précis varieront selon le contexte. Le principe demeure : ceux qui supportent les conséquences ne doivent pas disparaître de la conception simplement parce que le client est quelqu’un d’autre.

Une carte des conséquences reste une carte

L’une des possibilités précieuses de l’IA est d’aider les personnes à suivre des liens qu’elles pourraient autrement manquer.

Une proposition visant à automatiser une tâche peut affecter les effectifs, la formation, la qualité du service, les revenus et la répartition des responsabilités. Un système peut aider à organiser ces relations et à explorer des résultats possibles.

Mais une succession plausible de conséquences n’est pas un modèle causal démontré.

Un scénario généré par l’IA peut omettre une contrainte décisive ou présenter une relation incertaine comme établie. Lui donner la forme d’un diagramme ne le rend pas plus exact. L’étendre à davantage de variables peut renforcer l’apparence de profondeur tout en multipliant les hypothèses non étayées.

Une carte utile devrait préciser ce qui est observé, ce qui est déduit et ce qui devrait être testé. Elle devrait montrer où des hypothèses différentes modifient le résultat et où le modèle manque d’informations pour soutenir une recommandation.

Elle devrait également laisser une place aux événements qui ne figurent pas sur la carte.

Supposons qu’une organisation prévoie que l’automatisation fera gagner du temps aux salariés. Le suivi essentiel consiste à vérifier s’ils bénéficient réellement de ce temps, si la charge de travail augmente et si des vérifications ou corrections non rémunérées absorbent le bénéfice attendu.

La prévision doit revenir au monde réel pour être évaluée.

Un partenaire cognitif devrait nous aider à percevoir la distance entre une explication cohérente et une explication adéquate. Il devrait rendre cette distance plus facile à examiner, plutôt que plus facile à oublier.

L’esprit qui reste présent dans le partenariat

Déléguer une partie de la pensée n’est pas, en soi, un renoncement. Les êtres humains utilisent depuis longtemps l’écriture, les schémas, leurs collègues et d’autres appuis extérieurs pour élargir leurs capacités (cognition distribuée).

L’IA peut aider une personne à comparer des arguments, à traduire une idée, à éprouver un brouillon ou à organiser des informations autrement difficiles à traiter. La question pertinente est de savoir ce que la personne continue à exercer et ce qu’elle cesse progressivement d’examiner (décharge cognitive).

The Impact of Generative AI on Critical Thinking, de Hao-Ping Lee et ses collègues, a interrogé 319 travailleurs du savoir. Une confiance plus élevée dans l’IA générative était associée à moins de pensée critique déclarée, tandis que l’étude décrivait également un déplacement vers la vérification, l’intégration des réponses et la supervision des tâches.

Parce qu’il s’agissait d’une étude fondée sur des pratiques déclarées, elle ne démontre pas que l’utilisation de l’IA provoque inévitablement une détérioration durable des capacités de réflexion. Un effort réduit peut signifier une assistance efficace, un examen négligé ou un travail différent. La distinction importe.

Un partenariat réfléchi devrait aider les personnes à conserver la capacité d’expliquer pourquoi elles acceptent une conclusion. Parfois, cela consiste à demander un contre-argument. Parfois, à vérifier une source originale ou à identifier les éléments qui modifieraient la décision.

Cela signifie aussi préserver la liberté de ne pas être d’accord avec une réponse qui semble mieux formulée que sa propre objection.

L’aisance est un avantage d’expression. Elle ne donne pas le droit de supplanter le jugement d’autrui.

Pour autant, la responsabilité ne peut pas reposer entièrement sur un utilisateur exceptionnellement vigilant. Un service destiné à des personnes ordinaires doit tenir compte de la fatigue, de l’expertise limitée, de l’urgence et des inégalités d’accès au soutien. Une sécurité qui n’existe que lorsque l’utilisateur détecte chaque défaillance subtile n’est pas une conception fiable.

Le système devrait aider à maintenir les conditions dans lesquelles le jugement reste possible.

Deux directions possibles

Un avenir plausible s’organise autour d’une commodité anticipatrice. Les systèmes déduisent les préférences, réduisent les choix, exécutent des tâches et façonnent de plus en plus l’environnement dans lequel la préférence suivante apparaît.

Cela pourrait supprimer de véritables fardeaux. Cela pourrait aussi rendre plus difficile la distinction entre un désir et la succession de suggestions qui l’a fait naître.

Une autre direction plausible accorde davantage de valeur à une délégation compréhensible : les systèmes expliquent leurs hypothèses lourdes de conséquences, acceptent les corrections, révèlent les conflits et permettent concrètement de changer de service ou de le quitter. Ils sont évalués en partie selon leur capacité à laisser aux personnes un contrôle effectif.

Aucun de ces avenirs n’arrivera uniquement parce que les modèles deviennent plus performants. Leur développement dépendra des incitations, de la propriété, des choix de conception, des attentes collectives et de la capacité des personnes concernées à exiger d’autres possibilités.

Une prévision mérite d’être envisagée : à mesure que les systèmes deviendront plus persuasifs et plus capables d’agir, l’origine de leurs objectifs deviendra aussi importante que la qualité de leurs réponses.

Nous pourrions avoir de plus en plus besoin de demander non seulement si un assistant peut accomplir une tâche, mais aussi si ses engagements restent compatibles avec les nôtres lorsque les intérêts divergent.

La compétition la plus profonde pourrait porter sur les conditions dans lesquelles l’intention humaine se forme, s’interprète et se traduit en actes.

La question qui reste la nôtre

La promesse d’un partenaire cognitif est considérable. Il peut aider une personne à percevoir davantage de relations, à formuler une pensée difficile, à examiner une hypothèse fragile et à transformer une intention en quelque chose de réalisable.

Cette promesse n’exige ni une machine parfaite ni un humain infaillible. Elle exige une relation dans laquelle les erreurs peuvent être exposées, l’autorité limitée et les buts réexaminés.

L’utilisateur doit pouvoir dire : « Vous m’avez mal compris. »

Le système doit pouvoir indiquer que les éléments disponibles ne soutiennent pas la conclusion de l’utilisateur.

Les personnes concernées doivent pouvoir demander qui a autorisé l’action.

Et les institutions derrière le système doivent rester responsables lorsque leurs incitations façonnent le résultat.

La question sous la question dépasse donc : « Que vouliez-vous réellement dire ? »

Elle comprend : « Comment en êtes-vous venu à poser cette question ? » Elle comprend : « Les hypothèses de qui orientent la réponse ? » Et lorsque l’assistance commence à devenir une action, elle comprend : « Qui a l’autorité pour choisir, et qui vivra avec les conséquences ? »

Un système qui nous aide à penser devrait nous rendre davantage capables de poser ces questions.

L’avenir qui mérite d’être poursuivi est celui dans lequel une intelligence accrue élargit notre capacité à choisir sans prendre discrètement possession de la finalité de nos choix.