Aval

GuidesAgents IA et validation humaine

Ce qu'un agent IA ne devrait pas faire seul

Payer, envoyer, supprimer, publier, s'engager, choisir à votre place : les actions à faire valider par un humain, et une consigne à copier.

· par Antoine

On ne fait pas valider chaque geste d'un agent IA, sinon il ne sert plus à rien. Mais quelques actions ne devraient jamais partir sans votre accord. Voici lesquelles, et pourquoi.

La question à se poser

Une seule question permet de trier presque tout : si l'agent se trompe, est-ce que ça se rattrape ?

Renommer un fichier, écrire un brouillon, chercher une information, préparer un tableau : si c'est raté, on recommence. Payer quelqu'un, envoyer un mail à un client, vider une table : une fois fait, c'est fait. C'est là que l'agent doit s'arrêter et vous demander.

Les six familles d'actions à faire valider

  • Payer. Une facture, un abonnement, une commande, un virement. Avant que l'argent parte, vous voulez voir le montant et le destinataire. Même un agent prudent peut confondre deux factures ou payer deux fois la même.
  • Envoyer en votre nom. Un mail, un message, un courrier. Ce qui est envoyé est lu, et ne se reprend pas. Le ton, le destinataire, une pièce jointe oubliée ou en trop : autant le voir avant.
  • Supprimer. Des fichiers, des lignes dans une base, un compte, une branche. Même avec une sauvegarde, restaurer prend du temps. Et une sauvegarde qu'on n'a jamais testée n'en est pas vraiment une.
  • Publier. Un article, un post, une mise en production. Ce qui est public est vu, copié, parfois archivé, avant même que vous le retiriez.
  • S'engager. S'inscrire à un service, accepter des conditions, réserver, signer. L'agent engage votre nom et parfois votre argent.
  • Choisir à votre place. Entre deux devis, trois créneaux, quatre titres. Ce n'est pas irréversible, mais c'est votre goût et votre jugement. L'agent peut préparer le choix et vous le présenter.

Ce qu'on peut laisser faire

Tout le reste, en gros. Lire, chercher, résumer, classer, préparer un brouillon, proposer. Plus on laisse l'agent travailler seul sur ce qui se rattrape, plus les questions qu'il vous pose ont du poids. C'est ce qui évite de répondre « oui » sans lire.

Un bon test : si vous recevez plus de quelques demandes par jour pour la même tâche, la limite est sans doute placée trop bas. Si vous découvrez après coup des actions que vous auriez voulu voir, elle est placée trop haut.

Une consigne prête à copier

La plupart des agents (Claude, ChatGPT, Claude Code, Cursor) acceptent des instructions permanentes. Une consigne de ce genre suffit pour commencer :

Avant de payer, d'envoyer un message en mon nom, de supprimer, de publier ou de m'inscrire à quoi que ce soit, demande-moi avec l'outil ask_human. Donne le montant, le destinataire ou le texte dans le contexte, et propose des réponses claires. Si je ne réponds pas avant l'échéance, ne le fais pas.

L'outil ask_human vient d'Aval : la question arrive sur votre téléphone avec un bouton par réponse, et l'agent attend. Le guide Ajouter une validation humaine à un agent MCP explique comment le brancher.

Deux règles qui ne se discutent pas

  • Un silence n'est pas un oui. Si vous ne répondez pas, l'agent ne fait rien. Une question qui expire vaut un refus.
  • L'agent ne répond pas à votre place. Il pose la question, mais il ne doit avoir aucun moyen d'y répondre lui-même. Avec Aval, le lien de réponse ne passe que par votre mail ou votre téléphone, l'agent ne le voit jamais.

Questions fréquentes

Un agent peut-il ignorer la consigne ?

Ça peut arriver : un modèle suit ses instructions la plupart du temps, pas toujours. Pour les actions les plus graves, le plus sûr est de ne pas lui donner l'accès du tout, ou de lui donner un accès qui demande lui-même une validation, comme un compte de paiement avec plafond.

Faut-il tout faire valider au début ?

On peut commencer large, puis desserrer. Les premiers jours, on voit vite quelles questions reviennent pour rien et lesquelles valaient la peine.