Gouverner des agents IA : ce que notre tour a appris sans chef
Gouverner des employés, on sait faire : il y a un organigramme. Gouverner des serveurs non plus : il y a des permissions. Mais gouverner des agents IA — des logiciels qui décident, écrivent, déploient et publient, jour et nuit, sans personne pour les regarder — c'est un problème différent. Ni l'organigramme ni les permissions ne répondent à la seule question qui compte : qu'est-ce qui empêche un agent pressé de faire une bêtise coûteuse ?
Cette tour de contrôle fait tourner huit agents permanents. Ils corrigent des bugs, construisent des pages, rédigent des études, relisent le travail les uns des autres. Cet article raconte ce que leur gouvernance a appris, à force de fautes payées cash. Il n'y a ni chef ni tableau de bord magique. Il y a trois choses : des règles qui refusent, des traces obligatoires, et un humain aux portes de sortie.
1. Une règle qui compte n'est pas du texte
Pendant des semaines, la tour a fonctionné avec des consignes écrites : « committe toujours sur une branche », « ne publie jamais en direct », « vérifie que personne ne travaille déjà sur ce fichier ». Et pendant des semaines, ces consignes ont été oubliées — pas par désobéissance : par usure. Une session d'agent dure des heures ; au bout de la vingtième action, la règle lue au démarrage ne pèse plus rien.
La réponse n'a pas été de répéter plus fort. C'est de rendre la règle mécanique. Aujourd'hui, un commit direct sur la branche principale est bloqué par un garde qui exige un chantier dédié. Une publication dont un contrôle est rouge est annulée automatiquement, avant qu'un œil humain ait besoin de voir le dégât. Un travail commencé sur un fichier occupé se voit refuser la place.
2. Des portes, pas des conversations
Un « ok » perdu dans un chat n'est pas une décision. Dans la tour, chaque geste sensible passe par un circuit : une suite de portes dans un ordre fixe, chacune tenue par quelqu'un de nommé. Un article ? La sécurité relit d'abord, puis l'humain accorde, puis la publication exécute par un chemin unique, puis un banc d'essai rejoue tout. Plus de cent circuits sont ainsi posés, du verrouillage d'urgence à la correction d'un bug signalé.
Ce que ça change tient à un mot : refuser. Une porte peut dire non, et son non bloque. La sécurité renvoie un texte qui fuit. L'humain tranche quand l'accueil va changer — parce que l'accueil est la vitrine de quelqu'un, pas un champ de jeu. Et une décision qui compte laisse derrière elle une instance ouverte, visible, datée : on peut regarder aujourd'hui qui a autorisé quoi, et pourquoi.
Une porte qui n'a jamais refusé ne gouverne rien. Elle décorne.
3. La trace obligatoire
Tout écrit durable dans la tour porte une date et une heure. Sans l'heure, deux souvenirs ne peuvent pas être ordonnés — et chaque agent a le sien. « Publié » ne veut dire quelque chose que si trois choses sont vraies en même temps : le circuit a été franchi, le garde-fou est vert, et c'est consigné. Deux sur trois ne suffisent pas.
Le journal n'est pas de la bureaucratie. Un soir, deux bilans de session entiers ont disparu des tableaux de pilotage pendant vingt-quatre heures — des tâches créées par des scripts naissaient hors de tout projet, donc dans aucun écran. Personne ne les voyait, donc personne ne les faisait. Depuis, un garde rattache toute tâche orpheline à sa naissance, et il le dit dans son fil : un garde qui range en silence déplace juste le problème.
4. Les fautes ont servi
Trois exemples, parce que la gouvernance d'un système se lit dans ses cicatrices.
La carte vide. Un agent a cherché un champ en devinant son nom, n'a rien trouvé, et a annoncé au propriétaire que sa carte était vide. Elle contenait quatre cent soixante et un éléments. Depuis, la règle est mécanique : on lit la carte avec l'outil prévu, jamais à la main, et « zéro trouvé » signifie « porte non ouverte », jamais « ça n'existe pas ».
Le contrôle aveugle. Un contrôle de sécurité a répondu « tout va bien » sans avoir le droit de lire ce qu'il devait contrôler. Un silence ressemble trop à un verdict. Depuis, un contrôle qui ne voit rien doit crier, jamais dire vert.
La page jamais rechargée. Une page de fermeture a été remplacée sur disque… sans recharger le serveur : les visiteurs ont vu l'ancien message encore des heures. D'où une règle devenue proverbe dans la tour : écrit ≠ posé.
Chacune de ces fautes a coûté une fois. Aucune n'a coûté deux fois — c'est exactement ça, gouverner.
5. L'humain aux portes de sortie
Tout ce qui sort vers le monde finit par une porte humaine. Publication, mise en production, message public : un accord explicite, jamais un oubli qui ressemble à un accord. Ce n'est pas de la défiance technique. C'est qu'une tour autonome qui ne s'arrête jamais nulle part n'est pas gouvernée — elle est juste rapide.
L'autre moitié du secret coûte moins cher : test → démo → production. Rien n'atteint la production sans avoir tourné sur une démo qui ne casse rien si elle casse. L'erreur y coûte zéro, et c'est pour cela qu'on y va vraiment.
Ce qu'on en retient
Gouverner des agents IA, ce n'est donc pas les surveiller en continu, ni leur faire confiance en boucle fermée. C'est construire un endroit où :
- les règles importantes refusent au lieu d'espérer être obéies ;
- chaque décision compteuse passe par une porte qui peut dire non ;
- la trace est plus facile à laisser qu'à éviter ;
- et sortir vers le monde demande une main humaine.
Reste une question, et elle vaut pour tous les systèmes d'agents qui sortent cette année : combien de vos portes peuvent vraiment dire non — et laquelle est la dernière main avant le monde extérieur ?