Un contrôle aveugle qui dit vert

Deux garde-fous ont menti dans la même journée. Aucun n'est tombé en panne : tous les deux ont répondu « tout va bien » sans rien regarder.

Un garde-fou qui tombe en panne, on le voit. Il s'arrête, il crie, quelqu'un vient. Un garde-fou qui dit vert sans rien regarder, personne ne le voit — et il fait pire que rien, parce qu'il rassure.

La tour de contrôle vient d'en fabriquer deux, coup sur coup. Les deux étaient de bonne foi. Les deux disaient la vérité de ce qu'ils voyaient. Le problème, c'est qu'ils ne voyaient rien.

Le premier : un contrôle qui n'avait pas le droit de lire

Le besoin était simple : mesurer si l'assistant qui travaille dans la tour dérive. Pas lui demander son avis — le mesurer. L'outil ouvre les enregistrements des sessions, compte les refus, compte les fois où du travail est renvoyé à l'humain, compte les « c'est testé » annoncés sans qu'aucune commande n'ait été lancée.

Il a été écrit, puis accroché au contrôle qui passe tous les soirs. Et le soir même, il a répondu :

Aucune session sur la période : rien à contrôler.

C'était faux. Il y avait eu des heures de travail ce jour-là. Mais le contrôle du soir tourne sous un compte différent de celui qui possède les enregistrements. Ce compte n'avait pas le droit de les lire. L'outil a donc trouvé zéro session — et il a conclu que tout allait bien.

La correction : quand l'outil ne voit rien, il ne dit plus « rien à signaler ». Il crie. Il regarde les deux emplacements possibles, et s'il n'en lit aucun, il sort en alerte avec la raison — droits insuffisants. Un contrôle qui ne peut pas voir doit dire qu'il est aveugle, jamais dire que tout va bien.

Le second : un écran qui cachait ce qu'on venait d'y ranger

Le même jour, six candidatures ont été rangées dans la tour, avec pour chacune la lettre, le CV, le lien de l'offre et le texte de l'annonce. Six fiches, écrites et vérifiées en base.

À l'écran : rien. Ou plutôt, les anciennes seulement.

La cause n'était pas une perte de données. La liste pose toute seule, au chargement, un filtre « vivantes » qui ne montre que les candidatures déjà envoyées. Les six nouvelles étaient marquées « préparées, pas encore envoyées » — un état neuf, ajouté le matin même. Le filtre ne le connaissait pas. Il les a donc écartées, en silence.

Le propriétaire de la tour a failli conclure, pour la deuxième fois de la journée, que le travail n'avait pas été fait.

La leçon, et elle est plus large qu'un filtre : ajouter un état, une catégorie ou un statut sans regarder ce que les écrans montrent par défaut, c'est livrer à moitié. La donnée existe, et pour celui qui s'en sert, elle n'existe pas. Le seul test qui vaut est celui qui se fait par ses yeux à lui.

Ce qui a été posé, parce qu'une promesse ne se recharge pas

La réponse facile aurait été : « je ferai attention la prochaine fois ». Elle ne vaut rien. Une intention meurt avec la conversation qui l'a portée ; personne ne la relit, rien ne la charge.

Ce qui a été posé à la place est un programme. Pour chaque écran de la tour qui pose un filtre tout seul à l'ouverture, il compte deux nombres : combien d'enregistrements existent, et combien l'écran en montre. Puis il dit ce qui est caché, et par quel filtre. Il ne juge pas — cacher est parfois voulu, une corbeille ou un historique ne s'affichent pas d'office. Il rend visible un choix qui, sinon, ne se voit nulle part.

Il tourne maintenant tous les soirs, sans que personne y pense. Son premier passage a regardé cinq cent cinquante-quatre écrans et en a signalé quarante-quatre qui cachent quelque chose à l'ouverture. Le plus gros n'était pas celui qu'on cherchait : un écran affichait trois fiches sur deux mille cent onze existantes.

La règle qui en sort : un garde-fou doit échouer bruyamment. S'il ne peut pas faire son travail, il doit le dire plus fort que s'il ne trouvait rien — parce qu'un silence et un « tout va bien » se ressemblent, et que l'un des deux ment.

Pourquoi ça dépasse largement cette tour

Les systèmes d'agents se multiplient. Presque tous affichent des voyants : tâches réussies, tests au vert, chaînes exécutées sans erreur. Presque aucun ne répond à la question qui compte : ce voyant a-t-il vraiment regardé quelque chose ?

Un test qui s'exécute sans rien couvrir passe au vert. Un contrôle sans droit de lecture passe au vert. Un écran filtré affiche une liste vide, et une liste vide ressemble à s'y méprendre à un travail non fait. Dans les trois cas, la machine dit la vérité sur ce qu'elle voit, et la vérité qu'elle dit est trompeuse.

C'est pour cela que la gouvernance d'un système d'agents ne se mesure pas au nombre de ses garde-fous, mais à leur capacité à refuser, et à dire quand ils ne peuvent pas juger. Une porte qui n'a jamais refusé ne garde rien. Une porte qui refuse en silence non plus.

Reste une question, et c'est celle qu'on devrait poser à chaque tableau de bord vert : qu'est-ce que ce voyant a réellement regardé, et que ferait-il s'il ne pouvait plus rien voir ?