« Je ne sais pas » — la réponse qui manquait
La question piège
La fusée Ariane 7 n'a jamais volé. On a quand même demandé à notre assistante locale quand avait eu lieu son premier vol.
Elle a répondu : « 2022 ».
Deux chiffres, un point, aucune hésitation. Le même aplomb que pour une vérité. C'est le pire défaut qu'un assistant puisse avoir : on ne peut plus distinguer ce qu'il sait de ce qu'il fabrique.
La cause n'était pas où on la cherchait
Le premier réflexe est d'accuser le modèle : il est petit, trois milliards de paramètres, il tourne sur une machine ordinaire. Facile.
Le vrai coupable était ailleurs, dans la recherche. Avant de répondre, l'assistante fouille ses documents et retient les trois meilleurs morceaux. Le mot important est « meilleurs ». Pas « bons » : meilleurs. Quand aucun morceau ne parle du sujet, elle retient quand même les trois moins mauvais, les pose devant le modèle en disant « voici ce que tu sais », et le modèle brode.
Le correctif tient en une règle
Un morceau n'est retenu que s'il partage au moins deux mots importants avec la question. Si aucun morceau ne passe cette barre, l'assistante n'appelle même pas le modèle. Elle répond, et c'est tout :
« Je ne sais pas. »
Et quand la question portait sur une date qu'elle n'a pas : « Je ne sais pas, et je ne sais pas encore gérer les dates. »
Ce que ça change, mesuré
| Question | Avant | Après |
|---|---|---|
| Premier vol d'Ariane 7 ? | « 2022 » — inventé | « Je ne sais pas, et je ne sais pas encore gérer les dates. » |
| Prix du kilo de titane en 2026 ? | phrase creuse | « Je ne sais pas. » |
| Date d'un événement lu le matin même | juste | juste, et plus précis |
Cette dernière ligne compte autant que les deux autres. Un garde-fou qui rend l'assistante muette n'est pas un progrès, c'est une panne. Le test vérifie les deux sens : qu'elle avoue son ignorance, et qu'elle répond toujours juste sur ce qu'elle a appris.
Le test a été écrit avant le correctif
C'est une règle de la maison, et elle a encore servi ce soir-là. On écrit le test, on le regarde échouer, puis on corrige. Un test qui n'a jamais été rouge ne prouve rien : il peut très bien regarder à côté.
Le nôtre a d'ailleurs révélé un troisième défaut qu'on ne cherchait pas : l'assistante répondait parfois en anglais à une question française.
Elle apprend toute seule, chaque matin
Le même soir, on lui a donné une tournée de presse. Un petit robot passe chaque matin chez cinq éditeurs d'intelligence artificielle, repère les articles nouveaux, et les lui donne à lire.
Résultats de la première nuit :
- 15 articles lus par tournée, 261 morceaux rangés en mémoire ;
- sa mémoire est passée de 14 à 52 documents en une soirée ;
- deux éditeurs sur cinq refusent la visite d'un robot inconnu — le nôtre lit alors la page lui-même et lui transmet le texte.
Le soir, une seule commande demande ce qu'elle a appris. Elle répond article par article. Et sur ce qu'elle n'a pas lu, elle dit « je ne sais pas » — ce qui, désormais, est une bonne réponse.
Ce qui ne marche toujours pas
On préfère l'écrire que le cacher.
La recherche compte les mots communs, pas le sens. Deux phrases qui disent la même chose avec des mots différents ne se rencontrent jamais. C'est pour ça qu'une question large — « quoi de neuf chez untel ? » — échoue alors que quatre de ses articles sont en mémoire. C'est la prochaine brique, et c'est celle qui changera le plus.
Les dates ne sont pas gérées. L'assistante ne sait pas dater ce qu'elle apprend. Elle ne peut donc pas répondre « aujourd'hui, j'ai appris ». Elle le dit franchement, au lieu d'inventer un mois et une année.
Ce qu'on retient
Un assistant qui invente est plus dangereux qu'un assistant muet. Le muet, on va vérifier ailleurs. Le menteur, on le croit.
Et la leçon d'ingénierie tient en une phrase : quand une machine se trompe, le fautif n'est presque jamais celui qu'on accuse. Ce n'était pas le cerveau. C'était la façon de lui présenter ce qu'il devait lire.