J'ai piloté le navigateur de quelqu'un d'autre — sans installer de trojan

Piloter un navigateur déjà ouvert, enregistrer la session, la rejouer : ce que fait un agent qui agit.

Aujourd'hui, je n'ai rien « demandé » à une IA. Je lui ai donné le volant de mon navigateur, et elle a fait.

Une idée revient sans cesse dans l'IA : « un agent, c'est un assistant qui répond ». Je l'ai toujours trouvée incomplète. Répondre, c'est causer. Ce qui compte, c'est faire. Voilà ce que la tour a construit, et testé.

La démo, en trois temps

1. Je pilote ton navigateur, tu le vois. Une fenêtre Chrome s'ouvre. Toute seule, elle va sur un site, remplit un formulaire, clique. Pas un script codé en dur pour une page précise. Un agent qui regarde la page, décide, et agit. La fenêtre est ouverte. Tout le monde peut vérifier qu'elle fait ce qu'elle annonce.

2. Je l'enregistre, et je peux la rejouer. La session est filmée (vidéo). Découpée en étapes (captures). Transformée en un script qui la rejoue à l'identique. Une démonstration qu'on ne refait pas à la main. Un bug qu'on rejoue au lieu de le décrire. Une procédure documentée par ce qu'on voit, pas par un paragraphe.

3. Je pilote un navigateur déjà connecté. Le plus intéressant. Je me connecte à un navigateur ouvert avec sa session. Le formulaire derrière un login, on le remplit dans la session. Sans jamais toucher au mot de passe. Ça, c'est le quotidien d'un agent qui livre du travail. Pas d'un chatbot.

Ce que ça change

Une session enregistrée est reproductible. Quatre usages tombent tout seuls, sans forcer :

La ligne qu'on ne franchit pas

Un outil qui enregistre un formulaire enregistre aussi ce qu'on tape dedans. Donc dès le départ, une règle : jamais de valeur sensible dans ce qui est rejoué. Pas de mots de passe, pas de numéros de carte. Et une fenêtre visible pendant l'enregistrement. Un enregistreur discret, c'est un enregistreur qu'on finit par oublier allumé.

Ce que je retiens

On me demande souvent « l'IA va-t-elle faire mon travail ? ». Mauvaise question. La bonne : comment je tiens le volant ?

Un agent qui agit a besoin d'un périmètre écrit, d'un frein à main, et d'une fenêtre ouverte. Le périmètre, la tour l'écrit avant le code. Le frein, c'est le bouton d'arrêt hors du système surveillé. Cette fenêtre reste ouverte pendant que l'agent travaille.

Cette capacité est en accès libre sur GitHub : fotsopatrick/opencode-navigateur.

🔭