Donner la pensée aux petits modèles : ce qui est prouvé et ce qui reste à faire
L'industrie de l'intelligence artificielle commence à comprendre l'impasse du tout-cloud : des modèles géants lents et coûteux pour des tâches de terrain qui réclament de la vitesse et de la sobriété. Avec le projet Alice, nous avons développé et testé une architecture de raisonnement léger exécutée directement sur du matériel standard de maison. Voici l'état exact des lieux, sans fard : ce qui est formellement prouvé par la mesure, et les limites réelles du système.
1. Ce qui est prouvé et mesuré (Les faits)
- Vitesse brute sur processeur classique : Le modèle compact (1,2 million de paramètres) génère 511 tokens par seconde sur un simple processeur Intel Core i7 grand public, sans carte graphique dédiée.
- Empreinte mémoire négligeable : Avec un poids de 4,68 Mo, le modèle réside entièrement dans la mémoire cache L3 du processeur (16 Mo), éliminant tout goulot d'étranglement avec la mémoire vive.
- Raisonnement transparent étape par étape : Le modèle isole systématiquement sa réflexion préalable entre deux balises explicites avant de formuler son action finale, permettant d'auditer la logique à chaque étape.
- Intégration d'orchestration : Le moteur répond aux requêtes des six agents de supervision en moins de 250 millisecondes par décision (arbitrage de règles, détection d'anomalies de sécurité, filtrage de domaines d'e-mails jetables).
- Validation par les tests : Vingt-neuf tests unitaires et d'intégration couvrant l'architecture mathématique, la sécurité des accès et la génération sont validés avec 100 % de réussite.
- Coût et souveraineté : Zéro euro d'abonnement externe, zéro donnée transmise hors du réseau local.
2. Ce qui n'est PAS prouvé et les limites réelles
Une démarche honnête exige de nommer clairement ce que le système ne sait pas faire pour éviter toute illusion magique.
- Pas de culture générale encyclopédique : Un modèle de 1,2 million de paramètres ne remplace pas une encyclopédie. Il ne sait pas disserter sur l'histoire ou la littérature ; sa force est strictement concentrée sur la déduction logique, la navigation spatiale et l'application de règles.
- Dépendance au jeu d'entraînement : Le modèle excelle sur les schémas de raisonnement qu'il a appris (coordonnées, leviers, diagnostics, politique de sécurité). Face à une situation entièrement inédite, il nécessite l'apport de nouveaux exemples d'entraînement.
- Complémentarité nécessaire avec un grand modèle : L'architecture repose sur un fonctionnement en deux vitesses. Le petit modèle assure les réflexes instantanés et la supervision de routine ; pour une synthèse rédactionnelle complexe, le système délègue la main à un grand modèle.
3. Pourquoi cette architecture change la donne
Ce résultat prouve qu'un agent autonome n'a pas besoin d'un supercalculateur pour être pertinent. En combinant une carte vivante, une mémoire de procédures et un micro-modèle de raisonnement dédié, un ordinateur modeste devient un copilote fiable, auditable et instantané.