Un moteur open source promet de faire tourner des modèles d'IA géants sur une simple carte graphique de bureau. FreeToken, développé par des chercheurs de Berkeley et du MIT, veut rendre l'IA locale enfin abordable pour tout le monde.
Le problème de l'IA locale, c'est la mémoire. Les gros modèles comme GLM-5.2, avec ses 753 milliards de paramètres, dépassent largement la mémoire d'une carte graphique grand public. FreeToken contourne ça en répartissant intelligemment le travail entre la carte graphique, le processeur et la mémoire vive de ta machine.
Des modèles géants sur du matériel de tous les jours
Les chiffres annoncés sont impressionnants. Un modèle de 35 milliards de paramètres tourne à vitesse interactive sur un portable avec 8 Go de carte graphique. Un modèle de 284 milliards passe sur un PC gamer. Et le géant GLM-5.2, 753 milliards, tient sur une carte graphique de station de travail.
Source : dépôt GitHub FlashML-org/FreeToken — capture de l'interface desktop.
Comment ça marche
FreeToken s'appuie sur une technique appelée mixture-of-experts, où seuls quelques sous-modèles sont activés à chaque étape. Plutôt que de charger tout le modèle en mémoire, il garde les parties actives sur la carte graphique et déplace le reste à la demande. Le résultat : des modèles de niveau datacenter sur du matériel que tu possèdes déjà.
L'installation est simple. Une application desktop pour Windows et Linux, ou une commande en ligne de commande. Une fois lancé, FreeToken expose une interface compatible avec les outils d'IA comme Claude Code, Codex ou OpenCode. Tes données restent sur ta machine, ce qui est un vrai plus pour la vie privée.
Pourquoi c'est important
L'IA locale a longtemps été réservée à ceux qui pouvaient s'offrir des serveurs. FreeToken change la donne en rendant les gros modèles accessibles sur du matériel grand public. Pour qui veut garder ses données chez soi, éviter les abonnements ou travailler hors ligne, c'est une alternative crédible aux services cloud.
Le projet est encore jeune, mais il est open source sous licence Apache 2.0 et déjà suivi par des milliers de développeurs. L'IA locale n'a jamais été aussi proche de ton bureau.
Sources
GitHub — le dépôt officiel du projet, avec la documentation et l'installation.
arXiv — le papier de recherche détaillant l'architecture de FreeToken.
MarkTechPost — la présentation du projet et de ses performances.
—
Recherche, relecture et illustration assistées par IA. Le contenu reflète le travail éditorial de la rédaction.
No comments yet