Magnitude : branche des modèles IA locaux sur tes agents

Ton agent te réclame une clé API, un abonnement, un quota. Pendant ce temps, ta machine dort avec 30 Go de RAM et un processeur qui s'ennuie. Les modèles IA locaux existent, ils sont gratuits et ils restent chez toi. Le seul problème, c'est l'installation : choisir le bon modèle, la bonne compression, la bonne taille de contexte, et prier pour que ça rentre dans la mémoire.

Magnitude fait un pari simple : confier toute cette chaîne de décisions à l'agent lui-même. On l'a installé chez nous, sur un PC sans carte graphique de luxe, et on a chronométré le résultat. Voilà ce que ça donne.

C'est quoi exactement Magnitude

Un serveur d'inférence, c'est le logiciel qui fait tourner un modèle d'IA et répond aux demandes qu'on lui envoie, comme le fait un service en ligne. La différence : ici, tout se passe sur ta machine. Magnitude profile ton processeur, ta mémoire et ton accélération graphique, puis il classe les modèles de son catalogue par ce qui tourne vraiment chez toi, vitesse et mémoire à l'appui. Une fois le modèle choisi, il le télécharge, le règle et le garde en réserve, à charger à la demande.

Sous le capot, le moteur est écrit en Rust par-dessus llama.cpp, le projet open source de référence pour faire tourner des modèles sur du matériel courant. Le projet est jeune : créé en juin 2026, déjà 2 279 étoiles sur GitHub, licence Apache 2.0, et une accélération Y Combinator affichée sur le site officiel. Côté clients, il parle avec Pi, OpenCode, Hermes, OpenClaw, Codex, Claude Code, Oh My Pi et Cline. Tu peux aussi utiliser son interface intégrée.

Illustration : Magnitude — le schéma officiel de l'écosystème du projet

L'installation : une commande et un prompt

Deux lignes suffisent sur Linux et macOS (Windows passe par WSL) :

npm i -g @magnitudedev/cli
magnitude service install
magnitude service start

La CLI est un petit lanceur qui télécharge le vrai moteur à la première exécution. Ensuite, tout tourne en tâche de fond et écoute en local sur 127.0.0.1:10100, avec une API compatible OpenAI. Chez nous, le service a détecté l'iGPU AMD Radeon de la machine, préparé le backend Vulkan tout seul et démarré proprement.

L'installation guidée peut se faire par ton agent, en lui envoyant le prompt fourni dans le README. L'agent profile le matériel, présente les modèles qui tiennent, télécharge celui que tu choisis et connecte ton outil. On a fait le parcours en direct avec la CLI : le catalogue a évalué 59 configurations de modèles pour notre machine en une vingtaine de secondes, sans rien télécharger.

Les recommandations, vues sur notre machine

La commande de recommandations renvoie un classement « équilibré » qui croise intelligence estimée, vitesse annoncée, mémoire occupée et taille de contexte. Sur nos 30 Go de RAM et notre iGPU, voici le trio de tête :

• Gemma 4 26B-A4B (Q4 QAT) — 17,8 Go en mémoire, 9 à 12 tokens par seconde annoncés, contexte de 100 000 tokens, précision haute, vision et outils. Notre choix de départ.
• Qwen3.6 35B-A3B (Q4) — 25,7 Go, le score d'intelligence le plus élevé du classement, mais une empreinte mémoire qui frôle la limite.
• Nemotron 3.5 Lightning 30B-A3B (Q4) — même gabarit, accélération de décodage spéculatif, le plus rapide du trio annoncé.

Schéma explicatif NumeriBrain — réalisé par la rédaction d'après la sortie réelle de la CLI Magnitude sur notre machine de test. Ce n'est pas une capture officielle.

Petit détail qui change tout sur ce genre de machine : la plupart des modèles proposés sont des « mixture of experts ». Un gros modèle dont seule une petite partie des paramètres s'active à chaque token, l'unité de texte que le modèle lit et écrit. Résultat : une empreinte mémoire de gros modèle, avec une vitesse de petit modèle. C'est ce qui rend un iGPU modeste utilisable.

Quand la recommandation n°1 refuse de démarrer

On a vécu l'anecdote la plus intéressante du test dès le premier lancement. Après vingt minutes de téléchargement du modèle Gemma de 17,8 Go, le chargement a été refusé net : le moteur réclamait 19,1 Go plus 1,6 Go de réserve, et il en manquait 345 Mo. Pas de plantage, pas de swap infernal : un refus net avec le calcul exact sous les yeux.

La recommandation avait été calculée au moment de l'installation, alors que la mémoire était plus libre. Entre-temps, le bureau, les conteneurs et les travaux de fond étaient repassés par là. Le moteur revérifie la mémoire disponible avant chaque chargement et s'arrête avant de déstabiliser la machine. C'est exactement le genre de protection qu'on veut voir sur un outil destiné à tourner en tâche de fond.

On a déroulé le plan B proposé par le classement : Liquid LFM2.5 8B-A1B en Q6, une quantification qui compresse les poids du modèle sans trop dégrader la précision. 8,8 Go annoncés, 7,3 Go téléchargés en quelques minutes, et un chargement immédiat. La leçon au passage : sur une machine de 32 Go qui vit sa vie, les modèles de 20 Go et plus demandent de la mémoire libre au bon moment. Le classement vous prévient, mais il ne fige pas la RAM.

Le test en vrai : 31 tokens par seconde et du français propre

Une fois le modèle chargé, on l'a interrogé comme le ferait un agent, via l'API compatible OpenAI en local, avec une question en français. Premier essai : 181 tokens générés en 6,5 secondes, soit 28 tokens par seconde précharge comprise. À chaud, la vitesse se stabilise : 393 tokens en 12,7 secondes, soit 31 tokens par seconde, avec une première réponse entamée après 103 millisecondes.

La qualité du français est correcte : phrases construites, vocabulaire juste, aucune scie saxonnes dans la réponse finale. Détail à connaître : ce modèle est un raisonneur. Il rédige d'abord une réflexion interne, visible dans un champ séparé reasoning_content, avant de donner sa réponse. Si vous bricolez l'API vous-même, donnez-lui du budget de tokens : notre premier essai avec une limite trop basse a tout consommé en réflexion, sans jamais écrire la réponse.

Une fois les modèles téléchargés, tout fonctionne hors ligne. Les requêtes ne quittent pas la machine, et le service décharge le modèle quand il ne sert plus, puis le recharge à la demande. Pour un agent qui tourne tous les jours sur des tâches courtes, c'est le genre de détail qui rend l'usage réel.

Pour qui c'est fait

Pour toutes les personnes qui utilisent déjà un agent IA et qui veulent réduire la facture et l'envoi de données, sans devenir admin système. La cible naturelle : une machine avec de la RAM, pas forcément une grosse carte graphique. Les modèles « mixture of experts » recommandés font le travail sur un iGPU, et la protection mémoire évite les pires surprises.

Notre test de FreeToken montre ce que donnent les grosses cartes graphiques sur ce terrain, quand on a la machine pour ça.

Le guide complet de l'auto-hébergement de LLMs reste la lecture pour choisir son matériel et comprendre la mécanique complète.

Reste les limites, soyons honnêtes. Le projet a trois mois, deux développeurs actifs et une version 0.0.11 : la cadence de sortie est folle, mais attendez-vous à des soubresauts. L'intelligence des petits modèles locaux ne rivalise pas avec les gros modèles du cloud : c'est très bon pour assister, classer, résumer, automatiser ; moins pour de la rédaction complexe. Et les recommandations supposent une mémoire réellement disponible au chargement, pas au moment de l'installation.

Verdict : on passe à l'action ?

Si vous utilisez un agent au quotidien, oui, testez-le : deux commandes et un prompt envoyé à l'agent, et la machine vous dit elle-même ce qu'elle sait faire. Le positionnement est honnête, l'installation est réellement guidée, et la protection mémoire a prouvé en conditions réelles qu'elle préfère refuser proprement plutôt que de faire s'écrouler la machine.

Notre iGPU, qui n'avait jusqu'ici servi qu'à afficher le bureau, vient de répondre en français à 31 tokens par seconde. Les agents locaux ne sont plus un projet de week-end, ils deviennent une commande.

Sources

Le dépôt officiel de Magnitude sur GitHub

Le code source du projet, la licence Apache 2.0 et l'historique des versions.

La documentation officielle de Magnitude

Installation, fonctionnement du moteur d'inférence, gestion de la mémoire et référence de la CLI.

Le site officiel de Magnitude

Présentation du projet, écosystème d'agents compatibles et FAQ.

Le paquet npm @magnitudedev/cli

Le lanceur utilisé dans ce test, en version 0.0.11 au moment de la rédaction.

—

Recherche, relecture et illustration assistées par IA. Le contenu reflète le travail éditorial de la rédaction.