Anubis passe à WebAssembly : un an de travail contre les crawlers IA

Tu visites un site et, au lieu du contenu, un écran gris te demande de patienter pendant une « vérification ». Pas un captcha, pas une panne : très probablement Anubis, l'outil libre devenu en un an la défense de prédilection des sites qui craquent sous les crawlers d'IA, ces robots qui aspirent le web pour nourrir les modèles de langage. Dimanche, son créateur principal, Xe Iaso, a publié le récit d'une année complète de chantier : la preuve de travail d'Anubis passe à WebAssembly, et le coût du scraping va grimper.

Pourquoi ça te concerne ? Parce que ce petit écran d'attente, tu vas probablement le croiser de plus en plus souvent. Et parce que la façon dont le web se défend contre les robots se joue là, une seconde de calcul à la fois.

Le videur que tu as déjà croisé sans le savoir

Anubis se place devant un site en reverse proxy, c'est-à-dire un programme qui reçoit les visiteurs à la place du vrai serveur et filtre ce qui passe. Son principe tient en une phrase : faire résoudre au navigateur un petit calcul de preuve de travail (proof of work), un défi triviale pour un humain qui lit une page, mais ruineux quand il faut le répéter des milliards de fois pour aspirer un site entier.

L'idée est empruntée à la lutte anti-spam des années 2000 : si chaque message coûte quelques secondes de calcul, l'envoi de masse devient prohibitif. Le projet est né en mars 2025, quand les crawlers des laboratoires IA ont mis à genoux des sites communautaires entiers. Aujourd'hui, le dépôt affiche plus de 22 000 étoiles sur GitHub et une licence MIT, la plus permissive qui existe.

Source : le blog officiel d'Anubis, qui héberge le billet complet.

Pourquoi ton téléphone dit merci

Le problème de départ est un casse-tête d'équité : les téléphones ont des processeurs modestes, les fermes de scraping ont des machines monstrueuses, et le défi doit rester léger pour l'un, insurmontable pour l'autre. Impossible de baisser la difficulté pour les téléphones sans l'offrir aussi aux robots. L'auteur teste d'ailleurs chaque modification sur un vieux Moto G8 Power, un téléphone modeste, pour vérifier que la page ne fait plus surchauffer la batterie.

D'où le passage à WebAssembly, un format binaire que les navigateurs exécutent à une vitesse proche du code natif. Une partie d'Anubis a été réécrite en Rust, un langage compilé, puis convertie en WebAssembly. Quand le navigateur gère les instructions SIMD, qui traitent plusieurs données d'un coup, le défi passe en accélération matérielle. Concrètement, le puzzle se résout plus vite, donc Anubis disparaît plus vite de ton écran. Le même fichier binaire tourne chez le visiteur et sur le serveur, ce qui évite les désaccords sur la validité d'une réponse. Et si un navigateur refuse WebAssembly, Anubis retombe sur une version JavaScript compilée pour survivre aux navigateurs anciens, ces Smart TV et boîtiers qui traînent dix ans de retard.

Argon2id : la défense qui facture la mémoire

L'ancien défi d'Anubis reposait sur SHA-256, un calcul purement processeur. Problème : les cartes graphiques enfilent ce genre de tâche à la chaîne, et l'auteur résume la menace d'une phrase mémorable, demander à un modèle IA de générer un solveur CUDA, le logiciel qui exploite ces puces, est devenu trivial. Le nouveau défi utilise Argon2id, une fonction qui consomme de la mémoire vive en plus du temps de calcul. Or la mémoire est précisément ce qui manque et ce qui coûte cher sur une ferme de cartes graphiques. La route du solveur bon marché se referme.

Le chantier a aussi corrigé un bug embarrassant : la difficulté comptait les zéros du résultat en demi-octets au lieu de bits. Conséquence, chaque cran de difficulté rendait le défi jusqu'à seize fois plus dur que prévu, une escalade involontaire qui punissait tout le monde, visiteurs compris.

Un an de galères et un bug de compilateur

Le récit du billet vaut le détour. En portant le code vers WebAssembly, l'auteur tombe sur le premier bug de compilateur de sa carrière : LLVM, l'atelier qui traduit le code en programmes exécutables, produisait des fichiers qui dérivaient d'une trentaine d'octets à chaque compilation. La parade tient de l'exploit de bricolage de génie : compiler l'outil de conversion lui-même en WebAssembly, avec une construction reproductible, et figer le résultat dans le dépôt.

Autre montagne : tester Anubis dans des dizaines de navigateurs sans installer cinquante machines. Le harnais maison, baptisé chromesweep, fait défiler des versions de Chrome de toutes les époques dans des microVM, des mini-machines isolées, parce que les vieux navigateurs y sont traités comme des déchets radioactifs. Ce harnais est désormais publié sous le nom de Gubal. Détail savoureux : le billet qui raconte tout cela est protégé par Anubis, qui te fait résoudre son propre puzzle avant de t'autoriser à lire. La boucle est bouclée.

Source : le dépôt GitHub d'Anubis (Techaro), où vit le harnais de tests Gubal.

Ce que ça change pour toi

Si tu gères un site ou un serveur, la nouvelle mécanique est documentée et activable dans les règles de filtrage d'Anubis, avec un niveau de difficulté réglable par profil de visiteur. La préversion 1.28.0-pre1 est sortie le 30 août et la version stable suivra. Si tu es simplement de passage sur le web, tu ne remarqueras rien, sauf un écran d'attente plus court et un téléphone qui chauffe un peu moins.

Reste lucide sur les limites : Anubis ne fait pas d'analyse comportementale des visiteurs, il applique une logique économique, rendre chaque requête plus coûteuse que le contenu qu'elle rapporte. C'est un péage, pas une forteresse, et la course continue. Quand 3 700 agents d'OpenAI ont transformé un petit wiki allemand en salon de discussion, on a vu à quelle vitesse une petite infrastructure plie. Et la bataille de l'accès aux données ne se joue pas que côté crawlers, on l'a vu avec le retour de Nitter.

Ces agents d'OpenAI et le retour de Nitter sont deux épisodes récents de cette même guerre du web.

Les crawlers ont des fermes de cartes graphiques. En face, il y a désormais un an de ténacité, de la mémoire vive facturée aux robots et un gardien qui frappe plus vite. Le rapport de force vient de bouger un peu, et ça, c'est une bonne nouvelle pour le web de gens.

Sources

Le billet officiel « It took a year to ship WebAssembly in Anubis » : le récit complet d'une année de développement, publié le 6 septembre 2026 sur le blog du projet.

La préversion Anubis v1.28.0-pre1 sur GitHub : la première version avec les défis de preuve de travail en WebAssembly, sortie le 30 août 2026.

Le dossier d'Help Net Security sur Anubis : fonctionnement de l'outil, déploiement en reverse proxy et logique économique de la défense.

—

Recherche, relecture et illustration assistées par IA. Le contenu reflète le travail éditorial de la rédaction.