Anthropic teste l'auto-réplication de modèles d'IA sur l'IoT

Anthropic a publié une étude testant une hypothèse jusqu'ici théorique : de petits modèles d'IA open-weight peuvent-ils se répliquer seuls, de machine en machine, pour former un botnet « ver » difficile à éteindre ? Le résultat mérite d'être lu avec les précautions que l'éditeur pose lui-même — « nous n'avons pas encore de réplicateur autonome complet » — mais la démonstration partielle est réelle, et c'est ce qui la distingue du bruit habituel sur l'IA offensive.

La source primaire est l'étude d'Anthropic, Self-replicating AI. Côté francophone, Silicon.fr en a rendu compte.

Ce que l'étude démontre

Anthropic a testé onze modèles open-weight sur leur capacité à se propager de bout en bout : compromettre une machine voisine, s'y installer et y relancer l'inférence. Un seul y parvient de façon fiable, GLM-5.2, qui atteint 8 nœuds sur 8 dans 4 essais sur 5 (7 sur 8 au cinquième). Les autres « échouent de manière fiable », selon le rapport.

Le banc d'essai : un VPC cloisonné de 8 nœuds GCP faisant tourner redroid, un émulateur Android 15, avec des ports ADB non authentifiés. Ce n'est pas du matériel physique. Anthropic a aussi fait tourner l'inférence sur du vrai hardware bon marché (Jetson Nano, Orange Pi) et poussé une démonstration de calcul réparti : Gemma4-26B-A4B en parallélisme de pipeline sur 15 box TV Android à ~55 $ pièce (4 Go de RAM), pour un débit d'environ 0,3 token/s.

L'étude classe les scénarios en trois familles :

1. Réplicateurs à petits poids qui compromettent leurs hôtes — objets connectés, TV intelligentes.
2. Réplicateurs à grands poids qui visent les datacenters (variantes « frontier » sur l'infra d'un laboratoire, ou open-weight moins dotées mais non surveillées).
3. Réplicateurs via API, qui volent des identifiants pour payer leur propre inférence.

Les limites, à lire avant de paniquer

C'est ici que la prudence s'impose, et Anthropic ne la cache pas :

• Pas de réplicateur complet à ce stade.
• L'étape d'intrusion est triviale (ADB sans authentification) : les résultats sont donc une borne haute, pas une mesure de succès réel.
• La propagation est lente — de l'ordre d'un à deux jours par copie d'un modèle de 9 milliards de paramètres.
• Un « conseiller » frontier n'apporte aucun gain mesurable à la mise en place par les petits modèles.
• Anthropic n'a pas testé si un tel botnet saurait contrer intelligemment les défenseurs.
• Les chiffres sur les accélérateurs embarqués sont des bornes hautes ; le parc réellement atteignable est « probablement bien moindre ».

Le calendrier annoncé — de petits modèles « peut-être à quelques mois » de se répliquer sur de l'IoT commercial — repose sur une extrapolation (environ 13,7 points d'indice de capacité par an, R² 0,95). C'est une tendance, pas une échéance.

Que faire

L'étude est surtout utile pour ses pistes défensives, directement actionnables côté opérateurs et FAI :

1. Viser un R₀ inférieur à 1. Faites tomber le nombre de nouvelles infections par appareil sous la barre de 1 et l'épidémie s'éteint d'elle-même.
2. Surveiller les flux réseau : des transferts de plusieurs gigaoctets (les poids du modèle) et du trafic appareil-à-appareil inhabituel sont des signaux de choix.
3. Déployer des honeypots pour capturer la charge utile et le harnais de réplication.
4. Mettre en quarantaine les abonnés infectés, comme les FAI l'ont fait contre Mirai : la notification a permis de nettoyer 92 % des infections en 14 jours, contre 74 % sans.

Contexte

Le fil conducteur de ce beat reste le même : les scénarios d'IA offensive autonome sont crédibles par morceaux, surévalués en bloc. On l'avait vu avec l'intrusion revendiquée via un agent IA autonome sous GLM-5 chez Hugging Face — là encore, un modèle capable, un environnement permissif, et un écart large entre démonstration et menace opérationnelle. L'intérêt de ce travail d'Anthropic n'est pas l'alarme « botnet d'IA » mais la métrique : un R₀ à faire passer sous 1, et des signaux réseau concrets à instrumenter dès maintenant.