Le Subnet 3 de Bittensor entraîne un modèle d'IA de 72B sur un réseau décentralisé

TLDR :

• Covenant-72B a obtenu un score de 67,1 sur MMLU zero-shot, dépassant les 65,6 de LLaMA-2-70B dans des conditions de test identiques.
• SparseLoCo a réduit la surcharge de communication par un facteur de 146 en utilisant la sparsification, la quantification à 2 bits et le retour d'erreur entre les nœuds.
• Gauntlet a évalué la contribution de chaque nœud via l'évaluation des pertes et le classement OpenSkill, le tout enregistré sur la blockchain.
• $TAO a augmenté de 14 % pour atteindre 236 $ après l'annonce, Grayscale élargissant son trust TAO pour l'accès des investisseurs institutionnels.
  

Le Subnet 3 de Bittensor a entraîné un modèle d'IA de 72 milliards de paramètres sans centre de données centralisé. Le modèle, nommé Covenant-72B, a été construit avec plus de 70 participants à travers le monde.

Tous les nœuds sont connectés via une connexion Internet domestique standard. Covenant-72B a surpassé le LLaMA-2-70B de Meta sur le benchmark MMLU, obtenant un score de 67,1 contre 65,6.

Le test a été effectué dans des conditions zero-shot identiques. Ce résultat remet en question les hypothèses de longue date sur ce que le calcul décentralisé peut accomplir.

Deux innovations techniques ont permis l'entraînement décentralisé

Pendant des années, les projets crypto d'IA ont affirmé que le calcul décentralisé pouvait rivaliser avec les laboratoires centralisés. Le Subnet 3 de Bittensor soutient désormais cette affirmation avec des résultats mesurables.

L'entraînement a couvert 1,1 billion de tokens sur plus de 70 nœuds dans le monde. Chaque nœud fonctionnait sur des connexions Internet standard de 500 Mb/s.

Deux innovations clés ont rendu possible cette échelle d'entraînement. SparseLoCo a réduit la surcharge de communication par un facteur de 146 tout au long du processus.

Il a combiné la sparsification top-k, la quantification à 2 bits et le retour d'erreur pour maintenir tous les nœuds synchronisés. Aucun serveur central n'était nécessaire pour gérer la coordination sur le réseau.

La deuxième innovation, Gauntlet, a géré la confiance et le scoring des contributions pendant l'entraînement. Elle a évalué chaque nœud via l'évaluation des pertes et le classement OpenSkill.

Tous les scores ont été enregistrés sur la blockchain pour une transparence totale. Cela a donné à chaque participant un enregistrement vérifiable de sa contribution.

Milk Road a rapporté le résultat via les réseaux sociaux, notant que les réseaux distribués peuvent désormais entraîner de grands modèles de manière compétitive. Les poids du modèle sont disponibles sur Hugging Face sous licence Apache.

N'importe qui peut accéder, utiliser ou développer Covenant-72B sans frais. Cette approche ouverte le distingue de nombreux modèles d'IA propriétaires et restreints disponibles aujourd'hui.

$TAO grimpe alors que le marché réagit aux résultats de Covenant-72B

Le marché a réagi rapidement après la diffusion publique de la nouvelle de l'entraînement de Covenant-72B. $TAO, le token natif de Bittensor, a augmenté de 14 % pour atteindre 236 $ suite à l'annonce.

Le token avait également gagné 36 % sur la période de 30 jours précédente. Le volume de trading a augmenté de 167 % au cours des six derniers mois.

Grayscale a élargi son trust TAO au cours de la même semaine que l'annonce. Cette décision a ouvert un accès institutionnel plus large au token directement.

Elle est intervenue alors que l'intérêt des investisseurs pour les actifs crypto liés à l'IA continuait de croître. Le timing a ajouté une pression supplémentaire à la hausse sur le mouvement du prix du token.

La combinaison d'un résultat technique et d'un intérêt institutionnel a attiré une large attention du marché. Le score MMLU de Covenant-72B donne au calcul décentralisé un benchmark crédible et testable.

Le résultat est mesurable et peut être reproduit dans des conditions standard. Cela le distingue clairement de nombreuses affirmations antérieures non vérifiées dans l'espace crypto de l'IA.

Les poids sous licence Apache sur Hugging Face permettent à n'importe quel développeur de vérifier le travail de manière indépendante. L'approche de Bittensor montre un cadre fonctionnel pour l'entraînement de modèles d'IA piloté par la communauté.

Le réseau a fonctionné avec plus de 70 participants sans aucune coordination centrale à aucun moment. Cela établit un précédent fonctionnel pour l'entraînement distribué de grands modèles à l'avenir.

L'article Le Subnet 3 de Bittensor entraîne un modèle d'IA de 72B sur un réseau décentralisé est apparu en premier sur Blockonomi.