زیرشبکه 3 بیتنسور مدل هوش مصنوعی 72 میلیارد پارامتری را بر روی شبکه غیر متمرکز آموزش می‌دهد

خلاصه:

• Covenant-72B امتیاز 67.1 را در MMLU بدون آموزش کسب کرد و LLaMA-2-70B با امتیاز 65.6 را در شرایط آزمایش یکسان شکست داد.
• SparseLoCo سربار ارتباطی را با استفاده از تنک‌سازی، کوانتیزاسیون 2 بیتی و بازخورد خطا در سراسر گره‌ها 146 برابر کاهش داد.
• Gauntlet مشارکت هر گره را از طریق ارزیابی ضرر و رتبه‌بندی OpenSkill امتیازدهی کرد که همگی در بلاک چین ثبت شدند.
• $TAO پس از اعلامیه 14٪ افزایش یافت و به 236 دلار رسید، درحالی‌که گری اسکیل صندوق سرمایه گذاری TAO خود را برای دسترسی سرمایه‌گذاران نهادی گسترش داد.
  

زیرشبکه 3 Bittensor یک مدل هوش مصنوعی با 72 میلیارد پارامتر را بدون یک مرکز داده متمرکز آموزش داده است. این مدل با نام Covenant-72B در بین بیش از 70 شرکت‌کننده جهانی ساخته شد.

تمام گره‌ها از طریق اینترنت خانگی استاندارد متصل هستند. Covenant-72B از LLaMA-2-70B متا در معیار MMLU بهتر عمل کرد و امتیاز 67.1 در برابر 65.6 کسب کرد.

این آزمایش در شرایط یکسان بدون آموزش اجرا شد. این نتیجه فرضیات دیرینه در مورد آنچه محاسبات غیر متمرکز می‌تواند به دست آورد را به چالش می‌کشد.

دو نوآوری فنی آموزش غیر متمرکز را هدایت کردند

سال‌ها پروژه‌های هوش مصنوعی کریپتو ادعا کردند که محاسبات غیر متمرکز می‌تواند با آزمایشگاه‌های متمرکز برابری کند. زیرشبکه 3 Bittensor اکنون این ادعا را با نتایج قابل اندازه‌گیری پشتیبانی می‌کند.

این آموزش 1.1 تریلیون توکن را در بیش از 70 گره در سراسر جهان پوشش داد. هر گره با اتصالات اینترنتی استاندارد 500 مگابیت بر ثانیه اجرا شد.

دو نوآوری اصلی این مقیاس از آموزش را ممکن ساختند. SparseLoCo سربار ارتباطی را در طول فرآیند 146 برابر کاهش داد.

این روش تنک‌سازی top-k، کوانتیزاسیون 2 بیتی و بازخورد خطا را برای همگام نگه داشتن تمام گره‌ها ترکیب کرد. هیچ سرور مرکزی برای مدیریت هماهنگی در سراسر شبکه لازم نبود.

نوآوری دوم، Gauntlet، اعتماد و امتیازدهی مشارکت را در طول آموزش مدیریت کرد. هر گره را از طریق ارزیابی ضرر و رتبه‌بندی OpenSkill ارزیابی کرد.

تمام امتیازها برای شفافیت کامل در بلاک چین ثبت شدند. این به هر شرکت‌کننده یک سابقه قابل تأیید از مشارکت خود داد.

Milk Road از طریق رسانه‌های اجتماعی در مورد نتیجه گزارش داد و خاطرنشان کرد که شبکه‌های توزیع شده اکنون می‌توانند مدل‌های بزرگ را به صورت رقابتی آموزش دهند. وزن‌های مدل در Hugging Face تحت مجوز Apache در دسترس هستند.

هرکسی می‌تواند بدون هزینه به Covenant-72B دسترسی داشته باشد، از آن استفاده کند یا روی آن بسازد. این رویکرد باز آن را از بسیاری از مدل‌های هوش مصنوعی محدود و اختصاصی موجود امروز متمایز می‌کند.

$TAO با پاسخ بازار به نتایج Covenant-72B افزایش می‌یابد

بازار پس از انتشار عمومی خبر آموزش Covenant-72B به سرعت حرکت کرد. $TAO، توکن بومی Bittensor، پس از اعلامیه 14٪ افزایش یافت و به 236 دلار رسید.

این توکن همچنین در طول دوره 30 روزه قبلی 36٪ رشد کرده بود. حجم معاملات در طول شش ماه گذشته 167٪ افزایش یافت.

گری اسکیل صندوق سرمایه گذاری TAO خود را در همان هفته اعلامیه گسترش داد. این اقدام دسترسی نهادی گسترده‌تری را مستقیماً به توکن باز کرد.

این اتفاق در حالی رخ داد که علاقه سرمایه‌گذاران به دارایی‌های کریپتو مرتبط با هوش مصنوعی به رشد خود ادامه داد. زمان‌بندی فشار صعودی بیشتری را به حرکت قیمت توکن اضافه کرد.

ترکیب نتیجه فنی و علاقه نهادی توجه گسترده بازار را جلب کرد. امتیاز MMLU مدل Covenant-72B یک معیار قابل اعتماد و قابل آزمایش برای محاسبات غیر متمرکز ارائه می‌دهد.

نتیجه قابل اندازه‌گیری است و می‌تواند تحت شرایط استاندارد تکرار شود. این آن را به وضوح از بسیاری از ادعاهای تأیید نشده قبلی در فضای هوش مصنوعی کریپتو متمایز می‌کند.

وزن‌های دارای مجوز Apache در Hugging Face به هر توسعه‌دهنده‌ای اجازه می‌دهد تا کار را به صورت مستقل تأیید کند. رویکرد Bittensor یک چارچوب کاربردی برای آموزش مدل هوش مصنوعی مبتنی بر جامعه را نشان می‌دهد.

این شبکه در بین بیش از 70 شرکت‌کننده بدون هیچ هماهنگی مرکزی در هیچ نقطه‌ای اجرا شد. این یک سابقه کاری برای آموزش مدل‌های بزرگ توزیع شده در آینده ایجاد می‌کند.

این مطلب ابتدا در Blockonomi منتشر شد: زیرشبکه 3 Bittensor مدل هوش مصنوعی 72 میلیارد پارامتری را در شبکه غیر متمرکز آموزش می‌دهد.