بایتدنس در حال آموزش یک مدل هوش مصنوعی است که میتواند به اندازه پیشرفتهترین سیستم «میتوس» آنتروپیک نزدیک شود، زیرا شرکتهای چینی همچنان شکاف با آزمایشگاههای برتر آمریکایی را کاهش میدهند.
این غول فناوری چینی در مراحل اولیه آموزش مدلی با حداکثر ۱۰ تریلیون پارامتر است — سه برابر بزرگتر از «کیمی K3» مونشات، بزرگترین مدل چینی منتشر شده تا به امروز — به گفته سه نفر که از موضوع اطلاع دارند.
مدل بایتدنس در حال پیشآموزش است — مرحلهای که معمولاً سه تا شش ماه طول میکشد — قبل از اینکه تنظیم دقیق شود و در صورت موفقیت منتشر شود، به گفته یکی از این افراد. اندازه دقیق مدل تنها در مراحل بعدی تعیین خواهد شد.
آنتروپیک اندازه مدلهای خود را فاش نمیکند، اما تخمینهای صنعتی نشان میدهد که پیشرفتهترین مدل «میتوس ۵» حدود ۸ تریلیون پارامتر و «فیبل ۵» حدود ۵ تریلیون پارامتر دارد. در حالی که تعداد پارامترها ظرفیت اساسی یا محدودیتهای حافظه را برای ذخیره اطلاعات مدلها تعیین میکند، قابلیت واقعی به عوامل دیگری مانند کیفیت داده و روشهای آموزش نیز بستگی دارد.
تلاشهای بایتدنس برای آموزش یکی از بزرگترین مدلهای هوش مصنوعی جهان نشاندهنده جاهطلبی آزمایشگاههای چینی برای نه تنها عقبنماندن، بلکه پیشی گرفتن از همتایان آمریکایی در پیشرفتهترین سطح هوش مصنوعی است.
تنها در هفتههای اخیر، مدلهای چینی از مونشات و علیبابا عملکرد قوی در معیارها نشان دادهاند و تنها در برخی زمینهها از «فیبل ۵» آنتروپیک عقبتر هستند. «میتوس ۵»، پیشرفتهترین مدل آنتروپیک، تنها در دسترس سازمانهای تأیید شده است و پس از ممنوعیت موقت در ژوئن به دلیل نگرانیهای امنیتی.
کارشناسان صنعت میگویند چندین آزمایشگاه چینی در حال آموزش مدلهایی با اندازه «فیبل ۵» هستند، در حالی که بایتدنس در حال حاضر جاهطلبترین در تلاش برای بزرگترین مدل است.
بایتدنس، شرکت مادر پلتفرم ویدیوی ویروسی تیکتاک، در توسعه هوش مصنوعی خود محتاطانه عمل کرده است، زیرا مدلهای آن عمدتاً بسته هستند، برخلاف بسیاری از همتایان چینی. جدیدترین مدل «سیدنس» آن در میان پیشرفتهترین مدلهای جهانی در تولید ویدیو قرار دارد، در حالی که مدل مصرفکننده محور اصلی آن «دوبائو» محبوبترین مدل در چین با ۳۲۴ میلیون کاربر فعال ماهانه است.
در سه سال گذشته، بایتدنس تهاجمیتر از هر غول فناوری چینی دیگری در هوش مصنوعی سرمایهگذاری کرده است و شبکه مراکز داده خود را گسترش داده و محققانی استخدام کرده است. این شرکت بر واحد ابری خود، «ولکانو انجین»، که راهحلهای هوش مصنوعی را به شرکتها میفروشد، تمرکز کرده است. بایتدنس همچنین جاهطلبی برای توسعه تراشههای هوش مصنوعی سفارشی دارد.
«سید»، تیم توسعه مدل آن به رهبری وو یونگهوی، دانشمند سابق گوگل دیپمایند، حدود ۲۰۰۰ عضو در چین و خارج از کشور دارد. این تیم شامل محققان اصلی، مهندسان زیرساخت، تیم برچسبگذاری داده و مترجمان است.
توسعه مدل آن همچنین رویکرد مستقلتری را اجرا کرده است که شامل «تقطیر» مدلهای موجود از سایر آزمایشگاهها نمیشود، به گفته یکی از افراد. این رویکرد بیش از یک سال است که اجرا شده است و برخی معتقدند که منجر به توسعه کندتر آن نسبت به رقبا شده است.
تقطیر مدل فرآیند فشردهسازی یک مدل هوش مصنوعی بزرگ و پیچیده به یک مدل کوچکتر و سریعتر با آموزش مدل کوچکتر برای کپی کردن دانش و خروجیهای مدل بزرگتر معلم است.
مدیریت بایتدنس، به رهبری بنیانگذار ژانگ ییمینگ، معتقد است تنها توسعه مستقل میتواند منجر به مدلی شود که از رقبا پیشی بگیرد.
ژانگ دو هفته پیش در یک جلسه داخلی موضع خود را تکرار کرد و به تیم «سید» گفت که در بلندمدت «قابلیتهای مدل پیشرو در جهان» را هدف قرار دهند بدون اینکه نگران عقب ماندن در کوتاهمدت باشند، به گفته این شخص.
رسانههای چینی «لیتپست» و «د اینفورمیشن» اولین بار نظرات ژانگ را از جلسه داخلی اخیر گزارش کردند.
بایتدنس به درخواست برای اظهار نظر پاسخ نداد.