هوش مصنوعی پایداری از راه اندازی StableLM، مجموعه ای از مدل های زبان بزرگ منبع باز خبر داد.
بخش مدل‌های زبان بزرگ همچنان به رشد خود ادامه می‌دهد، زیرا Stability AI، سازنده ابزار محبوب تولید تصویر Stable Diffusion، مجموعه‌ای از ابزارهای مدل زبان منبع باز را راه‌اندازی کرده است.نسخه‌های آلفای مجموعه که StableLM نامیده می‌شوند، در حال حاضر دارای مدل‌هایی با ۳ میلیارد و ۷ میلیارد پارامتر هستند، با مدل‌های ۱۵ میلیارد، ۳۰ میلیارد و ۶۵ میلیاردی که به‌عنوان «در حال پیشرفت» و ۱۷۵ پارامتر مشخص شده‌اند. مدل میلیارد پارامتری برای توسعه آینده برنامه ریزی شده است.
در مقایسه، GPT-4 OpenAI دارای تعداد پارامترهای تخمین زده شده 1 تریلیون است، که 6 برابر بیشتر از نسل قبلی خود، GPT-3 است.
با این حال، شمارش پارامتر ممکن است معیار خوبی برای کارایی مدل بزرگ زبان (LLM) نباشد، همانطور که Stability AI در پست وبلاگ خود که راه‌اندازی StableLM را اعلام کرد اشاره کرد:
StableLM بر روی یک مجموعه داده آزمایشی جدید ساخته شده بر روی The Pile آموزش دیده است، اما سه برابر بزرگتر با 1.5 تریلیون توکن محتوا.غنای این مجموعه داده به StableLM عملکرد شگفت‌آوری بالایی در کارهای مکالمه و کدنویسی می‌دهد، علیرغم اندازه کوچک آن از 3 تا 7 میلیارد پارامتر.
علاقه مندان می توانند یک رابط زنده را برای مدل 7 میلیارد پارامتری StableLM که در HuggingFace میزبانی شده است، آزمایش کنند. با این حال، تا زمان انتشار این مقاله، تلاش‌ها برای انجام این کار نشان داد که وب‌سایت مملو یا پر ظرفیت است.
