Велика мовна модель Xiaomi (LLM) під назвою MiLM офіційно пройшла процес реєстрації для великих моделей, згідно з нещодавнім оголошенням на сторінці компанії в Weibo. Цим Xiaomi заявляє, що MiLM готова до інтеграції в свої продукти, включаючи смартфони, розумні домашні пристрої та навіть автомобілі Xiaomi. Оголошення також натякнуло на можливість відкриття функцій MiLM для ширшої бази користувачів у майбутньому.
MiLM вперше з’явилася публічно в серпні 2023 року на тестових платформах C-Eval і CMMLU, де вона досягла вражаючих результатів.
Модель зайняла 1-е місце у своїй категорії параметрів у таблиці лідерів C-Eval, посівши 10-е місце в загальному рейтингу. Інформація зі сторінки проекту на GitHub показує, що модель MiLM-6B, про яку йде мова, має 6,4 мільярда параметрів.
Розбивка C-Eval за предметами підкреслює силу MiLM-6B у сферах STEM (наука, технології, інженерія та математика). Модель досягла високої точності в усіх 20 предметах STEM, включаючи метрологію, фізику, хімію та біологію.
Незважаючи на те, що MiLM-6B також має багатообіцяючу ефективність у більшості гуманітарних предметів, галузі, які вимагають «абстрактного мислення», такі як право, математика, програмування та теорія ймовірностей, здається, є областями для покращення.
Соціальні науки є ще однією сферою зі змішаними результатами. MiLM-6B досяг високої точності у восьми з десяти предметів соціальних наук, за винятком освіти та географії. Нарешті, коли справа доходить до гуманітарних дисциплін, модель добре працює з історії та права, тоді як точність інших предметів ще належить визначити.
Оскільки MiLM-6B подолав серйозну перешкоду, тепер він готовий до інтеграції в різні продукти Xiaomi. Незважаючи на те, що його продуктивність відрізняється в різних сферах, він обіцяє покращити взаємодію з користувачами в різних областях.