На перший погляд, запуск великої мовної моделі з 400 мільярдами параметрів виглядає абсолютно недосяжним для смартфона, однак нещодавня демонстрація показала протилежне: iPhone 17 Pro від Apple здатен виконувати такі обчислення, хоча й із суттєвими компромісами у продуктивності. Зазвичай подібні моделі потребують щонайменше сотні гігабайтів оперативної пам’яті та потужних серверних рішень, тоді як смартфон має лише близько 12 ГБ RAM, що робить подібний сценарій практично неможливим у звичайних умовах.
У цьому випадку ентузіасти використали оптимізований підхід на базі відкритого проєкту Flash-MoE, який застосовує архітектуру Mixture of Experts. Суть у тому, що модель не активує всі 400 мільярдів параметрів одночасно, а задіює лише їх частину для кожного запиту. Це суттєво знижує навантаження на пам’ять і обчислення. Додатково використовується стрімінг даних із накопичувача безпосередньо до GPU, що дозволяє обходити обмеження оперативної пам’яті.
Втім, за можливість запуску доводиться платити продуктивністю. Швидкість генерації становить приблизно 0,6 токена на секунду — це означає, що одна відповідь формується настільки повільно, що користувач фактично отримує приблизно одне слово кожні 1,5–2 секунди. У реальному використанні це робить взаємодію досить незручною та вимагає значного терпіння.
Ще одним фактором є використання квантованих (стиснених) версій моделей, які зменшують вимоги до ресурсів, але навіть у такому вигляді повноцінний запуск 400B моделі на смартфоні залишається технічно складним. Крім того, подібний локальний запуск має свої переваги: повна автономність без інтернет-з’єднання та максимальний рівень приватності, адже дані не передаються на зовнішні сервери.
Однак варто розуміти, що батарея смартфона зазнає значного навантаження, а практична користь від настільки повільної роботи поки що обмежена. Попри це, сама можливість запуску подібної моделі на мобільному пристрої демонструє потенціал майбутніх оптимізацій і розвитку on-device штучного інтелекту. Це радше технологічний експеримент і доказ концепції, ніж готове рішення для щоденного використання, але він чітко показує напрям, у якому рухається індустрія.