Компанія Apple не поспішає приєднуватися до загальної гонки чат-ботів та штучного інтелекту нового покоління, але працює в цьому напрямку. Зокрема Apple досліджує можливості розміщення великих мовних моделей безпосередньо на мобільних пристроях користувачів.
Apple вважає, що такий варіант буде кращим для користувачів, ніж онлайн-доступ. Щоправда, великі мовні моделі недаремно називаються великими – вони вимагають величезних обчислювальних ресурсів та великого обсягу оперативної пам’яті.
Ідея купертинців полягає в тому, щоб зберігати мовні моделі на флеш-пам’яті, обсяг якої на порядок-два більше, ніж обсяг ОЗП. Метод під назвою Windowing передбачає у тому числі повторне використання моделлю деяких даних, які вона вже обробила, що знижує потребу у безперервній вибірці даних із пам’яті та прискорює весь процес. Метод Row-Column Bundling, у свою чергу, полягає у більш ефективному угрупуванні даних, що дозволяє моделі штучного інтелекту швидше зчитувати дані з флеш-пам’яті та прискорює її навчання.
Ці методи повинні дозволити прискорити роботу моделі до п’яти разів при задіянні процесора та до 25 разів – при використанні GPU.