Десь у вересні чи жовтні 2015 року Apple придбала компанію Faceshift із Цюриха. Зрештою її використали для створення Animoji й, що важливіше, Memoji. Патентне відомство США видало Apple патент на Faceshift у 2019 році. 26 січня 2023 року Патентне відомство США опублікувало один із ключових патентів на Faceshift, придбаний компанією Apple, який датується 2013 роком.
Патент стосується Марка Полі, старшого інженера програмного забезпечення Apple та одного з оригінальних інженерів Faceshift Соф’єна Буазіза. У його профілі зазначено, що він «спроектував, розробив і реалізував алгоритм відстеження обличчя в реальному часі, який працює на iPhone X Animoji, а також доступний для сторонніх розробників через ARKit». Після відходу з Apple у 2018 році Буазі працював у Google і зараз є директором XR Presence в Meta.
Технічно винахід належати до способу анімації обличчя в реальному часі та пристрою обробки для анімації обличчя в реальному часі. Спосіб включає надання динамічної моделі виразу, отримання даних відстеження, що відповідають виразу обличчя користувача, оцінку параметрів відстеження на основі динамічної моделі виразу та даних відстеження, а також уточнення динамічної моделі виразу на основі даних відстеження та оцінених параметрів відстеження. . Спосіб може додатково містити генерування графічного представлення, що відповідає виразу обличчя користувача на основі параметрів відстеження. Варіанти втілення стосуються системи анімації обличчя в реальному часі.
Патент Apple РИС. 1 нижче показано схематичне зображення моделі динамічного вираження згідно з одним варіантом здійснення цього винаходу; ФІГ. 3 показана блок-схема конвеєра оптимізації.
Патент Apple РИС. 4 показує графічне представлення віртуального аватара, створеного з використанням варіантів здійснення розкритого об’єкта; ФІГ. 5 є блок-схемою способу згідно з одним варіантом здійснення.
Патент Apple РИС. 7 вище показує різні набори вагових коефіцієнтів форми змішування, які використовуються для наближення виразу обличчя користувача; ФІГ. 8 зображує результати початкової оцінки нейтрального виразу обличчя з використанням різних динамічних моделей виразу згідно з одним варіантом здійснення.