Професор Джіюн Кім і його команда з Департаменту матеріалознавства та інженерії Ульсанського національного інституту науки і технологій (UNIST) розробили новаторську технологію, здатну ідентифікувати людські емоції в реальному часі. Ця передова інновація має зробити революцію в різних галузях промисловості, включаючи носимі системи наступного покоління, які надають послуги на основі емоцій.
Розуміння та точне вилучення емоційної інформації вже давно є проблемою через абстрактну та неоднозначну природу людських афектів, таких як емоції, настрої та почуття. Щоб вирішити цю проблему, дослідницька група розробила мультимодальну систему розпізнавання людських емоцій, яка поєднує вербальні та невербальні дані для ефективного використання повної емоційної інформації.
Інновації в носимих технологіях
В основі цієї системи лежить система персонального інтегрованого в шкіру лицевого інтерфейсу (PSiFI), яка є автономною, легкою, розтяжною та прозорою. Він оснащений першим у своєму роді двонаправленим трибоелектричним датчиком деформації та вібрації, який дозволяє одночасно сприймати та інтегрувати вербальні та невербальні дані. Система повністю інтегрована зі схемою обробки даних для бездротової передачі даних, що дозволяє розпізнавати емоції в реальному часі.
Використовуючи алгоритми машинного навчання, розроблена технологія демонструє точні завдання розпізнавання людських емоцій у реальному часі, навіть якщо люди носять маски. Система також була успішно застосована в програмі цифрового консьєржа в середовищі віртуальної реальності (VR).
Технологія заснована на явищі «заряджання тертям», коли об’єкти під час тертя поділяються на позитивні та негативні заряди. Примітно, що система є самогенеруючою, не потребуючи зовнішнього джерела живлення чи складних вимірювальних пристроїв для розпізнавання даних.
Налаштування та розпізнавання в реальному часі
Професор Кім прокоментував: «Грунтуючись на цих технологіях, ми розробили систему інтегрованого в шкіру інтерфейсу обличчя (PSiFI), яку можна налаштувати для окремих людей». Команда використала техніку напівзатвердіння для виготовлення прозорого провідника для фрикційних електродів. Крім того, персоналізована маска була створена з використанням техніки багаторакурсної зйомки, що поєднує в собі гнучкість, еластичність і прозорість.
Дослідницька група успішно інтегрувала виявлення деформації м’язів обличчя та вібрації голосових зв’язок, дозволяючи розпізнавати емоції в реальному часі. Можливості системи були продемонстровані в додатку віртуальної реальності «цифровий консьєрж», де надавалися індивідуальні послуги на основі емоцій користувачів.
Джин Піо Лі, перший автор дослідження, заявив: «Завдяки цій розробленій системі можна реалізувати розпізнавання емоцій у реальному часі лише за кілька кроків навчання та без складного вимірювального обладнання. Це відкриває можливості для портативних пристроїв розпізнавання емоцій і цифрових платформ наступного покоління на основі емоцій».
Дослідницька група провела експерименти з розпізнавання емоцій у реальному часі, збираючи мультимодальні дані, такі як деформація м’язів обличчя та голос. Система показала високу точність емоційного розпізнавання з мінімальним навчанням. Його бездротовий зв’язок із можливістю налаштування забезпечує зручність носіння та зручність.
Крім того, команда застосувала систему до середовищ віртуальної реальності, використовуючи її як «цифрового консьєржа» для різних умов, включаючи розумні будинки, приватні кінотеатри та розумні офіси. Здатність системи визначати індивідуальні емоції в різних ситуаціях дозволяє надавати персоналізовані рекомендації щодо музики, фільмів і книг.
Професор Кім підкреслив: «Для ефективної взаємодії між людьми та машинами пристрої людино-машинного інтерфейсу (HMI) повинні бути здатні збирати різні типи даних і обробляти складну інтегровану інформацію. Це дослідження є прикладом потенціалу використання емоцій, які є складними формами людської інформації, у носимих системах наступного покоління».