Вчені створили декодер, який перетворює активність мозку в текст

Дослідники Техаського університету в Остіні розробили семантичний декодер, який перетворює активність мозку в текст. Ця система штучного інтелекту, яка є неінвазивною та не потребує хірургічних імплантатів, може надати новий засіб спілкування для людей, які фізично не можуть говорити. Декодер навчається, коли учасник слухає години подкастів, перебуваючи в сканері фМРТ, і потім може генерувати текст лише на основі активності мозку.

Нова система штучного інтелекту під назвою семантичний декодер може перетворювати мозкову активність людини — під час прослуховування історії або тихої уяви, що розповідає історію — у безперервний потік тексту. Система, розроблена дослідниками з Техаського університету в Остіні, може допомогти людям, які розумово свідомі, але не можуть фізично говорити, наприклад, ослабленим інсультом, знову спілкуватися зрозуміло.

Дослідження, опубліковане сьогодні (1 травня) в журналі Nature Neuroscience , очолювали Джеррі Танг, докторант з інформатики, і Алекс Хат, доцент кафедри нейронаук і інформатики в UT Austin. Робота частково спирається на модель трансформатора, подібну до тих, що працюють у ChatGPT Open AI і Bard Google.

На відміну від інших систем декодування мови, які розробляються, ця система не вимагає від суб’єктів хірургічних імплантатів, що робить процес неінвазивним. Учасникам також не потрібно вживати лише слова зі встановленого списку. Активність мозку вимірюється за допомогою сканера fMRI після тривалого навчання декодера, під час якого людина годинами слухає подкасти на сканері. Пізніше, за умови, що учасник готовий до розшифровки своїх думок, прослуховування нової історії або уява, що розповідає історію, дозволяє машині генерувати відповідний текст лише на основі діяльності мозку.

«Для неінвазивного методу це справжній стрибок вперед у порівнянні з тим, що робилося раніше, яке зазвичай складається з окремих слів або коротких речень», — сказав Хат. «Ми отримуємо модель для декодування безперервної мови протягом тривалих періодів часу зі складними ідеями».

Результат не є дослівною транскрипцією. Натомість дослідники розробили його, щоб передати суть сказаного чи думки, хоча й недосконало. Приблизно в половині випадків, коли декодер був навчений стежити за мозковою активністю учасника, машина створює текст, який близько (і іноді точно) відповідає передбачуваним значенням вихідних слів.

Наприклад, під час експериментів учасник, який слухав спікера, який говорив: «У мене ще немає водійських прав», їхні думки були перекладені так: «Вона ще навіть не почала вчитися водити». Слухаючи слова: «Я не знав, кричати, плакати чи тікати. Замість цього я сказав: «Залиш мене в спокої!»» було розшифровано як «Почала кричати і плакати, а потім вона просто сказала: «Я сказала тобі залишити мене в спокої».

Починаючи з попередньої версії статті, яка з’явилася як препринт в Інтернеті, дослідники розглянули питання про потенційне зловживання технологією. У документі описано, як декодування працювало лише з учасниками кооперації, які охоче брали участь у навчанні декодера. Результати для осіб, на яких не було навчено декодер, були незрозумілими, і якщо учасники, на яких було навчено декодер, пізніше чинили опір — наприклад, думаючи про інші думки — результати також були непридатними для використання.