Google вирішила поєднати, як то кажуть, приємне з корисним — у рамках здійснення проекту з вивчення методики навчання роботів, компанія в тестовому режимі вирішила впровадити їх у свій офіс і зробити офіціантами-помічниками. Такі роботи допомагають живим співробітникам у прибиранні та приносять їм ласощі.
Щоб механізовані помічники могли не тільки виконувати конкретне завдання («Принеси банан»), але також були здатні справлятися зі складними та абстрактними питаннями («Я щойно побігав, хочу заповнити енергію» або «Я розсипав кашу, допоможеш?»), їхні творці використовували нейромережні мовні моделі, що навчаються. Щоправда, їх довелося модифікувати.
Нейронні мережі з самого початку правильно розуміли запит, але пропонували непрацюючі рішення: наприклад, GPT-3 хотіла пропилососити розлиту рідину, а FLAN тільки вибачалася. Але результати покращилися, коли інженери об’єднали модель PaLM із програмним забезпеченням, підготовленим спеціально для роботів – у результаті вийшла система PaLM-SayCan.
Окрім іншого, роботи аналізують оточення (кухню), виявляють знайомі предмети та навчаються на своєму досвіді. Вже на перших етапах експерименту інженери зафіксували правильну послідовність дій у 84% випадків та успішне виконання поставлених завдань у 74%.