Робот-кухар вчиться відтворювати рецепти, переглядаючи відео про їжу

Дослідники навчили робота-кухаря дивитися та вчитися на кулінарних відео, а також відтворювати саму страву. Дослідники з Кембриджського університету запрограмували свого робота-кухаря за допомогою кулінарної книги з восьми простих рецептів салатів. Переглянувши відео, на якому людина демонструє один із рецептів, робот зміг визначити, який рецепт готувався, і приготувати його.

Крім того, відео допомогло роботу поступово поповнити свою кулінарну книгу. Наприкінці експерименту робот самостійно придумав дев’ятий рецепт. Їхні результати, опубліковані в журналі IEEE Access, демонструють, як відеоконтент може бути цінним і насиченим джерелом даних для автоматизованого виробництва їжі та може спрощувати та здешевлювати розгортання роботів-кухарів.

Роботи-кухарі десятиліттями згадуються в науковій фантастиці, але насправді приготування їжі є складною проблемою для робота. Кілька комерційних компаній створили прототипи роботів-кухарів, хоча жоден із них наразі не є комерційно доступним, і вони значно відстають від своїх аналогів-людей з точки зору майстерності.

Люди-кухарі можуть вивчати нові рецепти шляхом спостережень, будь то спостереження за куховарінням іншої людини чи перегляд відео на YouTube, але програмування робота для приготування різноманітних страв є дорогим і трудомістким.

Людина демонструє один із восьми попередньо запрограмованих рецептів для робота-кухаря за допомогою нейронної мережі. Авторство: Кембриджський університет

«Ми хотіли побачити, чи зможемо ми навчити робота-кухаря вчитися таким же поступовим способом, як і люди, — визначаючи інгредієнти та те, як вони поєднуються в страві», — сказав Гжегож Сохацкі з інженерного факультету Кембриджа, перший автор статті. .

Сочацький, канд. кандидат у лабораторію робототехніки, натхненну біотехнологіями професора Фумії Іїди, і його колеги розробили вісім простих рецептів салатів і зняли, як їх готують. Потім вони використали загальнодоступну нейронну мережу, щоб навчити свого робота-кухаря. Нейронна мережа вже була запрограмована на ідентифікацію ряду різних об’єктів, включаючи фрукти та овочі, які використовуються у восьми рецептах салату (брокколі, морква, яблуко, банан і апельсин).

Використовуючи методи комп’ютерного зору, робот проаналізував кожен кадр відео та зміг ідентифікувати різні об’єкти та особливості, такі як ніж та інгредієнти, а також руки, руки та обличчя людини-демонстратора. І рецепти, і відео були перетворені у вектори, і робот виконував математичні операції над векторами, щоб визначити схожість між демонстрацією та вектором.

Приклад робота, який відтворює «салат», спостерігаючи за тим, як його готує людина. Авторство: Кембриджський університет

З 16 відео, які він переглянув, робот розпізнав правильний рецепт у 93% випадків, хоча він виявив лише 83% дій кухаря-людини. Робот також зміг виявити, що незначні зміни в рецепті, такі як приготування подвійної порції або звичайна людська помилка, були варіаціями, а не новим рецептом. Робот також правильно розпізнав демонстрацію нового, дев’ятого салату, додав його до своєї кулінарної книги та приготував.

«Дивно, скільки нюансів зміг виявити робот», — сказав Сочацкі. «Ці рецепти не є складними — вони, по суті, складаються з нарізаних фруктів і овочів, але це було дуже ефективно для розпізнавання, наприклад, того, що два нарізаних яблука та дві нарізаних моркви є тим самим рецептом, що й три нарізаних яблука та три нарізаних моркви».

Відео, які використовуються для навчання робота-кухаря, не схожі на відео про їжу, зроблені деякими впливовими особами в соціальних мережах, які повні швидких скорочень і візуальних ефектів і швидко переміщуються між особою, яка готує їжу, і стравою, яку вони готують. . Наприклад, роботу було б важко ідентифікувати моркву, якби людина-демонстратор обхопив її рукою. Щоб робот міг ідентифікувати моркву, людина-демонстратор мав підняти моркву так, щоб робот міг бачити весь овоч.

«Нашого робота не цікавлять відео про їжу, які стають вірусними в соціальних мережах — за ними просто дуже важко стежити», — сказав Сочацкі. «Але оскільки ці роботи-кухарі стають кращими та швидшими у визначенні інгредієнтів у відео про їжу, вони можуть використовувати такі сайти, як YouTube, щоб вивчати цілу низку рецептів».