Камери з вбудованим «мозком» зможуть самі визначати, що варте уваги в кадрі

Підвищення дозволу камер зажадало збільшення потужностей для обробки зображень, для чого сьогодні в датчики зображень вбудовують все більш потужні процесори. Це веде як до ускладнення продуктів, так і до збору маси зайвої інформації, що дуже не подобається військовим. Нова програма FENCE Управління перспективних дослідницьких проєктів

Міністерства оборони США (DARPA) допоможе створити камери з вбудованим «мозком», який сам фільтрує побачене. Розробки за програмою FENCE (Fast Event-based Neuromorphic Camera and Electronics) доручені командам трьох компаній: Raytheon, BAE Systems і Northrop Grumman. Всі три — найбільші представники ВПК США. Кожна з команд запропонує свій варіант камери з нейроморфнимі чіпами та алгоритмами.

Відзначимо, це будуть камери нічного зору (ІК), що додатково підкреслює оборонний статус програми. Людське око в сукупності з мозком здатний фокусуватися на головному — на русі, як би не помічаючи фону і відсіваючи найменш важливі події. Програма FENCE повинна створити камеру з процесором, який працював би за таким же алгоритмом: вся увага має віддаватися тим ділянкам зображення, на яких відбувається щось гідне для пильного розгляду.

Це знизить обсяг переданих для обробки даних і зменшить енергоспоживання. В результаті дослідження може вийти датчик FENCE, що споживає менше ніж 1,5 Вт потужності. Оскільки нова технологія призначена для військових додатків, включаючи автономні транспортні засоби, робототехніку, пошук і відстеження за допомогою інфрачервоного випромінювання, датчики повинні бути гнучкими та адаптуються. Громадянське застосування розробці теж буде, але пізніше.