Не так давно представники компанії Sony продемонстрували всьому світу те, що можна охарактеризувати, як “перші в світі світлочутливі матриці для камер, оснащені функціями обробки даних на основі технологій штучного інтелекту”. Таке поєднання двох технологій дозволить проводити попередню обробку надходить потоку відеоінформації в режимі реального часу і передавати тільки необхідні дані в хмарний сервіс для їх подальшої і більш глибокої обробки.
Штучний інтелект вже давно є відмінною “парою” для технологій цифрової фото- і відеозйомки. Нейронні мережі “жартома” справляються з обробкою величезних потоків інформації, наприклад, інформації з мережі камер відеоспостереження, і виділяють з цієї інформації лише те, що може зацікавити спостерігачів.
Наприклад, останнім часом в світі почали отримувати поширення магазини, в яких немає, або зведено до мінімуму кількість продавців, касирів та іншого обслуговуючого персоналу. У цьому випадку використовується мережу з сотень високоякісних камер спостереження, які стежать за тим, які товари беруть покупці і що вони роблять з ними далі. В даний час віддання з мережі камер спостереження надходять на комп’ютер, на якому розгорнута система штучного інтелекту. Цей комп’ютер може перебувати фізично в цьому ж будинку, а може і перебувати в одному з численних хмарних сервісів.Але компанія Sony вирішила зробити свого роду “розподілений комп’ютер” оснастивши обчислювальною потужністю сам датчик камери. Ці нові датчики, IMX500 і IMX501, мають роздільну здатність в 12.3 мегапікселя і забезпечують швидкість зйомки в 60 кадрів в секунду при дозволі 4К. Але найголовнішим є те, що прямо на зворотному боці кристала світлочутливої матриці і на додатковому кристалі розташовується масив пам’яті з достатнім обсягом і логічна інтегральна схема, в яку закладені алгоритми і принципи роботи штучного інтелекту. При цьому, у вбудовану пам’ять можна завантажити будь-яку зі стандартних моделей ІІ-обробки, що виконують одну або кілька спеціалізованих функцій.
Вбудований в матрицю ІІ-процесор здатний провести аналіз відеоінформації за 3.1 мілісекунди часу, менше, ніж тривалість одного видеокадра. В результаті аналізу із загального потоку виділяються тільки важливі елементи, які передаються назовні для подальшої обробки. Якщо в згаданому вище “магазині без персоналу”, наприклад, клієнт “Х” взяв товар “Y” і поклав його в кошик, то на верхній рівень буде передана обрізана картинка кошика з лежачим в ній товаром.
Крім такої “обрізки”, що дозволяє істотно скоротити обсяг переданої інформації, пакети даних можуть супроводжуватися додатковою інформацією, яка спрощує їх подальшу обробку. І в результаті всього цього, за умови використання спеціального програмного забезпечення на верхньому рівні, завжди на виході виходить повноцінний 4K/60-fps відеопотік.
Таким чином, системи стеження і забезпечення безпеки зможуть отримувати необхідну їм інформацію набагато швидше, а для її обробки будуть потрібні менші обчислювальні потужності і меншу кількість енергії, адже вона, ця інформація, вже пройшла попередню обробку в камері безпосередньо.
І на закінчення слід зазначити, що інтелектуальні датчики компанії Sony і інші подібні, які неодмінно з’являться в найближчому майбутньому, навряд чи будуть використовуватися в камерах мобільних телефонів, побутових цифрових фото- і відеокамер. Ці датчики орієнтовані на дещо іншу область застосування – там, де, наприклад, необхідно підраховувати людино-години, визначаючи присутність або відсутність певних людей на робочому місці, стежити за діями покупців, контролювати носіння захисних масок в умовах пандемії і багато, багато іншого. Джерело