Sony почала випуск світлочутливих датчиків для камер

Не так давно представники компанії Sony продемонстрували всьому світу те, що можна охарактеризувати, як «перші в світі світлочутливі матриці для камер, оснащені функціями обробки даних на основі технологій штучного інтелекту». Таке поєднання двох технологій дозволить проводити попередню обробку надходить потоку відеоінформації в режимі реального часу і передавати тільки необхідні дані в хмарний сервіс для їх подальшої і більш глибокої обробки.

Штучний інтелект вже давно є відмінною «парою» для технологій цифрової фото- і відеозйомки. Нейронні мережі «жартома» справляються з обробкою величезних потоків інформації, наприклад, інформації з мережі камер відеоспостереження, і виділяють з цієї інформації лише те, що може зацікавити спостерігачів.

Структура нового датчика

Наприклад, останнім часом в світі почали отримувати поширення магазини, в яких немає, або зведено до мінімуму кількість продавців, касирів та іншого обслуговуючого персоналу. У цьому випадку використовується мережу з сотень високоякісних камер спостереження, які стежать за тим, які товари беруть покупці і що вони роблять з ними далі. В даний час віддання з мережі камер спостереження надходять на комп’ютер, на якому розгорнута система штучного інтелекту. Цей комп’ютер може перебувати фізично в цьому ж будинку, а може і перебувати в одному з численних хмарних сервісів.Але компанія Sony вирішила зробити свого роду «розподілений комп’ютер» оснастивши обчислювальною потужністю сам датчик камери. Ці нові датчики, IMX500 і IMX501, мають роздільну здатність в 12.3 мегапікселя і забезпечують швидкість зйомки в 60 кадрів в секунду при дозволі 4К. Але найголовнішим є те, що прямо на зворотному боці кристала світлочутливої ​​матриці і на додатковому кристалі розташовується масив пам’яті з достатнім обсягом і логічна інтегральна схема, в яку закладені алгоритми і принципи роботи штучного інтелекту. При цьому, у вбудовану пам’ять можна завантажити будь-яку зі стандартних моделей ІІ-обробки, що виконують одну або кілька спеціалізованих функцій.

Вбудований в матрицю ІІ-процесор здатний провести аналіз відеоінформації за 3.1 мілісекунди часу, менше, ніж тривалість одного видеокадра. В результаті аналізу із загального потоку виділяються тільки важливі елементи, які передаються назовні для подальшої обробки. Якщо в згаданому вище «магазині без персоналу», наприклад, клієнт «Х» взяв товар «Y» і поклав його в кошик, то на верхній рівень буде передана обрізана картинка кошика з лежачим в ній товаром.

Крім такої «обрізки», що дозволяє істотно скоротити обсяг переданої інформації, пакети даних можуть супроводжуватися додатковою інформацією, яка спрощує їх подальшу обробку. І в результаті всього цього, за умови використання спеціального програмного забезпечення на верхньому рівні, завжди на виході виходить повноцінний 4K/60-fps відеопотік.

Таким чином, системи стеження і забезпечення безпеки зможуть отримувати необхідну їм інформацію набагато швидше, а для її обробки будуть потрібні менші обчислювальні потужності і меншу кількість енергії, адже вона, ця інформація, вже пройшла попередню обробку в камері безпосередньо.

І на закінчення слід зазначити, що інтелектуальні датчики компанії Sony і інші подібні, які неодмінно з’являться в найближчому майбутньому, навряд чи будуть використовуватися в камерах мобільних телефонів, побутових цифрових фото- і відеокамер. Ці датчики орієнтовані на дещо іншу область застосування — там, де, наприклад, необхідно підраховувати людино-години, визначаючи присутність або відсутність певних людей на робочому місці, стежити за діями покупців, контролювати носіння захисних масок в умовах пандемії і багато, багато іншого. Джерело