Лідер виробництва датчиків зображень компанія Sony передчуває насичення цією продукцією головного споживача – ринку смартфонів. Компанії потрібні нові напрямки для збуту датчиків. Цим напрямком може стати ринок розумних речей з функціями ефективного відстеження людей і об’єктів.
На думку Sony, розвиток сфери Інтернету речей упирається в ряд обмежень: це високі затримки при зверненні до хмари (які тільки будуть рости); передумови для порушення приватності (погано контрольований зростання витоків з хмари); і збільшення енергоспоживання (на канал зв’язку і віддалені ресурси). Всього цього можна уникнути або значно послабити вплив цих факторів, якщо в кожен датчик зображення вбудувати свій ІІ. Тоді дані будуть оброблятися в режимі реального часу прямо в датчику без звернення до хмари.
Першою продукцією Sony в області датчиків зображень з ІІ став 12,3-Мп сенсор IMX500, досвідчені поставки якого почалися в квітні. Ціна питання 10 тис. Ієн ($ 93). Це вартість збірки без упаковки. У корпусі чіп буде пропонуватися у вигляді мікросхеми IMX501 по 20 тис. Ієн ($ 186). Різницю між одним і іншим виконанням можна побачити на фото вище.
IMX500 складається із зібраних в стек двох кристалів. Верхній кристал – це датчик зображення діагоналлю 7,857 мм (в форматі 1/1,23), а нижній – це чіп з пам’яттю, блоком ІІ і цифровим сигнальним процесором. Дані з датчика зображення попиксельно передаються на нижній чіп і повністю на ньому обробляються.
Обробка ведеться в залежності від записаної в пам’ять чіпа моделі для машинного навчання, а також по заздалегідь визначеному алгоритму. Це може бути підрахунок кількості людей в кадрі, визначення поведінки людей в кадрі (аналіз поз і жестів), аналіз скупчення людей за допомогою інфрачервоного сканування, стеження за товарами на полицях магазинів, визначення моменту засипання водія, реакція на конкретну людину і багато іншого.
Моделі навчання і алгоритми можуть бути переписані по необхідності. Наприклад, можна розподіляти обов’язки навіть між однаковими камерами спостереження. Одна на вході підраховує відвідувачів, інша спостерігає за тим, що громадяни роблять в магазині, третя стежить, щоб на полицях завжди був товар і так далі. Що у всьому цьому важливо, дані залишаються локально в датчику, а це забезпечує приватність і захист від витоків. Назовні для аналізу виводяться метадані – короткі текстові (семантичні) повідомлення з висновками або графіками після аналізу вбудованим ІІ. Ці дані не перенавантажуватимуть канали зв’язку і не навантажать хмарні ресурси. Втім, датчик дозволяє також передавати звичайні зображення і розпізнані образи.
Обробка даних в кадрі вбудованим ІІ проводиться миттєво. Наприклад, з використанням свёрточной нейромережі MobileNet V1.2 дані в кадрі обробляються за 3,1 мс. Запропонована Sony система здатна з високою ефективністю стежити за рухомими об’єктами в режимі реального часу. Ось воно майбутнє.