Інновація в галузі теплобачення дозволяє ШІ бачити в непроглядній темряві

Дослідники з Університету Пердью просувають світ робототехніки та автономності за допомогою свого запатентованого методу, який покращує традиційне машинний зір і сприйняття. Зубін Джейкоб, доцент кафедри електротехніки та комп’ютерної інженерії Елмора в Сімейній школі електротехніки та комп’ютерної інженерії Елмора, і вчений-дослідник Фанлін Бао розробили HADAR, або виявлення та визначення дальності за допомогою тепла. Їхні дослідження були представлені на обкладинці Nature.

Джейкоб сказав, що очікується, що до 2030 року кожен десятий автомобіль буде автоматизований, а до 2030 року буде 20 мільйонів роботів-помічників.

«Кожен із цих агентів збиратиме інформацію про навколишнє середовище за допомогою передових датчиків, щоб приймати рішення без втручання людини», — сказав Джейкоб. «Однак одночасне сприйняття сцени багатьма агентами принципово заборонено».

Традиційні активні датчики, такі як LiDAR, або датчики виявлення світла та визначення дальності, радар і сонар випромінюють сигнали, а потім приймають їх для збору 3D-інформації про сцену. Ці методи мають недоліки, які зростають у міру їх масштабування, зокрема перешкоди сигналу та ризики для безпеки очей людей. Для порівняння, відеокамери, які працюють на основі сонячного світла або інших джерел освітлення, є перевагою, але умови слабкого освітлення, такі як ніч, туман або дощ, є серйозною перешкодою.

Традиційне тепловізор – це повністю пасивний метод вимірювання, який збирає невидиме теплове випромінювання від усіх об’єктів сцени. Він може відчувати через темряву, негоду та сонячне світло. Але Джейкоб сказав, що фундаментальні проблеми заважають його використанню сьогодні.

«Об’єкти та їхнє оточення постійно випромінюють і розсіюють теплове випромінювання, що призводить до безтекстурних зображень, відомого як «ефект ореолу», — сказав Бао. «Теплові зображення обличчя людини показують лише контури та деякий температурний контраст; немає жодних рис, що створює враження, ніби ви бачили привида. Ця втрата інформації, текстури та рис є перешкодою для машинного сприйняття за допомогою теплового випромінювання». HADAR поєднує в собі теплофізику, інфрачервоне зображення та машинне навчання, щоб прокласти шлях до повністю пасивного машинного сприйняття з урахуванням фізики.

«Наша робота будує інформаційно-теоретичні основи теплового сприйняття, щоб показати, що непроглядна темрява несе таку саму кількість інформації, як серед білого дня. Еволюція зробила людей упередженими до денного часу. Машинне сприйняття майбутнього подолає цю давню дихотомію між днем і ніч, — сказав Джейкоб.

Бао сказав: «HADAR яскраво відновлює текстуру із засміченого теплового сигналу та точно розділяє температуру, коефіцієнт випромінювання та текстуру, або TeX, усіх об’єктів у сцені. Він бачить текстуру та глибину крізь темряву, ніби це був день, а також сприймає фізичні атрибути, окрім RGB, або червоного, зеленого та синього, видимого зображення чи традиційного теплового зондування. Дивно, що можна бачити крізь непроглядну темряву, як серед білого дня».

Команда перевірила vision HADAR TeX, використовуючи нічну сцену бездоріжжя.

«HADAR TeX vision відновив текстури та подолав ефект ореолів», — сказав Бао. «Він відновив дрібні текстури, такі як брижі води, зморшки кори та водопропускні труби, а також деталі трав’янистої землі».

Додаткові вдосконалення HADAR покращують розмір апаратного забезпечення та швидкість збору даних.

«Поточний датчик великий і важкий, оскільки алгоритми HADAR вимагають багатьох кольорів невидимого інфрачервоного випромінювання», — сказав Бао. «Щоб застосувати це до самокерованих автомобілів або роботів, нам потрібно зменшити розмір і ціну, а також зробити камери швидшими. Поточний датчик займає близько однієї секунди, щоб створити одне зображення, але для автономних автомобілів нам потрібно приблизно від 30 до 60 частота кадрів у герцах, або кадрів за секунду».

Початковими програмами HADAR TeX vision є автоматизовані транспортні засоби та роботи, які взаємодіють з людьми в складних середовищах. Цю технологію можна буде вдосконалити для застосування в сільському господарстві, обороні, науках про Землю, охороні здоров’я та моніторингу дикої природи. Джерело