У нещодавно опублікованому патенті Apple, поданому ще в вересні 2019 року, докладно описується система захоплення об’ємних панорам на основі теорії світлового поля (подібна застосовується в камерах Lytro), яка, мабуть, призначена для використання в майбутніх пристроях iPhone і iPad. Ця технологія дозволить пересічному споживачеві знімати об’ємні сцени.
Отриманий таким способом контент може бути відтворений і переглянутий на пристрої або з використанням гарнітури віртуальної реальності. Патент докладно описує технологію, яка буде спиратися на поточні зусилля компанії в області доповненої реальності, дозволяючи її споживчим пристроїв знімати складні тривимірні сцени.
Щоб здійснити захоплення, користувачам потрібно буде певним чином зміщувати свій iPhone або iPad, оснащений масивом камер світлового поля: наприклад, переміщаючи пристрій у вигляді символу нескінченності, щоб захоплювати зображення навколишнього простору під різними кутами.
Механізм візуалізації буде перетворювати окремі зображення в 3D-панораму з шістьма ступенями свободи (6DOF). В результаті глядач матиме можливість дивитися на об’єкти під різними кутами. Патент був оформлений після поглинання в 2018 році компанією Google компанії Lytro, що займалася просуванням таких технологій на масовий ринок.
На відміну від звичайних камер, масив датчиків світлового поля дозволяє записувати не тільки інформацію про колір і інтенсивності світла, але також і вектор напрямку світла в кожній точці зображення, тим самим отримуючи більш повну інформацію про знімається сюжеті, ніж звичайна камера. Для захоплення 3D-сцен це може бути відмінним варіантом.
Патент також згадує, що система Apple може використовувати датчики iPhone і iPad для захоплення положення устойства, його рухів та інших подібних метаданих разом з зображеннями з камер – поєднуючи цю інформацію, можна буде отримувати більш точні панорами. Цей метод реконструкції сцени істотно відрізняється від традиційної 360-градусної панорами, яка знімається з однієї точки, дозволяючи глядачеві тільки переміщати голову в візуалізованою тривимірної сцені. Панорами, отримані камерами світлового поля, будуть більш реалістичними, зберігаючи об’єкти в правильному положенні, коли користувач переміщається по сцені.
Ні для кого не секрет, що Apple приділяє велику увагу технологіям доповненої реальності: наприклад, ключовим нововведенням останньої моделі iPad Pro стала інтеграція лидара в масив камер. Датчик вимірює відстані до об’єктів, які знаходяться на відстані до 5 метрів.
Майбутнє розширення можливостей доповненої і віртуальної реальності з використанням технології світлового поля стало б великим сюрпризом, особливо в світлі існуючих чуток про роботу Apple над гарнітурою AR / VR. Втім, патент зовсім не означає, що технологія буде виведена на ринок в найближчому майбутньому.