Додаток, розроблений дослідниками Cornell, використовує доповнену реальність, щоб допомогти користувачам неодноразово знімати зображення з одного й того самого місця за допомогою телефону чи планшета, щоб створювати сповільнені відео, не залишаючи камеру на місці. уповільнене знімання, яка передбачає поєднання фотографій, зроблених протягом тривалого часу, забезпечує потужний спосіб візуалізації таких явищ, як зміна пір року або рух сонця.
Традиційно фотографи залишали камеру на штативі на час заходу, але дослідники, які співпрацюють з Ейбом Девісом, доцентом кафедри інформатики в Коледжі обчислювальної техніки та інформатики Корнелла Енн С. Бауерс, розробили більш зручний метод. Їхній додаток для iOS ReCapture тепер доступний у вільному доступі в магазині додатків Apple.
Дослідники вважають, що це перша програма, призначена для створення сповільнених відео з портативних пристроїв.
Рую Ян, фахівець з інформатики в Cornell Engineering, який був провідним розробником програми, представив роботу «ReCapture: сповільнене знімання з AR-Guided» на симпозіумі Асоціації обчислювальної техніки (ACM) 2022 року з програмного забезпечення інтерфейсу користувача. і технології 1 листопада.
Додаток має три режими знімання, які охоплюють низку сценаріїв. Один найкраще підходить для пейзажів, один допомагає знімати сцени великим планом, а третій збирає ряд зображень, які можна використовувати для реконструкції сцени в 3D в режимі офлайн.
Кожен режим знімання використовує різну інформацію про сцену. Найпростіший режим використовує накладання попередніх знімків, щоб допомогти користувачеві вибудувати нові фотографії. Для сцен великим планом, які, як правило, важче зняти, програма намагається визначити, де знаходиться камера в 3D-просторі, і використовує стрілки, щоб підказати користувачеві, як рухати та нахиляти свій телефон у напрямку правильного місця.
Ця робота виникла в результаті літнього дослідження Яна з Девісом у рамках науково-дослідної програми комп’ютерних наук. Ян згадав про інтерес до геокешингу, діяльності, під час якої учасники використовують GPS, щоб знайти коробку з дрібничками під назвою тайник, заховану іншими ентузіастами геокешингу. Тим часом Девіс задумав проєкт, який би допоміг польовим дослідникам неодноразово знаходити та повторно фотографувати точні місця на своїх польових ділянках, щоб відстежувати будь-які зміни. Разом вони придумали ідею «геокешингу з картинками», яка зрештою перетворилася на ReCapture.
«Геокешинг — це те, чим люди займаються заради розваги, але якщо ви науковець і займаєтеся польовою роботою, то виникає подібна проблема», — сказав Девіс.
Jiatian Sun, докторант у галузі інформатики, і Longxiulin Deng, фахівець з інформатики Cornell Engineering, також допомагали в дослідженні. Ян сказав, що найскладніше було розробити інтерфейс додатка, щоб направляти користувачів через процес, тому що «те, що працює інтуїтивно для мене, може не працювати інтуїтивно для інших». Вона запитала відгуки у 20 бета-тестерів, а також працювала з XR Collaboratory в Cornell Tech, яка консультує дослідників щодо додатків доповненої реальності, віртуальної реальності та змішаної реальності.
Крім того, їй довелося зрозуміти, як керувати горами даних, пов’язаних із фотографіями. «Раніше програма часто виходила з ладу», — сказала вона. Це було проблемою, оскільки якщо програма працювала надто повільно або постійно виникала збій, люди не збирали достатньо відеоматеріалів, що призводило до уривчастих відео низької якості.
У майбутніх версіях програми, на думку Девіса, вони зможуть згладити прогалини та раптові переходи у відеоматеріалі за допомогою новітніх методів машинного навчання, що забезпечить відео вищої якості.
Крім створення gif-файлів і відео, програма також може мати цінні наукові застосування, як передбачав Девіс. Команда поділилася додатком із польовими дослідниками з інших відділів Корнельського університету, а колеги зі Школи інтегративного рослинництва Коледжу сільського господарства та наук про життя вже почали використовувати його для збору даних. Джерело