После внедрения поддержки сферических фотографий и видеороликов Facebook представила в 2018 году функцию, позволяющую просматривать и публиковать 3D-фотографии. Однако её работа зависит от способности смартфона делать стереоскопические снимки аппаратными средствами. Но Facebook работает на тем, чтобы донести этот новый визуальный формат до большего количества людей.
Компания задействовала методы машинного обучения для создания трёхмерных фото практически из любого изображения. Будь то новая фотография, только что сделанная на устройстве Android или iOS с помощью стандартной одиночной камеры, или фотография десятилетней давности — Facebook может преобразовать её в стереоснимок.
Создание технологии потребовало преодоления множества технических проблем, таких как обучение модели, которая бы правильно определяла трёхмерные позиции чрезвычайно широкого спектра объектов, и оптимизация системы для работы на типичных мобильных процессорах за долю секунды.
Специалисты обучили свёрточную нейронную сеть (CNN) на миллионах пар полноценных 3D-изображений, находящихся в открытом доступе, и сопровождающих их карт глубины и использовали ранее разработанные Facebook AI методы оптимизации FBNet и ChamNet. Основной этап тренировки нейросети занял примерно три дня и потребовал 800 графических процессоров Tesla V100.
Новую функцию 3D Photos уже можно опробовать в приложении Facebook на смартфонах iPhone и Android.