BMW и Meta's представляют исследования по взаимосвязи устройств расширенной реальности с экосистемой цифровых автомобилей

Технологический офис BMW Group Technology Office USA в Маунтин-Вью представил обновленную информацию о результатах исследования, проведенного Meta's Reality Labs Research, в котором впервые продемонстрирована возможность точного отображения стабильного контента виртуальной (VR) и смешанной (MR) реальности для пассажиров в быстро движущемся автомобиле, даже при выполнении поворотов, прохождении неровностей и ускорении. Интегрировав систему слежения Meta Quest с данными датчиков BMW, исследователи создали серию стабильных игр, развлечений, продуктивности и медитации "в автомобиле".

Клаус Доррер, глава технологического офиса BMW Group США в Маунтин-Вью:

"Пока рано говорить о том, как и когда эта технология попадет в руки покупателей, но мы представляем себе ряд потенциальных вариантов использования XR-устройств в автомобилях - от помощи водителю в поиске своего автомобиля на переполненной парковке до предупреждения об опасностях на дороге и отображения важной информации о состоянии автомобиля". Последствия будущих AR-очков и VR-устройств - как для пассажиров, так и для водителей - многообещающи. Исследовательское партнерство с Meta позволит нам узнать, как в будущем будут выглядеть иммерсивные, автомобильные XR-устройства, и возглавить беспрепятственную интеграцию таких устройств в автомобили".

Доказательный прототип преодолевает ключевые технические проблемы.

Гарнитуры VR используют камеры и датчики движения для точного определения своего положения, поэтому, когда пользователь двигает головой или смотрит по сторонам, виртуальный контент остается стабильным. Однако в быстро движущихся автомобилях датчики гарнитуры путаются из-за противоречивых сигналов от движения устройства внутри автомобиля и движения автомобиля в мире. Проще говоря, датчики движения гарнитуры думают, что она движется, а камеры считают, что она стоит на месте, когда смотрят на салон автомобиля.

Это несоответствие означает, что современные гарнитуры VR не могут отображать стабильный виртуальный контент при движении внутри быстро движущегося автомобиля, особенно если автомобиль ускоряется, быстро поворачивает или сталкивается с неровностями на дороге.

Для решения этой проблемы исследователи BMW и Meta совместно включили информацию из массива датчиков автомобиля BMW в систему отслеживания Meta Quest Pro. Это позволило системе отслеживания одновременно вычислять местоположение устройства относительно автомобиля и местоположение движущегося автомобиля относительно окружающего мира, что позволило точно привязать виртуальные объекты к движущемуся автомобилю и продемонстрировать захватывающие впечатления пассажиров VR и MR.
 

Ричард Ньюкомб, вице-президент по научным исследованиям, Reality Labs Research:

"Наш исследовательский прототип показывает, что мы можем обеспечить развлекательный и комфортный опыт пассажиров, привязанный к самому автомобилю, включая VR и MR игры, развлечения, продуктивность и даже возможность медитации. Технология имеет потенциал для преобразования того, как мы можем безопасно взаимодействовать с окружающей средой во время путешествий, и по мере того, как мы продвигаемся к надежной фиксации контента на дороге в AR-очках, мы надеемся, что пассажиры смогут видеть такие вещи, как маркеры достопримечательностей, ресторанов, интересных мест и многое другое."

Объединение данных о движении, генерируемых автомобилем, с возможностями датчиков гарнитуры XR позволило нам вычесть движение автомобиля и более точно отследить перемещение гарнитуры в автомобиле. Это, в свою очередь, позволило нам в режиме реального времени отображать контент, синхронизированный с движением автомобиля, как внутри, так и снаружи автомобиля на высоких скоростях, независимо от того, находится ли автомобиль на ровной прямой улице или на ухабистой дороге с резкими поворотами.

Этот опытный образец демонстрирует в автомобиле полный диапазон движений человека (известный как шесть степеней свободы) и опыт XR, который одновременно вычисляет местоположение гарнитуры относительно автомобиля и местоположение движущегося автомобиля относительно окружающего мира благодаря интеграции с датчиками автомобиля.

BMW Group успешно внедряет цифровые технологии, такие как доступ к автомобилю на основе цифрового ключа, и способствует отраслевой стандартизации таких инноваций. Глобальная сеть технологических офисов компании сыграла решающую роль в запуске таких инновационных проектов. BMW Group открыта для привлечения дополнительных партнеров для достижения цели создания отраслевого стандарта для подключения устройств бытовой электроники XR к автомобилям. При разработке потенциальных серий BMW Group придерживается принципа privacy-by-design. Это означает, что при разработке всех цифровых функций BMW Group принимает меры для обеспечения защиты и безопасной обработки данных клиентов в соответствии с требованиями конфиденциальности данных с помощью установленных процессов - на всех рынках, на которых работает компания.