Генеративный искусственный интеллект, дополненная реальность и телеуправляемая парковка - цифровой опыт в BMW будущего

Цифровой опыт в автомобиле как в настоящем, так и в будущем - главная тема присутствия BMW Group на выставке CES 2024. На мероприятии будут представлены новые информационно-развлекательные продукты для текущего модельного ряда BMW. В то же время BMW Group демонстрирует инновационные проекты, позволяющие заглянуть в будущее. Посетители смогут телеуправлять BMW iX и провести его по Серебряному лоту на выставочной площадке, открыть для себя в качестве пассажира потенциал очков дополненной реальности во время поездки и испытать новые возможности генеративного ИИ интеллектуального персонального помощника BMW на основе большой языковой модели Alexa (LLM), позволяющие быстро отвечать на вопросы и подсказывать, как пользоваться функциями автомобиля.

"BMW - это синоним как самой совершенной машины для вождения, так и самого совершенного цифрового опыта", - говорит Франк Вебер, член правления, отвечающий за развитие BMW Group. "На выставке CES мы показываем больше контента, больше персонализации и больше игр. Все это опирается на нашу мощную операционную систему BMW собственной разработки. И, конечно же, мы заглянем в будущее: идеально интегрированная дополненная реальность и мощный, надежный искусственный интеллект для взаимодействия человека и машины".

BMW Operating System 9 делает возможным: новые игровые возможности из магазина ConnectedDrive Store в 2024 году.

Опциональное предложение "BMW Digital Premium" позволяет клиентам BMW с BMW Operating System 9 получить доступ к расширенному ассортименту продуктов из магазина BMW ConnectedDrive Store. Помимо функций по требованию для автомобиля, магазин предлагает постоянно обновляющийся выбор приложений сторонних разработчиков в категориях "Музыка и аудио", "Новости и журналы" и "Игры" для информационно-развлекательной системы. Теперь через этот канал доступно больше игр, которыми можно наслаждаться в автомобиле. А в будущем пассажиры смогут играть с помощью соответствующих игровых контроллеров. BMW впервые представит эту новую форму игрового опыта на выставке CES 2024. Например, "Beach Buggy Racing 2" предлагает покупателям захватывающую гоночную игру, вызывающую воспоминания о классических консолях. Два игрока в автомобиле могут соревноваться друг с другом в режиме разделенного экрана, используя свои игровые контроллеры. Любой стандартный игровой контроллер с поддержкой Bluetooth может быть подключен к информационно-развлекательной системе всего за несколько шагов. Подключение контроллеров будет доступно по воздуху для BMW Operating System 9 в 2024 году.

Приложение AirConsole уже позволяет клиентам BMW играть в одиночные и многопользовательские игры в своем автомобиле. Предлагаемые "казуальные игры" легко освоить любому: смартфон пользователя выступает в роли контроллера, позволяя легко управлять игровым процессом, который быстро осваивается. Выбор игр в автомобильном приложении AirConsole постоянно пополняется.

BMW Digital Premium опционально доступен для моделей с операционной системой BMW 9 и может быть приобретен в магазине ConnectedDrive Store онлайн, в приложении MyBMW или непосредственно в автомобиле. BMW Digital Premium позволяет клиентам пользоваться в автомобиле всеми приложениями, доступными в их стране, а также покрывает необходимое потребление данных. Кроме того, пакет предлагает дополнительные возможности, включая расширенные навигационные функции и дополнительные опции настройки.

Лучшие развлечения - с приложением Video App в операционных системах BMW 8.5 и 9.

В дополнение к экрану BMW Theatre Screen со встроенным Amazon Fire TV в заднем отсеке BMW 7 серии, клиенты BMW теперь могут смотреть разнообразный видеоконтент и на центральном дисплее*. Уже очень успешная операционная система TiVo для "умных" телевизоров была оптимизирована для потокового видео в автомобиле всего за несколько месяцев разработчиками из BMW Group совместно с компанией XPERI Inc. Результатом стала интеграция видеосервиса DTS AutoStage на базе TiVo. Развлекательная программа включает в себя как прямые каналы, так и медиатеки по запросу, охватывающие категории новостей, спорта, развлечений для детей, фильмов и сериалов.

Впервые запущенная в новом BMW 5 серии, эта платформа теперь будет распространяться на другие модели представительского класса и класса люкс по воздуху**. С конца 2023 года клиенты, управляющие компактными моделями с операционной системой BMW 9, также могут получить доступ к приложению Video App с BMW Digital Premium. В течение 2024 года к ним присоединятся и другие модели, такие как BMW X2 и все модели нового семейства MINI.

В настоящее время приложение Video App доступно в США, Великобритании, Южной Корее, Франции, Италии, Германии и Испании, а вскоре появится и в Японии. На международном уровне доступен ряд порталов, включая Pluto TV, Bloomberg, TED, Yahoo! и Chili. К ним прилагаются потоковые сервисы, ориентированные на конкретные рынки:

• Германия: JOYN, ZDF, tagesschau, Deutsche Welle.
• Италия: RaiPlay
• Франция: TF1
• США: Tubi, Gusto TV, Journy
• Япония: Hulu Japan, NHK Plus, NTV NEWS NNN, TVer, WOWOW. 

Портфель платформ потокового видео будет постоянно расширяться и постепенно распространяться на другие страны.

Готовность к носимым устройствам будущего - улучшенный опыт вождения с очками дополненной реальности XREAL Air 2.

На выставке CES компания BMW Group впервые продемонстрировала, как очки дополненной реальности (AR) в будущем обогатят опыт вождения. Посетители могут сами проверить возможности использования AR-очков во время поездки по Лас-Вегасу. Надев очки, они смогут увидеть, как навигационные инструкции, предупреждения об опасности, развлекательный контент, информация о зарядных станциях и вспомогательные визуализации в ситуациях парковки идеально встраиваются в реальную обстановку с помощью "XREAL Air 2". Устройства AR и смешанной реальности (MR) будут становиться все более популярными в ближайшие несколько лет благодаря технологическому прогрессу и моделям начального уровня, которые станут более доступными для покупателей. В будущем AR- и MR-устройства смогут предложить водителям и пассажирам расширенную информацию и приятные впечатления в дополнение к дисплеям, установленным в автомобиле.

BMW Group работает над развитием AR/MR-технологий с 2008 года и изучает возможные применения дисплеев, устанавливаемых на голову, в рамках исследовательских проектов. Инженерам BMW совместно с партнерами по разработке впервые удалось продемонстрировать стабильный контент дополненной и смешанной реальности пассажирам в динамично движущемся автомобиле. Отображаемое изображение остается надежно встроенным в окружающую среду даже в сложных дорожных ситуациях, например, при поворотах, проезде крупных неровностей или ускорении. Для этого система отслеживания AR/MR-устройства должна быть связана с данными датчиков автомобиля.

В течение многих лет BMW Group последовательно накапливала опыт работы с AR/MR-устройствами и представляла результаты общественности. К ним относятся первоначальный проект MINI Augmented Vision (2015), сотрудничество с Meta Reality Labs (2022 и 2023), смарт-очки ConnectedRide от BMW Motorrad и Mixed Reality Driving Experience. Функция Augmented View в современных моделях BMW и MINI показывает водителю видеопоток на дисплее, дополненный дополнительной информацией для оптимального ориентирования при использовании навигационной системы. В области инновационных приложений XR, связанных с автомобилями, BMW Group за последние годы оформила патенты почти на 70 изобретений своих разработчиков.

"Благодаря недавнему исследовательскому сотрудничеству с Meta Reality Labs и XREAL мы добились значительного прогресса в подготовке к интеграции внешних XR-устройств в процесс вождения в серийных моделях. Мы гордимся тем, что являемся лидерами в этой области и готовы предложить нашим клиентам захватывающие XR-переживания в будущем", - говорит Петер Ленерт, вице-президент по исследованиям, новым технологиям и инновациям Digital Car в BMW Group.

"Мы в восторге от перспективы возможности цифрового украшения реального мира путем объединения автомобильных технологий с AR-технологиями", - комментирует Пенг Джин, соучредитель XREAL. "Это может привести к совершенно новым ощущениям во время путешествий на автомобиле и открыть новый потенциал для AR-технологий".

В прошлом BMW Group успешно проводила новаторские работы в области цифровых технологий - например, доступ к автомобилю с помощью цифрового ключа BMW Digital Key - и была движущей силой стандартизации таких инноваций в масштабах всей отрасли. Компания открыта для сотрудничества с другими партнерами и в области AR/MR. Цель состоит в том, чтобы создать промышленный стандарт для подключения XR-устройств к автомобилям.

Демонстрация разработки: Голосовой помощник BMW становится абсолютным экспертом по автомобилям с помощью Alexa Large Language Model (LLM).

На выставке CES BMW Group и Amazon демонстрируют возможности голосового помощника LLM на основе текущего проекта, над которым компании работают в рамках подготовки к потенциальному серийному внедрению. Таким образом, интеллектуальный персональный помощник BMW становится абсолютным экспертом по автомобилям благодаря генеративному искусственному интеллекту, который работает на базе Alexa LLM. На выставке CES посетители увидят, как голосовой помощник дает быстрые инструкции и ответы о функциях автомобиля в более человеческой, разговорной манере, и в то же время может управлять некоторыми функциями автомобиля.

Интеллектуальный персональный ассистент BMW уже давно использует искусственный интеллект для обработки речи, и эта демонстрация - последнее доказательство того, что BMW и ее партнеры продолжают внедрять инновации для клиентов. Возможности комплексной обработки речи, позволяющие взаимодействовать и вести диалог, подобный человеческому, еще не были интегрированы в серийные автомобили BMW. Теперь такие возможности стали возможны благодаря LLM, которые представляют собой модели ИИ, предназначенные для обработки человеческой речи на высоком уровне и генерирования соответствующих ответов. BMW Group также предпринимает тщательные шаги для создания безопасного и надежного опыта для клиентов и продолжает тестировать и совершенствовать эти возможности LLM вместе со своими партнерами.

С момента появления первого интеллектуального персонального ассистента BMW в 2018 году языковое взаимодействие стало неотъемлемой частью BMW iDrive. Сегодня голосовой помощник дает клиентам возможность контролировать многие функции автомобиля, чтобы они могли держать руки на руле и не отвлекаться от дороги. Благодаря использованию Amazon Alexa Custom Assistant - решения, основанного на технологии Alexa и позволяющего компаниям создавать свой собственный голосовой помощник, - следующее поколение интеллектуального персонального помощника BMW станет еще мощнее в течение года в автомобилях с операционной системой BMW Operating System 9.

Совместный проект с Valeo открывает путь к телеуправляемым парковкам.

BMW Group и Valeo заключили стратегическое партнерство для совместной разработки автоматизированных парковочных решений следующего поколения уровня 4. Это включает в себя разработку решений для автоматизированной парковки (AVP). В этом случае клиент оставляет свой автомобиль в специально отведенном месте. Затем автомобиль самостоятельно ищет свободное парковочное место, маневрирует в нем, а затем выезжает из него и даже может вернуться в зону парковки, чтобы водитель забрал его. В качестве базовой технологии для этого может использоваться как система автономного вождения, так и телеуправляемая система парковки.

Посетители выставки CES 2024 смогут сами опробовать телеоперативную парковку. Телеоперация обеспечивает полный контроль в ситуациях, которые могут быть очень сложными для полностью автономных систем, например, в сложных или незнакомых условиях.

Телеоператор использует сложную технологию и изображение с камер, чтобы направлять и перемещать автомобиль таким образом, чтобы его можно было припарковать и забрать в тщательно контролируемой манере. В будущем эта технология может найти применение, например, при парковке на мероприятиях, в аэропортах или в логистическом секторе.