OpenXR
OpenXR is an open royalty-free API standard from Khronos, providing engines with native access to a range of devices across the mixed reality spectrum.
You can develop using OpenXR on a HoloLens 2 or Windows Mixed Reality immersive VR headset on the desktop. If you don’t have access to a headset, you can use the HoloLens 2 Emulator or the Windows Mixed Reality Simulator instead.
Why OpenXR?
With OpenXR, you can build engines that target both holographic devices, like HoloLens 2, and immersive VR devices, like Windows Mixed Reality headsets for desktop PCs. OpenXR lets you write code once that’s then portable across a wide range of hardware platforms.
The OpenXR API uses a loader to connect your application directly to your headset’s native platform support. End users get maximum performance and minimum latency, whether they’re using a Windows Mixed Reality or any other headset.
What is OpenXR?
The OpenXR API provides the core pose prediction, frame timing, and spatial input functionality you’ll need to build an engine that can target both holographic and immersive devices.
To learn about the OpenXR API, check out the OpenXR 1.0 specification, API reference, and quick reference guide. For more information, see the Khronos OpenXR page.
To target the full feature set of HoloLens 2, you’ll also use cross-vendor and vendor-specific OpenXR extensions that enable additional features beyond the OpenXR 1.0 core, such as articulated hand tracking, eye tracking, spatial mapping, and spatial anchors. For more information, see the Roadmap section below on the extensions coming later this year.
OpenXR isn’t itself a mixed reality engine. Instead, OpenXR enables engines like Unity and Unreal to write portable code once that can then access the native platform features of the user’s holographic or immersive device, whatever vendor built that platform.
Roadmap
The OpenXR specification defines an extension mechanism that enables runtime implementers to expose additional functionality beyond the core features defined in the base OpenXR 1.0 specification.
There are three kinds of OpenXR extensions:
The Windows Mixed Reality OpenXR Runtime supports a set of MSFT and EXT extensions that brings the full set of HoloLens 2 features to OpenXR applications:
MSFT extension released:
XR_MSFT_spatial_anchor
XR_MSFT_hand_interaction
EXT extension released:
XR_EXT_hand_tracking
MSFT extension released:
XR_MSFT_hand_tracking_mesh
XR_EXT_eye_gaze_interaction
(third render from PV camera)
XR_MSFT_secondary_view_configuration
XR_MSFT_first_person_observer
(for example, QR)
MSFT extension released in runtime 105:
XR_MSFT_perception_anchor_interop
(for example, for keyboard/mouse)
XR_MSFT_holographic_window_attachment
(Samsung Odyssey and HP Reverb G2)
XR_EXT_samsung_odyssey_controller
XR_EXT_hp_mixed_reality_controller
XR_MSFT_controller_model
(auto-planar or orientation-only reprojection)
XR_MSFT_composition_layer_reprojection
While some of these extensions may start out as vendor-specific MSFT extensions, Microsoft and other OpenXR runtime vendors are working together to design cross-vendor EXT or KHR extensions for many of these feature areas. Cross-vendor extensions will make the code you write for those features portable across runtime vendors, as with the core specification.
Where can you use OpenXR?
Minecraft’s new RenderDragon engine has built its desktop VR support using OpenXR!
Microsoft has been working with Unity and Epic Games to ensure the future of mixed reality is open, not just for HoloLens 2, but across the full breadth of PC VR, including HP’s new Reverb G2 headset. OpenXR powers the cross-vendor VR support for major titles shipping today, such as Minecraft and Microsoft Flight Simulator! For more information on developing for HoloLens (1st gen), see the release notes.
To learn how you can get started with OpenXR in Unity, Unreal Engine or your own engine, read on!
OpenXR in Unity
Microsoft’s current recommended Unity configuration for HoloLens 2 and Windows Mixed Reality development is Unity 2020.3 LTS with the latest Mixed Reality OpenXR plugin. This plugin includes support for the OpenXR extensions that light up the full capabilities of HoloLens 2 and Windows Mixed Reality headsets, including hand/eye tracking, spatial anchors and HP Reverb G2 controllers. MRTK-Unity supports OpenXR as of MRTK 2.7. For more information about getting started with Unity 2020 and OpenXR, see Choosing a Unity version and XR plugin.
If you are developing for HoloLens (1st gen), you’ll need to continue using Unity 2019.4 LTS with the legacy WinRT API backend. If you’re targeting the new HP Reverb G2 controller in a Unity 2019 app, see our HP Reverb G2 input docs.
Starting in Unity 2021.2, OpenXR will be the only supported Unity backend for targeting HoloLens 2 and Windows Mixed Reality headsets.
OpenXR in Unreal Engine
Unreal Engine 4.23 was the first major game engine release to ship preview support for OpenXR 1.0! Now in Unreal Engine 4.26, support for HoloLens 2, Windows Mixed Reality and other desktop VR headsets is available through Unreal Engine’s built-in OpenXR support. Unreal Engine 4.26 also supports Microsoft’s OpenXR extension plugin, enabling hand interaction and HP Reverb G2 controller support, lighting up the full feature set of HoloLens 2 and Windows Mixed Reality headsets. Unreal Engine 4.26 is available today on the Epic Games Launcher, with MRTK-Unreal 0.12 supporting OpenXR projects.
OpenXR for native development
You can develop using OpenXR on a HoloLens 2 or Windows Mixed Reality immersive VR headset on the desktop. If you don’t have access to a headset, you can use the HoloLens 2 Emulator or the Windows Mixed Reality Simulator instead.
To start developing OpenXR applications for HoloLens 2 or Windows Mixed Reality VR headsets, see how to get started with OpenXR development.
For a tour through all the major components of the OpenXR API, along with examples of the real-world applications using OpenXR today, check out this 60-minute walkthrough video:
Советы по Windows 10: что вы можете сделать в смешанной реальности прямо сейчас
Смешанная реальность (Windows Mixed Reality) открывает много возможностей — от игр до путешествий по удаленным уголкам мира. Сегодня мы дадим несколько полезных советов, которые помогут вам максимально эффективно использовать Windows Mixed Reality.
Для использования Windows Mixed Reality необходимо следующее: совместимый компьютер с Windows 10, гарнитура Windows Mixed Reality и установленное на ПК обновление Windows 10 Fall Creators Update. Для наибольшего удобства рекомендуем также приобрести пару контроллеров движения Windows Mixed Reality.
У вас все это уже есть, но вы не знаете, с чего начать? Вот десять советов по Windows Mixed Reality, которыми вы можете воспользоваться прямо сейчас.
Прежде чем вы начнете исследовать смешанную реальность, рекомендуем настроить экран гарнитуры в соответствии с вашим межзрачковым расстоянием. Поскольку у разных людей это расстояние разное, важно настроить соответствующие параметры гарнитуры, чтобы получить наилучшее качество изображения и оптимизировать точность глубины. Настроить межзрачковое расстояние можно в разделе Settings > Mixed Reality > Headset display > Calibration.[1]
Первым, что вы увидите, когда запустите Windows Mixed Reality и наденете гарнитуру, будет пространство, отрисованное как внутреннее помещение дома. Здесь вы будете обращаться к приложениям и выполнять другие действия. Каждую комнату этого «дома» вы можете настроить по своему вкусу. Откройте меню «Пуск», чтобы закрепить избранные приложения на стенах, или перейдите в раздел Start > Holograms, чтобы добавить мебель, людей и другие голограммы.
Есть несколько способов перемещения по смешанной реальности с помощью контроллеров движения. Чтобы телепортироваться, укажите контроллером в то место, куда хотите перейти, сдвиньте любой аналоговый стик вперед, а затем отпустите его — и мгновенно окажетесь в нужном месте. Чтобы повернуться, сдвиньте стик влево или вправо; чтобы двигаться назад, сдвиньте стик назад. Чтобы идти без остановок, прижмите любой стик вниз, а затем сдвиньте его в том направлении, в котором хотите идти.
Если в вашем регионе доступна Кортана, вам будет полезно знать, что ее можно использовать и в Windows Mixed Reality. Ассистент позволяет быстро выполнять нужные действия с помощью голосовых команд. Например, с ее помощью можно настраивать громкость звука в игре, открывать приложения и даже телепортироваться без контроллера. Чтобы попробовать голосовое управление, просто скажите: «Эй, Кортана». [2]
Знаете ли вы, что кроме ваших любимых приложений из Microsoft Store, вас ждут более 2500 потрясающих игр и VR-приложений из SteamVR, совместимых с Windows Mixed Reality? [3] Чтобы узнать, как получить к ним доступ, перейдите по ссылке aka.ms/steamvr. Запустив SteamVR, нажмите на контроллере движения стик вниз, чтобы открыть панель управления и начать исследовать новые игры и приложения.
Погрузитесь в просмотр фотографий и видео в формате 360°. Установите расширение 360 Viewer для Microsoft Edge и просматривайте в гарнитуре смешанной реальности иммерсивный контент на YouTube, Facebook, NYTimes.com и других веб-сайтах.
Чтобы подробнее рассмотреть объект в любом открытом приложении, можно приблизить его, увеличив масштаб с помощью контроллеров движения. Для этого укажите на объект в окне приложения обоими контроллерами, потяните оба триггера и разведите руки. Чтобы уменьшить масштаб, сведите руки.
Помните о том, что в виртуальной реальности вы умеете телепортироваться. Для этого сдвиньте аналоговый стик вперед, укажите контроллером на нужное приложение и отпустите стик, чтобы оказаться прямо перед окном этого приложения.
Если вам не нравится наклон или высота потолка вашего «дома смешанной реальности», это можно изменить в разделе Start > Room Adjustment («Пуск» > «Настройка комнаты»). Просто следуйте инструкциям и используйте сенсорную панель на контроллере движения, чтобы быстро поправить комнату.
Делитесь своими впечатлениями с друзьями, используя Mixed Reality Portal. На совместимом компьютере нажмите кнопку Play («Воспроизведение»), чтобы показать на экране компьютера то, что вы видите на экране гарнитуры.
[1] Гарнитура Samsung HMD Odyssey позволяет настраивать межзрачковое расстояние механически.
[2] Для воспроизведения звука, использования Кортаны и голосовых команд нужны любые совместимые наушники с микрофоном, подключающиеся к HMD-гарнитуре через разъем 3,5 мм (USB-устройства к гарнитуре подключить нельзя). Чтобы выбрать совместимые наушники, ищите на упаковке или на веб-сайтах значок Кортаны.
[3] У разных игр, приложений и других компонентов контента требования к оборудованию для ПК могут отличаться.
Потоковая передача в Unreal
Иногда «потоковая передача» называется «голографическим удаленным взаимодействием.» Дополнительные сведения см. в статье Обзор голографического удаленного взаимодействия.
Потоковая передача с компьютера в HoloLens обеспечивает два основных преимущества:
Чтобы приступить к работе, скачайте Holographic Remoting Player на устройство HoloLens. Holographic Remoting Player позволит вашему приложению передавать данные в потоковом режиме непосредственно на проигрыватель удаленного взаимодействия на HoloLens из следующих источников:
При потоковой передаче вы получаете доступ практически ко всем возможностям HoloLens, которые можно использовать при запуске приложения на устройстве. К ним относятся отслеживание суставов рук, если вы используете HoloLens 2, пространственное картирование и пространственные привязки. Но при этом недоступны функции из этого списка.
Ограничения потоковой передачи
Виртуальные руки, камера HoloLens и системная клавиатура недоступны при потоковой передаче. Обратите внимание, что речевой ввод для приложений с потоковой передачей можно реализовать через микрофон компьютера, с которого выполняется потоковая передача.
OpenXR
Unreal 4.26 на OpenXR поддерживает потоковую передачу в проигрыватель Holographic Remoting Player версий не младше 2.4.0. Для потоковой передачи OpenXR в версии 2.4.0 отсутствует поддержка пространственного сопоставления и пространственных привязок.
Поддержка устройств
| Источник | HoloLens первого поколения | HoloLens 2 | Иммерсивные гарнитуры |
| Unreal Editor | ✔️ | ✔️ | ❌ |
| Пакет Windows | ❌ | ✔️ | ❌ |
Потоковая передача из Unreal Editor
Потоковая передача данных из Unreal Editor на устройство HoloLens обеспечивает разработчикам значительные преимущества при тестировании, а именно отсутствие необходимости ждать, пока приложение будет собрано и развернуто, для оценки обновлений.
Подробные инструкции по потоковой передаче из Unreal Editor можно найти в нашей серии руководств.
Потоковая передача из упакованного исполняемого файла Windows
В Unreal 4.25.1 и более поздних версий вы можете передавать данные вашего приложения на устройство HoloLens 2 в потоковом режиме из упакованного исполняемого файла Windows:
Выберите File > Package Project > Windows (Файл > Проект пакета > Windows) в меню редактора.
После завершения сборки пакета откройте инструмент Holographic Remoting Player на HoloLens 2 и запишите значение IP-адреса.
Оставьте Holographic Remoting Player открытым и с помощью командной строки выполните следующие действия:
Имя приложения в параметрах проекта должно быть автоматически использовано для создания пакета Windows. Если по какой-либо причине имена отличаются, используйте имя исполняемого файла Windows в командной строке.
Если отслеживание глаз не работает при потоковой передаче из упакованного исполняемого файла, отключите любые другие плагины с устройствами отслеживания глаз (например, Magic Leap), которые поддерживаются компьютером, или запустите приложение из командной строки с соответствующим аргументом отслеживания глаз (см. параметры командной строки).
Нажмите клавишу ВВОД, и ваше приложение начнет потоковую передачу.
Параметры командной строки
Дополнительные параметры командной строки для потоковой передачи с каждой платформы в Unreal Engine 4.26+ можно найти в приведенной ниже таблице.
Windows Mixed Reality: руководство для разработчиков (Часть 1)
Привет, Хабр! Сегодня мы начинаем цикл статей по Windows Mixed Reality. В его рамках мы с нуля разработаем приложение со смешанной реальностью на Unity. Кстати, все это будет проходить в формате lab work (лабораторной работы), то есть вы сможете сами, параллельно с публикацией статей, создать такое приложение. Присоединяйтесь!
Всё руководство будет состоять из 5 частей. Оно будет пополняться каждую неделю. Ниже вы сможете перейти к нужной вам части.
Смешанная реальность — это объединение реального мира с виртуальным содержимым, гибридная среда, в которой физические и цифровые объекты существуют вместе и взаимодействуют между собой.
В ходе этого практического занятия вы создадите приложение для иммерсивных гарнитур Windows Mixed Reality (VR) и устройства Microsoft HoloLens (AR). С помощью Unity вы создадите виртуальную комнату, в которой пользователи будут взаимодействовать с динамиком, воспроизводящим пространственный звук. Пользователи будут слышать звук, телепортируясь в различные точки комнаты или перемещая по комнате сам динамик.
Приложение будет создано с помощью набора средств Mixed Reality Toolkit для максимальной совместимости с HoloLens. Ближе к концу занятия вы внесете в приложение несколько изменений, чтобы сделать из приложения виртуальной реальности опыт оптимизированный для устройства HoloLens.
После завершения занятия вы:
Требования к оборудованию
Требования к программному обеспечению
• Visual Studio 2017. Подойдет любой выпуск, включая бесплатный выпуск Community Edition. Во время установки необходимо выбрать следующие компоненты и рабочие нагрузки:
• ОС Windows 10 Fall Creators Update (или более поздних версий);
Экспорт приложения UWP для Windows Mixed Reality из Unity
1. Создание проекта Unity и импорт ресурсов
Для этого практического занятия нам нужно импортировать несколько необходимых ресурсов. Скачайте эти два пакета Unity и сохраните их на компьютере.
1. Откройте редактор Unity и щелкните New (Создать).
2. Выберите имя для проекта (например, SpeakerPlacement).
3. Включите 3D для шаблона, отключите аналитику и щелкните Create project (Создать проект).
5. Не снимайте выделение с элементов, чтобы импортировать все файлы. Щелкните Import (Импорт).
Процесс импорта состоит из нескольких этапов и может занять несколько минут.Если импорт пакета пройдет успешно, в окне проекта под папкой Assets (Ресурсы) появится папка с именем Holotoolkit.
6. Импортируйте также файл SpatialSoundLab.UnityPackage, повторив действия, указанные выше.
7. В папке Assets (Ресурсы) теперь должны находиться оба пакета.
2. Применение параметров проекта
Далее нужно настроить наш проект Unity на сборку приложения для Windows Mixed Reality. Эту задачу нам поможет выполнить набор средств Mixed Reality Toolkit.
2. Установите флажок Use Toolkit-specific InputManager Axes (Использовать оси InputManager из набора средств) и нажмите кнопку Apply (Применить).
В справочных целях приведем описание каждого из параметров:
4. Установите флажок Spatial Perception (Пространственное восприятие), если собираетесь переносить это приложение на устройство HoloLens. Это позволит нам составить карту среды и найти поверхности для размещения динамиков.
5. Нажмите кнопку Apply (Применить), чтобы сохранить внесенные изменения.
3. Применение параметров сцены и добавление объектов Mixed Reality
Теперь нам нужно настроить сцену. Давайте добавим объекты, которые будут обрабатывать движение камеры и сигналы, поступающие от контроллера.
2. Оставьте выбранными все параметры по умолчанию и нажмите кнопку Apply (Применить).
В справочных целях приведем описание всех этих параметров:
На этом настройка и подготовка проекта и сцены для создания приложения UWP для MR завершена.
Сохраните сцену и проект.
Примечание. Подробное описание всех использованных здесь параметров см. в этом руководстве по настройке проектов Mixed Reality.
4. Развертывание приложения на гарнитурах
Сейчас это делать не требуется, но если вы решите собрать проект, воспользуйтесь следующими инструкциями по его запуску.
Развертывание проекта на иммерсивной гарнитуре
2. Щелкните Open in Visual Studio (Открыть в Visual Studio). Выполнение этого действия займет несколько минут — за это время будут скомпилированы все ресурсы и создано или обновлено решение для Visual Studio.
Примечание. Если в Unity появится сообщение о том, что отсутствует открытое решение для проекта, и будет задан вопрос о необходимости выполнения сборки, выберите Yes, Build (Да, выполнить сборку).
3. После завершения сборки в Unity запустится среда Visual Studio.
4. На стандартной панели инструментов Visual Studio измените активную платформу решения с ARM на x64. В качестве цели развертывания необходимо выбрать Local Machine (Локальный компьютер).
Если вы не выполняете отладку, то рекомендуем также изменить тип сборки с Debug (Отладка) на Release (Выпуск), так как отладочные сборки Unity чаще всего выполняются медленнее.
5. Запустите приложение, нажав кнопку воспроизведения.
Развертывание проекта на устройстве HoloLens
Процедура развертывания проекта на устройстве HoloLens очень похожа на приведенную выше процедуру для иммерсивных гарнитур с тем лишь исключением, что необходимо выбрать другое целевое устройство, а в качестве платформы выбрать x86.
2. Щелкните Open in Visual Studio (Открыть в Visual Studio). Выполнение этого действия займет несколько минут — за это время будут скомпилированы все ресурсы и создано или обновлено решение для Visual Studio.
Примечание. Если в Unity появится сообщение о том, что отсутствует открытое решение для проекта, и будет задан вопрос о необходимости выполнения сборки, выберите Yes, Build (Да, выполнить сборку).
3. После завершения сборки в Unity запустится среда Visual Studio.
4. На стандартной панели инструментов Visual Studio измените активную платформу решения с ARM на x86 и выберите подходящую цель для развертывания:
Если вы не выполняете отладку, то рекомендуем также изменить тип сборки с Debug (Отладка) на Release (Выпуск), так как отладочные сборки Unity чаще всего выполняются медленнее.
5. Запустите приложение, нажав кнопку воспроизведения.
Информацию о публикации приложений в Microsoft Store см. на сайте разработчиков для Windows.
Приложение Speaker Placement
В разработанном нами приложении Speaker Placement для размещения динамиков пользователю будут доступны следующие возможности:
Оригинал
Авторы: Eric Ahlstrom, cbarkerms, Madison Hight