Windows mixed reality openxr service что это

Обновлено: 02.07.2024

Опенкср — это общедоступный Стандарт API из кхронос, предоставляющий модули с собственным доступом к диапазону устройств в разных спектрах смешанной реальности.

вы можете разрабатывать с помощью опенкср HoloLens 2 или Windows Mixed Reality на рабочем столе головной телефон VR. если у вас нет доступа к гарнитуре, вы можете использовать HoloLens 2 Emulator или симулятор Windows Mixed Reality.

Зачем Опенкср?

с помощью опенкср можно создавать модули, предназначенные для таких устройств, как HoloLens 2 и впечатляющие устройства VR, такие как Windows Mixed Reality гарнитуры для настольных пк. Опенкср позволяет написать код, который затем будет переносимым на широком диапазоне аппаратных платформ.

API Опенкср использует загрузчик для подключения приложения непосредственно к собственной поддержке платформы вашей гарнитуры. конечные пользователи получают максимальную производительность и минимальную задержку независимо от того, используете ли они Windows Mixed Reality или другие гарнитуры.

Что такое OpenXR?

API Опенкср предоставляет основные функции прогнозирования, работы с кадрами и пространственного ввода. вам потребуется создать подсистему, которая может ориентироваться на как holographic, так и впечатляющие устройства.

Чтобы узнать об API Опенкср, ознакомьтесь со спецификациейопенкср 1,0, справочником по APIи кратким справочником. Дополнительные сведения см. на странице Кхронос опенкср.

чтобы воспользоваться полным набором функций HoloLens 2, вы также будете использовать расширения опенкср, относящиеся к поставщику и поставщику, которые предоставляют дополнительные возможности за пределами ядра опенкср 1,0, такие как отслеживание, отслеживание глаз, пространственное сопоставление и пространственные привязки. Дополнительные сведения см. в разделе "планы " ниже на расширениях, которые появятся позже в этом году.

Опенкср не является механизмом смешанной реальности. Вместо этого Опенкср позволяет использовать такие модули, как Unity и Нереал, для написания переносимого кода, который затем может получить доступ к функциям собственной платформы в holographic или иммерсивное устройство пользователя, независимо от поставщика, созданного этой платформой.

Схема действий

Спецификация Опенкср определяет механизм расширения, позволяющий разработчикам среды выполнения предоставлять дополнительные функциональные возможности за пределами основных функций , определенных в базовой спецификации опенкср 1,0.

Существует три вида расширений Опенкср:

Расширения поставщика (например, MSFT ): включает инновации для каждого поставщика в аппаратных или программных функциях. Любой поставщик среды выполнения может в любое время внедрить и поставлять расширение поставщика.

Экспериментальные расширения поставщиков (например, MSFT_preview ): экспериментальные расширения поставщиков, которые можно просмотреть для сбора отзывов. MSFT_preview расширения предназначены только для устройств разработчика и будут удалены при поставке настоящего расширения. Чтобы поэкспериментировать с ними, можно включить расширения предварительного просмотра на устройстве разработчика.

Windows Mixed Reality среда выполнения опенкср поддерживает набор MSFT EXT расширений и, который предоставляет полный набор функций HoloLens 2 приложениям опенкср:

MSFT выпущенное расширение:
XR_MSFT_spatial_anchor

только HoloLens 2

EXT выпущенное расширение:
XR_EXT_hand_tracking

только HoloLens 2

MSFT расширение, выпущенное в среде выполнения 105:
XR_MSFT_perception_anchor_interop

только HoloLens 2

Хотя некоторые из этих расширений могут запускаться как расширения, зависящие от поставщика MSFT , корпорация Майкрософт и другие поставщики среды выполнения опенкср работают вместе для проектирования кросс-поставщиков EXT или KHR расширений для многих из этих функциональных областей. Расширения для разных поставщиков заставляют код, который вы пишете для этих функций, переносимыми между поставщиками среды выполнения, как и Основная спецификация.

Где можно использовать Опенкср?

новая подсистема рендердрагон Minecraft создала свою настольную службу поддержки версий VR с помощью опенкср!

корпорация майкрософт приработала к играм Unity и в рабочей ситуации, чтобы убедиться в том, что будущее смешанной реальности открыта, а не только для HoloLens 2, но в полном объеме для пк, включая новую переглаголную гарнитуру G2. опенкср включает поддержку стабилизатора напряжения для основных наименований на сегодняшний день, например Minecraft и имитатора рейсов майкрософт! дополнительные сведения о разработке для HoloLens (1-го поколения) см. в заметках о выпуске.

Чтобы узнать, как можно приступить к работе с Опенкср в Unity, нереальном модулем или собственной подсистемой, читайте здесь!

Опенкср в Unity

текущая рекомендуемая конфигурация Unity майкрософт для разработки HoloLens 2 и Windows Mixed Reality — Unity 2020,3 LTS с последним подключаемым модулем опенкср смешанной реальности. этот подключаемый модуль включает поддержку расширений опенкср, которые включают все возможности HoloLens 2 и Windows Mixed Reality гарнитуры, в том числе отслеживание типа «рука/глаз», пространственные привязки и контроллеры HP reverbы G2. MRTK-Unity поддерживает Опенкср в мртк 2,7. Дополнительные сведения о начале работы с Unity 2020 и Опенкср см. в разделе Выбор версии Unity и подключаемого модуля XR.

при разработке для HoloLens (1-го поколения) необходимо продолжить использовать Unity 2019,4 LTS с устаревшей серверной частью API WinRT. Если вы используете новый контроллер HP REVERB G2 в приложении Unity 2019, см. статью входные документы с помощью команды HP.

начиная с Unity 2021,2, опенкср будет единственной поддерживаемой внутренней частью unity для нацеливания на HoloLens 2 и Windows Mixed Reality гарнитуры.

Опенкср в нереальном ядре

Нереальный механизм 4,23 был первым основным выпуском игр для отправки поддержки предварительной версии Опенкср 1,0! теперь в нереальном подсистеме 4,26 поддержка HoloLens 2, Windows Mixed Reality и других головных телефонов настольных систем доступна через встроенную поддержку опенкср. нереалный механизм 4,26 также поддерживает подключаемый модуль расширения опенкср корпорации майкрософт, обеспечивая взаимодействие с рукой и поддержку контроллеров HP reverbов G2, выполняя весь набор функций HoloLens 2 и Windows Mixed Reality гарнитуры. В настоящее время в средстве запуска игрдля моделирования выпущена неreal-подсистема 4,26 с MRTK-Unreal 0,12, поддерживающими проекты опенкср.

Опенкср для разработки машинного кода

чтобы приступить к разработке опенкср приложений для HoloLens 2 или Windows Mixed Realityных гарнитур VR, см. статью как приступить к разработке опенкср.

Для ознакомления со всеми основными компонентами API Опенкср и примерами реальных приложений, использующих Опенкср сегодня, ознакомьтесь с этим видео в 60-минутном пошаговом руководстве:

Смешанная реальность (Windows Mixed Reality) открывает много возможностей — от игр до путешествий по удаленным уголкам мира. Сегодня мы дадим несколько полезных советов, которые помогут вам максимально эффективно использовать Windows Mixed Reality.

Для использования Windows Mixed Reality необходимо следующее: совместимый компьютер с Windows 10, гарнитура Windows Mixed Reality и установленное на ПК обновление Windows 10 Fall Creators Update. Для наибольшего удобства рекомендуем также приобрести пару контроллеров движения Windows Mixed Reality.

У вас все это уже есть, но вы не знаете, с чего начать? Вот десять советов по Windows Mixed Reality, которыми вы можете воспользоваться прямо сейчас.

Прежде чем вы начнете исследовать смешанную реальность, рекомендуем настроить экран гарнитуры в соответствии с вашим межзрачковым расстоянием. Поскольку у разных людей это расстояние разное, важно настроить соответствующие параметры гарнитуры, чтобы получить наилучшее качество изображения и оптимизировать точность глубины. Настроить межзрачковое расстояние можно в разделе Settings > Mixed Reality > Headset display > Calibration.[1]

Обживите свой «дом смешанной реальности»

Первым, что вы увидите, когда запустите Windows Mixed Reality и наденете гарнитуру, будет пространство, отрисованное как внутреннее помещение дома. Здесь вы будете обращаться к приложениям и выполнять другие действия. Каждую комнату этого «дома» вы можете настроить по своему вкусу. Откройте меню «Пуск», чтобы закрепить избранные приложения на стенах, или перейдите в раздел Start > Holograms, чтобы добавить мебель, людей и другие голограммы.

Используйте контроллеры для быстрой навигации

Есть несколько способов перемещения по смешанной реальности с помощью контроллеров движения. Чтобы телепортироваться, укажите контроллером в то место, куда хотите перейти, сдвиньте любой аналоговый стик вперед, а затем отпустите его — и мгновенно окажетесь в нужном месте. Чтобы повернуться, сдвиньте стик влево или вправо; чтобы двигаться назад, сдвиньте стик назад. Чтобы идти без остановок, прижмите любой стик вниз, а затем сдвиньте его в том направлении, в котором хотите идти.

Если в вашем регионе доступна Кортана, вам будет полезно знать, что ее можно использовать и в Windows Mixed Reality. Ассистент позволяет быстро выполнять нужные действия с помощью голосовых команд. Например, с ее помощью можно настраивать громкость звука в игре, открывать приложения и даже телепортироваться без контроллера. Чтобы попробовать голосовое управление, просто скажите: «Эй, Кортана». [2]

Знаете ли вы, что кроме ваших любимых приложений из Microsoft Store, вас ждут более 2500 потрясающих игр и VR-приложений из SteamVR, совместимых с Windows Mixed Reality? [3] Чтобы узнать, как получить к ним доступ, перейдите по ссылке aka.ms/steamvr. Запустив SteamVR, нажмите на контроллере движения стик вниз, чтобы открыть панель управления и начать исследовать новые игры и приложения.

Просматривайте иммерсивные видео в Интернете

Приближайте объекты в смешанной реальности, чтобы подробно рассматривать их

Чтобы подробнее рассмотреть объект в любом открытом приложении, можно приблизить его, увеличив масштаб с помощью контроллеров движения. Для этого укажите на объект в окне приложения обоими контроллерами, потяните оба триггера и разведите руки. Чтобы уменьшить масштаб, сведите руки.

Просматривайте приложения под самым удобным углом

Помните о том, что в виртуальной реальности вы умеете телепортироваться. Для этого сдвиньте аналоговый стик вперед, укажите контроллером на нужное приложение и отпустите стик, чтобы оказаться прямо перед окном этого приложения.

Настраивайте измерения в своем «доме смешанной реальности»

Делитесь впечатлениями с другими пользователями

Делитесь своими впечатлениями с друзьями, используя Mixed Reality Portal. На совместимом компьютере нажмите кнопку Play («Воспроизведение»), чтобы показать на экране компьютера то, что вы видите на экране гарнитуры.

[1] Гарнитура Samsung HMD Odyssey позволяет настраивать межзрачковое расстояние механически.
[2] Для воспроизведения звука, использования Кортаны и голосовых команд нужны любые совместимые наушники с микрофоном, подключающиеся к HMD-гарнитуре через разъем 3,5 мм (USB-устройства к гарнитуре подключить нельзя). Чтобы выбрать совместимые наушники, ищите на упаковке или на веб-сайтах значок Кортаны.
[3] У разных игр, приложений и других компонентов контента требования к оборудованию для ПК могут отличаться.

Microsoft только что добавила поддержку OpenXR на устройства с Windows Mixed Reality, с помощью которой станет проще портировать VR-приложения и игры на другие платформы.

У виртуальной реальности огромный потенциал, но большое количество различий между платформами и железом немного усложняют разработку, из-за чего некоторые игры остаются эксклюзивами для определенных устройств.

Robo Recall, например, доступна только на Oculus Rift. Если вы владелец HTC Vive, то официально поиграть в нее никак не получится, хотя неофициально есть пара методов.

С приходом OpenXR, конечно, эксклюзивы никуда не денутся, но портирование VR-игр станет намного проще. С помощью OpenXR станет возможно использовать различные VR-шлемы на платформах, изначально не предназначенных для них - например шлем для PlayStation VR на ПК.

Что такое OpenXR?

OpenXR - открытая платформа, включающая в себя программный интерфейс (API), который позволяет разработчикам создавать приложения для SteamVR и Google Daydream и устройств, которые накладывают "слой" виртуальной реальности на экран.

Используя эти "слои", разработчики смогут запускать свои приложения или игры на различных платформах и VR-устройствах, без необходимости создавать приложение с нуля.

OpenXR была создана Khronos - группой разработчиков из довольно известных компаний, связанных с VR - Microsoft, Sony и Google. Windows Mixed Reality с добавлением OpenXR станет намного более удобной платформой. У пользователей теперь будет выбор, какую платформу или железо использовать для VR-приложений. Таким образом, есть надежда, что виртуальная реальность вскоре станет намного более доступной.

Разработчики могут скачать и установить OpenXR с официального сайта Microsoft уже сейчас.

Всё руководство будет состоять из 5 частей. Оно будет пополняться каждую неделю. Ниже вы сможете перейти к нужной вам части.

Смешанная реальность — это объединение реального мира с виртуальным содержимым, гибридная среда, в которой физические и цифровые объекты существуют вместе и взаимодействуют между собой.

В ходе этого практического занятия вы создадите приложение для иммерсивных гарнитур Windows Mixed Reality (VR) и устройства Microsoft HoloLens (AR). С помощью Unity вы создадите виртуальную комнату, в которой пользователи будут взаимодействовать с динамиком, воспроизводящим пространственный звук. Пользователи будут слышать звук, телепортируясь в различные точки комнаты или перемещая по комнате сам динамик.

Приложение будет создано с помощью набора средств Mixed Reality Toolkit для максимальной совместимости с HoloLens. Ближе к концу занятия вы внесете в приложение несколько изменений, чтобы сделать из приложения виртуальной реальности опыт оптимизированный для устройства HoloLens.

После завершения занятия вы:

узнаете, как с помощью Unity создавать приложения виртуальной реальности, и закрепите эти знания;
узнаете, как настраивать Unity для сборки приложений UWP для Mixed Reality;
научитесь использовать стандартные функции Mixed Reality (MR), такие как настройка камер, обработка ввода (управление с помощью взгляда, контроллеров движения и жестов), а также воспроизведение пространственного звука в приложениях для MR;
научитесь создавать приложения для Mixed Reality, которые подходят как для очков виртуальной реальности, так и для HoloLens.

Требования к оборудованию

Компьютер с поддержкой MR
[Необязательно] Иммерсивная гарнитура Windows Mixed Reality с контроллерами движения
[Необязательно] Устройство HoloLens

Требования к программному обеспечению

• Visual Studio 2017. Подойдет любой выпуск, включая бесплатный выпуск Community Edition. Во время установки необходимо выбрать следующие компоненты и рабочие нагрузки:

разработка для универсальной платформы Windows;
разработки игр с использованием инструментов для работы с Unity; (включен в последнюю версию Visual Studio 2017);

• ОС Windows 10 Fall Creators Update (или более поздних версий);

чтобы включить режим разработчика, перейдите в Settings -> Update & security (Настройки системы -> Обновление и безопасность) -> For developers (Для разработчиков).

Экспорт приложения UWP для Windows Mixed Reality из Unity

1. Создание проекта Unity и импорт ресурсов

Для этого практического занятия нам нужно импортировать несколько необходимых ресурсов. Скачайте эти два пакета Unity и сохраните их на компьютере.

1. Откройте редактор Unity и щелкните New (Создать).

2. Выберите имя для проекта (например, SpeakerPlacement).

3. Включите 3D для шаблона, отключите аналитику и щелкните Create project (Создать проект).

4. Чтобы импортировать пакеты Unity, выберите в меню пункт Assets -> Import Package -> Custom Package (Ресурсы -> Импортировать пакет -> Пользовательский пакет) и перейдите к сохраненному ранее пакету Holotoolkit.unitypackage.

5. Не снимайте выделение с элементов, чтобы импортировать все файлы. Щелкните Import (Импорт).

Процесс импорта состоит из нескольких этапов и может занять несколько минут.Если импорт пакета пройдет успешно, в окне проекта под папкой Assets (Ресурсы) появится папка с именем Holotoolkit.

6. Импортируйте также файл SpatialSoundLab.UnityPackage, повторив действия, указанные выше.

7. В папке Assets (Ресурсы) теперь должны находиться оба пакета.

2. Применение параметров проекта

Далее нужно настроить наш проект Unity на сборку приложения для Windows Mixed Reality. Эту задачу нам поможет выполнить набор средств Mixed Reality Toolkit.

1. В верхнем меню перейдите в раздел Mixed Reality Toolkit -> Configure (Mixed Reality Toolkit -> Настройка) и выберите Apply Mixed Reality Project Settings (Применить настройки проекта смешанной реальности).

2. Установите флажок Use Toolkit-specific InputManager Axes (Использовать оси InputManager из набора средств) и нажмите кнопку Apply (Применить).

В справочных целях приведем описание каждого из параметров:

3. В верхнем меню перейдите в раздел Mixed Reality Toolkit -> Configure (Mixed Reality Toolkit -> Настройка) и выберите Apply UWP Capability Settings (Применить настройки совместимости с UWP).

4. Установите флажок Spatial Perception (Пространственное восприятие), если собираетесь переносить это приложение на устройство HoloLens. Это позволит нам составить карту среды и найти поверхности для размещения динамиков.

6. Далее откройте диалоговое окно File -> Build Settings (Файл -> Параметры сборки) с помощью сочетания клавиш Ctrl+Shift+B, выберите Universal Windows Platform (Универсальная платформа Windows), затем щелкните Switch Platform (Сменить платформу). Добавьте открытую сцену в сборку, установив флажок рядом с именем сцены и нажав кнопку Add Open Scenes (Добавить открытые сцены). Подтвердите предложение сохранить сцену и выберите для нее подходящее имя. Мы назвали нашу сцену Main.

3. Применение параметров сцены и добавление объектов Mixed Reality

Теперь нам нужно настроить сцену. Давайте добавим объекты, которые будут обрабатывать движение камеры и сигналы, поступающие от контроллера.

1. В верхнем меню перейдите в раздел Mixed Reality Toolkit -> Configure (Mixed Reality Toolkit -> Настройка) и выберите Apply Mixed Reality Project Settings (Применить настройки сцены смешанной реальности).

2. Оставьте выбранными все параметры по умолчанию и нажмите кнопку Apply (Применить).

В справочных целях приведем описание всех этих параметров:

В сцену добавляется префаб MixedRealityCameraParent. Этот префаб добавляет стандартную (основную) камеру в начало координат (0,0,0), а также добавляет поддержку контроллеров движения и границ.
В сцену добавляется префаб InputManager. Он обеспечивает поддержку ввода (управление взглядом, жестами, с помощью сенсорного ввода или геймпада Xbox).
В сцену добавляется префаб DefaultCursor.

На этом настройка и подготовка проекта и сцены для создания приложения UWP для MR завершена.

Сохраните сцену и проект.

3. Щелкните File -> Save Scenes (Файл -> Сохранить сцены). Когда появится запрос на выбор имени для сцены, назовите ее Main (или придумайте любое другое подходящее имя).

4. Щелкните File -> Save Project (Файл -> Сохранить проект).

Примечание. Подробное описание всех использованных здесь параметров см. в этом руководстве по настройке проектов Mixed Reality.

4. Развертывание приложения на гарнитурах

Сейчас это делать не требуется, но если вы решите собрать проект, воспользуйтесь следующими инструкциями по его запуску.

Развертывание проекта на иммерсивной гарнитуре

1. Перейдите в раздел Mixed Reality Toolkit -> Build Window (Mixed Reality Toolkit -> Окно сборки).

2. Щелкните Open in Visual Studio (Открыть в Visual Studio). Выполнение этого действия займет несколько минут — за это время будут скомпилированы все ресурсы и создано или обновлено решение для Visual Studio.

3. После завершения сборки в Unity запустится среда Visual Studio.

4. На стандартной панели инструментов Visual Studio измените активную платформу решения с ARM на x64. В качестве цели развертывания необходимо выбрать Local Machine (Локальный компьютер).

Если вы не выполняете отладку, то рекомендуем также изменить тип сборки с Debug (Отладка) на Release (Выпуск), так как отладочные сборки Unity чаще всего выполняются медленнее.

5. Запустите приложение, нажав кнопку воспроизведения.

Развертывание проекта на устройстве HoloLens

Процедура развертывания проекта на устройстве HoloLens очень похожа на приведенную выше процедуру для иммерсивных гарнитур с тем лишь исключением, что необходимо выбрать другое целевое устройство, а в качестве платформы выбрать x86.

1. Перейдите в раздел Mixed Reality Toolkit -> Build Window (Mixed Reality Toolkit -> Окно сборки).

3. После завершения сборки в Unity запустится среда Visual Studio.

4. На стандартной панели инструментов Visual Studio измените активную платформу решения с ARM на x86 и выберите подходящую цель для развертывания:

если развертывание выполняется через USB, выберите Device (Устройство);
если развертывание выполняется через Wi-Fi, необходимо выбрать Remote machine (Удаленный компьютер) и настроить параметры удаленного компьютера.

5. Запустите приложение, нажав кнопку воспроизведения.

Информацию о публикации приложений в Microsoft Store см. на сайте разработчиков для Windows.

Приложение Speaker Placement

В разработанном нами приложении Speaker Placement для размещения динамиков пользователю будут доступны следующие возможности:

Mixed Reality Portal что это за программа и нужна ли она?

Всем привет. Поговорим мы с вами о такой штуке как Mixed Reality Portal, я не знаю что это за дичь, но понял что это что-то новенькое в Windows 10. Значит вот первые данные. Mixed Reality Portal это типа штука для использование очков виртуальной реальности.. Приложение замутили в версии Windows 10 билд 1703 Creators Update, и вообще это приложение или функция именуется как Смешанная реальность (Mixed Reality). Но чтобы использовать это приложение и получить доступ к настройкам, то у вас должно быть соответствующее оборудование, ну это вроде имеется ввиду очки виртуальной реальности.

И вот многим юзерам эта виртуальная реальность даром не нужна. Ибо очков у них таких нет, покупать они их тоже не собираются. Но вот главное что Mixed Reality Portal все таки появилось.

Так ребята, я нашел еще информацию. Mixed Reality Portal обеспечивает взаимодействие VR-шлемов с Windows 10 и программами. То есть эта штука позволяет вам запустить какую-то специальную прогу и начать пользоваться этой смешанной реальностью. Еще вот читаю, что Mixed Reality Portal глубоко сидит в системе, что обычными способами эту штуку не удалить. Часть настроек приложения размещается в окне Параметры, там есть где-то отдельная категория Смешанная реальность.

Так, вот еще читаю, что в меню Пуск прога Mixed Reality Portal будет всегда. А вот пункт в окне Параметры появится после успешного запуска приложения. Кстати читаю вот что русского языка нет, это плохо. Мало того, приложение работает на данный момент только в 64-битной версии винды. Мне вот стало интересно, есть ли в моей Windows 10 такое приложение. Нажал кнопку поиска, там написал Mixed Reality, и вот вижу что нашлось Mixed Reality Viewer:

Но вот Mixed Reality Viewer это что такое? Тоже самое что и Mixed Reality Portal? Короче я запустил Mixed Reality Viewer, интересно очень, открылось вот такое приложение:

Судя по тому что тут написано, это приложение нужно для просмотра 3D-моделей каких-то. Типа можно взять любую трехмерную модель и типа отпустить ее в реальный мир, а потом зафиксировать ее на фото в смешанной реальности. Короче я думаю это приложение чем-то похоже на Mixed Reality Portal, одна семейка.

Хотя странно, приложение Mixed Reality Portal у меня так и не нашлось, хотя стоит новенькая Windows 10 последнего билда..

Если все таки запустить программу без VR-шлема (в интернете вроде есть инструкции как это сделать), то само приложение выглядит вот так:

Ну как-то так.. Что-то мне кажется что без очков это приложение вряд ли будет особо интересным

А вот пункт Смешанная реальность в окне Параметры:

Ребята, на этом все. Надеюсь вы узнали что за программа Mixed Reality Portal. У вас может будет вопрос, а как удалить ее? Скажу честно, я ее не удалял, оставил, она не грузит ПК и не мешает мне. Но скажу только, что в интернете уже есть много материала по тому, как удалить Mixed Reality Portal, я просто не такой спец в этом, но видел подробные инструкции.

На этом все, удачи вам и чтобы вы были счастливы!

Введение в разработку приложений смешанной реальности

Смешанная реальность — это огромное пространство, точка, в которой сталкиваются реальный и виртуальный миры. Его возможности безграничны — все зависит от вас. Выберите свой движок, скачайте необходимые средства и достаньте клавиатуру. Приветствуем в экосистеме смешанной реальности — пришло время творить.

Варианты разработки

Unreal. Unreal Engine 4 — это мощная подсистема разработки с открытым кодом и полной поддержкой смешанной реальности в C++ и Blueprints. Начиная с версии Unreal Engine 4.25, поддержка HoloLens считается полной и пригодной для рабочей среды. Благодаря таким возможностям, как гибкая система визуального создания скриптов Blueprints, дизайнеры могут использовать полный спектр инструментов, которые обычно доступны только программистам. Создатели продуктов для разных отраслей могут свободно использовать средства управления для предоставления современного содержимого, возможностей интерактивного взаимодействия и иммерсивных виртуальных миров.

Native (OpenXR). OpenXR — это открытый бесплатный стандарт API от Khronos, который предоставляет возможности нативного доступа к широкому спектру устройств от поставщиков решений смешанной реальности. Вы можете разрабатывать приложения, используя OpenXR с HoloLens 2 или иммерсивную гарнитуру Windows Mixed Reality с компьютером. Если у вас нет гарнитуры, доступны эмуляторы для гарнитур HoloLens 2 и Windows Mixed Reality.

Какая технология вас интересует?

При изучении нашей документации вы можете выбрать разные направления разработки. Первый шаг заключается в подборе оптимальной технологии. Если вы уже определились с технологией, просто откройте соответствующую вкладку ниже. Если вы еще раздумываете или только начинаете разработку, изучите все технологии, их преимущества, доступные платформы и инструменты и приступайте к творчеству!

Unity позволяет создать кроссплатформенное полнофункциональное приложение смешанной реальности. Build a cross-platform, full-featured mixed reality app with Unity. См. статью Обзор разработки в Unity, чтобы приступить к разработке в Unity для HoloLens или иммерсивных гарнитур Windows Mixed Reality. See the Unity development overview to get started with Unity development for HoloLens or Windows Mixed Reality immersive headsets.

Доступные аппаратные платформы Available hardware platforms

Устройства дополненной реальности Augmented reality devices

Иммерсивные гарнитуры виртуальной реальности Immersive VR headsets

Доступные инструменты и пакеты SDK Available tools and SDKs

Инструмент или пакет SDK Tool/SDK	Описание Description
Набор средств для смешанной реальности для Unity Mixed Reality Toolkit for Unity	Набор средств для смешанной реальности для Unity — это кросс-платформенный набор разработки с открытым кодом, который ускоряет создание приложений, предназначенных для Microsoft HoloLens, иммерсивных гарнитур виртуальной реальности Windows Mixed Reality и платформы OpenVR. The Mixed Reality Toolkit for Unity is an open source cross-platform development kit built to accelerate development of applications targeting Microsoft HoloLens, Windows Mixed Reality immersive (VR) headsets and OpenVR platform.

Инструмент или пакет SDK Tool/SDK

Описание Description

Набор средств для смешанной реальности для Unity Mixed Reality Toolkit for Unity

Набор средств для смешанной реальности для Unity — это кросс-платформенный набор разработки с открытым кодом, который ускоряет создание приложений, предназначенных для Microsoft HoloLens, иммерсивных гарнитур виртуальной реальности Windows Mixed Reality и платформы OpenVR. The Mixed Reality Toolkit for Unity is an open source cross-platform development kit built to accelerate development of applications targeting Microsoft HoloLens, Windows Mixed Reality immersive (VR) headsets and OpenVR platform.

Облачные службы Cloud services

Существует несколько облачных служб, которые можно интегрировать в проекты смешанной реальности, созданные в Unity, а именно Удаленная отрисовка Azure и Пространственные привязки Azure. There are several cloud services that can be integrated into Mixed Reality projects built in Unity, specifically Azure Remote Rendering and Azure Spatial Anchors. Такие службы могут добавлять в ваши приложения общее голографическое содержимое и возможности трехмерной отрисовки в реальном времени, делая их более привлекательными и иммерсивными для пользователей. These services can add shared holographic content and real-time 3D rendering to your applications, making them more compelling and immersive for your users.

Dynamics 365 Guides Dynamics 365 Guides

Примеры Examples

Мы предлагаем несколько примеров приложений с открытым кодом, которые вы можете скачать и протестировать, чтобы лучше понять, как выглядит конечный продукт смешанной реальности в Unity. We have several open source sample apps for you to download and play around with to get a feel for a Mixed Reality end product in Unity. Кроме того, вы можете воспользоваться примерами сцен в MRTK для тестирования определенных функций: There are also MRTK example scenes available for you to test out specific features:

Для работы с обоими примерами сцен MRTK необходимо установить пакет MRTK Foundation и пакет примеров Unity. Both of the MRTK example scenes require MRTK Foundation and Example Unity packages to be installed.

Unity позволяет создать кросс-платформенное полнофункциональное приложение смешанной реальности с помощью движка Unreal. Build a cross-platform, full-featured mixed reality app with Unreal. См. сведения о разработке Unreal для HoloLens. See the Unreal development overview to get started with Unreal development for HoloLens.

Доступные аппаратные платформы Available hardware platforms

Для создания приложений смешанной реальности с помощью Unreal Engine есть несколько вариантов оборудования, эмуляторов и потоковой передачи. You have several hardware, emulator, and streaming options when building Mixed Reality apps with Unreal Engine. В нашей документации для разработчиков в основном описываются устройства HoloLens, но вы можете упаковывать проекты Unreal как классические приложения x64 и просто запускать их на иммерсивных гарнитурах. While our developer documentation focuses on HoloLens devices, you can package your Unreal projects as x64 desktop apps and run them on immersive headsets just fine.

Устройства дополненной реальности Augmented reality devices

Иммерсивные гарнитуры виртуальной реальности Immersive VR headsets

Доступные инструменты и пакеты SDK Available tools and SDKs

Инструмент или пакет SDK Tool/SDK	Описание Description
UX Tools для Unreal UX Tools for Unreal	UX Tools — это первый выпускаемый подключаемый модуль. Сейчас его поддерживает только HoloLens 2. UX Tools is the first plugin to be released and is currently only supported on HoloLens 2. Подключаемый модуль включает в себя код на C++, схемы и примеры активов общих функций UX для имитации ввода, взаимодействий с помощью руки, притяжения к поверхности и много другого. The plugin includes C++ code, Blueprints, and example assets of common UX features for input simulation, hand interactions, surface magnetism and more.
Graphics Tools для Unreal Graphics Tools for Unreal	Graphics Tools — это подключаемый модуль для игр на UE с кодом, схемами и примерами активов. Он призван помочь в улучшении графики приложений смешанной реальности с минимальным влиянием на производительность. Graphics Tools is a UE game plugin with code, blueprints and example assets created to help improve the visual fidelity of Mixed Reality applications while staying within performance budgets.

Инструмент или пакет SDK Tool/SDK

Описание Description

UX Tools для Unreal UX Tools for Unreal

UX Tools — это первый выпускаемый подключаемый модуль. Сейчас его поддерживает только HoloLens 2. UX Tools is the first plugin to be released and is currently only supported on HoloLens 2. Подключаемый модуль включает в себя код на C++, схемы и примеры активов общих функций UX для имитации ввода, взаимодействий с помощью руки, притяжения к поверхности и много другого. The plugin includes C++ code, Blueprints, and example assets of common UX features for input simulation, hand interactions, surface magnetism and more.

Graphics Tools для Unreal Graphics Tools for Unreal

Graphics Tools — это подключаемый модуль для игр на UE с кодом, схемами и примерами активов. Он призван помочь в улучшении графики приложений смешанной реальности с минимальным влиянием на производительность. Graphics Tools is a UE game plugin with code, blueprints and example assets created to help improve the visual fidelity of Mixed Reality applications while staying within performance budgets.

Облачные службы Cloud services

Если вы создаете приложения смешанной реальности в Unreal, вам доступна мощная облачная служба Пространственные привязки Azure, которую вы можете использовать для добавления и сохранения голографического содержимого на разных устройствах, а также предоставления к нему общего доступа. When building Mixed Reality apps in Unreal, you have access to a powerful cloud service called Azure Spatial Anchors, which you can use to add, persist, and share holographic content across different devices.

Dynamics 365 Guides Dynamics 365 Guides

Примеры Examples

API устройства WebXR — это открытая спецификация, которая позволяет работать с приложениями смешанной реальности в браузере на любой платформе. The WebXR Device API is an open specification that allows you to experience Mixed Reality apps in your browser on any platform. Сведения о том, как создавать приложения Смешанной реальности для любой платформы, см. в статье Общие сведения о разработке на JavaScript. See the JavaScript development overview to get started building Mixed Reality apps for any platform.

Доступные аппаратные платформы Available hardware platforms

Для создания приложений смешанной реальности с помощью OpenXR есть несколько вариантов оборудования, эмуляторов и потоковой передачи. You have several hardware, emulator, and streaming options when building Mixed Reality apps with OpenXR development.

Устройства дополненной реальности Augmented reality devices

Иммерсивные гарнитуры виртуальной реальности Immersive VR headsets

Доступные инструменты и пакеты SDK Available tools and SDKs

Примеры Examples

Вы также можете просмотреть 60-минутное пошаговое руководство по BasicXrApp, в котором рассматриваются все ключевые компоненты API OpenXR в Visual Studio: You can also watch a 60-minute walkthrough of BasicXrApp that tours all key components of the OpenXR API in Visual Studio:

Дальнейшие действия

Теперь, когда вы выбрали технологию, получите необходимые инструменты для начала разработки.

Что такое смешанная реальность? What is Mixed Reality?

Изображение: смешанная реальность является результатом смешения физического и цифрового миров. Image: Mixed Reality is the result of blending the physical world with the digital world.

Ввод и восприятие через окружающую среду Environmental input and perception

За последние десятилетия исследование связей между человеческим и компьютерным вводом выделилось в отдельную дисциплину — человеко-машинное взаимодействие (HCI). Over the past several decades, exploration into the relationship between human and computer input has continued, leading to the discipline known as human computer interaction or HCI. Человек может вводить данные через разные средства, включая клавиатуры, мыши, касание, рукописный ввод, речь и даже отслеживание движений с помощью Kinect. Human input happens through different means, including keyboards, mice, touch, ink, voice, and even Kinect skeletal tracking.

Изображение: взаимодействие между компьютерами, людьми и средами.
Image: The interactions between computers, humans, and environments.

Спектр смешанной реальности The Mixed Reality spectrum

Так как смешанная реальность объединяет физические и цифровые миры, эти две реальности определяют противоположные концы спектра, называемого континуумом виртуальности. Since Mixed Reality blends both physical and digital worlds, these two realities define the polar ends of a spectrum known as the virtuality continuum. Мы называем набор реальностей спектром смешанной реальности. We refer to the array of realities as the Mixed Reality spectrum. На одном конце находится физическая реальность, в которой существуют люди. On the left-hand side, we have the physical reality that we as humans exist in. На другом — соответствующая цифровая реальность. On the right-hand side, we have the corresponding digital reality.

Дополненная и виртуальная реальность Augmented vs. virtual reality

Изображение: спектр смешанной реальности Image: The Mixed Reality spectrum

Большинство существующих предложений для дополненной и виртуальной реальности отражают лишь малую часть этого спектра и считаются составляющей более широкого спектра смешанной реальности. Most augmented reality and virtual reality offerings available today represent a small part of this spectrum and are considered subsets of the larger Mixed Reality spectrum. Windows 10 создавалась с учетом всего этого спектра и позволяет организовать полноценное смешение цифровых представлений людей, мест и объектов с реальным миром. Windows 10 is built with the entire spectrum in mind, and allows blending digital representations of people, places, and things with the real world.

Устройства и взаимодействия Devices and experiences

Существует два основных типа устройств, которые поддерживают взаимодействия Windows Mixed Reality: There are two main types of devices that deliver Windows Mixed Reality experiences:

Изображение: расположение устройств в спектре смешанной реальности Image: Where devices exist on the Mixed Reality spectrum

Следующий этап Next Discovery Checkpoint

Читайте также: