Как смотреть видео в windows mixed reality

Обновлено: 04.07.2024

Компания Microsoft уже давно ведёт разработки в сфере смешанной реальности (Mixed Reality). Ранее мы узнавали об этих разработках только из красочных роликов и слайдов, демонстрируемых на презентациях компании. Однако теперь у нас появилась возможность пощупать эту самую реальность своими руками.

В вышедшем недавно обновлении Windows Creators Update есть всё необходимое, чтобы активировать Mixed Reality. Однако по умолчанию эти функции скрыты. Подскажем, как включить режим смешанной реальности прямо сейчас:

1. Откройте программу настройки параметров Windows.

2. Откройте раздел «Обновление и безопасность». Перейдите на вкладку «Для разработчиков». Отметьте пункт «Режим разработчика».

3. Согласитесь со сделанными изменениями.

4. Откройте строку поиска Windows 10. Введите запрос Mixed Reality.

5. Запустите приложение Mixed Reality Portal. При первом запуске оно скачает необходимые файлы из Сети, так что придётся немного подождать.

6. На стартовом экране нажмите на кнопку Set up simulation (for developers). Она расположена в левом нижнем углу. Подтвердите свой выбор во всплывающем окне.

7. Теперь приложение Mixed Reality Portal должно запуститься. Однако необходимо перевести его в режим симуляции, так как полноценного шлема виртуальной реальности у вас, скорее всего, нет. Для этого нажмите на кнопку с отвёрткой в левом нижнем углу и откройте настройки приложения.

8. В открывшейся панели активируйте переключатель Simulation.

После этого приложение Mixed Reality Portal покажет вам виртуальный интерфейс Windows 10. Он представляет из себя внутренний дворик какого-то коттеджа. В его центре в воздухе висит главное меню, позволяющее запускать программы, например браузер, просмотрщик картинок, магазин приложений.

Используйте курсорные клавиши, чтобы осмотреться, и WASD-клавиши для передвижения по виртуальным комнатам. Управление не самое удобное, но не будем забывать, что это всё-таки симулятор. Качество картинки и быстродействие во многом зависит от возможностей компьютера, особенно от видеокарты.

Если вы захотите удалить функцию смешанной реальности со своего компьютера, то откройте параметры системы. Здесь вы найдёте новый раздел «Смешанная реальность». Именно в нём находится кнопка, позволяющая избавиться от Windows Mixed Reality.

Всё руководство будет состоять из 5 частей. Оно будет пополняться каждую неделю. Ниже вы сможете перейти к нужной вам части.

Смешанная реальность — это объединение реального мира с виртуальным содержимым, гибридная среда, в которой физические и цифровые объекты существуют вместе и взаимодействуют между собой.

В ходе этого практического занятия вы создадите приложение для иммерсивных гарнитур Windows Mixed Reality (VR) и устройства Microsoft HoloLens (AR). С помощью Unity вы создадите виртуальную комнату, в которой пользователи будут взаимодействовать с динамиком, воспроизводящим пространственный звук. Пользователи будут слышать звук, телепортируясь в различные точки комнаты или перемещая по комнате сам динамик.

Приложение будет создано с помощью набора средств Mixed Reality Toolkit для максимальной совместимости с HoloLens. Ближе к концу занятия вы внесете в приложение несколько изменений, чтобы сделать из приложения виртуальной реальности опыт оптимизированный для устройства HoloLens.

После завершения занятия вы:

узнаете, как с помощью Unity создавать приложения виртуальной реальности, и закрепите эти знания;
узнаете, как настраивать Unity для сборки приложений UWP для Mixed Reality;
научитесь использовать стандартные функции Mixed Reality (MR), такие как настройка камер, обработка ввода (управление с помощью взгляда, контроллеров движения и жестов), а также воспроизведение пространственного звука в приложениях для MR;
научитесь создавать приложения для Mixed Reality, которые подходят как для очков виртуальной реальности, так и для HoloLens.

Требования к оборудованию

Компьютер с поддержкой MR
[Необязательно] Иммерсивная гарнитура Windows Mixed Reality с контроллерами движения
[Необязательно] Устройство HoloLens

Требования к программному обеспечению

• Visual Studio 2017. Подойдет любой выпуск, включая бесплатный выпуск Community Edition. Во время установки необходимо выбрать следующие компоненты и рабочие нагрузки:

разработка для универсальной платформы Windows;
разработки игр с использованием инструментов для работы с Unity; (включен в последнюю версию Visual Studio 2017);

• ОС Windows 10 Fall Creators Update (или более поздних версий);

чтобы включить режим разработчика, перейдите в Settings -> Update & security (Настройки системы -> Обновление и безопасность) -> For developers (Для разработчиков).

Экспорт приложения UWP для Windows Mixed Reality из Unity

1. Создание проекта Unity и импорт ресурсов

Для этого практического занятия нам нужно импортировать несколько необходимых ресурсов. Скачайте эти два пакета Unity и сохраните их на компьютере.

1. Откройте редактор Unity и щелкните New (Создать).

2. Выберите имя для проекта (например, SpeakerPlacement).

3. Включите 3D для шаблона, отключите аналитику и щелкните Create project (Создать проект).

4. Чтобы импортировать пакеты Unity, выберите в меню пункт Assets -> Import Package -> Custom Package (Ресурсы -> Импортировать пакет -> Пользовательский пакет) и перейдите к сохраненному ранее пакету Holotoolkit.unitypackage.

5. Не снимайте выделение с элементов, чтобы импортировать все файлы. Щелкните Import (Импорт).

Процесс импорта состоит из нескольких этапов и может занять несколько минут.Если импорт пакета пройдет успешно, в окне проекта под папкой Assets (Ресурсы) появится папка с именем Holotoolkit.

6. Импортируйте также файл SpatialSoundLab.UnityPackage, повторив действия, указанные выше.

7. В папке Assets (Ресурсы) теперь должны находиться оба пакета.

2. Применение параметров проекта

Далее нужно настроить наш проект Unity на сборку приложения для Windows Mixed Reality. Эту задачу нам поможет выполнить набор средств Mixed Reality Toolkit.

1. В верхнем меню перейдите в раздел Mixed Reality Toolkit -> Configure (Mixed Reality Toolkit -> Настройка) и выберите Apply Mixed Reality Project Settings (Применить настройки проекта смешанной реальности).

2. Установите флажок Use Toolkit-specific InputManager Axes (Использовать оси InputManager из набора средств) и нажмите кнопку Apply (Применить).

В справочных целях приведем описание каждого из параметров:

3. В верхнем меню перейдите в раздел Mixed Reality Toolkit -> Configure (Mixed Reality Toolkit -> Настройка) и выберите Apply UWP Capability Settings (Применить настройки совместимости с UWP).

4. Установите флажок Spatial Perception (Пространственное восприятие), если собираетесь переносить это приложение на устройство HoloLens. Это позволит нам составить карту среды и найти поверхности для размещения динамиков.

6. Далее откройте диалоговое окно File -> Build Settings (Файл -> Параметры сборки) с помощью сочетания клавиш Ctrl+Shift+B, выберите Universal Windows Platform (Универсальная платформа Windows), затем щелкните Switch Platform (Сменить платформу). Добавьте открытую сцену в сборку, установив флажок рядом с именем сцены и нажав кнопку Add Open Scenes (Добавить открытые сцены). Подтвердите предложение сохранить сцену и выберите для нее подходящее имя. Мы назвали нашу сцену Main.

3. Применение параметров сцены и добавление объектов Mixed Reality

Теперь нам нужно настроить сцену. Давайте добавим объекты, которые будут обрабатывать движение камеры и сигналы, поступающие от контроллера.

1. В верхнем меню перейдите в раздел Mixed Reality Toolkit -> Configure (Mixed Reality Toolkit -> Настройка) и выберите Apply Mixed Reality Project Settings (Применить настройки сцены смешанной реальности).

2. Оставьте выбранными все параметры по умолчанию и нажмите кнопку Apply (Применить).

В справочных целях приведем описание всех этих параметров:

В сцену добавляется префаб MixedRealityCameraParent. Этот префаб добавляет стандартную (основную) камеру в начало координат (0,0,0), а также добавляет поддержку контроллеров движения и границ.
В сцену добавляется префаб InputManager. Он обеспечивает поддержку ввода (управление взглядом, жестами, с помощью сенсорного ввода или геймпада Xbox).
В сцену добавляется префаб DefaultCursor.

На этом настройка и подготовка проекта и сцены для создания приложения UWP для MR завершена.

Сохраните сцену и проект.

3. Щелкните File -> Save Scenes (Файл -> Сохранить сцены). Когда появится запрос на выбор имени для сцены, назовите ее Main (или придумайте любое другое подходящее имя).

4. Щелкните File -> Save Project (Файл -> Сохранить проект).

Примечание. Подробное описание всех использованных здесь параметров см. в этом руководстве по настройке проектов Mixed Reality.

4. Развертывание приложения на гарнитурах

Сейчас это делать не требуется, но если вы решите собрать проект, воспользуйтесь следующими инструкциями по его запуску.

Развертывание проекта на иммерсивной гарнитуре

1. Перейдите в раздел Mixed Reality Toolkit -> Build Window (Mixed Reality Toolkit -> Окно сборки).

2. Щелкните Open in Visual Studio (Открыть в Visual Studio). Выполнение этого действия займет несколько минут — за это время будут скомпилированы все ресурсы и создано или обновлено решение для Visual Studio.

3. После завершения сборки в Unity запустится среда Visual Studio.

4. На стандартной панели инструментов Visual Studio измените активную платформу решения с ARM на x64. В качестве цели развертывания необходимо выбрать Local Machine (Локальный компьютер).

Если вы не выполняете отладку, то рекомендуем также изменить тип сборки с Debug (Отладка) на Release (Выпуск), так как отладочные сборки Unity чаще всего выполняются медленнее.

5. Запустите приложение, нажав кнопку воспроизведения.

Развертывание проекта на устройстве HoloLens

Процедура развертывания проекта на устройстве HoloLens очень похожа на приведенную выше процедуру для иммерсивных гарнитур с тем лишь исключением, что необходимо выбрать другое целевое устройство, а в качестве платформы выбрать x86.

1. Перейдите в раздел Mixed Reality Toolkit -> Build Window (Mixed Reality Toolkit -> Окно сборки).

3. После завершения сборки в Unity запустится среда Visual Studio.

4. На стандартной панели инструментов Visual Studio измените активную платформу решения с ARM на x86 и выберите подходящую цель для развертывания:

если развертывание выполняется через USB, выберите Device (Устройство);
если развертывание выполняется через Wi-Fi, необходимо выбрать Remote machine (Удаленный компьютер) и настроить параметры удаленного компьютера.

5. Запустите приложение, нажав кнопку воспроизведения.

Информацию о публикации приложений в Microsoft Store см. на сайте разработчиков для Windows.

Приложение Speaker Placement

В разработанном нами приложении Speaker Placement для размещения динамиков пользователю будут доступны следующие возможности:

С дополненной реальностью мир познакомила компания Microsoft с ее очками HoloLens. Жаль, что устройство стоит несколько сотен тысяч рублей и мало кому удавалось пощупать его вживую.

Сегодня же мы поговорим о смешанной реальности, а точнее о платформе Windows Mixed Reality и шлемах MR, которые были созданы на ее основе.

Что такое смешанная реальность?

Ранее мы уже писали о том, что такое смешанная реальность. Но какое понятие вкладывает в эти слова Microsoft? В данном случае гигант индустрии с помощью этого термина обозначить отличие своей платформы от платформ VR. Так в чем же разница, если и для устройств на Windows Mixed Reality, и для HTC Vive используется персональный компьютер под управлением Windows?

Таким образом достигается слияние VR и AR технологий.

Основное отличие Windows Mixed Reality от многих VR-устройств заключается в том, что данная платформа направлена на то, чтобы предоставить вам опыт непосредственного участника происходящих событий, а не зрителя. И это действительно круто.

В чем разница между VR, MR и AR?

Давайте приведем базовые определения VR, MR и AR:

Виртуальная реальность (VR): искусственный мир, в котором вы взаимодействуете с виртуальными объектами
Дополненная реальность (AR): виртуальные объекты, добавленные в реальный мир (например, покемоны в игре Pokemon GO)
Смешанная реальность (MR): реальные объекты добавленные в виртуальный мир, или виртуальные объекты, добавленные в реальный мир, или просто виртуальные объекты в виртуальном мире

Как работает Windows Mixed Reality?

Hololens была первой гарнитурой MR и именно она заложила основы дальнейшего развития технологии, хотя Hololens и был значительно ближе к дополненной реальности, чем к виртуальной.

Это также распространяется и на контроллеры. Microsoft анонсировала контроллеры Mixed Reality, которые также могут отслеживаться гарнитурой, что делает ненужным использование других датчиков, как в случае c HTC Vive или Oculus Rift.

Системные требования Windows Mixed Reality

Intel Core i5 dual-core with hyperthreading
Intel HD Graphics 620 or DX12 compatible GPU
8GB RAM
HDMI 1.4, 2.0 or DisplayPort 1.3
USB 3.0
100GB SSD
Bluetooth 4.0

Проверить ваш компьютер на соответствие системным требованиям можно с помощью приложения Windows Mixed Reality PC Check.

Гарнитуры (шлемы) на базе Windows Mixed Reality

Acer Windows Mixed Reality Headset

Характеристики Acer Windows Mixed Reality Headset

Lenovo Explorer

Характеристики Lenovo Explorer:

Dell Visor

Характеристики Dell Visor:

HP Windows Mixed Reality Headset

Характеристики HP Windows Mixed Reality:

Samsung Odyssey

Не стоит также забывать и о встроенных наушниках от фирмы AKG и механической настройке межзрачкового расстояния. Комплектные контроллеры также превосходят многие решения, представленные на рынке за счет свой эргономичности и качества.

Характеристики Samsung Odyssey:

Где купить гарнитуры Windows Mixed Reality?

На данный момент на гарнитуры Windows Mixed Reality можно приобрести в магазине Microsoft. К сожалению, в русскоязычной версии магазина устройства отсутствуют, поэтому приходится ориентироваться на англоязычный филиал магазина. Цены указаны в описании каждого шлема.

Как только гарнитуры можно будет купить в России, мы обязательно обновим информацию.

Итак, сегодня мы поговорили о платформе Windows Mixed Reality и гарнитурах MR на ее основе, а также о смешанной реальности в целом. Надеюсь, что моя статья помогла вам разобраться в теме и сделать правильный выбор.

Статья будет обновляться по мере поступления актуальной информации.

В Windows Mixed Reality (WMR) Cliff House был оригинальной средой, в которой все появлялись, когда надевали дисплей на голове (HMD) и запускали портал WMR. В обновлении Windows 10 от апреля 2018 года Skyloft был добавлен к смеси , предлагая немного разнообразия для тех, кто любит тратить время на использование приложений и расстановку мебели перед тем, как начать игру.

Также с апрельским обновлением 2018 года появилась экспериментальная функция, которая позволяет вам добавлять свои собственные пользовательские среды, созданные с помощью программного обеспечения для 3D-моделирования. Давайте посмотрим, как добавить свои собственные творения в WMR, а также несколько советов по процессу создания.

Смотрите WMR в Microsoft

Как добавить пользовательскую среду в Windows Mixed Reality

Я не покажу вам, как именно создать собственную среду — это особый талант, которым я не обладаю, — но я покажу вам, как загружать любые пользовательские среды, с которыми вы сталкиваетесь, начиная с бесплатного образца, предоставленного Microsoft.

Эта среда Fantasy Island загружается как исполняемый файл (.exe) с веб-сайта Microsoft, но в случае самодельной среды она уже будет расположена на вашем ПК, и вы можете перейти к шагу 5.

Перейдите по ссылке для скачивания на Острове Фантазий на веб-сайте Microsoft.
Нажмите Сохранить .

Нажмите Run . В этот момент Windows SmartScreen может попытаться заблокировать запуск программы. Иди и беги в любом случае.

Запустите File Explorer из меню «Пуск», рабочего стола или панели задач.

Введите %LOCALAPPDATA%\Packages\EnvironmentsApp_cw5n1h2txyewy\LocalStat и нажмите Enter на клавиатуре, чтобы открыть папку сред портала WMR.

Перетащите файл 3D-объекта Fantasy Island в папку сред WMR Portal.

Теперь вы можете запустить портал WMR. Если он уже запущен, обязательно перезапустите его, прежде чем пытаться переключаться между средами, иначе пользовательский параметр не будет отображаться. Помните, что это экспериментальная функция, поэтому ожидайте несколько (или много) ошибок.

Как удалить пользовательскую среду

Если вам надоело видеть пользовательскую среду в разделе «Места» WMR, вы всегда можете вернуться к папке сред WMR Portal и удалить файл 3D-объектов, который вы изначально перетаскивали. После того, как вы перезапустили приложение Portal, вы больше не должны видеть его в списке мест.

Советы по созданию собственной среды

Один из самых простых способов начать работу с собственной средой WMR — запустить Paint 3D и заняться созданием мира из готовых 3D-моделей или импортированных из доступной библиотеки. Конечно, будет работать и другое программное обеспечение для 3D-моделирования, если у вас будет тот же файл glTF 2.0 (заканчивающийся на .glb), что и в образце среды Fantasy Island.

Если вам необходимо преобразовать свои активы в glTF 2.0 или вы просто хотите проверить какое-либо другое программное обеспечение для моделирования, обязательно загляните на страницу GitHub, рекомендованную Microsoft .

Те из вас, кто увлечен и создает огромную среду, могут захотеть воспользоваться бесплатным WMR Asset Converter (также доступным на GitHub) , который оптимизирует ваши творения.

Как всегда, обратитесь к официальной странице Microsoft для получения дополнительной информации и советов по устранению неполадок, связанных с созданием собственных сред WMR.

Больше ресурсов

Мы можем заработать комиссию за покупки, используя наши ссылки. Узнайте больше

Читайте также: