Как улучшить трекинг windows mixed reality

Обновлено: 04.07.2024

В системе Windows Mixed Reality (WMR) нам больше всего нравится отсутствие внешних датчиков. Вы можете подключить гарнитуру, включить контроллеры и быть готовыми почти сразу перейти в виртуальную реальность. Однако отсутствие внешних датчиков не обходится без недостатков. В то время как ваша гарнитура редко теряет отслеживание — гораздо более серьезная проблема, вызывающая тошноту и дезориентацию, — ваши контроллеры, которые фактически отслеживаются камерами, встроенными в переднюю часть гарнитуры, иногда сами совершают поездку. Давайте посмотрим, почему это происходит и что вы можете сделать, чтобы предотвратить это.

Смотрите WMR в Microsoft

Почему контроллеры Windows Mixed Reality теряют отслеживание?

Отслеживание состояния контроллера любезно предоставлено Microsoft.

Хотя обычно вы можете наслаждаться WMR без отслеживания некачественного контроллера, это произойдет, если один или оба контроллера слишком долго оставят вид с камер гарнитуры. Вне поля зрения программное обеспечение WMR будет пытаться прогнозировать положение контроллера в режиме реального времени, используя сочетание положения гарнитуры и датчиков внутренней ориентации контроллера. Это состояние отслеживания, которое Microsoft называет «приблизительной точностью», и это одно из четырех состояний, в которых могут находиться контроллеры.

Приблизительная точность иногда приводит к небольшому смещению, которое не соответствует фактическому местоположению вашей руки. Если контроллер слишком скоро вернется в поле зрения гарнитуры, он вернется туда, где и должен быть. Однако, если контроллер слишком долго остается вне поля зрения, он может перейти в состояние «без позиции», что означает, что система не знает, где он находится по отношению к вам.

Когда контроллер четко видит датчики, он находится в состоянии «высокой точности». Все работает, как задумано, и вы можете легко указывать и взаимодействовать. Когда контроллер приближается к краю обзора датчиков, он входит в состояние «высокой точности (с риском потери)», которое может влиять на жесты в некоторых конкретных приложениях. Помните, что большинство приложений и приложений для WMR будут продолжать работать с приблизительной точностью, но вы не будете очень весело проводить время, пока не возобновится надлежащее отслеживание.

Убедитесь, что ваши контроллеры не подвержены воздействию прямых солнечных лучей

Одна из основных причин плохого слежения за контроллером WMR связана с освещением в вашем виртуальном пространстве. Если вы находитесь рядом с какими-либо окнами, прямой солнечный свет будет мешать свету на контроллерах и датчикам в гарнитуре.

Если возможно, закройте окна, которые пропускают прямой солнечный свет на игровую площадку. Также обратите внимание на другие источники света, которые могут запутать датчики (глядя на вас, новогодняя елка). Если вы уже играете в темноте и по-прежнему испытываете проблемы с отслеживанием, даже если контроллеры находятся прямо перед гарнитурой, вам, возможно, придется начать устранять неполадки в настройке Bluetooth.

Убедитесь, что ваши контроллеры подключены правильно

Если у вас возникают проблемы с отслеживанием и вы знаете, что солнечный свет не мешает, попробуйте выполнить цикл питания контроллера. Удерживайте кнопку Windows на каждом контроллере до тех пор, пока они не выключатся, затем снова нажмите кнопки, чтобы снова включить их.

Блок-схема устранения неполадок с контроллером WMR от Microsoft содержит массу надежной информации, когда речь идет о том, чтобы соединить их и правильно работать с вашим ПК. В случае плохого отслеживания, это предполагает, что ноутбук или ПК с Wi-Fi 2,4 ГГц могут вызвать некоторые проблемы. Попробуйте переключиться на Wi-Fi 5 ГГц (если это возможно) и посмотрите, улучшится ли отслеживание. Для тех, у кого есть набор наушников Bluetooth, которые они любят использовать с гарнитурой WMR, попробуйте использовать проводной звук, чтобы понять, имеет ли это значение.

Блок-схема устранения неполадок любезно предоставлена Microsoft.

Есть несколько проблем, связанных с соединением Bluetooth между ПК и контроллерами. Прежде чем продолжить, проверьте, не используется ли на вашем ПК адаптер Bluetooth Marvell. Если это так, убедитесь, что вы используете драйвер 15.68.9210.47 или более поздней версии. Если нет, время для обновления. Вот как проверить версию драйвера Bluetooth.

Щелкните правой кнопкой мыши кнопку « Пуск» .
Нажмите Поиск .

Введите Диспетчер устройств и нажмите Enter на клавиатуре.

Щелкните правой кнопкой мыши адаптер Marvell . В нашем случае мы его не используем.

Нажмите Драйвер . Здесь вы сможете увидеть, какую версию вы используете.

Рассмотрите возможность использования внешнего адаптера Bluetooth

Если ваш компьютер использует внутренний адаптер Bluetooth, который не хочет работать должным образом с контроллерами движения WMR, вы можете приобрести рекомендованный внешний адаптер от Plugable.

Это стоит около $ 13 и должно работать с большинством аксессуаров Bluetooth, которые вы уже используете.

При использовании внешнего адаптера Bluetooth обязательно (если возможно) подключите его к порту USB-A 2.0, а не к USB-A 3.0. Вы также хотите подключить его к порту, у которого рядом нет других периферийных устройств. Слишком сильная работа всей шины USB может вызвать проблемы.

Если на вашем компьютере есть внутренний адаптер Bluetooth, обязательно отключите его, так как два адаптера, подключенные к одному и тому же ПК, могут вызвать проблемы. Вот как это сделать.

Щелкните правой кнопкой мыши кнопку « Пуск» .

Нажмите Поиск .

Дважды щелкните Bluetooth .

Нажмите Свойства .

Нажмите Отключить устройство .

При переключении адаптеров Bluetooth не забудьте соединить другие аксессуары с новым адаптером.

Больше ресурсов

Обязательно ознакомьтесь с другими нашими статьями WMR для получения дополнительной информации об этой новой платформе!

Обновлено 25 июля 2018 года. Я обновил это руководство, чтобы убедиться, что вы по-прежнему получаете точные методы для исправления потери отслеживания контроллера движений.

Мы можем заработать комиссию за покупки, используя наши ссылки. Узнайте больше

Смешанная реальность (Windows Mixed Reality) открывает много возможностей — от игр до путешествий по удаленным уголкам мира. Сегодня мы дадим несколько полезных советов, которые помогут вам максимально эффективно использовать Windows Mixed Reality.

Для использования Windows Mixed Reality необходимо следующее: совместимый компьютер с Windows 10, гарнитура Windows Mixed Reality и установленное на ПК обновление Windows 10 Fall Creators Update. Для наибольшего удобства рекомендуем также приобрести пару контроллеров движения Windows Mixed Reality.

У вас все это уже есть, но вы не знаете, с чего начать? Вот десять советов по Windows Mixed Reality, которыми вы можете воспользоваться прямо сейчас.

Прежде чем вы начнете исследовать смешанную реальность, рекомендуем настроить экран гарнитуры в соответствии с вашим межзрачковым расстоянием. Поскольку у разных людей это расстояние разное, важно настроить соответствующие параметры гарнитуры, чтобы получить наилучшее качество изображения и оптимизировать точность глубины. Настроить межзрачковое расстояние можно в разделе Settings > Mixed Reality > Headset display > Calibration.[1]

Обживите свой «дом смешанной реальности»

Первым, что вы увидите, когда запустите Windows Mixed Reality и наденете гарнитуру, будет пространство, отрисованное как внутреннее помещение дома. Здесь вы будете обращаться к приложениям и выполнять другие действия. Каждую комнату этого «дома» вы можете настроить по своему вкусу. Откройте меню «Пуск», чтобы закрепить избранные приложения на стенах, или перейдите в раздел Start > Holograms, чтобы добавить мебель, людей и другие голограммы.

Используйте контроллеры для быстрой навигации

Есть несколько способов перемещения по смешанной реальности с помощью контроллеров движения. Чтобы телепортироваться, укажите контроллером в то место, куда хотите перейти, сдвиньте любой аналоговый стик вперед, а затем отпустите его — и мгновенно окажетесь в нужном месте. Чтобы повернуться, сдвиньте стик влево или вправо; чтобы двигаться назад, сдвиньте стик назад. Чтобы идти без остановок, прижмите любой стик вниз, а затем сдвиньте его в том направлении, в котором хотите идти.

Если в вашем регионе доступна Кортана, вам будет полезно знать, что ее можно использовать и в Windows Mixed Reality. Ассистент позволяет быстро выполнять нужные действия с помощью голосовых команд. Например, с ее помощью можно настраивать громкость звука в игре, открывать приложения и даже телепортироваться без контроллера. Чтобы попробовать голосовое управление, просто скажите: «Эй, Кортана». [2]

Знаете ли вы, что кроме ваших любимых приложений из Microsoft Store, вас ждут более 2500 потрясающих игр и VR-приложений из SteamVR, совместимых с Windows Mixed Reality? [3] Чтобы узнать, как получить к ним доступ, перейдите по ссылке aka.ms/steamvr. Запустив SteamVR, нажмите на контроллере движения стик вниз, чтобы открыть панель управления и начать исследовать новые игры и приложения.

Просматривайте иммерсивные видео в Интернете

Приближайте объекты в смешанной реальности, чтобы подробно рассматривать их

Чтобы подробнее рассмотреть объект в любом открытом приложении, можно приблизить его, увеличив масштаб с помощью контроллеров движения. Для этого укажите на объект в окне приложения обоими контроллерами, потяните оба триггера и разведите руки. Чтобы уменьшить масштаб, сведите руки.

Просматривайте приложения под самым удобным углом

Помните о том, что в виртуальной реальности вы умеете телепортироваться. Для этого сдвиньте аналоговый стик вперед, укажите контроллером на нужное приложение и отпустите стик, чтобы оказаться прямо перед окном этого приложения.

Настраивайте измерения в своем «доме смешанной реальности»

Делитесь впечатлениями с другими пользователями

Делитесь своими впечатлениями с друзьями, используя Mixed Reality Portal. На совместимом компьютере нажмите кнопку Play («Воспроизведение»), чтобы показать на экране компьютера то, что вы видите на экране гарнитуры.

[1] Гарнитура Samsung HMD Odyssey позволяет настраивать межзрачковое расстояние механически.
[2] Для воспроизведения звука, использования Кортаны и голосовых команд нужны любые совместимые наушники с микрофоном, подключающиеся к HMD-гарнитуре через разъем 3,5 мм (USB-устройства к гарнитуре подключить нельзя). Чтобы выбрать совместимые наушники, ищите на упаковке или на веб-сайтах значок Кортаны.
[3] У разных игр, приложений и других компонентов контента требования к оборудованию для ПК могут отличаться.

Всё руководство будет состоять из 5 частей. Оно будет пополняться каждую неделю. Ниже вы сможете перейти к нужной вам части.

Смешанная реальность — это объединение реального мира с виртуальным содержимым, гибридная среда, в которой физические и цифровые объекты существуют вместе и взаимодействуют между собой.

В ходе этого практического занятия вы создадите приложение для иммерсивных гарнитур Windows Mixed Reality (VR) и устройства Microsoft HoloLens (AR). С помощью Unity вы создадите виртуальную комнату, в которой пользователи будут взаимодействовать с динамиком, воспроизводящим пространственный звук. Пользователи будут слышать звук, телепортируясь в различные точки комнаты или перемещая по комнате сам динамик.

Приложение будет создано с помощью набора средств Mixed Reality Toolkit для максимальной совместимости с HoloLens. Ближе к концу занятия вы внесете в приложение несколько изменений, чтобы сделать из приложения виртуальной реальности опыт оптимизированный для устройства HoloLens.

После завершения занятия вы:

узнаете, как с помощью Unity создавать приложения виртуальной реальности, и закрепите эти знания;
узнаете, как настраивать Unity для сборки приложений UWP для Mixed Reality;
научитесь использовать стандартные функции Mixed Reality (MR), такие как настройка камер, обработка ввода (управление с помощью взгляда, контроллеров движения и жестов), а также воспроизведение пространственного звука в приложениях для MR;
научитесь создавать приложения для Mixed Reality, которые подходят как для очков виртуальной реальности, так и для HoloLens.

Требования к оборудованию

Компьютер с поддержкой MR
[Необязательно] Иммерсивная гарнитура Windows Mixed Reality с контроллерами движения
[Необязательно] Устройство HoloLens

Требования к программному обеспечению

• Visual Studio 2017. Подойдет любой выпуск, включая бесплатный выпуск Community Edition. Во время установки необходимо выбрать следующие компоненты и рабочие нагрузки:

разработка для универсальной платформы Windows;
разработки игр с использованием инструментов для работы с Unity; (включен в последнюю версию Visual Studio 2017);

• ОС Windows 10 Fall Creators Update (или более поздних версий);

чтобы включить режим разработчика, перейдите в Settings -> Update & security (Настройки системы -> Обновление и безопасность) -> For developers (Для разработчиков).

Экспорт приложения UWP для Windows Mixed Reality из Unity

1. Создание проекта Unity и импорт ресурсов

Для этого практического занятия нам нужно импортировать несколько необходимых ресурсов. Скачайте эти два пакета Unity и сохраните их на компьютере.

1. Откройте редактор Unity и щелкните New (Создать).

2. Выберите имя для проекта (например, SpeakerPlacement).

3. Включите 3D для шаблона, отключите аналитику и щелкните Create project (Создать проект).

4. Чтобы импортировать пакеты Unity, выберите в меню пункт Assets -> Import Package -> Custom Package (Ресурсы -> Импортировать пакет -> Пользовательский пакет) и перейдите к сохраненному ранее пакету Holotoolkit.unitypackage.

5. Не снимайте выделение с элементов, чтобы импортировать все файлы. Щелкните Import (Импорт).

Процесс импорта состоит из нескольких этапов и может занять несколько минут.Если импорт пакета пройдет успешно, в окне проекта под папкой Assets (Ресурсы) появится папка с именем Holotoolkit.

6. Импортируйте также файл SpatialSoundLab.UnityPackage, повторив действия, указанные выше.

7. В папке Assets (Ресурсы) теперь должны находиться оба пакета.

2. Применение параметров проекта

Далее нужно настроить наш проект Unity на сборку приложения для Windows Mixed Reality. Эту задачу нам поможет выполнить набор средств Mixed Reality Toolkit.

1. В верхнем меню перейдите в раздел Mixed Reality Toolkit -> Configure (Mixed Reality Toolkit -> Настройка) и выберите Apply Mixed Reality Project Settings (Применить настройки проекта смешанной реальности).

2. Установите флажок Use Toolkit-specific InputManager Axes (Использовать оси InputManager из набора средств) и нажмите кнопку Apply (Применить).

В справочных целях приведем описание каждого из параметров:

3. В верхнем меню перейдите в раздел Mixed Reality Toolkit -> Configure (Mixed Reality Toolkit -> Настройка) и выберите Apply UWP Capability Settings (Применить настройки совместимости с UWP).

4. Установите флажок Spatial Perception (Пространственное восприятие), если собираетесь переносить это приложение на устройство HoloLens. Это позволит нам составить карту среды и найти поверхности для размещения динамиков.

6. Далее откройте диалоговое окно File -> Build Settings (Файл -> Параметры сборки) с помощью сочетания клавиш Ctrl+Shift+B, выберите Universal Windows Platform (Универсальная платформа Windows), затем щелкните Switch Platform (Сменить платформу). Добавьте открытую сцену в сборку, установив флажок рядом с именем сцены и нажав кнопку Add Open Scenes (Добавить открытые сцены). Подтвердите предложение сохранить сцену и выберите для нее подходящее имя. Мы назвали нашу сцену Main.

3. Применение параметров сцены и добавление объектов Mixed Reality

Теперь нам нужно настроить сцену. Давайте добавим объекты, которые будут обрабатывать движение камеры и сигналы, поступающие от контроллера.

1. В верхнем меню перейдите в раздел Mixed Reality Toolkit -> Configure (Mixed Reality Toolkit -> Настройка) и выберите Apply Mixed Reality Project Settings (Применить настройки сцены смешанной реальности).

2. Оставьте выбранными все параметры по умолчанию и нажмите кнопку Apply (Применить).

В справочных целях приведем описание всех этих параметров:

В сцену добавляется префаб MixedRealityCameraParent. Этот префаб добавляет стандартную (основную) камеру в начало координат (0,0,0), а также добавляет поддержку контроллеров движения и границ.
В сцену добавляется префаб InputManager. Он обеспечивает поддержку ввода (управление взглядом, жестами, с помощью сенсорного ввода или геймпада Xbox).
В сцену добавляется префаб DefaultCursor.

На этом настройка и подготовка проекта и сцены для создания приложения UWP для MR завершена.

Сохраните сцену и проект.

3. Щелкните File -> Save Scenes (Файл -> Сохранить сцены). Когда появится запрос на выбор имени для сцены, назовите ее Main (или придумайте любое другое подходящее имя).

4. Щелкните File -> Save Project (Файл -> Сохранить проект).

Примечание. Подробное описание всех использованных здесь параметров см. в этом руководстве по настройке проектов Mixed Reality.

4. Развертывание приложения на гарнитурах

Сейчас это делать не требуется, но если вы решите собрать проект, воспользуйтесь следующими инструкциями по его запуску.

Развертывание проекта на иммерсивной гарнитуре

1. Перейдите в раздел Mixed Reality Toolkit -> Build Window (Mixed Reality Toolkit -> Окно сборки).

2. Щелкните Open in Visual Studio (Открыть в Visual Studio). Выполнение этого действия займет несколько минут — за это время будут скомпилированы все ресурсы и создано или обновлено решение для Visual Studio.

3. После завершения сборки в Unity запустится среда Visual Studio.

4. На стандартной панели инструментов Visual Studio измените активную платформу решения с ARM на x64. В качестве цели развертывания необходимо выбрать Local Machine (Локальный компьютер).

Если вы не выполняете отладку, то рекомендуем также изменить тип сборки с Debug (Отладка) на Release (Выпуск), так как отладочные сборки Unity чаще всего выполняются медленнее.

5. Запустите приложение, нажав кнопку воспроизведения.

Развертывание проекта на устройстве HoloLens

Процедура развертывания проекта на устройстве HoloLens очень похожа на приведенную выше процедуру для иммерсивных гарнитур с тем лишь исключением, что необходимо выбрать другое целевое устройство, а в качестве платформы выбрать x86.

1. Перейдите в раздел Mixed Reality Toolkit -> Build Window (Mixed Reality Toolkit -> Окно сборки).

3. После завершения сборки в Unity запустится среда Visual Studio.

4. На стандартной панели инструментов Visual Studio измените активную платформу решения с ARM на x86 и выберите подходящую цель для развертывания:

если развертывание выполняется через USB, выберите Device (Устройство);
если развертывание выполняется через Wi-Fi, необходимо выбрать Remote machine (Удаленный компьютер) и настроить параметры удаленного компьютера.

5. Запустите приложение, нажав кнопку воспроизведения.

Информацию о публикации приложений в Microsoft Store см. на сайте разработчиков для Windows.

Приложение Speaker Placement

В разработанном нами приложении Speaker Placement для размещения динамиков пользователю будут доступны следующие возможности:

С дополненной реальностью мир познакомила компания Microsoft с ее очками HoloLens. Жаль, что устройство стоит несколько сотен тысяч рублей и мало кому удавалось пощупать его вживую.

Сегодня же мы поговорим о смешанной реальности, а точнее о платформе Windows Mixed Reality и шлемах MR, которые были созданы на ее основе.

Что такое смешанная реальность?

Ранее мы уже писали о том, что такое смешанная реальность. Но какое понятие вкладывает в эти слова Microsoft? В данном случае гигант индустрии с помощью этого термина обозначить отличие своей платформы от платформ VR. Так в чем же разница, если и для устройств на Windows Mixed Reality, и для HTC Vive используется персональный компьютер под управлением Windows?

Таким образом достигается слияние VR и AR технологий.

Основное отличие Windows Mixed Reality от многих VR-устройств заключается в том, что данная платформа направлена на то, чтобы предоставить вам опыт непосредственного участника происходящих событий, а не зрителя. И это действительно круто.

В чем разница между VR, MR и AR?

Давайте приведем базовые определения VR, MR и AR:

Виртуальная реальность (VR): искусственный мир, в котором вы взаимодействуете с виртуальными объектами
Дополненная реальность (AR): виртуальные объекты, добавленные в реальный мир (например, покемоны в игре Pokemon GO)
Смешанная реальность (MR): реальные объекты добавленные в виртуальный мир, или виртуальные объекты, добавленные в реальный мир, или просто виртуальные объекты в виртуальном мире

Как работает Windows Mixed Reality?

Hololens была первой гарнитурой MR и именно она заложила основы дальнейшего развития технологии, хотя Hololens и был значительно ближе к дополненной реальности, чем к виртуальной.

Это также распространяется и на контроллеры. Microsoft анонсировала контроллеры Mixed Reality, которые также могут отслеживаться гарнитурой, что делает ненужным использование других датчиков, как в случае c HTC Vive или Oculus Rift.

Системные требования Windows Mixed Reality

Intel Core i5 dual-core with hyperthreading
Intel HD Graphics 620 or DX12 compatible GPU
8GB RAM
HDMI 1.4, 2.0 or DisplayPort 1.3
USB 3.0
100GB SSD
Bluetooth 4.0

Проверить ваш компьютер на соответствие системным требованиям можно с помощью приложения Windows Mixed Reality PC Check.

Гарнитуры (шлемы) на базе Windows Mixed Reality

Acer Windows Mixed Reality Headset

Характеристики Acer Windows Mixed Reality Headset

Lenovo Explorer

Характеристики Lenovo Explorer:

Dell Visor

Характеристики Dell Visor:

HP Windows Mixed Reality Headset

Характеристики HP Windows Mixed Reality:

Samsung Odyssey

Не стоит также забывать и о встроенных наушниках от фирмы AKG и механической настройке межзрачкового расстояния. Комплектные контроллеры также превосходят многие решения, представленные на рынке за счет свой эргономичности и качества.

Характеристики Samsung Odyssey:

Где купить гарнитуры Windows Mixed Reality?

На данный момент на гарнитуры Windows Mixed Reality можно приобрести в магазине Microsoft. К сожалению, в русскоязычной версии магазина устройства отсутствуют, поэтому приходится ориентироваться на англоязычный филиал магазина. Цены указаны в описании каждого шлема.

Как только гарнитуры можно будет купить в России, мы обязательно обновим информацию.

Итак, сегодня мы поговорили о платформе Windows Mixed Reality и гарнитурах MR на ее основе, а также о смешанной реальности в целом. Надеюсь, что моя статья помогла вам разобраться в теме и сделать правильный выбор.

Статья будет обновляться по мере поступления актуальной информации.

Читайте также: