Пиксель стриминг что это

Обновлено: 06.07.2024

В оборудовании, обрабатывая целый кадр видео одновременно имеет высокую стоимость в памяти и области. Чтобы сохранить ресурсы, последовательная обработка предпочтительна в проектах HDL. Блоки Vision HDL Toolbox™ и Системные объекты работают с пикселем, линией, или окружением, а не системой координат. Блоки и объекты принимают и генерируют видеоданные как последовательный поток пиксельных данных и управляющих сигналов. Управляющие сигналы указывают на относительное местоположение каждого пикселя во фрейме изображения или видеокадре. Протокол подражает синхронизации системы видео, включая неактивные интервалы между системами координат. Каждый блок или объект действуют без полного знания формата изображения и могут терпеть несовершенную синхронизацию линий и систем координат.

Все блоки Vision HDL Toolbox и Системные объекты поддерживают одну пиксельную потоковую передачу (с 1 пикселем за цикл). Некоторые блоки и Системные объекты также поддерживают мультипиксельную потоковую передачу (с 4 или 8 пикселями за цикл) для высокого показателя или видео с высоким разрешением. Мультипиксель, передающий аппаратные ресурсы увеличений потоком, чтобы поддержать более высокие разрешения видео с той же аппаратной тактовой частотой как меньшее видео разрешения. Генерация HDL-кода для мультипиксельной потоковой передачи не поддерживается с Системными объектами. Используйте эквивалентные блоки, чтобы сгенерировать HDL-код для мультипиксельных алгоритмов.

Как пиксель потоковой передачи соединяет интерфейсом с работой?

Системы видеосъемки сканируют видеосигналы слева направо и сверху донизу. Когда эти системы сканируют, они генерируют неактивные интервалы между линиями и системами координат активного видео.

Горизонтальный интервал гашения составлен из неактивных циклов между концом одной линии и начало следующей строки. Этот интервал часто разделяется в две части: передний подъезд и заднее крыльцо . Эти условия прибывают из синхронизировать импульса между линиями в аналоговых видео формах волны. Передний подъезд является количеством выборок между концом активной линии и синхронизировать импульсом. Заднее крыльцо является количеством выборок между синхронизировать импульсом и запуском активной линии.

Вертикальный интервал обратного хода луча составлен из неактивных циклов между конечной активной линией одной системы координат и стартовой активной линией следующей системы координат.

Шаблон сканирования требует сигналов начала и конца и для горизонтальных и для вертикальных направлений. Vision HDL Toolbox, передающий пиксельный протокол потоком, включает интервалы гашения и позволяет вам конфигурировать размер активной и неактивной системы координат.

В схеме системы координат, синяя заштрихованная область налево и право на активную систему координат указывает на горизонтальный интервал гашения. Оранжевая заштрихованная область выше и ниже активной системы координат указывает на вертикальный интервал обратного хода луча. Для получения дополнительной информации об интервалах гашения смотрите, Конфигурируют Интервалы гашения.

Почему использование пиксельный интерфейс потоковой передачи?

Независимость формата

Блокам и объектам с помощью этого интерфейса не нужен параметр конфигурации для точного размера изображения или размера неактивных областей. Кроме того, если вы изменяете формат изображения для своего проекта, вы не должны обновлять каждый блок или объект. Вместо этого обновите параметры изображения однажды на шаге сериализации. Некоторые блоки и объекты все еще требуют, чтобы параметр buffer size линии выделил ресурсы памяти.

Путем изоляции деталей формата изображения можно разработать дизайн с помощью маленького изображения для более быстрой симуляции. Затем, если проект правилен, обновление размера действительного образа.

Ошибочный допуск

Видео может прибыть из различных источников, таких как камеры, память на ленте, цифровое устройство хранения данных, или механизм вставки и переключение. Эти источники могут ввести проблемы синхронизации. Человеческое видение не может обнаружить небольшое отклонение в видеосигналах, таким образом, синхронизация для системы видео не должна быть совершенной. Поэтому блоки обработки видеоданных должны терпеть переменную синхронизацию линий и систем координат.

При помощи пиксельного интерфейса потоковой передачи с управляющими сигналами, каждым блоком Vision HDL Toolbox или объектом запускает расчет на новом сегменте пикселей в начале, или запустите из системы координат сигнал. Расчет происходит, получают ли блок или объект сигнал конца для предыдущего сегмента.

Протокол терпит незначительные ошибки синхронизации. Если количество допустимых и недопустимых циклов между сигналами запуска варьируется, блоки или объекты продолжают действовать правильно. Некоторые блоки Vision HDL Toolbox и объекты требуют, чтобы минимальные горизонтальные области очищения вместили операции буфера памяти. Для получения дополнительной информации смотрите, Конфигурируют Интервалы гашения.

Пиксельное потоковое преобразование Используя блоки и системные объекты

Если ваше входное видео уже находится в последовательном формате, можно спроектировать собственную логику, чтобы сгенерировать pixelcontrol управляющие сигналы из вашей существующей последовательной схемы управления. Например, смотрите, Преобразуют Сигналы Управления камерой в pixelcontrol Формат и Интегрируют Блоки HDL Видения В Систему Ссылки Камеры.

Поддерживаемые типы пиксельных данных

Блоки Vision HDL Toolbox и объекты включают порты или аргументы для потоковой передачи пиксельных данных. Каждый блок и поддержка объектов один или несколько форматов пикселя. Поддерживаемые форматы варьируются в зависимости от операции, которую выполняют блок или объект. Эта таблица детализирует общие форматы видео, поддержанные Vision HDL Toolbox.

Каждый пиксель представлен 2 - 4 беззнаковым целым или значениями фиксированной точки, представляющими компоненты цвета пикселя. Блоки Vision HDL Toolbox и объекты используют откорректированные гаммой цветовые пространства, такие как R'G'B' и Y'CbCr.

Чтобы обработать многокомпонентные потоки для блоков, которые не поддерживают многокомпонентный вход, реплицируйте блок для каждого компонента. pixelcontrol шина для всех компонентов идентична, таким образом, можно соединить одну шину с несколькими реплицированными блоками.

Чтобы настроить мультипиксельную потоковую передачу для цветного видео, можно сконфигурировать блок Frame To Pixels , чтобы возвратить многокомпонентный поток и мультипиксельный поток. Смотрите Многокомпонентную Мультипикселем Потоковую передачу видео.

Блоки Vision HDL Toolbox имеют порт ввода или вывода, pixel , для пиксельных данных. Системные объекты Vision HDL Toolbox ожидают или возвращают аргумент, представляющий пиксельные данные. Следующая таблица описывает формат пиксельных данных.

Одна пиксельная потоковая передача — скаляр, который представляет бинарное или полутоновое пиксельное значение или вектор-строку из двух - четырех значений, представляющих цветной пиксель

Мультипиксельная потоковая передача — Вектор-столбец четырех или восьми пиксельных значений

Многокомпонентная мультипикселем потоковая передача — Матрица четырех или восьми пиксельных значений двумя - четырьмя компонентами цвета.

Можно симулировать Системные объекты с мультипиксельным интерфейсом потоковой передачи, но Системные объекты, которые используют мультипиксельные потоки, не поддерживаются для генерации HDL-кода. Используйте эквивалентные блоки, чтобы сгенерировать HDL-код для мультипиксельных алгоритмов.

Поддерживаемые типы данных могут включать:

boolean или logical

double и single типы данных поддерживаются для симуляции, но не для генерации HDL-кода.

Примечание

Эти блоки поддерживают мультипиксельную потоковую передачу:

ROI Selector , Pixel Stream FIFO и блоки Pixel Stream Aligner поддерживают многокомпонентную мультипикселем потоковую передачу.

Потоковая передача пиксельных управляющих сигналов

Блоки Vision HDL Toolbox и объекты включают порты или аргументы для управляющих сигналов, относящихся к каждому пикселю. Эти пять управляющих сигналов указывают на валидность пикселя и его местоположения в системе координат. Для мультипиксельной потоковой передачи каждый вектор из пиксельных значений имеет один набор управляющих сигналов.

В Simulink порт управляющего сигнала является невиртуальным типом данных шины под названием pixelcontrol . Для получения дополнительной информации типа данных шины, смотрите Пиксельную Шину управления.

В MATLAB аргумент управляющего сигнала является структурой. Для получения дополнительной информации типа данных структуры, смотрите Пиксельную Структуру управления.

Синхронизация схемы одного пиксельного последовательного интерфейса

Чтобы проиллюстрировать пиксельный протокол потоковой передачи, этот пример преобразует систему координат в последовательность сигналов данных и управления. Рассмотрите 2 3 пиксельное изображение. Чтобы смоделировать интервалы гашения, сконфигурируйте сериализированное изображение, чтобы включать неактивные пиксели в эти области вокруг активного изображения:

Заднее крыльцо 1 пиксель шириной

Передний подъезд 2 пикселя шириной

1 линия перед первой активной линией

1 линия после последней активной линии

Можно сконфигурировать размерности активных и неактивных областей с блоком Frame To Pixels или visionhdl.FrameToPixels объект.

На рисунке область активного изображения находится в пунктирном прямоугольнике, и неактивные пиксели окружают его. Пиксели помечены своими полутоновыми значениями.

Блок или объект сериализируют изображение слева направо, одна линия за один раз. Схема синхронизации показывает управляющие сигналы и пиксельные данные, которые соответствуют этому изображению, которое является последовательным выводом блока Frame To Pixels для этой системы координат, сконфигурированной для потоковой передачи одно пикселя.

Для примера с помощью блока Frame to Pixels , чтобы сериализировать изображение, см. Алгоритмы Обработки видеоданных Проекта для HDL в Simulink.

Для примера с помощью FrameToPixels объект сериализировать изображение, см. Проект, Предназначенное на оборудование Изображение Просачивается MATLAB.

Синхронизация схемы мультипиксельного последовательного интерфейса

Этот пример преобразует систему координат в мультипиксельный поток с 4 пикселями за цикл и соответствующие управляющие сигналы. Рассмотрите систему координат 64 пикселя шириной с этими неактивными областями вокруг активного изображения.

Заднее крыльцо 4 пикселя шириной

Передний подъезд 4 пикселя шириной

4 линии перед первой активной линией

4 линии после последней активной линии

Блок Frame to Pixels , сконфигурированный для мультипиксельной потоковой передачи, возвращает пиксельные векторы, сформированные из пикселей каждой линии в системе координат слева направо. Эта схема показывает верхний левый угол системы координат. Серые пиксели показывают активную область системы координат, и пиксели нулевого значения представляют пиксели очищения. Метка на каждом активном пикселе представляет местоположение пикселя в системе координат. Подсвеченные поля показывают наборы пикселей, переданных потоком на одном цикле. Пиксели в неактивной области также передаются потоком четыре за один раз. Серое поле показывает, что четыре пикселя очищения передали цикл потоком перед запуском активной системы координат. Синее поле показывает эти четыре пиксельных значения, переданные потоком на первом допустимом цикле системы координат, и оранжевое поле показывает эти четыре пиксельных значения, переданные потоком на втором допустимом цикле системы координат. Зеленое поле показывает первые четыре пикселя следующей активной линии.

Эта форма волны показывает мультипиксельные данные о потоковой передаче и управляющие сигналы для первой линии той же системы координат, переданной потоком с 4 пикселями за цикл. pixelcontrol сигналы, которые применяются к каждому набору четырех пиксельных значений, показывают ниже сигналов данных. Поскольку вектор имеет только один valid сигнал, пиксели в векторе - или все допустимые или все недопустимые. hStart и vStart сигналы применяются к пикселю с самым низким индексом в векторе. hEnd и vEnd сигналы применяются к пикселю с самым высоким индексом в векторе.

До тех пор, пока показанный период, начальные вертикальные пиксели очищения передаются потоком четыре за один раз со всем набором управляющих сигналов к false . Эта форма волны показывает пиксельный поток первой линии изображения. Серые, синие, и оранжевые поля соответствуют подсвеченным областям схемы системы координат. После того, как первая линия завершена, поток имеет два цикла горизонтали, очищающей, который содержит 8 недопустимых пикселей (передняя сторона и заднее крыльцо). Затем форма волны показывает следующую строку в потоке, начиная с зеленого поля.

Для модели в качестве примера, которая использует мультипиксельную потоковую передачу, смотрите Мультипиксельные Видеопотоки Фильтра.

нереально официально запущенPixel Streaming Demo (Unreal Pixel Stream) с помощью потоковой передачи пикселей можно удаленно запускать приложения Unreal Engine на компьютере, который не виден пользователю. Например, этот компьютер может быть физическим компьютером в организации или виртуальной машиной, предоставленной облачной службой. Unreal Engine будет использовать ресурсы, доступные компьютеру (ЦП, графический процессор, память и т. Д.), Для запуска игровой логики и рендеринга каждого кадра. Он будет непрерывно кодировать этот визуализированный вывод в медиапоток, а затем передавать его через облегченный стек веб-сервисов. Пользователи могут просматривать прямые трансляции в стандартных веб-браузерах, запущенных на других компьютерах и мобильных устройствах.

Существуют и другие статьи, в которых подробно описываются принципы и связанные с ними практики системы потоковой передачи пикселей, просто кратко перечислите:

Если мы хотим протолкнуть проект, который потребляет ресурсы ЦП и ГП, на удаленный мобильный телефон или веб-страницу, нам нужна потоковая служба, которая кодирует каждый кадр видеопотока и звука, передает его на мобильный телефон через сеть и может передавать интерактивные операции на мобильном телефоне верните местным, а затем примените их к проекту. В реальном тесте с использованием плагина pixelstreaming, официально предоставленного unreal, вышеуказанные цели могут быть достигнуты очень легко, и к нему можно получить доступ во внутренней сети и через внешнюю сеть с помощью внутренней сети.
Однако при реальном тестировании мы обнаружили, что нереальное решение не смогло получить доступ к серверу на определенных моделях мобильных телефонов и определенных сетях (возможно, просто из-за отсутствия у нас знаний о сервере, конфигурация вызвана ошибка), в крайнем случае, мы надеемся сохранить решение по настройке сервера самостоятельно, но кодировать каждый кадр локально + зрелая служба потоковой передачи push для достижения потоковой передачи пикселей и, наконец, выбратьAgora。
В этой статье в основном рассматриваются два момента:

Интегрировать SDK передачи видео Agora в нереальный проект
Как эффективно кодировать каждый кадр

Agora SDK

Agora Video Call предоставляет надежные аудио и видео услуги в реальном времени на основе протокола UDP и технологии кодирования и декодирования аудио и видео, разработанной Shengwang. Образцы, которые можно найти на веб-сайте Agora и образцы на официальном веб-сайте, предназначены для захвата кадра камеры, и мы нереально подталкиваем бэкбуфер к агоре. Принципы обоих должны быть похожими, но связанные API-интерфейсы полностью разные, Итак, давайте кратко расскажем, как интегрироваться.

VideoCapture

В соответствии с плагином потоковой передачи пикселей мы считываем необработанные данные из заднего буфера в качестве источника видео, а затем собираем сырые данные в структуру данных Agora.agora::media::ExternalVideoFrameИ пройтиm_mediaEngine->pushVideoFrame(frame), Отправьте это.

AudioCapture

Для захвата звука мы по-прежнему используем плагин pixelstreaming и отправляем захваченные аудиоданные в Agora в режиме реального времени, добавляя слушателя.

Сначала добавьте класс мониторинга FSTAudioCapture, унаследованный от *** ISubmixBufferListener ***
Реализуйте функцию Init, зарегистрируйте функцию монитора на аудиоустройстве

Реализуйте интерфейс ISubmixBufferListener и отправьте аудио в Agora.

Обратите внимание на два момента:

Формат аудиоданных, полученных Agora, должен быть PCM16, поэтому мы выполнили преобразование звука с помощью цикла for;
При отправке аудио весь полученный аудиобуфер делится на блоки по 10 мс для отправки;
Кроме того, основные параметры звука, частота дискретизации и каналы могут быть установлены произвольно, если они соответствуют настройкам в Agora Init.

Фронтенд совместная отладка

После завершения локального захвата аудио и видео, как проверить, что мы успешно захватили его? Здесь мы можем увидеть эффект через простую интерфейсную веб-страницу, а затем добавить в наш проект каналы агоры.

СначалаОфициальный сайт агорыЗагрузите SDK веб-версии пакета SDK для видеозвонков / интерактивных прямых трансляций.
В каталоге веб-версии sdk используйте python, чтобы просто открыть веб-сервер

Затем введите "127.0.0.1" в браузере Chrome, если это нормально, вы должны увидеть следующий интерфейс:

Введите appid и канал в проект проекта в APPID и канал соответственно
Затем запустите игру, вы увидите эффект
[todo] Вставить изображение

подводить итоги

Мы используем видеоинтерактивный SDK Agora для реализации потоковой передачи пикселей нереального приложения, которое может предоставлять высококачественный контент UE4 на любое устройство в любом месте и запускать ваше приложение Unreal Engine на мощном удаленном компьютере (в облаке или локальном сервере). Программа использует все свои ресурсы - ЦП, графический процессор, память и т. д. - для выполнения игровой логики в реальном времени и рендеринга каждого кадра экрана. Затем конечный пользователь может использовать стандартный веб-браузер на своем компьютере, планшете или смартфоне. Маленький шаг к облачным играм, облачный рендеринг, хахаха.

В этом выпуске VFX в камере больше не является чем-то, к чему стоит стремиться. Множество улучшений эффективности, качества и простоты использования набора инструментов означают, что эта революционная технология виртуального производства теперь стала более достижимой. Многие из этих улучшений также могут применяться в других отраслях, особенно в сфере вещания и прямых трансляций.

Во-первых, теперь намного проще спроектировать настройку nDisplay для светодиодных объемов или других приложений для рендеринга с несколькими дисплеями благодаря новому редактору 3D Config Editor. Кроме того, мы объединили все функции и настройки, связанные с nDisplay, в едином корневом актере nDisplay для легкого доступа. Также намного проще настроить несколько камер.

Затем мы добавили поддержку OpenColorIO в nDisplay, обеспечивая точную калибровку цвета, которая связывает создание контента в Unreal Engine с тем, что камера реального мира видит на светодиодном индикаторе.

Чтобы обеспечить эффективное масштабирование nDisplay, мы добавили поддержку нескольких графических процессоров. Это также дает возможность максимизировать разрешение на широких снимках, выделив графический процессор для пикселей в камере, и снимать несколькими камерами, каждая из которых имеет свою собственную уникально отслеживаемую пирамиду.

Новый конструктор веб-интерфейса с дистанционным управлением перетаскиванием и перетаскиванием позволяет быстро создавать сложные веб-виджеты без какого-либо кода, так что пользователи, не имеющие опыта работы с Unreal Engine, могут управлять творческими результатами, создаваемыми движком, с удобством планшета или ноутбука.

В связи с этим, система виртуальной камеры, представленная в Unreal Engine 4.26, была значительно улучшена с поддержкой многих других функций, включая многопользовательское редактирование, переработанный пользовательский интерфейс и расширяемую базовую архитектуру. Также есть новое приложение для iOS Live Link Vcam, предназначенное для работы с виртуальной камерой. Система позволяет управлять кинокамерой внутри Unreal Engine с помощью такого устройства, как iPad.

Завершают основные улучшения на этой арене новые снимки уровней, которые позволяют легко сохранять состояние данной сцены, а затем восстанавливать какие-либо или все ее элементы, упрощая возврат к предыдущей настройке для съемок или во время творческих итераций. Также появилась новая гибкость для создания правильного размытия движения для путешествующих снимков, которое учитывает физическую камеру с движущимся фоном.

Недавно Epic Games и коллектив режиссеров Буллит собрали команду для тестирования всех этих инструментов, сделав небольшой тестовый образец, имитирующий производственный процесс. Этот проект теперь доступен в качестве бесплатного образца, который вы можете загрузить и поэкспериментировать.

Значительно более быстрое запекание на свету

In-camera VFX - это лишь один из многих рабочих процессов в различных отраслях, которые получат выгоду от множества улучшений GPU Lightmass в этом выпуске, которые включают поддержку многих других функций, а также повышенную стабильность и надежность. Система использует графический процессор, а не центральный процессор, для постепенного рендеринга предварительно вычисленных карт освещения, используя новейшие возможности трассировки лучей с DirectX 12 (DX12) и платформу Microsoft DXR.

GPU Lightmass значительно сокращает время, необходимое для генерации данных освещения для сцен, требующих глобального освещения, мягких теней и других сложных световых эффектов, рендеринг которых в реальном времени требует больших затрат; Кроме того, поскольку вы можете видеть результаты постепенно, легко вносить изменения и начинать заново, не дожидаясь окончательной выпечки, что обеспечивает более интерактивный рабочий процесс.

Для встроенных в камеру VFX GPU Lightmass означает, что виртуальное сетевое освещение может быть изменено гораздо быстрее, чем раньше, что делает производство более эффективным и гарантирует, что творческий поток не прерывается. Съемочные группы теперь могут сделать перерыв на кофе вместо дневного перерыва.

Потрясающие изображения в конечном пикселе - это просто

Если вы хотите создавать великолепные неподвижные изображения или фильмы, будь то архитектурные, автомобильные, маркетинговые материалы по дизайну продуктов или для любых других целей, мы думаем, вам понравится последняя версия Path Tracer с DXR-ускорением, физически точный режим прогрессивного рендеринга в Unreal Engine, который можно включить без каких-либо дополнительных настроек.

Хотя раньше он был пригоден для достоверных сравнений с трассировкой лучей в реальном времени, в этом выпуске широкий спектр улучшений делает его жизнеспособным для создания изображений с конечным пикселем, сопоставимых с автономным рендерингом, с такими функциями, как физически правильные и безупречные глобальные освещение, физически правильные преломления, полнофункциональные материалы в отражениях и преломлениях и суперсэмплированное сглаживание.

Пока мы говорим о создании изображений, будь то с помощью Path Tracer или иным образом, теперь вы можете использовать Movie Render Queue для рендеринга с нескольких камер в виде пакетного процесса , без необходимости проходить сложные настройки Sequencer. Это упрощает многократное создание серии больших кадров с разных точек зрения по мере того, как вы работаете с вариациями или итерациями.

Меньшие, быстрые, лучшие игры

Поскольку RAD Game Tools становится частью семейства Epic Games, Oodle Compression Suite и кодек Bink Video теперь встроены в Unreal Engine, предоставляя разработчикам Unreal Engine одни из самых быстрых и популярных инструментов сжатия и кодирования в отрасли бесплатно.

Oodle Data Compression обеспечивает самое быстрое сжатие игровых данных - значительно быстрее, чем другие кодеки. Это также компрессор с самым высоким коэффициентом сжатия, что приводит к уменьшению размеров файлов и более быстрой загрузке упакованных продуктов.

Oodle Texture предлагает самые быстрые и высококачественные кодировщики для блочно-сжатых текстур BC1-BC7, позволяя делать их в два-три раза меньше, чем при использовании других кодировщиков, сохраняя при этом высокий уровень визуального качества, экономя память и пропускную способность.

Oodle Network Compression, уже используемое Fortnite, представляет собой уникальное решение для сжатия сетевого трафика в реальном времени, которое значительно снижает минимальную пропускную способность, необходимую для многопользовательских игр.

И последнее, но не менее важное: Bink Video - самый популярный видеокодек для видеоигр. Это высокопроизводительный видеокодек, декодирующий до 10 раз быстрее, чем другие кодеки, и использующий в 8–16 раз меньше памяти. Это позволяет снизить требуемую скорость передачи данных при сохранении визуального качества.

Инструменты работают на всех платформах, поддерживаемых Unreal Engine.

Использование облака

Облако становится все более важным компонентом технологической экосистемы, включая разработку контента в реальном времени, и мы продолжаем искать способы его использования.

Pixel Streaming теперь готов к работе с множеством улучшений качества и обновленной версией WebRTC. Эта мощная технология позволяет Unreal Engine и приложениям, созданным на его основе, работать на мощной облачной виртуальной машине и предоставлять конечным пользователям полноценный опыт в любом месте в обычном веб-браузере на любом устройстве. В этом выпуске мы также добавили поддержку Linux и возможность запускать потоковую передачу пикселей из среды контейнера.

Это лишь один из примеров нашей новой поддержки контейнеров в Windows и Linux, позволяющей Unreal Engine выступать в качестве мощного автономного базового технологического уровня. Контейнеры - это пакеты программного обеспечения, которые включают в себя все необходимые элементы для работы в любой среде, включая облако.

Эта поддержка открывает путь для новых облачных рабочих процессов разработки и стратегий развертывания, таких как CI / CD, обучение AI / ML, пакетная обработка и рендеринг, а также микросервисы. Контейнеры Unreal Engine можно использовать для улучшения производственных конвейеров, разработки облачных приложений следующего поколения, развертывания корпоративных решений в беспрецедентном масштабе и многого другого.

Подключение экосистемы

Независимо от того, говорим ли мы о слотах в конвейеры VFX или хорошо играем с мириадами решений САПР, объединение Unreal Engine с другими инструментами, которые вы используете, как можно более беспрепятственно, является постоянной целью.

С этой целью мы продолжаем усиливать поддержку долларов США и Alembic. В этом выпуске теперь можно экспортировать гораздо больше элементов в доллары США, включая уровни, подуровни, пейзаж, листву и последовательности анимации, а также импортировать материалы в виде узлов MDL. Теперь вы также можете редактировать атрибуты USD в редакторе USD Stage, в том числе с помощью многопользовательского редактирования. Кроме того, теперь можно привязать волосы и шерсть грумов к данным GeometryCache, импортированным из Alembic.

Тем временем Datasmith, наш набор инструментов для беспрепятственного импорта данных из широкого спектра источников, продолжает получать обновления. В этом выпуске мы значительно расширили Datasmith Runtime, чтобы обеспечить больший контроль над импортом данных, а также доступ к иерархии сцены. Datasmith Runtime позволяет пользователям импортировать данные .udatasmith в пакетное приложение, построенное на Unreal Engine (например, Twinmotion или специальный инструмент для проверки дизайна в реальном времени).

Мы также добавили новый плагин Archicad Exporter с функцией Direct Link, а также добавили функцию Direct Link в наши плагины Rhino и SketchUp Pro. С помощью Datasmith Direct Link вы можете поддерживать прямое соединение между исходным инструментом DCC и приложением на основе Unreal Engine, чтобы обеспечить возможность итераций. Вы также можете агрегировать данные из нескольких источников, таких как Revit и Rhino, при одновременном поддержании связи с каждым инструментом DCC.

Данные, поступающие из источников САПР, должны быть подготовлены для использования в режиме реального времени, и Visual Dataprep - это один из способов максимально простой автоматизации этого процесса, позволяя создавать «рецепты» с помощью интуитивно понятного визуального пользовательского интерфейса с перетаскиванием и множества операторов и фильтров выбора. В этом выпуске мы добавили новые операторы и фильтры, поддержку компонентов-актеров, улучшили взаимодействие с пользователем и многое другое.

Расширяя реальность

Теперь стало проще создавать контент XR (VR, AR и MR) в Unreal Engine с готовой к производству поддержкой платформы OpenXR, стандарта для разработки XR для нескольких компаний.

Наш плагин OpenXR , который позволяет вам настроить таргетинг на несколько устройств XR с одним и тем же API, теперь также предлагает поддержку дополнительных функций, включая стереослои, заставки, запросы границ игрового пространства и визуализацию контроллера движения, а также для плагинов расширения из Marketplace, что позволяет вы можете добавлять функциональные возможности в OpenXR, не полагаясь на выпуски движка.

Мы также переработали шаблоны VR и AR, чтобы предложить больше встроенных функций и упростить настройку, что дает вам более быстрый способ начать работу над проектами.

Epic Games выпустил Unreal Engine 4.21

Сегодня Epic Games выпустила Unreal Engine 4.21, чтобы принести разработчикам большую эффективность, производительность и стабильность для любого проекта на любой платформе. Благодаря этому последнему выпуску пользователям легче работать умнее, быстрее создавать и получать результаты мирового уровня с помощью Unreal Engine.

Unreal Engine 4.21 основывается на проверенных инструментах для творчества и эффективности, добавляя еще больше мобильных оптимизаций для Android и iOS, до 60% увеличения скорости при приготовлении контента, а также большей мощности и гибкости в лидирующих в отрасли инструментах эффектов Niagara для реального времени VFX. Кроме того, новый готовый к выпуску плагин Replication Graph позволяет разработчикам создавать многопользовательские игры в масштабе, который ранее был невозможным, а Pixel Streaming позволяет пользователям передавать интерактивный контент непосредственно на удаленные устройства без каких-либо компромиссов по качеству рендеринга.

Обновления в Unreal Studio 4.21 также предлагают новые возможности и повышенную производительность для пользователей на корпоративном пространстве, включая архитектуру, производство, дизайн продукта и другие области профессиональной визуализации. Инструментарий средств Datasmith от Unreal Studio теперь включает поддержку Autodesk Revit и расширенный перевод материалов для Autodesk 3ds Max, что обеспечивает более эффективный обзор дизайна и итерацию.

Основные возможности Unreal Engine 4.21 включают:

Replication Graph:: плагин Replication Graph, который теперь готов к производству, позволяет настраивать сетевую репликацию, чтобы создавать крупномасштабные многопользовательские игры, которые не были бы жизнеспособны с традиционными стратегиями репликации.

Niagara Enhancements: набор функций Niagara VFX продолжает расти с существенным улучшением качества жизни и поддержкой Nintendo Switch, добавленной в Unreal Engine 4.21.

Sequencer Improvements: новые возможности в Sequencer позволяют пользователям записывать входящие видеопотоки на диск в виде кадров OpenEXR и создавать трек в Sequencer, с возможностью редактирования и сглаживания трека, как обычно. Это позволяет пользователям синхронизировать видео с активами CG и воспроизводить их вместе с временной шкалой.

Pixel Streaming (ранний доступ): благодаря новой функции Pixel Streaming пользователи могут создавать интерактивные материалы, такие как конфигурации продуктов или учебные приложения, размещать их на облачном графическом процессоре или локальном сервере и передавать их для удаления устройств через веб-браузер без потребности в дополнительном программном обеспечении или переносе.

Гораздо более быстрое Cook Times: с выпуском 4.21 cooking process был оптимизирован, что привело к увеличению скорости cook times на 60%. Низкоуровневый код избегает выполнения ненужных операций с файловой системой, а cook times были оптимизированы.

Gauntlet Automation Framework (ранний доступ): новая система автоматизации Gauntlet позволяет разработчикам автоматизировать процесс развертывания сборок на устройствах, запуск одного или нескольких клиентов и / или серверов и обработку результатов. Скрипты Gauntlet могут автоматически определять точки интереса, проверять логику игры, проверять возвращаемые значения из API-интерфейсов и многое другое! Gauntlet тестировался в течение нескольких месяцев в процессе оптимизации Fortnite и является ключевой частью обеспечения бесперебойной работы на всех платформах.

Оптимизация и усовершенствования анимационной системы: система анимации Unreal Engine продолжает создавать лучшие в своем классе функции благодаря новым улучшениям рабочего процесса, лучшему всплытию информации, новым инструментам и т. д.

Поддержка BlackMagic Video Card: Unreal Engine 4.21 также добавляет поддержку карт ввода-вывода Blackmagic для тех, кто работает в кино и трансляции. Теперь объявления в пространстве могут выбирать между Blackmagic и AJA Video Systems, двумя самыми популярными опциями для профессионального видео ввода-вывода.

Улучшенный медиа-ввод-вывод: Unreal Engine 4.21 теперь поддерживает 10-битные видео ввода / вывода, аудио ввода / вывода, 4K и Ultra HD для SDI, а также устаревшие чересстрочные и PsF HD-форматы, что обеспечивает большую точность и интеграцию цветов некоторые устаревшие форматы, все еще используемые крупными броадкастами.

Windows Mixed Reality: Unreal Engine 4.21 изначально поддерживает платформу и гарнитуры Windows Mixed Reality (WMR), такие как гарнитура HP Mixed Reality и гарнитуру Samsung HMD Odyssey.

Oculus Avatars: Oculus Avatar SDK включает пакет Unreal, который поможет разработчикам внедрить присутствие рук от первого лица для контроллеров Rift и Touch. Пакет включает в себя ресурсы для рук и тела аватара, которые могут просматривать другие пользователи в социальных приложениях.

Datasmith для Revit (Unreal Studio): Datasmith от Unreal Studio для оптимизации передачи данных САПР в Unreal Engine теперь включает поддержку Autodesk Revit. Поддерживаемые элементы включают в себя материалы, метаданные, иерархию, геометрические инстансы, свет и камеры.

Multi-User Viewer Project Template (Unreal Studio): новый шаблон проекта для Unreal Studio 4.21 позволяет нескольким пользователям подключаться в режиме реального времени через рабочий стол или VR, что облегчает интерактивные совместные обзоры дизайна на любом рабочем месте.

Accelerated Automation with Jacketing and Defeaturing (Unreal Studio): Jacketing автоматически идентифицирует сетки и многоугольники, которые с большой вероятностью могут быть скрыты от просмотра и позволяют пользователям скрывать, удалять или перемещать их на другой уровень; эта команда также доступна через Python, чтобы пользователи Unreal Studio могли интегрировать этот шаг в автоматизированные рабочие процессы подготовки. Defeaturing удаление автоматически удаляет ненужные детали (например, глухие отверстия, выступы) с механических моделей, чтобы уменьшить количество полигонов и повысить производительность.

Улучшенный 3ds Max Material Translation (Unreal Studio): теперь поддерживается большинство наиболее часто используемых карт 3ds Max, улучшая визуальную точность и сокращая доработку. Те, кто в бесплатной бета-версии Unreal Studio теперь могут переводить 3ds Max материальные графики на графики Unreal при экспорте, делая материалы более понятными и работающими. Пользователи также могут использовать улучшения в согласовании BRDF с материалами V-Ray, особенно с металлом и стеклом.

DWG и Alias Wire Import (Unreal Studio): Datasmith теперь поддерживает типы файлов DWG и Alias Wire, позволяя разработчикам импортировать больше 3D-данных непосредственно из Autodesk AutoCAD и Autodesk Alias.

Читайте также: