Сравнение кодеков h265 и av1

Обновлено: 06.07.2024

Современные медийные платформы позволяют пользователям наслаждаться высокодетализированным видео и потрясающими аудиоэффектами в режиме онлайн.

Однако создание подобного контента было бы невозможно без существования кодеков и контейнеров.

Чем кодеки отличаются от контейнера — их часто путают

Для ответа на вопрос, чем кодеки отличаются от контейнеров, необходимо понять, что такое кодеки.

Смысл понятия «кодек» лежит прямо в его названии:

Фактически кодек — это цифровой инструмент компрессии и декомпрессии данных. Компрессия (сжатие данных) необходима для экономии занимаемого файлом места. Например, несжатое видео высокой четкости в raw-формате, при 60 кадрах в секунду способно достигать размеров в полтерабайта на каждый час записи.

Восьмиканальная аудиодорожка в 24-битном разрешении будет занимать 16 мегабит за одну секунду записи. Такие объемы данных не подходят ни для штатного хранения, ни для их передачи онлайн, поэтому для их сжатия применяются специальные формулы, которые и называются кодеками.

Для хранения сжатой информации создаются контейнеры-обертки в определенном формате. Современные контейнеры способны хранить информацию, обработанную разными кодеками. Такие обертки указывают устройству на то, какими кодеками была сжата информация, и по какой формуле ее восстанавливать.

Если разобрать стандартное видео со звуком на кодеки и контейнеры, в результате получится три составные части:

Видеокодек, отвечающий за степень сжатия и потери качества в процессе.
Аудиокодек, отвечает за хранение звуковой дорожки.
Контейнер-обертка, хранилище обоих кодеков и дополнительной метаинформации.

В случае если в видео нет звука, аудиокодек не нужен.

Какие кодеки в основном поддерживаются современными ТВ и обновляются ли они с прошивкой

Современные системы поддерживают большинство существующих кодеков.

Поддержка кодеков MPEG от первого до четвертого, вариации H.264 для воспроизведения Blu-Ray, а также XviD и DivX, входят в базовый пакет любого современного телевизора.

Ведущие производители всегда следят за ошибками и актуальностью своего программного обеспечения.

Обновление кодеков в процессе прошивки регулируется разработчиками индивидуально под каждую модель SmartTV.

Если новые кодеки необходимы, поддерживаются устройством на аппаратном уровне и не вызывают ошибок отображения, ничего не мешает разработчикам добавить их в ближайших обновлениях.

Не все устройства совместимы с новыми кодеками, поэтому установка неофициальных обновлений прошивки не рекомендуется потому как может привести к ошибкам воспроизведения.

Какие кодеки используются при проигрывании онлайн-видео (современные кодеки youtube)

В настоящее время стандартом большинства видеосервисов стали кодеки H.264 и MPEG-4, значительно реже встречаются кодеки FFDshow, XviD и DivX.

Одним из самых перспективных кодеков является бесплатный AV1-кодек. Разработан сообществом AOMedia, включающим в себя таких гигантов как AMD, Google, Netflix, Mozilla, Nvidia, Intel, ARM и Cisco. Исходный код кодека открыт и свободно распространяется без каких-либо лицензионных отчислений.

Что даст конечному пользователю переход ютуба на современный AV1

Кодек AV1 разрабатывался для воспроизведения видео онлайн, в браузерах Safari, Firefox, Edge и Chrome. Степень сжатия видео кодеком AV1 превосходит кодеки VP8 и H.264 от 30% до 50%, а кодек HEVC до 30–43 % на высоких битрейтах.

Полный переход видео платформы YouTube на AV1-кодек не только ускорит загрузку всех видеороликов от 20% до 50%, но и позволит стримить в разрешении 4K.

Для минимизации потерь качества, при сохранении и конвертации файла рекомендуется использовать кодеки AV1 для видео и Opus для аудио, обернутые в MP4-контейнер.

В этой статье рассматривается развитие за последние 12 месяцев и текущее состояние HEVC, AV1 и VVC. Давайте посмотрим, в каком положении находится каждый кодек с точки зрения разработки, где он используется, сколько времени занимает кодирование, сколько он стоит, а также разберемся с тем, как рынок кодеков изменился за последние несколько лет и что это означает для их внедрения.

Двумя наиболее успешными кодеками всех времен были MPEG-2 и H.264 – основанные на стандартах кодеки, направленные в первую очередь на рынок вещания. Стандарты имеют решающее значение для вещательной отрасли, помогая соединить множество поставщиков в сфере кодирования, передачи и декодирования. Хотя за каждый кодек нужно было платить авторские отчисления, их размер был разумным, а единый патентный пул был хорошо управляемым и прозрачным.

Сейчас потоковое вещание обошло традиционное вещание и вскоре почти полностью вытеснит его. Хотя стандарты для потоковой передачи так же важны, как и для и вещания, процесс внедрения стандартов отличается. Две компании, Apple и Microsoft, контролируют технологии, встроенные в их операционные системы для компьютеров. Две компании, Apple и Google, контролируют технологии, используемые в мобильных операционных системах. Несколько компаний, в том числе Amazon, Apple, Google и Roku, контролируют технологии, используемые в устройствах OTT. Воспроизведение видео с Amazon, Hulu, Netflix и YouTube является сейчас обязательной функцией для всех устройств, поэтому телевизоры, ОТТ-устройства и телевизионные приставки должны поддерживать технологии, используемые этими поставщиками контента.

Экономическая эффективность дополнительного сжатия быстро падает. Еще не так давно сети доставки контента взимали 50 центов за Гб контента, поэтому снижение скорости передачи данных означало реальную экономию. Сейчас оптовые цены упали ниже цента за один Гб, что усложняет возмещение затрат на внедрение дополнительных кодеков.

Тот же аргумент верен с точки зрения качества восприятия. Когда средняя полоса пропускания составляла 3 Мбит/с, а мобильные устройства подключались через 3G, способность передавать видео 1080p с HEVC или VP9 в отличие от 720p с H.264 потенциально имела большое значение. Теперь пропускная способность сети в США составляет в среднем более 14 Мбит/с, и не за горами массовое внедрение 5G, что снова снижает для конечного пользователя преимущества от использования более эффективного кодека. Таким образом, даже удвоение эффективности сжатия не оказалось достаточным стимулом для подавляющего большинства производителей к внедрению нового кодека.

Следующим святым Граалем будет кодек, доступный на достаточном количестве платформ, чтобы издатели могли кодировать в одном формате и, наконец, оставить позади H.264. В интервью, опубликованном на Streaming Media, Юси Шен из Twitch рассказал, что его компания надеется добиться этого к 2024 году, используя AV1.

Какие выводы мы можем сделать из всего этого? Бизнес-модели, которые поддерживали прошлый успех стандартных кодеков, больше не имеют значения. Большинство производителей потокового контента используют кодеки, которые открывают новые рынки, а не сокращают операционные расходы. Это повсеместное воспроизведение будет самым важным фактором для кодека, который заменит H.264. На данный момент кажется вероятным, что за использование любого кодека, который придет на замену H.264, нужно будет платить лицензионные отчисления, поэтому выиграет компания, которая внедрит самую доступную и рациональную политику лицензирования.

Рассмотрим то, как изменились за последний год HEVC, AV1 и VVC.

HEVC

Битовый поток HEVC не меняется с 25 января 2013 года. Сейчас, шесть лет спустя, HEVC воспроизводится на 16,57% всех браузеров. H.264 используется в 96,96% всех браузеров, а VP9 - в 86,39%. Это прекрасная иллюстрация того, как катастрофическая политика лицензионных отчислений влияет на результат.

Мобильная поддержка аппаратно-ускоренного декодирования HEVC, замеры которой провела 23 августа 2018 года компания ScientiaMobile, составила 78% для устройств iOS и 57% для Android, и, очевидно, выросла с того времени. Однако, несмотря на то, что Apple сделала воспроизведение HEVC доступным в браузере iOS Safari, упрощая доступ для всех потоковых производителей, ни один браузер Android не поддерживает воспроизведение HEVC, а это означает, что воспроизведение HEVC на Android в основном будет осуществляться через приложения. Это хорошо для сайтов OGC и премиум-контента, которые обычно развертываются через приложения, но усложняет использование HEVC для сайтов, которые доставляются через браузер.

Кодирование и транскодирование

В области кодирования HEVC выиграл от внедрения кодека Intel Scalable Video Technology (SVT) -HEVC, который значительно ускоряет программное кодирование для систем, работающих на процессорах Intel Xeon Scalable и процессорах Intel Xeon D.

В прошлом году также наблюдалось увеличение объемов аппаратного транскодирования HEVC, позволяющего осуществлять облачное транскодирование с более высокой плотностью потоков в реальном времени. На выставке NAB 2019 мы увидели решение на базе FPGA от NGCodec, а также решения на основе SoC от NETINT и SoftIron.

Интеллектуальная собственность

За последние 12 месяцев произошло незначительное изменение лицензионной политики HEVC трех патентных пулов HEVC. Вероятно, самая большая задержка, связанная с лицензионными платежами за контент, возникла, когда два пула (MPEG LA и HEVC Advance) заявили, что не будут взимать плату: MPEG LA прекратила взимать плату за любой контент, а HEVC Advance - за доставку через нефизические носители, такие как потоковая передача.

Сейчас, через 6 лет после того, как битовый поток HEVC был заморожен, веб-сайт Velos Media заявляет: «Что касается контента, мы не пожалеем времени, чтобы полностью понять динамику экосистемы и убедиться в том, что наша модель наилучшим образом поддерживает продвижение и внедрение технологии HEVC ». Конечно, компания может нанять пару высокооплачиваемых магистров в области бизнес-администрирования, чтобы выяснить это. Хотя и так понятно, в какую сторону дует ветер. Издатели ругают HEVC из-за неопределенности, связанной с лицензионными платежами за контент.

Что касается политики и роялти HEVC в области IP, то на ум приходит фраза «ситуация нормальная: полный бардак». Так было в 2015 году, когда был создан второй пул (HEVC Advance) и организован Альянс за открытые медиа (AOMedia), так есть и сегодня.

AV1

AV1 - кодек с открытым исходным кодом от AOMedia. Он был запущен в 2018 году, и за последние 12 месяцев произошли улучшения во времени кодирования и эффективности декодирования. Большой новостью стал запуск пула, требующего выплаты лицензионных отчислений за развертывание AV1, так что начнем именно с этого.

27 марта 2019 года базирующаяся в Люксембурге компания Sisvel объявила о двух новых патентных пулах, предлагающих лицензии на патенты, «соответствующие спецификациям VP9 и AV1». Пулы применяются исключительно к потребительским устройствам, таким как смартфоны, компьютеры и телевизоры, а также к телевизионным приставкам, роутерам и графическим картам. Стандартные тарифы для VP9 составляют 0,24 евро для устройств с дисплеями и 0,08 евро для устройств без дисплеев, а для AV1 - 0,32 евро и 0,11 евро соответственно.

Когда компания AOMedia объявила о выпуске AV1, она также анонсировала создание фонда правовой защиты для любых судебных разбирательств, связанных с патентами, поэтому создание пула Sisvel вряд ли должно кого-то удивить. Судебных исков пока еще не было. В начале осени 2019 года Sisvel подаст заявку на целый список патентов. Как только заявка будет подана, другие профессионалы в области IP могут начать проверку достоверности патентов и их применимости к AVI и VP9. До этого момента единственным реальным последствием анонса Sisvel является то, что все потенциальные пользователи получают уведомления о возможной платной основе использования AV1.

Поддержка браузеров AV1

Поскольку Google и Mozilla являются членами AOMedia, неудивительно, что Chrome и Firefox поддерживают воспроизведение AV1. Если учитывать Opera, то получается, что AV1 проигрывает в 35,28% всех браузеров. В марте компания Google объявила, что ОС Android Q, доступная в бета-версии, «вводит поддержку видеокодека с открытым исходным кодом AV1. Это позволит поставщикам мультимедиа передавать потоковое видео высокого качества на устройства Android, используя меньшую полосу пропускания». Это указывает на то, что поддержка будет только для воспроизведения, а не для записи.

В ноябре 2018 года Microsoft выпустила бета-версию программы AV1 Video Extension, которая позволяет воспроизводить AV1 на устройствах с Windows 10. Пока нет сведений о том, когда эта возможность будет добавлена в обновление Windows 10 , или когда Apple, член AOMedia, добавит AV1 на свои компьютеры или устройства.

Появление аппаратной поддержки кодирования / декодирования AV1 не планировалось до середины 2020 года. Воспроизведение на основе браузера оказалось более эффективным, чем предсказывали многие эксперты. В октябре 2018 года стало известно, что воспроизведение 1080p видео YouTube с кодировкой AV1 в Chrome потребляло около 20% процессорного времени на ноутбуке HP ZBook с процессором Intel Xeon E3-1505M v5 2,8 ГГц. Воспроизведение того же видео на таком же ноутбуке в Firefox потребляет от 10% до 15% ресурсов процессора.

23 мая 2019 года Mozilla объявила об интеграции декодера dav1d в Firefox, что должно еще сильнее снизить потребление ресурсов процессора. Mozilla также сообщила о том, что в 11,8% случаев воспроизведения видео в Firefox Beta используется AV1, по сравнению с 3% в марте и 0,85% в феврале того же года. Вероятно, большая часть этого трафика поступает от YouTube, который опубликовал плейлист AV1 в сентябре 2018 года. Кроме того, инженер-программист Google Стивен Робертсон пообещал на Demuxed 2018, что к концу октября 2018 года YouTube будет распределять 1 ТБ видео в формате AV1 в секунду. Компания Netflix выпустила в сентябре 2018 года некоторые видеоматериалы в формате AV1 для публичного просмотра.

Однако Netflix кодировала видео 1080p до 6,7 Мбит/с, а YouTube - 5,1 Мбит с, поэтому ни одна из компаний не продвигала конверт качества. Хотя Facebook утверждает, что AV1 экономит 51% по сравнению с x264 и 32,5% по сравнению с VP9, компания публично не заявляла, что поставляет видео в формате AV1. На данный момент, через год после замораживания битвого потока, мы не знаем, достигла ли какая-либо компания экономии битрейта, о которой сообщает Facebook.

Что с качеством кодирования? На данный момент это неизвестно, но качественное различие между SVT-AV1 и версией AV1, поставляемой AOMedia, должно со временем снизиться. Вот по каким причинам.

По данным BBC, AV1 был построен на основе спецификации Google VP9. Различные члены AOMedia предложили различные «инструменты» для включения в кодек. Обязательные (по крайней мере, на первых порах) инструменты встраиваются в архитектуру кодеков для обеспечения максимальной эффективности кодирования. Вот почему время кодирования AV1 в процессе разработки кодеков сильно выросло.

Intel SVT был разработан для того, чтобы «ядро кодировщика можно было разделить на независимо работающие потоки, каждый поток обрабатывал отдельный сегмент входного изображения, и эти потоки выполнялись параллельно на разных ядрах процессора, без каких-либо потерь в точности». Это ускоряет кодирование на многоядерных процессорах, таких как Intel Xeons. Однако портирование AV1 в архитектуру SVT начинается с основных функций, затем необходимо добавлять различные инструменты. По этой причине версия 1 любого кодека SVT не будет обеспечивать то же качество, что и готовая версия того же кодека.

Таким образом, за последние 12 месяцев AV1 продемонстрировал неплохую эффективность кодирования и воспроизведения, поддерживается различными браузерами, и в перспективе за использование этого кодека будут взиматься лицензионные отчисления.

VVC

VVC - это основанный на стандартах кодек следующего поколения, разработанный совместно MPEG и ITU. Целевой показатель качества - снижение скорости передачи битов на 30% по сравнению с HEVC при сохранении качества. Хотя производители не планируют выпускать кодек до конца 2020 года, некоторые сведения о качестве кодека уже поступают.

Как указано в документе Международной вещательной конвенции 2018 года под названием «Обзор последних достижений в области кодирования видео в MPEG и AOMedia», исследование, которое проводила ВВС, включало в себя как объективные, так и субъективные тесты.

При использовании разрешения HD BBC обнаружила, что AV1 эффективнее HEVC всего лишь на 7%, а VVC на 33% эффективнее, чем HEVC. При разрешении UltraHD AV1 был только на 2% лучше, чем HEVC, а VVC был лучше на 27%. Стоит упомянуть, что компания BBC является членом AOMedia и лицензиаром патентного пула MPEG LA HEVC.

При сопоставлении этих результатов с данными Facebook, следует обратить внимание на то, что BBC использовала для тестирования VVC и HEVC эталонные кодировщики, использующие в кодеке все инструменты. Таким образом, время кодирования оказалось слишком велико для коммерческого использования. Кроме того, BBC использовала стандартные тестовые клипы, которые обеспечивают сопоставимость различных поколений тестов. При этом, по сути, тестировались кодеры, которые никто никогда не будет использовать для производственного кодирования, и использовались клипы, которые ни один потребитель не будет смотреть. Напротив, компания Facebook проанализировала 100 своих самых популярных тестовых клипов с использованием реальных производственных кодеров.

Что касается лицензирования, можно предположить, что в число участников VVC входят многие компании из пулов HEVC и H.264. Чтобы помочь избежать проблем, связанными с HEVC, группа компаний сформировала Форум индустрии медийного кодирования (MC-IF). Как отмечается в пресс-релизе, «MC-IF первоначально будет сосредоточен на создании VVC и сопутствующих стандартов, а также общепринятых и широко используемых стандартов, в интересах потребителей и производственной сферы». Одна из ключевых целей - «Обеспечить площадку для обсуждения вопросов, связанных с лицензированием прав интеллектуальной собственности, имеющих отношение к развертыванию и использованию этих стандартов».

Будущее за патентными адвокатами?

В значительной степени будущее кодеков будет продиктовано свободным от лицензионных отчислений статусом AV1, который AOMedia может получить, доказав, что компании-члены альянса заново изобрели колесо со своим кодеком AV1, или лицензируя эту технологию по мере необходимости. Помните, что Google использовал последнюю тактику, чтобы еще в 2013 году прекратить формирование патентного пула VP8 компанией MPEG LA. Или, возможно, AOMedia сможет получить достаточно контроля над IP AV1, чтобы распределять AV1 по справедливой и разумной цене.

В противном случае владельцы IP попытаются навязать HEVC-подобные бизнес-условия для AV1, VVC и будущих кодеков.

Кодек Aomedia Video 1, или AV1, начинает оказываться в руках потребителя. Ранее в этом году Netflix попал в заголовки газет, заявив, что начал потоковую передачу AV1 некоторым зрителям Android. Совсем недавно Google объявил, что добавит кодек AV1 в свое приложение для видеочата Duo, а MediaTek объявил о том, что он будет поддерживать видеопотоки YouTube AV1 на своей Dimensity 1000 5G SoC. Так в чем суета? Что такое кодек AV1? Почему это важно? Вот краткий обзор AV1 и его значения для потоковой передачи видео за 5 лет.

AV1 бесплатна и имеет открытый исходный код

Изобретать технологии, разрабатывать компоненты и проводить исследования дорого. Инженеры, материалы, здания – все это стоит денег. Для «традиционной» компании возврат инвестиций происходит от продаж. Если вы разрабатываете новый гаджет, и он продается миллионами, вы получаете деньги, которые были потрачены изначально. Это верно для физических продуктов, таких как смартфоны, но это также верно и для разработки программного обеспечения.

Игровая компания тратит деньги на разработку игры, платит инженерам и художникам по пути, а затем продает игру. Он может даже физически не существовать на картридже DVD / ROM / что-либо еще, это может быть цифровая загрузка. Однако продажи платят за его развитие. Но что произойдет, если вы разработаете новый алгоритм или технику для чего-то, скажем, для сжатия видео? Вы не можете предлагать алгоритм для цифровой загрузки, его будут покупать не потребители, а производители, которые хотят включить этот алгоритм в смартфоны, планшеты, ноутбуки, телевизоры и т.д.

Netflix попал в заголовки, когда заявил, что начал потоковую передачу AV1 некоторым зрителям Android.

Если изобретатель алгоритма может продать технику третьим сторонам, то один из бизнес-вариантов – взимать небольшую плату – изменение роялти за каждое устройство, поставляемое с алгоритмом. Все это кажется справедливым и справедливым. Однако система открыта для злоупотреблений. От недружественных переговоров о пошлинах, до патентных троллей, до судебных исков на миллион долларов история предприятий, основанных на роялти, длинна и полна неожиданных побед и потерь как для «плохих парней», так и для «хороших парней».

Как только технология становится повсеместной, происходит странная вещь: продукты не могут быть созданы без нее, но они не могут быть созданы с ее помощью, если не согласованы цены. Еще до того, как продукт достигнет первоначальной концепции, он уже обременен перспективой лицензионных отчислений. Это все равно что пытаться взимать с производителя продукта за создание гаджета, который использует электричество, а не количество использованного электричества, а только тот факт, что оно использует электричество.

Реакция против этого состоит в том, чтобы искать и развивать технологию, которая свободна от лицензионных платежей и свободна от кандалов патентов. Это цель кодека AV1.

Многие из современных и распространенных технологий потокового видео не являются бесплатными. Видео MPEG-2 (используется на DVD, спутниковом телевидении, цифровом телевещании и т.д. ), H.264 / AVC (используется на дисках Blu-ray и во многих службах потоковой передачи в Интернете) и H.265 / HEVC (рекомендуемый кодек для 8K) ТВ) все нагружены претензиями роялти и патентами. Иногда сборы отменяются, иногда нет. Например, у Panasonic более 1000 патентов, связанных с H.264, а у Samsung более 4000 патентов, связанных с H.265!

Кодек AV1 разработан, чтобы быть лицензионным платежом. У него много громких имен, поддерживающих его, а это значит, что юридический вызов против объединенного пула патентов и финансовой мощи Google, Adobe, Microsoft, Facebook, Netflix, Amazon и Cisco будет бесполезным. Однако это не помешало некоторым патентным троллям, таким как Сисвел, греметь своими цепями. На сегодняшний день на самом деле ничего не дошло до суда, но патентные тролли не легко сдаются.

AV1 на 30% лучше, чем H.265

Помимо того, что AV1 не требует лицензионных отчислений и является открытым исходным кодом, он должен действительно предлагать преимущества по сравнению с уже установленными технологиями. Aomedia (хранители кодека AV1) утверждают, что предлагает сжатие на 30% лучше, чем H.265. Это означает, что он использует меньше данных, предлагая то же качество для видео 4K UHD.

Есть два важных показателя для любого видеокодека. Битрейт (то есть размер) и качество. Чем выше битрейт, тем больше закодированные файлы. Чем больше закодированные файлы, тем больше объем данных, которые необходимо передать в поток. С изменением битрейта меняется и качество. Проще говоря, если данных будет меньше, то точность и точность исходного материала снизится. Чем больше данных, тем больше шансов представить оригинал.

Видеокодеки, такие как AV1 (и H.264 / H.265), используют сжатие с потерями. Это означает, что закодированная версия не совпадает (пиксель за пикселем) с оригинальной. Хитрость заключается в том, чтобы закодировать видео таким образом, чтобы потери были незаметны для человеческого глаза. Есть много методов, чтобы сделать это, и это сложный предмет. Три из основных методов должны использовать постепенные изменения кадра, квантование и векторы движения.

AV1 разработан, чтобы быть без лицензионных платежей.

Когда вы делаете фотографию на своем смартфоне, есть вероятность, что она будет сохранена в формате JPEG (файл .jpg). JPEG – это формат сжатия изображений с потерями. Он работает с использованием техники, называемой квантованием. Основная идея заключается в том, что данный сегмент фотографии (8 × 8 пикселей) может быть представлен фиксированной последовательностью затененных рисунков (по одному для каждого цветового канала), наложенных друг на друга. Эти шаблоны генерируются с использованием дискретного косинусного преобразования (DCT). Используя 64 из этих шаблонов, можно представить блок 8 × 8, решив, сколько из каждого шаблона необходимо для получения аппроксимации исходного блока. Оказывается, может быть, только 20% шаблонов необходимы для убедительной имитации исходного блока. Это означает, что вместо сохранения 64 чисел (по одному на пиксель) изображению со сжатием с потерями может потребоваться только 12 чисел. 64 до 12,

Пример дискретных косинусных паттернов, используемых для сжатия с потерями

Количество затененных рисунков, преобразования, необходимые для их генерации, вес, заданный для каждого рисунка, количество выполненных округлений, являются переменными и изменяют качество и размер изображения. JPEG имеет один набор правил, H.264 другой набор, AV1 другой набор и так далее. Но основная идея та же самая. В результате каждый кадр в видео представляет собой представление с потерями исходного кадра. Сжатый и меньше, чем оригинал.

В-третьих, есть отслеживание движения. Если мы вернемся к нашей сцене, где два человека бросают мяч, то мяч перемещается по сцене. Для некоторых его перемещений он будет выглядеть точно так же, поэтому вместо того, чтобы отправлять те же данные снова и относительно мяча, было бы лучше просто заметить, что блок с мячом немного сместился. Векторы движения могут быть сложными, и нахождение этих векторов и построение дорожек могут занимать много времени во время кодирования, но не во время декодирования.

Это все о битах

Наивысшая битва за видеокодер – поддерживать низкий битрейт и высокое качество. Поскольку кодирование видео прогрессировало на протяжении многих лет, целью каждого последующего поколения было снижение битрейта и поддержание того же уровня качества. В то же время наблюдается увеличение разрешающей способности дисплея для потребителей. DVD (NTSC) был 480p, Blu-ray был 1080p, и сегодня у нас есть 4K потоковых видео сервисов, и мы замедляем скорость до 8K. Высокое разрешение экрана также означает большее количество пикселей для представления, что означает, что для каждого кадра требуется больше данных.

«Битрейт» – это число единиц и нулей, используемых в секунду видеокодеком. В качестве отправной точки, практическое правило: чем выше битрейт, тем лучше качество. Какой битрейт вам нужен для хорошего качества, зависит от кодека. Но если вы используете низкий битрейт, качество изображения может быстро ухудшиться.

Когда файлы хранятся (на диске DVD, диске Blu-ray или на жестком диске), битрейт определяет размер файла. Для простоты мы будем игнорировать любые аудиодорожки и любую встроенную информацию внутри видеопотока. Если объем DVD составляет приблизительно 4,7 ГБ, а вы хотите сохранить фильм продолжительностью 2 часа (120 минут или 7200 секунд), то максимально возможная скорость передачи данных составит 5200 килобит в секунду или 5,2 Мбит / с.

Если вам нужно освежить в мегабитах против мегабайт, то у меня есть видео об этом: мегабит в секунду (Мбит / с) против мегабайт в секунду (МБ / с).

Для сравнения, видеоклип 4K прямо с моего смартфона Android (в H.264) использовал скорость 42 Мбит / с, примерно в 8 раз выше, но при записи с разрешением примерно в 25 раз больше пикселей на кадр. Глядя на эти очень грубые цифры, мы видим, что H.264 предлагает сжатие, по крайней мере, в 3 раза лучше, чем MPEG-2 Video. Один и тот же файл, закодированный в H.265 или AV1, будет использовать примерно 20 Мбит / с, что означает, что и кодек H.265, и кодек AV1 обеспечивают сжатие в два раза больше, чем H.264.

Наивысшая битва за видеокодер – поддерживать низкий битрейт и высокое качество.

Это очень приблизительные оценки доступных коэффициентов сжатия, потому что числа, которые я дал, подразумевают постоянную скорость передачи битов. Однако некоторые кодеки позволяют кодировать видео с переменным битрейтом, определяемым настройкой качества. Это означает, что битрейт меняется мгновенно, с предопределенным максимальным битрейтом, используемым, когда сцены сложные, и меньшим битрейтом, когда вещи менее загромождены. Именно тогда этот параметр качества определяет общий битрейт.

Существуют различные способы измерения качества. Вы можете посмотреть пиковое соотношение сигнал / шум, а также другую статистику. Плюс вы можете посмотреть на качество восприятия. Если у 20 человек одинаковые видеоклипы с разных кодеров, то какие из них будут оцениваться выше по качеству.

Вот откуда берутся на 30% лучшие требования к сжатию. Согласно различным исследованиям, видеопоток, закодированный в AV1, может использовать более низкую скорость передачи битов (на 30%) при достижении того же уровня качества. С личной, субъективной точки зрения это трудно проверить и одинаково трудно оспорить.

Выше приведен монтаж одного кадра из одного и того же видео, закодированного тремя различными способами. Вверху слева оригинальное видео. Рядом справа находится кодек AV1 с H.264 под ним и H.265 под оригинальным источником. Первоначальный источник был 4K. Это не идеальный метод для визуализации различий, но он должен помочь проиллюстрировать это.

Из-за уменьшения общего разрешения (это 1920 x 1080) изображения мне трудно заметить большую разницу между четырьмя изображениями, особенно без просмотра пикселов. Вот тот же тип монтажа, но с увеличенным изображением, поэтому мы можем немного разглядеть пиксель.

Ниже приведено сравнение кадра HEVC / H.265 с кадром AV1.

Пример HEVC H.265 при 22 Мбит / с Пример AV1 на 22 Мбит / с

Здесь я вижу, что исходное видео, вероятно, имеет лучшее качество, а H.264 – худшее (относительно) по сравнению с оригиналом. Я бы изо всех сил пытался объявить победителя между H.265 и AV1. В случае необходимости я бы сказал, что кодек AV1 лучше воспроизводит цвета на лепестках.

Одно из утверждений Google об использовании AVI в приложении Duo заключалось в том, что оно «улучшит качество и надежность видеовызова даже при подключениях с очень низкой пропускной способностью». Возвращаясь к нашему монтажу, на этот раз каждый кодировщик был настроен на 10 Мбит / с. Это совершенно несправедливо для H.264, поскольку он не претендует на то же качество на тех же битрейтах, что и H.265 / Av1, но это поможет нам увидеть. Кроме того, оригинал остается неизменным.

H.264 на скорости 10 Мбит / с явно худший из 3. Быстрый взгляд на H.265 и AV1 оставляет у меня ощущение, что они очень похожи. Если я смотрю пиксель, я вижу, что AV1 работает лучше с травой в верхнем левом углу кадра. Таким образом, AV1 – чемпион, но только по очкам, это не был нокаут.

Пример HEVC H.265 при 10 Мбит / с Пример AV1 на 10 Мбит / с

AV1 не готов для масс (пока)

Без роялти и на 30% лучше. Где я могу зарегистрироваться? Но есть проблема, на самом деле огромная проблема. Кодирование файлов AV1 идет медленно. Мой оригинальный 4K клип с моего смартфона длится 15 секунд. Для кодирования этого с использованием только программного обеспечения в H.264 на моем ПК требуется около 1 минуты, что в четыре раза больше длины клипа. Если я использую аппаратное ускорение, доступное на моей видеокарте NVIDIA, тогда это займет 20 секунд. Просто немного дольше, чем оригинальный клип.

Для H.265 все немного медленнее. Только программное кодирование занимает около 5 минут, что немного дольше, чем оригинал. К счастью, аппаратное кодирование в H.265 также занимает всего 20 секунд. Поэтому аппаратное кодирование H.264 и H.265 похоже на мою настройку.

До того как все фанаты видео начали кричать, да, я знаю, что есть миллиард различных настроек, которые могут изменить время кодирования. Я приложил все усилия, чтобы удостовериться, что я кодирую как для подобного.

Мое оборудование не поддерживает кодирование AV1, поэтому мой единственный вариант – программный. Тот же 15-секундный клип, который занял 5 минут для программного обеспечения H.265, занимает 10 минут для Av1. Но это было не так, как было, это было изменено, чтобы получить лучшую производительность. Я протестировал несколько разных вариантов настроек качества и пресетов, 10 минут было лучшим временем. Один вариант, который я пробежал, занял 44 минуты. 44 минуты на 15 секунд видео. Это использует кодировщик SVT-AV1, которым увлекается Netflix. Существуют альтернативы, но они намного медленнее, например часы и часы, гораздо медленнее.

Кодирование клипа 4K 15 сек.	SW или HW	Время
H.264	Программное обеспечение	1 мин
H.264	аппаратные средства	20 сек
H.265	Программное обеспечение	5 минут
H.265	аппаратные средства	20 сек
AV1	Программное обеспечение	10 минут

Это означает, что если у меня есть 1-часовой фильм, который я отредактировал со своего отпуска в экзотическое место, то для преобразования его в H.265 с использованием аппаратного ускорения на моем компьютере потребуется 80 минут. Один и тот же файл с использованием современных программных кодеров AV1 займет 40 часов!

Вот почему он не готов для масс (пока). Улучшения придут к кодировщикам. Программное обеспечение станет лучше, и аппаратная поддержка начнет появляться. Декодеры уже становятся экономными и эффективными, поэтому Netflix может начать потоковую передачу некоторого контента в AV1 на устройства Android. Но с точки зрения повсеместной замены H.264 нет, пока нет.

Одна интересная вещь в заявлениях Google относительно AV1 для Duo заключается в том, что она подразумевает кодирование AV1 на клиентских устройствах и декодирование AV1. Я написал по электронной почте Google об этом, и были обнадеживающие признаки того, что он собирался рассказать мне некоторые детали, но его планы относительно кодека AV1 и Duo, но затем все в списке рассылки загадочным образом затихли. Если кто-нибудь из Google вернется ко мне, я дам вам знать!

В последнее время события в сфере разработки кодеков развивались достаточно динамично, и в 2018 году мы станем свидетелями их логического продолжения. Рассмотрим хронологию развития и внедрения новых кодеков.

Битва видеокодеков – 2018

Хотя разработка HEVC была закончена еще в 2012 году и тогда же стали появляться первые кодеры с поддержкой этого формата, к началу 2017 года на рынке по-прежнему доминировала компрессия H.264. Причин для медленного старта HEVC было достаточно много. Во-первых, для укрепления технологии на рынке требуется соответствующая инфраструктура. Для H.264 она хорошо отработана. Этот формат гарантированно совместим с любой экосистемой. С ним работают все плееры, CAS, DRM, middleware, системы вставки рекламы и видеоконтроля.

Кроме того, заявленную в рекламных буклетах 50-процентную экономию полосы пропускания HEVC демонстрирует при компрессии UHD-контента и статистическом мультиплексировании, а в остальных случаях показатели ниже. На первых этапах для HD-SPTS-потоков выигрыш составлял около 15%. Если говорить об ОТТ-распространении, то стоимость дополнительных 15—20% транспортной полосы можно было компенсировать выбором более дешевого СDN. Тем более что стоимость услуг CDN за последнее время заметно упала, а вилка между верхней и нижней ценой схожего набора сервисов увеличилась.

В вещательной среде новая система компрессии, как правило, вводится одновременно с другими технологиями, требующими замены приставок или телевизоров. Компрессия H.264 внедрялась вместе с HD-форматом и стандартами DVB второго поколения. HEVC же логично вводить вместе с UHDTV. Но и с этим были сложности. Первые кодеры HEVC были очень медленными. Транскодирование в реальном времени требовало огромной траты компьютерных ресурсов. Поэтому в сетях профессиональной доставки (contribution) живого вещания 4К сначала использовались связки из четырех синхронизированных AVC-кодеров, каждый из которых кодировал свой квадрант.

Более всего внедрению HEVC препятствовали (и продолжают препятствовать) жесткие, неоднократно менявшиеся условия лицензирования. Они диктовались сразу двумя патентными пулами — MPEG LA и HEVC Advance, а также компанией Technicolor, которая выделилась из HEVC Advance и выдвинула собственные лицензионные требования. В совокупности эти требования включают отчисления с каждого HEVC-устройства и компрессированного в HEVC наименования видео, без верхнего предела по выплатам, и дополнительно отчисления с доходов от платного видеоконтента, компрессированного в HEVC. Более того, начало 2017 года ознаменовалось появлением еще одного патентного пула для HEVC-технологий. Он был назван Velos media и призван защитить интеллектуальную собственность компаний Ericsson, Panasonic, Qualcomm, Sharp и Sony. Принципиально новых требований по лицензионным выплатам Velos media пока не выставил, но может сделать это в любой момент.

Несмотря на перечисленные сложности, HEVC все-таки утвердился на рынке, в первую очередь в вещательных сетях и для компрессии 4К- и/или HDR-видео. Опция HDR (High Dynamic Range) сама по себе является «убойной». Многие убеждены, что HD-формат, дополненный HDR, смотрится более эффектно, чем «чистый» 4К. На динамичных сюжетах хороший эффект также дает повышение частоты кадров — HFR (High Frame Rate). В принципе, можно было бы добавить опции HDR и HFR к чипсетам с H.264 и распространять HD-контент c такими дополнениями. Дополнительная полоса, требуемая для введения подобных улучшений, зависит от характера видео и типа компрессии, но даже для HD-видео, сжатого в H.264, она увеличится максимум в полтора раза. По некоторым данным, добавочная скорость будет еще меньше. Переход же к UHD-разрешению и компрессии HEVC без HDR и HFR потребует значительно большей полосы пропускания. Однако внедрению H.264 в связке с HDR и HFR противятся производители телевизоров, посчитав, что такой подход может затормозить продажи моделей с разрешением 4К.

Полоса, требуемая для передачи HD-контента Полоса, требуемая для передачи UHD-контента

Важным событием 2017 года, способствующим распространению HEVC в интернет-среде, стало решение Apple добавить этот формат компрессии в систему стриминга HLS, причем с поддержкой HDR. Напомним, что HLS — самая распространенная стриминговая платформа в мире. Это означает, что HEVC будет проигрываться на платформах iOS и Mac, через браузер Safari, а также на устройствах Apple TV. Тесты показали, что проигрывать HEVC можно даже на iPhone 6, а в более поздних моделях он съедает примерно столько же компьютерной памяти, сколько и H.264, и минимально сажает батарею. Готовность Apple включить HEVC в свои решения была с энтузиазмом встречена производителями кодеров. Однако само внедрение в HLS-среде проходит медленно. По мнению редактора издания Streaming Media Magazine Яна Озера (Jan Ozer), это связано с тяжелой и неясной лицензионной политикой. Кроме того, HEVC требует дополнительной памяти и не воспроизводится на более ранних устройствах, работающих с HLS.

Как и ожидалось, в 2017 году у всех ведущих производителей появились HEVC-кодеры и транскодеры, способные работать в реальном времени. Показатели продаж HEVC-кодеров противоречивы и отрывочны. По данным консалтинговой компании Frost & Sullivan, в 2016 году их доля не превышала 1% от общих покупок в пересчете на канал и далее прогнозировалось ежегодное удвоение продаж. В то же время сейчас, по данным IEEE/BTS (Institute of Electrical and Electronics Engineers/Broadcast Technology Society), доля HEVC-кодеров, используемых в IP-среде, составляет 3%. Можно думать, что в вещательных сетях их доля как минимум не меньше. К слову, доля кодеров H.264 в IP-среде составляет 79%, и она продолжает расти, в основном за счет отказа от компрессии MPEG-2. Однако при оценках стоит учитывать, что понятие кодера с поддержкой определенной компрессии сегодня размыто. Аппаратные кодеры на ASIC сохраняют актуальность только для вещательных сетей, и то частично, а для ОТТ это и вовсе устаревшая концепция. Большинство современных кодеров реализовано программно, на FPGA, связке CPU и GPU или даже на чистых CPU. Такие кодеры могут гибко программироваться не только в плане разрешения, но и по системе компрессии.

Что касается браузеров, то HEVC пока поддерживают только Safari и Edge, но возможно, это вынудит Google и Mozilla интегрировать его в будущие версии браузеров, тем более что за программную реализацию лицензионные отчисления не взимаются. Кроме того, HEVC интегрирован в медиапроигрыватель VLC (VideoLAN Client).

Основной альтернативой вещательным системам компрессии HEVC и H.264 в интернет-среде до недавнего времени считался кодек VP9 от Google. По факту он таковым остается до сих пор, хотя ему на смену уже приходит кодек AV1.

VP9 интегрирован во все основные браузеры, кроме Safari (Apple). Что касается платформ для мобильных устройств, то к началу 2017 года устройства на Android воспроизводили и VP9 (с версии 4.4), и HEVC (с версий 5.0+), а устройства Apple не поддерживали ни того, ни другого. VP9 активно используется YouTube, а с конца 2016 года его, наряду с H.264, взял на вооружение и Netflix. Кодек также нашел применение в корпоративных сетях и некоторых более мелких интернет-сервисах.

Тем не менее его общая доля в сегменте интернет-видео невелика — по данным IEEE/BTS, она составляет 11%. Таким образом, сказать, что он вытеснил H.264 из интернет-пространства, никак нельзя, несмотря на то, что он примерно на треть более эффективен. Его преимущество перед HEVC — в открытости и бесплатности. Тем не менее как конкурент HEVC для вещательных сетей он никогда не воспринимался. В первую очередь, из-за отсутствия декодеров, защищенных на аппаратном уровне интеграции с метаданными, необходимых для защиты и реализации других функций платного ТВ. Кроме того, VP9 с самого начала был еще более медленным, чем HEVC, и со временем отставание только увеличилось.

Занять монопольное положение HEVC, по всей видимости, не суждено. В перспективе его альтернативой, как минимум в интернет-сфере, обещает стать новый кодек AV1. Более того, некоторые эксперты рассматривают его как кодек, который может заменить HEVC и в вещательных сетях. Это первая разработка некоммерческого альянса AOM (Alliance for open Media). Он был создан в августе 2015 года для разработки безлицензионных решений с открытым кодом в области доставки мультимедиа. И его первой разработкой как раз стал кодек AV1. К его созданию участников подтолкнули проблемы лицензирования HEVC, в частности появление в тот момент второго лицензионного пула. Состав AOM весьма представительный, в него входит более 20 компаний, среди которых Google, Microsoft, Mozilla, Cisco, Intel, Netflix, Adobe Amazon, ARM, Facebook, Google, IBM, Nvidia. В начале 2018 года к альянсу присоединился и Apple, правда без громких заявлений и явных обещаний интегрировать кодек в свои продукты.

Чтобы избежать патентных претензий, разработчики AV1 использовали собственные инструменты компрессии. За основу нового формата был взят VP10 от Google, и к нему были добавлены алгоритмы, позаимствованные в кодеках Thor (Cisco) и Daala (Mozila / Xiph). Таким образом прежние соперники объединились для создания альтернативы основному конкуренту.

Что касается транспортных контейнеров, раз для HEVC в интернет- среде применяются варианты MP4, то AV1, по всей видимости, будет использовать формат WEBM разработки Google, Microsoft, Mosilla и Opera, с такой же бесплатной лицензией, как и сам кодек.

Тот факт, что к созданию и продвижению AV1 привлечены основные разработчики кодеков, браузеров, чипсетов, процессоров, а также экосистем доставки и воспроизведения видео, с большой долей вероятности позволит новому кодеку быстро утвердиться в соответствующих сегментах рынка.

Проблема пока в том, что не очень понятно, в какой мере разработку AV1 можно считать законченной. После нескольких переносов срока заморозки кодека в конце марта было объявлено, что разработка наконец закончена и компании могут интегрировать его в свои продукты. Однако позже выяснилось, что и это версия тестовая, которая по-прежнему дорабатывается.

По информации Яна Озера, в течение нескольких месяцев ожидается интеграция кодека в несколько браузеров, и появление контента, компрессированного в AV1 от членов AOM. Чипсеты с аппаратным декодированием, по его оценке, появятся в 2019 году, а устройства на их базе — в середине 2020 года.

Технические различия между HEVC и AV1

AV1 — значительно более новый кодек, для которого пока нет специализированных кодеров и, главное, — аппаратных декодеров. Поэтому когда требуется кодирование в реальном времени, альтернативы HEVC пока нет. Основные браузеры выпустили первые программные декодеры AV1, но они гораздо медленнее и энергозатратнее. В AV1 используются более продвинутые алгоритмы, соответственно на процессоры ложится большая нагрузка.

Разработчики AV1 заявляли, что по сравнению с HEVC новый кодек должен вдвое сократить требуемую полосу пропускания при сохранении качества картинки. Однако весной при компрессии UHD 4К выигрыш относительно VP9 и HEVC составлял 30—40%. Кроме того, пока новый кодек очень медленный. По данным Яна Озера, весной 2018 года кодирование в AV1 было примерно в 100 раз медленнее, чем в VP9, при схожих компьютерных мощностях, а декодирование на процессорах x86 в пять раз медленнее. К концу года планируется сократить разницу во времени кодирования до пяти раз, а декодирования — до двух. Сравнивать AV1 по быстродействию с HEVC некорректно, особенно в плане декодирования, учитывая наличие специализированных чипсетов. Такие решения есть у AMD, Nvidia, Intel, Apple, Qualcomm и других. Очевидно, что разница в быстродействии AV1 и HEVC будет еще больше.

Повторим, что кодеры и декодеры с аппаратными схемами ускорения — это только одна часть общей инфраструктуры. Необходима также интеграция кодека со стриминговыми технологиями, CDN, DRM, системами биллинга и мониторинга. Участники AOM могут обеспечить все компоненты инфраструктуры, необходимые для ОТТ-распространения. Что касается операторов вещательных сетей, то их, возможно, пока не удовлетворит уровень защиты DRM-систем от участников альянса. Однако скорее всего, это временная проблема.

Заметим, что различия в подходах к разработке HEVC и AV1 очень показательны для двух вовлеченных в процесс индустрий — вещательной и ИТ. Для первой характерна разработка и применение закрытых лицензионных технологий, а во второй делают ставку на открытые бесплатные технологии, рассчитывая на получение доходов от продажи эффективных решений на их базе. Вещательные консорциумы понимают, что их позиция становится все менее конкурентной, но перестроить свой бизнес пока не могут.

Альтернативы

С большой долей вероятности в ближайшие годы HEVC и AV1 будут занимать доминантные позиции. Остальным кодекам, чтобы претендовать на место под солнцем, нужно будет предложить существенное улучшение скорости кодирования/декодирования в сочетании с конкурентным уровнем компрессии, хотя бы в определенной нише. А если разработчики захотят использовать запатентованные технологии, то чтобы предложить реалистичные цены, им понадобятся еще и хорошие маркетологи.

Сегодня к возможным альтернативам относят две разработки. Во-первых, кодек XVC (Extreme video codec), оптимизированный для работы на низких скоростях, характерных для доступа через сотовые сети. Это разработка шведской компании Divideon, появившейся в начале 2017 года. На сайте Divideon уже выложены демонстрационные ролики и графики, иллюстрирующие преимущество нового кодека относительно прочих в нише мобильного приема (рис. 4). Кодек платный, но система его лицензирования проще, чем у HEVC.

Сравнения PSNR

Второй претендент — это JEM (Joint Exploration Model), кодек, разрабатываемый на смену HEVC.

Для его разработки в конце 2015 года была создана команда JVET (Joint Video Exploration Team), объединившая MPEG и VCEG. Полтора года ушло на сборы требований к кодеку, и в апреле 2018 года началась собственно разработка. По этому случаю команда была переименована в Joint Video Experts Team. Судя по информации о ходе работы над кодеком, которую участники JVET озвучивают на отраслевых мероприятиях, никаких принципиально новых подходов к компрессии вводить не планируется. Предполагается дальше усложнять и оптимизировать алгоритмы обработки, то есть эксплуатировать постоянно растущие процессорные мощности. Хотя все еще может поменяться, да и сам кодек, разрабатываемый «по старинке», на базе закрытых лицензионных технологий, может оказаться неконкурентным в новых рыночных условиях.

Читайте также: