Что такое биннинг пикселей
Обновлено: 08.07.2024
Если производитель комплектует смартфон камерой с матрицей на 32, 48, 64 или больше мегапикселей, он с огромной вероятностью использует технологию пиксельного биннинга — объединения соседних пикселей. Это, в том числе, касается актуальных флагманов Xiaomi Mi 11 и Samsung Galaxy S21 Ultra, основные камеры которых построены вокруг матриц на 108 Мп. Что интересно, технология не нова даже на рынке мобильных устройств: еще пару лет назад она была использована в Xiaomi Redmi Note 7 и Mi 9, Honor View 20 и Huawei Nova 4, а также Vivo V15 Pro и ZTE Blade V10. Ее особенности и обсудим.
Содержание
Какое значение имеет размер каждого пикселя в камере смартфона
В физическом смысле каждый пиксель из матрицы в камере вашего мобильного устройства представляет собой специальный фотоэлемент, который предназначен для улавливания света во время нажатия на кнопку спуска. Размер подобных объектов измеряется в микронах — миллионных частях метра или микрометрах. Еще пару лет назад производители не умели делать пиксели размером меньше микрона. Тем не менее, до сегодняшнего дня на рынке появились, в том числе, и подобные варианты. Сейчас пиксели меньше одного микрона считаются маленькими, а больше микрона — большими.
К примеру, в матрице основной камеры iPhone 12 Pro Max на 12 Мп Apple увеличила размер пикселя с 1,4 микрона, что ранее считалось более чем, до еще большего значения — 1,7 микрона. Для сравнения, в матрице основной камеры Samsung Galaxy S21 Ultra на 108 Мп размер каждого пикселя составляет всего 0,8 микрона. Тем не менее, в последнем случае предусмотрено использование технологии пиксельного биннинга — подробнее о ней дальше по тексту. Корейский флагман может делать снимки с разрешением 12 Мп, объединяя девять маленьких пикселей (три по ширине и три по высоте) в один большой с размером 2,4 микрона.
Размер пикселя влияет на количество света, который он может поглощать во время создания снимка. Это особенно критично, когда речь заходит про фотографии в помещении или в условиях недостаточного освещения на улице: ранним утром, вечером или ночью. По логике, чем больше каждый пиксель, тем лучше. Тем не менее, камеры смартфонов крайне ограничены в максимальных габаритах, и их дальнейшее увеличение невозможно. Получается, что дробить матрицу скромных размеров на огромное число небольших пикселей — глупость, но это не так. В данном случае в игру как раз и вступает пиксельный биннинг.
Что собой представляет пиксельный биннинг в камерах смартфонов
Пиксельный биннинг — процесс, при котором полученные из нескольких соседних пикселей матрицы данные объединяются в один. Ранее считалось, что речь идет только про условные квадраты размером 2×2 точки, но сегодня используется и формат 3×3 — такой, к примеру, применяется в Samsung Galaxy S21 Ultra. В последнем, как уже говорилось выше, таким образом из отдельных пикселей размером 0,8 микрона получается квадрат на 2,4 микрона. Более старый пример — Honor View 20 с камерой на 48 Мп и пиксельным биннингом 2×2: пиксели по 0,9 микрона в его случае превращаются в квадраты по 1,8 микрона. Тоже неплохо.
Чтобы рассмотреть их менее поверхностно, придется разобраться, из каких элементов, в принципе, состоит каждый отдельный пиксель в матрице камеры смартфона. Традиционно в его структуре есть фотодиод, который поглощает свет, специальная линза для фокусировки потока, а также цветовой фильтр (фильтр Байера), отвечающий за поглощение конкретного оттенка. Тем не менее, в смартфонах, камеры которых используют матрицы большого разрешения, применяется другое строение пикселей. Обычно каждый цветовой фильтр в данном случае предназначен не для одной, а сразу для нескольких точек, расположенных в квадрате 2×2 или 3×3 точек.
Таким образом, получается, что в камере на 48 Мп с пиксельным биннингом 2×2 в четыре раза меньше традиционных точек — 12 Мп, а в матрицах на 108 Мп с пиксельным биннингом 3×3 их в девять раз меньше — те же 12 Мп. Неужели производители таким нехитрым образом нас просто обманывают? Нет. Да, с одной стороны, вместо небольшого числа полноценных пикселей они предлагают нам в несколько раз больше неполноценных. Тем не менее, с другой стороны, кроме сугубо маркетинговых для конкретного производителя в данном подходе есть несколько очевидных преимуществ для обычного пользователя.
У пиксельного биннинга есть как преимущества, так и недостатки
✅ Плюсы:
Можно добиться высокой детализации. Когда вы снимаете в условиях более чем достаточного освещения, можно не применять процесс объединения отдельных пикселей и воспользоваться полным разрешением матрицы конкретного гаджета. В данном случае получится добиться максимальной детализации.
Зум становится более качественным. Речь в данном случае именно про его цифровой вариант. Когда света достаточно, можно просто сделать кроп с матрицы без необходимости растягивать картинку. В данном случае уменьшается число шумов и других возможных артефактов — в камерах смартфонов, которые используют пиксельный биннинг, обычно именно этот вариант и используется.
Расширяются возможности для HDR. При использовании большого числа пикселей можно добиться более продвинутой работы с широким динамическим диапазоном — заставить отдельные точки работать с разной выдержкой, чтобы создавать не только качественные фото, но даже HDR-видео.
❌ Минусы:
Большинство фото в низком разрешении. Пиксельный биннинг уменьшает разрешение снимка. Вместо 108 Мп в том же Samsung Galaxy S21 Ultra чаще всего будет использоваться именно 12 Мп — это особенно касается съемки в условиях недостаточного освещения: даже просто в помещении с искусственным светом.
Большая нагрузка на встроенное железо. Сегодня пиксельный биннинг чаще всего используется в смартфонах из верхнего ценового сегмента с топовыми чипами. Более слабые гаджеты обычно не справляются с обработкой огромного количества информации даже при объединении нескольких соседних пикселей в один. На роль исключения подходит Redmi Note 7, но таких примеров немного.
Почему Apple и Google игнорируют функцию пиксельного биннинга
В своих смартфонах Apple и Google используют камеры с матрицами на 12 Мп. Тем не менее, как и в случае с пиксельным биннингом, в данном случае отдельные пиксели также нельзя назвать традиционными. В каждой точке здесь используется по два фотодиода, поэтому их разрешение, в каком-то смысле, в два раза больше — 24 Мп вместо 12 Мп. Но, так как линза для фокусировки и цветовой фильтр на каждую такую пару только один, производители не играют в маркетинг. Да и чисто технически фотографировать в увеличенном разрешении они не дают, поэтому какие-то другие заявления были бы ошибкой.
Основным преимуществом подобного подхода является максимально высокая скорость фокусировки и низкая нагрузка не железо. Производители могут сосредоточиться не на обработке максимального количества пикселей, а на возможностях вычислительной фотографии. В этом они добились действительно интересных результатов. Чего только стоит возможность получения портретных изображений только с помощью одной камеры: в данном случае используется анализ разницы между информацией, полученной на каждый из пары фотодиодов в одном пикселе матрицы. Это — лишь один пример.
Какие перспективы могут быть у технологии пиксельного биннинга
Для начала пора смириться, что разрешение камеры давно превратилось в условный показатель, который не говорит о качестве съемки ровным счетом ничего. Производители матриц меняют принцип их работы, чтобы получить из их небольшого размера возможный максимум. В дальнейшем можно прогнозировать объединение двух подходов. К увеличению количества неполноценных точек с возможностью пиксельного биннинга прибавится и технология использования большего количества фотодиодов. На фоне роста производительности гаджетов это может дать интересный результат.
За последние пару лет камеры смартфонов существенно прибавили в разрешении — появились модули на 48, 64 и даже 108 Мп. Фотографии такого большого разрешения не нужны рядовому пользователю, поэтому по умолчанию телефон сохраняет их в формате 12 или 16 Мп. При этом используется технология биннинга. Давайте разберемся, что это такое.
Влияет ли размер пикселей на качество фотографии?
Для ответа на вопрос «что такое биннинг?» нужно понимать основы фотографии. Пиксель — это физический элемент модуля камеры, который «ловит» свет. Чем больше площадь пикселя, тем больше света он может захватить.
Например, компактная камера и профессиональный зеркальный фотоаппарат могут иметь одинаковое количество пикселей. Но у «зеркалки» размер пикселя будет намного больше.
Благодаря этому, изображение становится более детальным и имеет меньшее количество шумов. Особенно это актуально для ночной и вечерней фотографии. Динамический диапазон также возрастает при увеличении размера пикселя. В отличие от человеческого глаза, камера способна воспринять лишь ограниченный охват по яркости. Иногда в кадре сложно показать одновременно и солнце, и темные детали.
Размер пикселей измеряется в микронах (в 1 миллиметре — 1000 микрон). В основном модуле iPhone 12 Pro Max используются пиксели 1,7 мкм, в то время как у 12 Pro — «обычные» 1,4 мкм. Как это влияет на съемку? Большие пиксели улучшают качество фото при недостаточном освещении, в том числе в помещениях или в сумерках. Например, Pro Max в ночном режиме сокращает время выдержки из-за меньшего количества шумов в кадре. Оно составляет 2 секунды вместо 3 секунд, необходимых для iPhone 12 Pro.
У производителей есть два пути улучшения качества мобильной фотографии. Если дополнительно увеличить размер пикселя, то вырастет и размер самой камеры, что повлияет на габариты и вес смартфона. Мобильные камеры должны оставаться небольшими, чтобы сохранить общепринятую толщину смартфонов: никому не нужен огромный блок, торчащий из корпуса, хотя уже сегодня камеры зачастую слегка выступают за пределы задней панели. С другой стороны, можно уменьшить количество крупных пикселей, но тогда пострадает разрешение фото. Чтобы решить эту дилемму, был придуман компромиссный вариант — пиксельная бинаризация.
Как работает пиксельная бинаризация
Бинаризация или биннинг — это технология объединения соседних пикселей. Четыре небольших субпикселя превращаются в один большой «суперпиксель», а разрешение пропорционально падает в четыре раза.
Например, смартфон OnePlus Nord имеет основную камеру 48 Мп с размером пикселя 0,8 мкм. При съемке в стандартном режиме получится фото с разрешением 12 Мп, качество которого будет аналогично модулю с размером пикселя 1,6 мкм. При этом в приложении камеры также будут доступны «честные» 48 Мп, но снимать детализированные фото можно только при хорошем освещении, поскольку уровень шумов также возрастет.
Объединение пикселей происходит при помощи фильтра Байера. Сотрудник Kodak Брюс Байер запатентовал изобретение еще в 1976 году — это набор цветных фильтров, которым накрывают диоды матрицы. Он состоит на четверть из красных, на четверть из синих и на половину из зеленых элементов. Фильтр имитирует глаз человека, который наиболее восприимчив к желто-зеленому диапазону спектра.
Фильтр Байера группирует эти цвета в кластеры по четыре, а после того, как изображение сделано, используется программная обработка, которая объединяет пиксели, чтобы получить окончательное полноцветное изображение.
Технология совмещения пикселей оказалась успешной с точки зрения маркетинга. Основные производители смартфонов, включая Xiaomi, Huawei, Samsung и Realme, стали комплектовать камерами 48 и 64 Мп даже бюджетные модели.
Во флагманских решениях применяют 108 Мп. Главное отличие в том, что в этом случае объединяют уже не четыре, а девять пикселей в один.
Почему не все производители смартфонов используют биннинг
И хотя биннинг обеспечивает два варианта съемки (например, 12 Мп и 108 Мп) для одного и того же сенсора, на 12-мегапиксельном снимке, как и следовало ожидать, окажется меньше деталей по сравнению с фото, снятым на 108 Мп. По этой причине пиксельную бинаризацию не применяют повсеместно. Чаще всего она задействована в определенных режимах съемки.
Как определить, использует ли ваш смартфон биннинг? Если гаджет оснащен камерой от 32 Мп и выше, он почти гарантированно использует пиксельную бинаризацию. Кроме того, некоторые смартфоны, использующие камеры с более низким разрешением, также применяют биннинг. В их числе компания LG, которая использовала технологию для режима Super Bright в 16-мегапиксельных камерах, а также китайский производитель Xiaomi, который применил биннинг в камерах на 16 Мп и 20 Мп. Камеры на 16 Мп с пиксельной бинаризацией использовали в своих моделях Huawei и OnePlus. Тем не менее, это скорее исключение из правил, и камеры с более высоким разрешением лучше подходят для бинаризации. Если вы обладатель iPhone, то можно с уверенностью сказать, что ваш смартфон не использует биннинг. Apple пошла по другому пути: компания решила совершенствовать собственные технологии, чтобы улучшить режим ночной съемки. То же можно сказать и о Google: технологический гигант рассчитывает на собственные алгоритмы для оптимизации изображений и не торопится применять биннинг.
В целом, объединение пикселей — это удачное решение, которое позволяет получить яркие фотографии при слабом освещении, однако конечные изображения будут иметь меньшее разрешение по сравнению с камерой, при помощи которой были сделаны эти фото. Бинаризация остается компромиссом, на который приходится идти, чтобы смартфон показывал себя одинаково хорошо в различных условиях съемки. Однако смартфоны, оснащенные камерами с более низким разрешением, также могут создавать качественные изображения, если используют искусственный интеллект или детально проработанные программные настройки.
Производители работают над тем, чтобы увеличить размеры сенсора камеры и разместить там больше пикселей. Это позволит дополнительно улучшить фотографии посредством пиксельной бинаризации. Помимо этого, компании оптимизируют работу мобильных камер в целом. Так, ночные режимы используют более высокие значения ISO и длинную выдержку. Благодаря этому в будущем объединение пикселей, возможно, не будет использоваться столь широко: его заменят более современные технологии.
В прошлом году термин «объединение пикселей» регулярно всплывал при разговоре о фотографии со смартфона. Этот термин не вызывает восторга, но сегодня он используется во многих телефонах.
Важность пикселей или фото сайтов
Чтобы понять объединение пикселей, мы должны понять, что на самом деле представляет собой пиксель в этом контексте. Рассматриваемые пиксели также известны как фото-сайты и представляют собой физические элементы сенсора камеры, которые улавливают свет во время фотосъемки.
Размер пикселя обычно измеряется в микронах (миллионная часть метра), а все, что меньше одного микрона, считается малым. IPhone XS Max, Google Pixel 3 и Galaxy S10 камеры все предлагают большие 1,4 микрон пикселей.
Излишне говорить, что вы всегда хотите, чтобы ваши пиксели были большими, поскольку более крупный пиксель может просто улавливать больше света, чем меньший пиксель. Способность улавливать больше света означает лучшую производительность в пабе или в сумерках, когда свет на первом месте. Но сенсоры камеры смартфонов должны быть небольшими, чтобы помещаться в современные стройные рамки – если вы не возражаете против удара камеры.
Подход с объединением пикселей
Подводя итог в одном предложении, биннинг пикселей – это процесс, при котором данные из четырех пикселей объединяются в один. Таким образом, сенсор камеры с крошечными пикселями размером 0,9 микрона даст результаты, эквивалентные пикселям 1,8 микрона при съемке с разбивкой пикселей.
Как мы уже говорили в нашем объяснении камеры 48MP, представьте датчик камеры как двор, а пиксели / фотосайты как ведра, собирающие дождь во дворе. Вы можете поставить во дворе множество маленьких ведер или несколько больших ведер. Но объединение пикселей по сути эквивалентно объединению всех небольших сегментов в одно огромное, когда это необходимо.
Объединение пикселей, как правило, стало возможным благодаря использованию четырехъядерного фильтра Байера на датчиках камеры. Байера фильтр представляет собой цветной фильтр, используемый во всех цифровых датчиках камеры, сидя на вершине пикселей / фото сайтов и захват изображения с красными, зелеными и синими цветами.
Ваш стандартный фильтр Байера состоит из 50 процентов зеленых фильтров, 25 процентов красных фильтров и 25 процентов синих фильтров. Согласно фото-ресурсу Cambridge in Color, это устройство имитирует человеческий глаз, чувствительный к зеленому свету. После того, как это изображение будет захвачено, оно интерполируется и обрабатывается для получения окончательного полноцветного изображения.
Но четырехъядерный фильтр Байера группирует эти цвета в кластеры по четыре, а затем использует программную обработку преобразования массива для включения объединения пикселей. Расположение кластеров обеспечивает дополнительную световую информацию во время процесса преобразования массива, что делает его лучше, чем простая интерполяция / масштабирование до 48MP. Посмотрите на изображение выше, чтобы увидеть, как работает четырехбайеровский фильтр – заметили, чем группировка различных цветов отличается от традиционного байеровского фильтра? Вы также заметите, что он по-прежнему предлагает 50 процентов зеленых фильтров, 25 процентов красных фильтров и 25 процентов синих фильтров.
Применяя четырехъядерный фильтр Байера и биннинг пикселей, вы получаете преимущество снимков сверхвысокого разрешения в течение дня и снимков с более низким разрешением ночью. И эти ночные снимки должны быть ярче и иметь меньший шум по сравнению с снимком с полным разрешением.
Кто сейчас использует биннинг пикселей?
Если у производителя есть телефон с камерой на 32 Мп, 40 Мп или 48 Мп, то он почти гарантированно предлагает эту функцию. Среди выдающихся устройств в этом отношении – серия Xiaomi Redmi Note 7, Xiaomi Mi 9, Honor View 20, Huawei Nova 4, Vivo V15 Pro и ZTE Blade V10.
Но мы также видим бренды с камерами с более низким разрешением, предлагающие варианты объединения пикселей, такие как LG G7 ThinQ и V30s ThinQ. Эти устройства предлагают режим Super Bright на своих 16-мегапиксельных камерах с использованием объединения пикселей для получения более ярких 4-мегапиксельных снимков. Мы даже видели, как такие бренды, как Xiaomi, используют камеры 16MP и 20MP с объединением пикселей, такие как Xiaomi Redmi S2 и Mi A2 соответственно.
Очевидно, что камеры с более высоким разрешением кажутся более подходящими для этой техники (особенно на камерах заднего вида), поскольку выходное разрешение не является низким. Но это также заставляет задуматься, как высоко вы можете подняться. Что ж, новое интервью предполагает, что камеры на 64 МП и 100 МП + находятся в разработке.
Убывающая отдача?
В конце концов, если у нас есть 64-мегапиксельная камера с суперкрошечными 0,5-микронными пикселями, то снимок с разбиением пикселей будет фактически эквивалентом 16-мегапиксельного изображения с одним микронным пикселем. Таким образом, производитель приложит все усилия, чтобы получить результаты, аналогичные селфи-камере OnePlus 6T или основной камере LG G7. Почему бы просто не использовать 12-мегапиксельный сенсор, аналогичный сериям Google Pixel или Samsung Galaxy S10?
Одна из возможностей заключается в том, что эти камеры сверхвысокого разрешения могут объединять данные с еще большего количества пикселей, чтобы повысить производительность при слабом освещении. Но неясно, возможно ли это сейчас с помощью объединения пикселей. Тем не менее, Nokia 808 PureView использовал так называемый метод передискретизации для объединения данных с 14 пикселей для получения более чистого 3-мегапиксельного снимка. И если 3MP – это слишком низкое разрешение на ваш вкус, тогда камера также способна объединять данные из восьми пикселей для лучшего снимка 5MP (или данные из пяти пикселей для снимка 8MP).
Хотя это далеко не новая технология, вы, возможно, слышали, что термин «пиксельное объединение» появляется все чаще и чаще в отношении ряда недавно анонсированных смартфонов, таких как Samsung Galaxy S20 Ultra, и поинтересовались, что это означает. Вы можете быть особенно обеспокоены тем, что это означает для качества изображений вашего смартфона.
Во-первых, нам, вероятно, нужно быстрое напоминание о том, что именно представляет собой пиксель. Проще говоря, пиксель, который является сокращением от «элемента изображения», является наименьшей единицей цифрового изображения, часто рассматриваемой как маленькие точки, которые видны, когда вы внимательно смотрите на экран..
Слово «пиксель» также часто используется для описания отдельных полостей захвата света, обнаруженных на датчиках камеры, хотя технически они называются «фотосайтами». Однако, ради простоты в этом объяснителе «пиксельного биннинга», мы будем использовать «пиксель», чтобы описать их тоже.
Пиксели камеры смартфона имеют тенденцию варьироваться от довольно маленьких (0,8 микрона) до довольно больших (1,8 микрона). Но они все еще бледны по сравнению с тем, что можно найти на беззеркальной камере или зеркальной камере. Пиксели, найденные в датчиках полнокадровых камер, могут достигать 8,4 микрон, поэтому они, как правило, намного лучше для съемки при слабом освещении, чем смартфон, особенно когда вы внимательно изучаете изображение.
Google Pixel 4 (Изображение предоставлено в будущем).
Проблема, с которой сталкиваются смартфоны, заключается в том, что физический размер их сенсора обязательно мал, поскольку его необходимо размещать в относительно небольшом устройстве. За прошедшие годы размеры сенсоров внутри смартфонов несколько увеличились, но вы никогда не собираетесь втиснуть сенсор размером с DSLR в тонкий смартфон.
Вы можете уменьшить количество пикселей на датчике, чтобы обеспечить максимальный размер каждого пикселя. Но тогда вы получите изображения с довольно низким разрешением. Вы можете увеличить количество пикселей, но также увеличить размер сенсора. Это невозможно физически, не делая смартфоны еще больше или шире.
Хотя некоторые современные смартфоны довольно массивны, если они тоже станут толще, то вряд ли они будут столь популярны. Наконец, вы можете использовать большое количество пикселей на небольшом датчике, надеясь, что большинство пользователей будут снимать в основном при хорошем освещении..
Что такое пиксельный биннинг?
Снимки Xiaomi Mi Note 10 с разрешением 108 Мпикс снимаются до 27 Мп. (Изображение предоставлено: Будущее)
Если вы выберете тему Google, вы найдете множество и разнообразных (и чрезмерно сложных) описаний того, как именно работает пиксельное биннинг, а также множество обсуждений о преимуществах или иных последствиях..
Является ли Pixel Binning единственным решением?
IPhone 11 Pro Max имеет особенно хороший ночной режим. (Изображение предоставлено: Будущее)
Pixel binning используется не каждым производителем. Например, Apple и Google используют относительно «скромные» 12-мегапиксельные датчики в своих устройствах, склоняясь к вычислительной фотографии для повышения производительности при слабом освещении. Наличие большого количества деталей также, возможно, совершенно не нужно, если единственное место, где вы когда-либо будете смотреть на свои изображения, находится на экране телефона..
Существуют также способы решения проблемы слабой освещенности, связанные с использованием камеры смартфона и ее программного обеспечения, а не с аппаратным решением, которое обеспечивает пиксельное объединение. В некоторых телефонах есть «Ночные режимы», которые снимают серию коротких экспозиций и объединяют их вместе, создавая впечатление, что они дают больше света. Вы также можете использовать реальные длинные экспозиции, если у вас есть штатив или устойчивая поверхность под рукой..
Тем не менее, смартфоны с датчиками низкого разрешения не будут автоматически откладываться, поскольку они также могут создавать превосходные изображения с использованием различных методов, таких как искусственный интеллект или программные настройки..
Читайте также: