Фильтр байера в матрице цифрового фотоаппарата какие цвета содержит

Обновлено: 03.07.2024

Содержание

Принцип работы

Принцип действия элементов массива Байера

В классическом фильтре Байера применяются светофильтры трёх основных цветов в следующем порядке:

При этом "цветных" фотодиодов зелёного цвета в каждой ячейке в два раза больше, чем фотодиодов других цветов, откуда видно, что составляющая зелёного цвета, полученная фотоматрицей равна половине спектра света [[RGB], соответственно - четверть красного и четверть — синего. Это принято в связи с особенностями человеческого глаза, который воспринимает зелёный цвет лучше остальных.

Поскольку в такой ситуации потеря информации о цвете становится особенно заметна в зоне зеленых цветов, был разработан модифицированный фильтр Байера (GREB-фильтр), в котором половина зелёных ячеек заменена светло-голубыми (изумрудными), что позволяет добится более точной Дебайеризация

Поскольку фильтр Байера для каждого пикселя выдаёт только 1/3 цветовой информации, для восстановления «потерянных» данных используют алгоритмы, осуществляющие т. н. дебайеризацию. Простая Open Source конвертера dcraw , о чём многие авторы программ-конвертеров (например, SilkyPix) честно упоминают в документации на программу.

Артефакты дебайеризации на примере женской причёски. Canon PowerShot A610 с использованием Альтернативы, достоинства, недостатки

Другое расположение светофильтров

Также иногда применяются CYGM-фильтры :

Матрицы с фильтрами RGBW:

Фильтры RGBW в нормальных условиях панхроматического освещения дают бо́льшую светочувствительность, но худшую цветопередачу. На освещении, близком к монохроматическому, RGBW превосходит по всем параметрам сенсороы с RGB-фильтрами.

Альтернативы фильтру Байера

Трёхматричная система

Многослойные фотосенсоры

Пример применения метода Байера

Сфотографируем исходный объект (для наглядности его часть увеличена):

При этом получаются три цветовые составляющие:

Таким образом, мы получили изображение, каждый пиксель которого содержит только одну цветовую составляющую одной из предметных точек (1/3 аналогового сигнала), спроектированных на него объективом. И только 4 предметных точек, рядом расположенных и спроектированных объективом на блок пикселей RGGB, приближенно формируют полный набор RGB 1-й усредненной предметной точки. Далее, процессор камеры должен, используя специальные математические методы интерполяции, рассчитать для каждой точки недостающие цветовые составляющие. В результате получается следующее изображение:

Кроп или фулл фрейм? Камера смартфона или зеркалка? Ответы на эти и подобные вопросы можно дать самому, если понять, как устроены современные фотокамеры. Статья «Устройство фотоматрицы» прольёт свет на некоторые аспекты этого вопроса.

Ко времени разработки фото матрицы существовали матрицы излучающие. Излучают матрицы в цветовой модели RGB. Суть её в том, что каждая ячейка матрицы делится на 3 субячейки которые представляют собой Red (красный), Green (зелёный) и Blue (синий) люминофоры. Такая система применялась на Электронно Лучевых Трубках (ЭЛТ), а также на всех типах современных ЖК матриц.

Разработчики фото матриц изначально пошли по тому же пути, но столкнувшись с трудностями стали искать альтернативу. В чём же проблемы такого подхода у фото матрицы?

Проблемы фотоматриц

Фотоматрица является устройством, воспринимающим спроецированное на неё изображение. Поскольку полупроводниковые фотоприёмники примерно одинаково чувствительны ко всем цветам видимого спектра, для восприятия цветного изображения каждый фотоприёмник накрывается светофильтром одного из первичных цветов: красного, зелёного или синего (цветовая модель RGB). В результате каждая фото ячейка воспринимает только световой поток, пропускаемый своим фильтром, а это 1/3 информации, остальные же 2/3 фотонов попросту теряются и становятся невидимы для фото матрицы. В условиях борьбы за каждый фотон, потеря 2/3 светового потока непозволительное расточительство.

На помощь пришла наука. В 1976 г. сотрудник Kodak Брайс Э. Байер получил патент США на своё изобретение «чувствительная матрица для цветного изображения». Поэтому фильтр Байера часто называют матрицей Байера. Байер был пионером, он начал заниматься этими исследованиями, когда о цифровых фото матрицах ещё никто не помышлял.

В матрице Байера половина фотофильтров зелёные, а другая половина поделена поровну между красными и синими. Преимущества отданы зелёному, по аналогии с человеческим глазом. Это позволяет лучше фиксировать контраст и улучшает ночное зрение фотоматрицы. Но такой подход лишает снимок части цветности. Каждый элементарный фотодиод фиксирует информацию о яркости только своего пикселя в частичном цветоделённом изображении. Недостающие компоненты цвета рассчитываются процессором камеры на основании данных из соседних ячеек в результате интерпретации этих данных при помощи алгоритма под названием дебайеризация или демозаизации. При этом происходит разделение пикселей, регистрирующих красный, зелёный и синий цвета, а затем информация преобразуется в цветной файл.

Простая билинейная интерполяция для этого не подходит, так как яркие объекты при этом приобретают цветную кайму (см. Рис. 3.). Таким образом, в формировании конечного цветового значения пикселя участвует 9 или более фотодиодов матрицы. Производители цифровых фотоаппаратов и RAW-конвертеров используют собственные адаптивные алгоритмы, защищённые авторским правом. Впрочем, алгоритмы и настройки большинства RAW-конвертеров базируются на исходниках dcraw — конвертера с открытым кодом, о чём многие авторы программ-конвертеров (например, SilkyPix) честно упоминают в документации на программу.

Кроме фильтра Байера в матрицах фотоаппаратов могут применяться и другие решения (см. таблицу).

Впрочем, это математика, а какие технологические приёмы используют производители для создания фотоматриц?

Технологии устройства матриц

По технологии устройства фото матриц можно разделить на 3 типа:

ПЗС (CCD)
КМОП (CMOS)
КМОП с обратной засветкой (BSI CMOS)

Рассмотрим их чуть подробнее.

Фотоматрица ПЗС (CCD)

Самый старый представитель фотоматриц, изобретенный ещё в 1969 году. Однако активно вкладываться и развивать эту технологию стала именно Sony. В настоящее время эти фотоматрицы не часто используются и, фактически, отмирают, уступая более современным технологиям.

Фотоматрица КМОП (CMOS)

В конце 1960-х гг. многие исследователи отмечали, что структуры КМОП (CMOS) обладают чувствительностью к свету. Однако приборы с зарядовой связью (ПЗС) обеспечивали настолько более высокую светочувствительность и качество изображения, что КМОП-матрицы не получили сколько-нибудь заметного развития. Разработка не была доведена до стадии технологии.

О ней вспомнили в 1990-х, когда предметно-технологическое множество существенно расширилось и узкие места в КМОП (CMOS) структурах удалось заменить отработанными технологиями. Прогресс в субмикронной фотолитографии позволил применять в КМОП-сенсорах более тонкие соединения. За счёт большего процента облучаемой площади КМОП-матрицы удалось увеличить её светочувствительность. Таким образом весь проект стал более технически совершенным и реализуемым.

Переворот в технологии КМОП-сенсоров произошел, когда в лаборатории реактивного движения (Jet Propulsion Laboratory — JPL) NASA успешно реализовали Active Pixel Sensors (APS). Теоретические исследования были выполнены ещё несколько десятков лет тому назад, но практическое использование активного сенсора отодвинулось до 1993 года. APS добавляет к каждому пикселу транзисторный усилитель для считывания, что даёт возможность преобразовывать заряд в напряжение прямо в пикселе. Это обеспечило также произвольный доступ к фотодетекторам наподобие реализованного в микросхемах ОЗУ.

Фотодиод ячейки занимает существенно меньшую площадь элемента матрицы, по сравнению с ПЗС матрицей с полнокадровым переносом. Поэтому ранние матрицы КМОП имели существенно более низкую светочувствительность, чем ПЗС. Но в 2007 году компания Sony выпустила на рынок новую линейку видео- и фотокамер, оснащёнными КМОП-матрицами нового поколения, с технологией EXMOR, которая ранее применялась только для КМОП-матриц в специфических оптических устройствах таких как электронные телескопы. В этих матрицах электронная «обвязка» пиксела, препятствующая продвижению фотонов на светочувствительный элемент, была перемещена из верхнего в нижний слой фото матрицы, что позволило увеличить как физический размер пиксела при тех же геометрических размерах матрицы, так и доступность элементов свету, что, соответственно, увеличило светочувствительность каждого пиксела и матрицы в целом. Фотоматрицы КМОП впервые сравнялись с ПЗС-матрицами по светочувствительности, но оказались более энергосберегающими и лишенными главного недостатка ПЗС-технологии — «боязни» точечного света. В 2009 году компания Sony улучшила КМОП-матрицы с технологией EXMOR применив к ним технологию «Backlight illumination» («освещение с задней стороны» или «матрицы с обратной засветкой»).
КМОП матрицы потребляют меньше энергии, дешевле в производстве, имеют более чёткую балансировку белого и другие преимущества. Всё это сыграло свою роль в их доминировании.

Преимущества КМОП-матриц

Основное преимущество КМОП технологии — низкое энергопотребление в статическом состоянии. Это позволяет применять такие матрицы в составе энергонезависимых устройств, например, в датчиках движения и системах наблюдения, находящихся большую часть времени в режиме «сна» или «ожидания события».
Важным преимуществом КМОП матриц является единство технологии с остальными, цифровыми элементами аппаратуры. Это приводит к возможности объединения на одном кристалле аналоговой, цифровой и обрабатывающей части (КМОП-технология, являясь в первую очередь процессорной технологией, подразумевает не только «захват» света, но и процесс преобразования, обработки, очистки сигналов не только собственно-захваченных, но и сторонних компонентов РЭА), что послужило основой для миниатюризации камер для самого разного оборудования и снижения их стоимости ввиду отказа от дополнительных процессорных микросхем.
С помощью механизма произвольного доступа можно выполнять считывание выбранных групп пикселов. Данная операция получила название кадрированного считывания (англ. windowing readout). Кадрирование позволяет уменьшить размер захваченного изображения и потенциально увеличить скорость считывания по сравнению с ПЗС-сенсорами, поскольку в последних для дальнейшей обработки необходимо выгрузить всю информацию. Появляется возможность применять одну и ту же фотоматрицу в принципиально различных режимах. В частности, быстро считывая только малую часть пикселей, можно обеспечить качественный режим живого просмотра изображения на встроенном в аппарат экране с относительно малым числом пикселей. Можно отсканировать только часть кадра и использовать её для отображения на весь экран. И тем самым, получить возможность качественной ручной фокусировки. Допустимо вести скоростную репортажную съёмку с меньшим размером кадра и разрешением.
В дополнение к усилителю внутри пиксела, усилительные схемы могут быть размещены в любом месте по цепи прохождения сигнала. Это позволяет создавать усилительные каскады и повышать чувствительность в условиях плохого освещения. Возможность изменения коэффициента усиления для каждого цвета улучшает, в частности, балансировку белого.
Дешевизна производства в сравнении с ПЗС-матрицами, особенно при больших размерах фотоматриц.

КМОП-матрица с обратной засветкой (BSI CMOS)

Рис. 4. Сравнение технологий передней и обратной подсветки.

Это развитие КМОП технологии. Технологию Back-side illumination Яndex переводит как «Подсветка задней стороны». Встречаются также варианты «матрица с задней подсветкой», но наиболее благозвучный и устоявшийся – это «матрица с обратной засветкой».
Сам термин не является «говорящим». Скорее всего, название технологии придумано англоговорящими и построено на игре слов. Обычная КМОП-технология называется Front Illuminated, а усовершенствованная – Back Illuminated.

В интернете можно встретить описания КМОП-технологии с обратной засветкой, будто за фотоматрицей расположена отражающая подложка, возвращающая фотоны обратно в матрицу.
Либо что конструкция чем-то напоминает кошачий глаз, собирая не попавшие в фотодиоды фотоны, и вновь проецируя их на фотоматрицу, в результате чего у матрицы появляется «ночное зрение».

Но всё это выдумки и, прямо скажем, маркетинговые утки. На самом деле, свет на фотоприемники поступает точно так же, как и всегда. Основная суть изменений состоит в том, что служебные области пиксела, которые отвечают за снятие сигнала с фотоприемников и их обнуление (электропроводка), перенесли в нижний слой, увеличив тем самым площадь приёмника при том же самом размере пиксела. Реальный выигрыш по эффективной площади пиксела получился примерно 10-15% (для матриц размером 1/2,5"-1/2,3"), так что говорить о двукратном увеличении чувствительности – не серьезно. Это подтверждается и инструментальными тестами SONY HX1, имеющей такую матрицу.

Фильтр Байера мозаики является массивом цветовой фильтр (CFA) для размещения RGB цветных фильтров на квадратной сетке фотодатчиков. Особое расположение цветных фильтров используется в большинстве однокристальных цифровых датчиков изображения, используемых в цифровых камерах, видеокамерах и сканерах для создания цветного изображения. Шаблон фильтра наполовину зеленый, одна четверть красный и одну четверть синий, следовательно , также называется BGGR, RGBG , GRBG или RGGB .

Он назван в честь своего изобретателя Брайса Байера из компании Eastman Kodak . Байер также известен своей рекурсивно определенной матрицей, используемой для упорядоченного дизеринга .

Альтернативы фильтру Байера включают в себя как различные модификации цветов и компоновки, так и совершенно разные технологии, такие как совмещенная выборка цвета , датчик Foveon X3 , дихроичные зеркала или прозрачная решетка дифракционных фильтров.

СОДЕРЖАНИЕ

Объяснение

Оригинальная сцена
Выходной сигнал датчика размером 120 × 80 пикселей с фильтром Байера
Цветовой код на выходе с использованием цветов фильтра Байера
Восстановленное изображение после интерполяции отсутствующей информации о цвете
Полная версия RGB с разрешением 120 × 80 пикселей для сравнения (например, при сканировании пленки, может появиться изображение Foveon или сдвиг пикселей )

Патент Брайса Байера (патент США № 3,971,065) в 1976 году назвал зеленые фотодатчики чувствительными к яркости элементами, а красный и синий - чувствительными к цветности элементами . Он использовал в два раза больше зеленых элементов, чем красных или синих, чтобы имитировать физиологию человеческого глаза . Восприятие яркости сетчатки человека использует комбинацию клеток колбочек M и L. при дневном зрении, которые наиболее чувствительны к зеленому свету. Эти элементы называются сенсорными элементами , сенсорами , пиксельными сенсорами или просто пикселями ; значения выборок, воспринимаемые ими, после интерполяции становятся пикселями изображения . Когда Байер зарегистрировал свой патент, он также предложил использовать комбинацию голубого-пурпурно-желтого , то есть еще один набор противоположных цветов. В то время такое расположение было непрактичным, потому что необходимых красителей не существовало, но они используются в некоторых новых цифровых камерах. Большим преимуществом новых красителей CMY является то, что они обладают улучшенными характеристиками светопоглощения; то есть их квантовая эффективность выше.

Сырья выход Байер-фильтра камер упоминается как шаблон Байера изображения. Поскольку каждый пиксель фильтруется для записи только одного из трех цветов, данные каждого пикселя не могут полностью определять каждое из значений красного, зеленого и синего цветов отдельно. Чтобы получить полноцветное изображение, можно использовать различные алгоритмы демозаики для интерполяции набора полных значений красного, зеленого и синего цветов для каждого пикселя. Эти алгоритмы используют окружающие пиксели соответствующих цветов для оценки значений для конкретного пикселя.

Различные алгоритмы, требующие разной вычислительной мощности, приводят к получению конечных изображений разного качества. Это можно сделать в камере, создав изображение в формате JPEG или TIFF , или вне камеры, используя необработанные данные непосредственно с датчика. Поскольку вычислительная мощность процессора камеры ограничена, многие фотографы предпочитают выполнять эти операции вручную на персональном компьютере. Чем дешевле камера, тем меньше возможностей повлиять на эти функции. В профессиональных фотоаппаратах функции коррекции изображения полностью отсутствуют, либо их можно отключить. Запись в Raw-формате дает возможность вручную выбрать алгоритм демозаики и управлять параметрами трансформации, что используется не только в потребительской фотографии, но и при решении различных технических и фотометрических задач.

Демозаика

Демозаика может выполняться по-разному. Простые методы интерполируют значение цвета пикселей одного цвета в окрестности. Например, после того, как чип подвергся воздействию изображения, каждый пиксель может быть прочитан. Пиксель с зеленым фильтром обеспечивает точное измерение зеленой составляющей. Красный и синий компоненты для этого пикселя получены от соседей. Для зеленого пикселя два красных соседа могут быть интерполированы для получения красного значения, также два синих пикселя могут быть интерполированы для получения синего значения.

Этот простой подход хорошо работает в областях с постоянным цветом или плавными градиентами, но он может вызвать артефакты, такие как растекание цвета, в областях, где есть резкие изменения цвета или яркости, особенно заметные вдоль острых краев изображения. Из-за этого другие методы демозаики пытаются идентифицировать высококонтрастные края и интерполировать только по этим краям, но не по ним.

Другие алгоритмы основаны на предположении, что цвет области изображения относительно постоянен даже при изменении условий освещения, так что цветовые каналы сильно коррелированы друг с другом. Следовательно, сначала интерполируется зеленый канал, затем красный, а затем синий канал, так что соотношение цветов красный-зеленый и сине-зеленый остается постоянным. Существуют и другие методы, которые делают различные предположения о содержимом изображения и, начиная с этой попытки, вычисляют недостающие значения цвета.

Артефакты

Изображения с мелкомасштабными деталями, близкими к пределу разрешения цифрового датчика, могут быть проблемой для алгоритма демозаики, давая результат, не похожий на модель. Наиболее частым артефактом является муар , который может проявляться в виде повторяющихся узоров, цветовых артефактов или пикселей, расположенных в виде нереалистичного лабиринтного узора.

Артефакт ложного цвета

Распространенный и неудачный артефакт интерполяции или демозаики Color Filter Array (CFA) - это то, что известно и рассматривается как ложное окрашивание. Обычно этот артефакт проявляется по краям, где резкие или неестественные изменения цвета происходят в результате неправильной интерпретации по краю, а не по краю. Существуют различные методы предотвращения и устранения этой ложной окраски. Плавная интерполяция перехода оттенков используется во время демозаики, чтобы предотвратить проявление ложных цветов на конечном изображении. Однако есть и другие алгоритмы, которые могут удалить ложные цвета после демозаики. Их преимущество заключается в удалении ложных артефактов окраски из изображения при использовании более надежного алгоритма демозаики для интерполяции красной и синей цветовых плоскостей.

Три изображения, изображающие артефакт демозаики в искусственных цветах.

Застегивающийся артефакт

Артефакт застежки-молнии - еще один побочный эффект демозаики CFA, который также возникает в основном по краям, известный как эффект застежки-молнии. Проще говоря, застежка-молния - это еще одно название размытия краев, которое происходит при включении / выключении рисунка вдоль края. Этот эффект возникает, когда алгоритм демозаики усредняет значения пикселей по краю, особенно в красной и синей плоскостях, что приводит к характерному размытию. Как упоминалось ранее, лучшими методами предотвращения этого эффекта являются различные алгоритмы, которые интерполируют вдоль, а не по краям изображения. Интерполяция распознавания образов, адаптивная интерполяция цветовой плоскости и интерполяция с направленным взвешиванием - все они направлены на предотвращение образования молний путем интерполяции по краям, обнаруженным на изображении.

Три изображения, изображающие застегивающийся артефакт демозаики CFA

Однако даже с теоретически совершенным датчиком, который мог бы улавливать и различать все цвета на каждом фотосайте, все равно мог появиться муар и другие артефакты. Это неизбежное следствие любой системы, которая производит выборку непрерывного сигнала в дискретных интервалах или точках. По этой причине большинство фотографических цифровых датчиков включают в себя так называемый оптический фильтр нижних частот (OLPF) или фильтр сглаживания (AA) . Обычно это тонкий слой непосредственно перед датчиком, который эффективно размывает любые потенциально проблемные детали, разрешение которых превышает разрешение датчика.

Модификации

Фильтр Байера почти универсален для бытовых цифровых фотоаппаратов. Альтернативы включают фильтр CYGM ( голубой , желтый , зеленый, пурпурный ) и фильтр RGBE (красный, зеленый, синий, изумрудный ), которые требуют аналогичного демозаики. Датчик Foveon Х3 (который красные слои, зеленый и синие датчикам вертикально , а не с использованием мозаики) и расположение три отдельных ПЗСА ( по одному для каждого цвета) не нужны демозаики.

«Панхроматические» клетки

14 июня 2007 г. компания Eastman Kodak анонсировала альтернативу фильтру Байера: шаблон цветового фильтра, который увеличивает светочувствительность датчика изображения в цифровой камере за счет использования некоторых «панхроматических» ячеек, чувствительных ко всем длинам волн видимого диапазона. свет и собирать большее количество света, падающего на датчик. Они представляют несколько паттернов, но ни один из них не содержит повторяющегося элемента, такого маленького, как блок 2 × 2 паттерна Байера.

В другой патентной заявке США 2007 года, поданной Эдвардом Т. Чангом, заявлен датчик, в котором «цветной фильтр имеет структуру, состоящую из блоков пикселей 2 × 2, состоящих из одного красного, одного синего, одного зеленого и одного прозрачного пикселя» в предполагаемой конфигурации. включить инфракрасную чувствительность для повышения общей чувствительности. Патент Kodak был подан раньше.

Такие ячейки ранее использовались в датчиках CMYW (голубой, пурпурный, желтый и белый) и RGBW (красный, зеленый, синий, белый), но компания Kodak еще не сравнивала с ними новый шаблон фильтра.

Массив цветных фильтров Fujifilm "EXR"

Матрицы цветных фильтров Fujifilm EXR производятся как на ПЗС ( SuperCCD ), так и на КМОП (BSI CMOS). Как и в случае с SuperCCD, сам фильтр повернут на 45 градусов. В отличие от обычных фильтров Байера, всегда есть два соседних фотосайта, определяющих один и тот же цвет. Основная причина этого типа массива заключается в том, чтобы способствовать «биннированию» пикселей, когда два соседних фотосайта могут быть объединены, что делает сам датчик более «чувствительным» к свету. Другая причина заключается в том, что датчик записывает две разные экспозиции, которые затем объединяются для получения изображения с большим динамическим диапазоном. Базовая схема имеет два канала считывания, которые берут информацию из чередующихся рядов датчика. В результате он может действовать как два чередующихся сенсора с разным временем экспозиции для каждой половины фотосайтов. Половину фотосайтов можно намеренно недоэкспонировать, чтобы полностью захватить более яркие области сцены. Эта сохраненная информация о яркости затем может быть смешана с выходным сигналом другой половины датчика, который регистрирует «полную» экспозицию, опять же с использованием близкого расстояния между одинаково окрашенными фотосайтами.

Фильтр Fujifilm "X-Trans"

Повторяющаяся сетка 6 × 6, используемая в датчике x-trans

Датчик Fujifilm X-Trans CMOS, используемый во многих камерах Fujifilm серии X, как утверждается, обеспечивает лучшую устойчивость к цветному муару, чем фильтр Байера, и поэтому они могут быть изготовлены без фильтра сглаживания. Это, в свою очередь, позволяет камерам, использующим датчик, достигать более высокого разрешения при том же количестве мегапикселей. Кроме того, заявлено, что новый дизайн снижает количество ложных цветов за счет наличия красных, синих и зеленых пикселей в каждой строке. Также говорят, что расположение этих пикселей обеспечивает зернистость, больше похожую на пленку.

Один из основных недостатков заключается в том, что для поддержки пользовательского шаблона может отсутствовать полная поддержка в стороннем программном обеспечении для обработки необработанных данных, таком как Adobe Photoshop Lightroom, где добавление улучшений заняло несколько лет.

Quad Bayer

Sony представила массив цветных фильтров Quad Bayer, который впервые был представлен в Huawei P20 Pro, выпущенном 27 марта 2018 года. Quad Bayer похож на фильтр Байера, однако смежные 2x2 пикселя имеют одинаковый цвет, шаблон 4x4 включает 4x синий, 4x красный, и 8x зеленых. Для более темных сцен обработка сигнала может объединять данные из каждой группы 2x2, по сути, как более крупный пиксель. Для более ярких сцен обработка сигнала может преобразовать Quad Bayer в обычный фильтр Байера для достижения более высокого разрешения. Пиксели в Quad Bayer могут работать в режиме длительной интеграции и кратковременной интеграции для достижения одиночного кадра HDR, что снижает проблемы наложения. Quad Bayer также известен как Tetracell от Samsung и 4-cell от OmniVision .

26 марта 2019 года была анонсирована серия Huawei P30 с RYYB Quad Bayer с рисунком 4x4, включающим 4x синий, 4x красный и 8x желтый.

Nonacell

12 февраля 2020 года был анонсирован Samsung Galaxy S20 Ultra с поддержкой Nonacell CFA. Nonacell CFA похож на фильтр Байера, однако соседние пиксели 3x3 имеют одинаковый цвет, шаблон 6x6 включает 9x синий, 9x красный и 18x зеленый.

Два месяца тому назад в статье, посвящённой сравнению LCD и E-Ink дисплеев, я упомянул, что одним из следующих обзоров будет «вскрытие» матрицы современного фотоаппарата. И спешу исполнить данное обещание!

Первым в «коллекцию» светочувствительных матриц попали фронтальная и задняя камеры смартфона одного известного корейского производителя, который был любезно предоставлен Василием Столяровым. Затем хабраюзер DarkWood, живущий недалеко от Москвы, прислал мне свой старенький неработающий фотоаппарат фирмы Pentax (здесь и далее я намеренно не буду указывать точную модель девайсов). Девайс был мёртв и это был хороший повод сдать его в мои заботливые руки, а не выкидывать, как многие делают.

И как только я собрался пилить, поступило ещё одно предложение от моего практически однокурсника, Ильи. От этого предложение я не мог отказаться. Мне презентовали относительно современный Canon, у которого были проблемы со съёмкой изображений.

Таким образом, на красно-революционно-первомайский стол ложатся три кандидата: OEM камера из телефона и фотоаппараты Pentax (самый пожилой среди всех участников) и Canon (пожалуй, самый молодой).

Если ещё кто-то не знает, зачем мы здесь собрались, то в подвале данной статьи есть ссылки на предыдущие «вскрытия». Если же кто-то запамятовал, как работает цифровой фотоаппарат или зачем нужна матрица, то милости просим на Wiki или просто посмотрите это видео от канала Discovery:

Часть теоретическая. CCD и CMOS

На сегодняшний день матрицы, выполненные по технологии CMOS (Complementary Metal-Oxide Semiconductor) завоевали более 90% мирового рынка, а не так давно безумно популярным CCD (Charge-Coupled Device) уже пророчат скорый закат.

Причин тому масса, вот далеко не полный список преимуществ CMOS-технологии: во-первых, низкое энергопотребление в статическом состоянии по сравнению с CCD, во-вторых, CMOS сразу «выдаёт» цифровой сигнал, который не требует дополнительного преобразования (точнее преобразование происходит на каждом отдельном субпикселе), в отличие от CCD, которое является фактически аналоговым устройством, в-третьих, дешевизна производства, особенно при больших размерах матриц.

Кратко ознакомиться с принципами работы CMOS-матриц можно с помощью в двух видео от компании Canon:

Но все наши пациенты (может быть, за исключением матрицы камеры мобильного телефона) относятся к той эпохе, когда миром безраздельно правил CCD, а CMOS только набирался сил и светочувствительности, чтобы впоследствии занять лидирующие позиции. Поэтому несколько слов, всё же, скажу о том, как работает CCD-матрица. Более подробное описание всегда можно найти на страницах Wiki.

Итак, фотон от объекта съёмки, пройдя сквозь фильтр Байера, то есть цветофильтр типа RGBG, или фильтр RGBW и собирающую микролинзу, попадает на светочувствительный полупроводниковый материал. Поглощаясь, фотон порождает электро-дырочную пару, которая в ячейке под действием внешнего электрического поля «разделяется», и электрон «отправляется» в копилку – потенциальную яму, где он будет ожидать «чтения».

Схема устройства CCD матрицы (Источник)

Чтение же в CCD матрицы происходит «поячеечно», если так можно выразиться. Пусть мы имеем массив 5 на 5 пикселей. Сначала мы считываем количество электронов, а по-простому величину электрического тока, с первого пикселя. Затем специальный контроллер «сдвигает» все ячейки на одну, то есть заряд из второй ячейки перетекает в первую. Опять считывается значение и так, пока не будут прочитаны все 5 ячеек. Далее уже другой контроллер сдвигает оставшееся «изображение» на одну строчку вниз и процесс повторяется, пока не будут измерены токи во всех 25 ячейках. Может показаться, что это долгий процесс, однако для 5 миллионов пикселей он занимает считанные доли секунд.

Процесс считывания изображения с CCD матрицы (Источник)

Чтобы было совсем понятно, предлагаю ознакомиться со следующими видео:

Часть практическая

Обычно красивыми разборами занимаются люди в белоснежных перчатках, недавно они добрались и до фотоаппаратов, однако поговаривают, что за видео-инструкцию по сборке необходимо доплатить, отправив смс на короткий номер. Далее будут применяться чуть более чем полностью топорные методы, так что не советую повторять это в домашних условиях…

Как разбирался сотовый телефон всегда можно посмотреть на страницах предыдущей статьи, поэтому не буду здесь приводить эти душераздирающие кадры ещё раз.

Вышеупомянутый фотоаппарат Pentax был предоставлен мисьё DarkWood, у которого, как мне кажется, сейчас сердце должно обливаться кровью, а по щеке катиться скупая мужская слеза:

Разборка Pentax в фотографиях

Из всего многообразия деталей, нас пока интересует лишь LCD дисплей, который будет демонстрироваться школьникам, приходящим к нам, на ФНМ, на экскурсии, сама CCD матрица, стекло с чем-то подозрительно напоминающим поляризатор или фильтр и ИК-подсветка (красная лампочка) для ночной съёмки. Стоит отметить, что матрица жёстко закреплена на корпусе фотоаппарата. Следовательно, все вибрации Ваших рук будут без труда напрямую передаваться на саму матриц, что, согласитесь, никак не способствует качественной фотосъёмке. Видимо, DarkWood имеет железобетонные нервы.

Что между тем не помешало ему, «утопить» свой любимый фотоаппарат. Помните, когда летом Вы оправитесь в тёплые страны на море и будете пытаться сфотографировать очередную накатывающую волну, что фотоаппарат – устройство, в котором токи могут приводить к коррозии.

Следы коррозии прямо на шлейфе, ведущем к кнопке спуска затвора (к сожалению, не единственное такое место)

Сразу видно, что Canon – чуть более продвинутая, более современная модель, нежели Pentax. Например, матрица подпружинена (на левом нижнем изображении хорошо различимы маленькие пружинки). Такая пассивная система стабилизации изображения способствует получению более качественных и чётких снимков, если, конечно, Вы не неврастеник в запущенной стадии!

«Внутренности» Canon

Кстати, на фото справа внизу отчётливо виден громадный конденсатор, отвечающий за вспышку, из-за проблем с которым мне когда-то пришлось списать свою цифровую мыльницу Canon.

Камера мобильного телефона

Начнём наши изыскания с камеры мобильного телефона, которой будет посвящено не так много времени и слов в этой статье по причине того, что сама матрица имеет совершенно микроскопические размеры и с ней трудно работать (пилить, шлифовать).

Как не сложно заметить, на оптических микрофотографиях ниже матрица у края имеет две зоны: более светлую и более тёмную. Надеюсь, что все уже догадались: под светлой стороной нет диодов, она нанесена просто так, с запасом, чтобы максимально закрыть собой тонкую душевную организацию матрицы…

Накроем всё с запасом – нам не жалко

Микрофотографии, полученные с помощью оптического микроскопа, значительно отличаются, от тех, что выдаёт микроскоп электронный. Например, как на счёт «квадратуры сферы»?

Дело в том, что на оптике мы не видим каких-то прозрачных слоёв (да хотя б они и просто менее заметны), тогда как электронная микроскопия – прежде всего метод анализа поверхности, то есть вполне может быть так, что круглые цветные цветофильтры накрыты сверху квадратными «колпаками». При этом размеры такого кубосферического субпикселя составляют около 2,5 микрометров.

Вот такая она, квадратура сферы…кстати, в вакууме…

Матрица фотоаппарата Pentax

Исследование CCD-матрицы фотоаппарата Pentax начнём с оптических микрофотографий. К моему глубокому сожалению, из-за стерических затруднений, как говорят химики, в системе образец-микроскоп, не удалось снять при больших увеличениях и рассмотреть отдельные субпикселы.

Что-то написано, интересно, а можно тут где-нибудь увидеть имена маленьких китайских детишек?

Каждая посадочная площадка под контакты пронумерована, но не к каждой подведён тот самый контактный провод.

А вот так мы скоро будем учиться считать – с помощью нанотехнологий, естественно…

Чёткая граница между самой матрицей и «обвязкой»

А следующая микрофотография достойна учебника по электронной микроскопии. Знаете, почему электронный микроскоп не является средством измерения? Да-да, именно поэтому: из-за локального накопления заряда, вроде бы сферические объекты вдруг стали эллипсоидами:

Но мы-то знаем, что это сферы…

Далее взглянем на то, что находится вокруг светочувствительной матрицы. Так как я не являюсь специалистом в области создания электронных схем, то боюсь даже предполагать, зачем нужны все эти сложные конструкции и «хитросплетения» проводников, может быть, найдётся кто-нибудь, готовый пояснить назначение приведённых ниже деталей и компонентов (в комментариях, конечно же)?

Непоколебимые столбики, пережившие распил и полировку…

В этих слоях можно запутаться, а чёрту и ногу сломать

Этот выпуск «Взгляд изнутри» — знаковый, после нескольких лет «мытарств» нам, наконец-то, установили новую систему микроанализа, так что в некоторых случаях, я смогу не только приводить красивые картинки, но и пояснять из каких химических элементов увиденное состоит.

А вот и самое интересное – матрица во всей своей красе. Под сеточкой, в ячейках которой расположились микросферы-линзы, можно видеть отдельные фоточувствительные элементы (ну или их останки, точнее сказать затруднительно). Чуть ниже при обсуждении матрицы Canon я в деталях поясню «cross-section» устройство матрицы. Пока же обратимся к данным локального химического анализа. Оказывается, что сетка состоит из вольфрама, а микросферы, по всей видимости, это диоксид кремния, который сверху «укрыт» каким-то полимерным материалом. С более детальным анализом можно ознакомиться здесь.

Матрица во всей своей сложноустроенной красоте

Возвращаясь к первому СЭМ-изображению в этой главе, хочется отметить, что контактные площадки выполнены из чистого золота (о да!), однако проводники внутри сенсора, по всей видимости, состоят из алюминия, на который тончайшим слоем напылена медь, содержание которой на грани чувствительности прибора. Детальная информация представлена тут.

Матрица фотоаппарата Canon

Продолжим наше погружение в микро- и наномиры мы, как обычно, с оптической микроскопии. Как и в случае с Pentax, матрицу от фотоаппарата Canon не удалось снять на высоком увеличении вследствие геометрических нестыковок. Однако из полученных микрофотографий можно оценить размер отдельного субпикселя – около 1,5 мкм, что гораздо меньше, чем у матрицы мобильного телефона.

Оптические микрофотографии матрицы Canon

Кстати, один из виновников невозможности снимать на оптическом микроскопе при больших увеличениях – «покровное» стекло, закрывающее собой матрицу и её «начинку»:

Хороший кадр: передача за стеклом

Конечно, всегда самое интересное прячется на сколах, где разваливающийся строго упорядоченный мир даёт трещину, позволяющую заглянуть в самые сакраментальные уголки устройства:

Чуть позже мы ещё вернёмся к желтовато-оранжевым областям этой фотографии…

Уже знакомые нам столбики совершенно не понятного предназначения:

Как стойкие оловянные солдатики

Теперь рассмотрим более детально устройство CCD-матрицы. Сверху CCD-матрица покрыта чем-то, напоминающем полимерный слой (1), который защищает фоточувствительные элементы от агрессивной внешней среды. Под ним находятся микролинзы с красителем (2 и 3). Но так как электронная микроскопия не позволяет получать цветные изображения, то точно сказать, окрашена большая или маленькая сферы не представляется возможным. Микролинзы из диоксида кремния (наиболее вероятный материал для их изготовления) закреплены в ячейках вольфрамовой сетки (4), под которой скрывают фоточувствительные элементы (5). И, конечно же, вся эта конструкция покоится на подложке из чистейшего кремния!

С учётом того, что матрица дополнительно защищена «покровным» стеклом, то фотоэлементы защищены лучше, чем президент РФ в своём лимузине (если, конечно, сделать поправку на масштабный фактор).

Данные микроанализа можно скачать тут.

Устройство матрицы по пунктам. Описание в тексте

Но и это ещё не всё. У нас же осталось ещё стёклышко, прикрывающее матрицу, которое, как кажется, является поляризатором. Оно несколько шероховатое по краям, но практически идеально гладкое по всей остальной площади поверхности. Вроде бы оптическая микроскопия не даёт никаких результатов: стекло, как стекло.

Стекло с подозрением на поляризатор: ничего необычного

И только с помощью электронной микроскопии удаётся увидеть химконтраст на изображении и полосатую структуру. Толщина такой «плёнки» составляет всего-навсего 2,5 микрометра, при этом размеры отдельных слоёв 180 и 100 нм, соответственно, для более тёмных и более светлых. На основании данных микроанализа (тут), рискну предположить, что более тёмные области обогащены титаном, а светлые – алюминием. По-моему, это потрясающе!

Оказывается, внутри фотоаппарата своя полосата жизнь!

Послесловие

Такой мир уходящего века CCD-матриц предстал перед нами сегодня.

Спасибо всем (Василию за телефон, Илье и DarkWood за фотоаппараты), кто внёс свой посильный вклад в создание данной статьи. Вы – молодцы, что поддержали в этом нелёгком начинании!

И апофеоз данной статьи, а точнее его апофигей:

Покойтесь с миром, пока мы не придумаем вам нового применения

Бонус 1. Как выглядит зелёная пылевая буря в Москве?

Хотел сначала отдельным постом выложить, но решил не захламлять пространство. Буквально несколько дней назад Москву накрыло жёлто-зелёное облако, многие уже начали было готовится к приходу апокалипсиса, но обошлось… Что в реальности явилось причиной столь странной окраски?

Климат в последнее время барахлит на этой планете: то на Новый Год оставит без снега, то завалит снегом по самую макушку, то весна будет похожа на зиму, то вдруг неожиданно наступит лето. Цветы, деревья и растительность менее приспособлены к такого рода пертурбациям, поэтому 1,5 месяца весны сжавшиеся в 1 неделю заставили растения пересмотреть свои планы по размножению…

Утром, сев за письменный стол, я обнаружил на нём слой пыли, а протерев салфеткой, понял, что надо бы эту пыль как следует изучить. Сказано – сделано!

Хорошая новость – окраска жёлто-зелёного облака действительно была обусловлена большим количеством пыльцы (я насчитал, как минимум, три вида):

Состав московской бури: пыльца… Справа внизу пыльца на поверхности части растения

Плохая новость – этим мы тоже дышим, причём каждый день, а не в периоды размножения растений (микро- и наночастицы, которые не каждый фильтр поймает):

Состав московской бури: не очень приятная пыль и грязь

А давайте-ка сегодня поговорим немного о системах цветоразделения и вариантах байера - история интересная.

Вообще самый качественный вариант цветоразделения - 3 матрицы с дихроической призмой - 3CCD. Здесь и далее картинки натырены из Википедии.

Активно применялся и применяется в видеокамерах. Для фотокамер этот способ малоприменим - дело в том, что практически невозможно чисто механически совместить три изображения на трех отдельных сенсорах настолько точно, чтобы получить разрешение хотя бы в несколько мегапикселей. Кроме того, конструкция получается довольно громоздкой. Поэтому решение используется только в видеокамерах.

Второй вариант - многослойные сенсоры, которые по структуре в чем-то имитируют цветную фотопленку. Самый известный пример - сигмовский X3 Foveon. Принцип действия такого сенсора основан на том, что свет с разными длинами волн проникает в кремний на разную глубину.

Поскольку нет мозаики байеровского фильтра, то не нужна интерполяция, и разрешение картинки получается по-настоящему честным.
Но у фовеона свои проблемы, в частности искажение цвета из-за метода цветоразделения, особенно в красном канале, который на сенсоре лежит в самом низу, и до него доходят лучи, искаженные предыдущими двумя слоями. Все эти искажения приходится исправлять с помощью матричных профилей, из-за чего сильно растут шумы, деградирует картинка.
Камеры Sigma достаточно дороги и в целом коммерческим успехом не пользуются. Хотя у Фовеона множество приверженцев-энтузиастов.

Третий и самый популярный вариант - классический байеровский фильтр и его вариации.
Принцип действия фильтра прост - поверх ячеек лежит мозаика из цветных фильтров, пропускающих лучи разного цвета. Получается три ЧБ канала, каждый из которых отражает яркость лучей, прошедших через свой цветной фильтр. При обработке вся эта информация из трёх черно-белых каналов интерполируется в конечное цветное изображение.

На самом деле, можно считать, что у байера четыре канала, потому что зеленых ячеек вдвое больше, чем красных или синих. Это связано с тем, что зеленый канал наиболее важен для человеческого зрительного аппарата и несет для нас наиболее полезную яркостную информацию. Тогда как синий и красный каналы по сути являются цветоразностными.
У байера есть свои недостатки. В первую очередь это недостаточное цветовое разрешение итоговой картинки - поскольку она всегда является плодом интерполяции. Сейчас RAW-конвертеры научились более-менее сносно интерполировать недостающую информацию, однако все равно тот же 4-мегапиксельный Фовеон по разрешающей способности приравнивают к 10-мегапиксельному байеру - и не зря. Простейшую геометрию не обманешь никакими алгоритмами. Поэтому пришлось наращивать мегапиксели и упираться в дифракцию.

В разное время в истории развития цифровых камер появлялись разного рода "экзотические" вариации байеровского фильтра.

Например, в начале 2000-х Sony сделала вариант RGBE (E for Emerald), где половина зеленых ячеек заменена изумрудными:

Вроде бы как это позволило значительно улучшить цветопередачу и приблизить ее к тому, как цвет воспринимается человеческим глазом.
Рассматривая семплы со знаменитой в свое время камеры Sony F-828, в принципе я могу сказать, что цвет у нее неплохой, но принципиальных отличий от современных камеры с обычным байером я не вижу, если честно.

Технология RGBE использовалась Сони недолго, и они вернулись к улучшению традиционного байера.

В конце 90-х также появились сенсоры с байером, основанном на инвертированном наборе первичных цветов - CYGM (cyan, yello, green, magenta). Вот оказывается даже такое было.

Использовались такие сенсоры в некоторых компактах Кэнона и Никона, а также у Кодака, на рубеже 90-х и 2000-х годов.
Основной плюс такого фильтра в том, что он очевидно более "прозрачен", чем классический байеровский. То есть его светопропускание значительно выше, значит можно увеличить чувствительность сенсора и расширить динамический диапазон.
Но все это происходит в ущерб качеству цветоразделения, поскольку каждый фильтр пропускает сравнительно широкую полосу спектра, и разделить соседние оттенки при этом довольно трудно.
Поэтому фотографии с таких камер получались довольно "тухлые" по цвету, и даже агрессивная обработка тут не помогала - что матрица не захватила, то можно только нафантазировать.

Эта технология по вполне понятным причинам тоже долго не прожила.

За несколько лет до своего банкротства в 2007-м году Кодак успел запатентовать еще один вид байера, где половина зеленых ячеек были сделаны совершенно прозрачными. В нескольких вариациях.

Ячейки без фильтров должны по идее улучшить общую чувствительность сенсора.
Пошли такие сенсоры в какие-то реальные модели камер или не пошли - мне лично не известно. Скорее всего на их основе делаются высокочувствительные сенсоры специального назначения.

В течение почти десяти лет Фуджи делала камеры на основе собственной технологии байера "EXR" в нескольких вариациях.

Ячейки в таком сенсоре расположены по диагонали, что позволяет объединять соседние ячейки одного цвета для получения большей чувствительности. Кроме того, при таком расположении ячеек возможны более сложные структуры, позволяющие часть ячеек экспонировать сильнее, а другую часть - слабее, получая больший динамический диапазон.
На основе технологии Фуджи сделали два вида сенсоров CCD (SuperCCD), в которых за счет такой структуры не только повышается разрешение, но и за счет дополнительных маленьких ячеек с низкой чувствительностью можно получить расширенный динамический диапазон.

SuperCCD продержался аж до 2010 года в разных моделях камер Фуджи, но позже все равно уступил место BSI (back side illuminated) CMOS, но с диагональным байером.

Проблема любого байеровского фильтра в том, что он склонен после интерполяции давать цветной муар на периодических структурах. По сути это биение частот, а цветной рисунок возникает как раз именно из-за чередования цветных ячеек на байере. Чтобы уменьшить этот эффект, в 90% камер перед сенсором ставят специальный фильтр "АА" (anti alias), который по сути размывает изображение. Естественно при этом сильно теряется и без того невысокое разрешение изображений, получаемых путем интерполяции, но зато в какой-то степени уходит муар.

Поэтому Фуджи придумали особый вид байера X-Trans CMOS, который якобы должен уменьшить возможность появления муара и позволить безбоязненно делать сенсоры без АА-фильтра. Новый байер выглядит вот так:

Такая мозаика байеровского фильтра, по мнению Фуджи, должна давать большее яркостное и цветовое разрешение, препятствовать появлению муара и давать более "пленочное" зерно за счет того, что в каждом ряду ячеек теперь есть все три цвета, а их расположение как бы более хаотичное, подобно зерну на пленке.
Муара на таком сенсоре действительно не будет, но что касается разрешения, то вопрос крайне спорный.
Ведь, если задуматься, на классическом байере зеленые ячейки, дающие основную яркостную информацию, расположены более "равномерно", не сгруппированы в крупные квадраты 2х2, и, соответственно, яркостное разрешение должно быть несколько выше.

На самом деле, чисто на практике никаких особых преимуществ перед обычным байером X-Trans не показал. В целом разрешающая способность такого сенсора примерно на уровне традиционных аналогов, никакого особого "теплого лампового зерна" я не заметил.
А вот при обработке RAW-файлы с экзотического байера доставляют головную боль. Дело в том, что поначалу вообще ни один конвертер, кроме родного фуджевского, адекватно не интерпретировал такую мозаику. Да и позднее, когда тот же Adobe сделали апдейт и улучшили интерполяцию, результат ничем не лучше обычного байера, а может быть в каких-то ситуациях даже и хуже.
Лично я обращал внимание на отчетливую "пунктирность" всяких вертикальных элементов изображения - очевидно, из-за крупных 2х2 зеленых ячеек.

Кстати, та же самая ситуация наблюдается с их старым SuperCCD, который до сих пор никто толком не умеет правильно интерполировать.

Так получается, что традиционный байер пока что дает самый надежный и удобный для интерпретации результат, проверенный временем.
Возможно именно поэтому Фуджи сейчас на беззеркальной камере нижнего сегмента решила обкатать свежий сенсор с обычным байером, безо всяких выкрутас. Наигрались?

Читайте также: