Нейрофильтры фотошоп что это

Обновлено: 04.07.2024

Или машинное обучение еще далеко, чтобы заменить людей?

21 октября вышла новая версия графического редактора Adobe Photoshop (22.0). Самым обсуждаемым нововведением обновленного PS стали нейрофильтры, согласно анонсу Adobe, позволяющие быстро применять основанные на машинном обучении эффекты к фотографиям.

Сама Adobe показала тепличные примеры использования фильтров, которые, как кажется, работают «как магия». Я решил проверить нейрофильтры на более приближенных к реальности примерах. Выяснилось, что ретушерам и прочим мастерам Photoshop еще рано записываться на курсы по обучению другой специальности.

Первыми в разделе Neural Filters обновленный Photoshop предлагает воспользоваться самыми популярными среди пользователей фильтрами: «Разглаживанием кожи» и «Переносом стиля». Эти фильтры, как и большинство других, необходимо загрузить перед использованием — размер варьируется от сотен килобайт до пары сотен мегабайт. Также следует отметить, что все нейрофильтры требуют подключения к облачному сервису Adobe. На пиратской версии программы они не работают.

Фильтр для разглаживания кожи автоматически определяет неровности на коже и позволяет скрыть их при помощи размытия и разглаживания. Пользователь может регулировать оба инструмента вручную при помощи ползунков.

В сложных случаях фильтр хорошо справляется с поставленной задачей. Важнее всего, что он старается затрагивать только проблемные места, избегая остальные участки. Это делает финальный результат обработки менее искусственным.

Однако никакой особой «магии» в результате обработки не происходит. Иногда для того, чтобы действительно скрыть прыщи или другие дефекты приходится несколько раз накладывать фильтр, благо ограничения на количество повторений нет.

Фильтр дает возможность обработать фотографию в одном из заготовленных стилей, полный перечень которых доступен на странице обработки. Уже сейчас в Photoshop доступно более 50 таких стилей, причем каждый из них отличается высокой детализацией.

Можно обработать снимок в духе одной из нескольких картин Ван Гога, произведений других художников, например, в стиле «Большой волны в Канагаве» японского мастера Кацусики Хокусая или просто созданных Adobe иллюстраций.

В некоторых случаях результат обработки получается довольно удачным и интересным, в других — печальным и иногда даже пугающим.

После первичной обработки полученный результат можно улучшать при помощи пары ползунков, отвечающих за интенсивность фильтра, размытия фона и другие параметры.

Все остальные фильтры в настоящий момент Photoshop причисляет к тестируемым. Таким образом в Adobe перестраховались, мол, претензий к нашим нейрофильтрам особенно не предъявляйте — мы их не доделали.

Работа с нейрофильтрами — мучение. Приходится долго ждать ответа облака после внесения каждого изменения.

Фильтр «Смарт-портрет» отвечает за обработку портретных снимков различными оригинальными способами. Именно этот фильтр демонстрировала Adobe, рассказывая о нейрофильтрах нового Photoshop. Он позволяет добавить на лицо улыбку, удивление или злость, состарить лицо человека, изменить положение его головы и выполнить прочие изменения.

Фильтр выполняется в облаке и происходит это достаточно долго. При этом, чем сильнее двигать любой из ползунков, тем дольше приходится ждать. Благо более-менее подходящий эффект достигается при совсем небольшом передвижении ползунка.

Хуже всего из трех основных инструментов этого фильтра работает «Радость». Обработка с его помощью почти на всех фотографиях получается неестественной. А предлагаемые «нейронкой» зубы, которых не было на оригинальной фотографии, чаще всего не подходят человеку. При этом, отрицательное значение ползунка «Радость», приводящее к созданию грустного выражения лица, работает относительно неплохо.

Отмечу, что представленные выше фотографии обработаны фильтрами с небольшой интенсивностью. Если же выкручивать ползунки по полной, то получается следующий ужасающий результат:

В этом же фильтре доступно еще несколько инструментов. «Возраст» весьма здорово справляется со своей задачей, не только разглаживая морщины и выравнивая кожу, но и аккуратно убирая седину, наращивая и улучшая качество волос.

Состаривание тоже работает нормально. Правда, подобные фильтры не первый год широко распространены — никакого «вау»-эффекта от решения Adobe не возникает.

Инструмент поворота головы в разные стороны оставляет желать лучшего. Слишком много дефектов происходит вместе с осуществлением поворота, несмотря на попытки фильтров все это дело оперативно замазать. Кроме этого, глаза человека едва поворачиваются вслед за головой.

Один из самых сырых нейрофильтров нового Photoshop. Работает откровенно плохо, какие фотографии ни подбирай. Перенос макияжа выполняется путем выбора любого снимка на компьютере, на котором изображен человек с нанесенным макияжем.

Еще один фильтр, направленный на улучшение портретных снимков. Он дает возможность добавить на фотографию легкую дымку, в том числе для того, чтобы скрыть имеющиеся на фоне недостатки. Фильтр работает исправно, старательно избегая излишней корректировки объекта съемки.

Нейрофильтр колоризации работает относительно неплохо, но далеко не идеально. Если более-менее свежие черно-белые фотографии раскрашиваются без явно бросающихся в глаза погрешностей, то на действительно старых ч/б снимках видны проблемы. В отдельных случаях результат и вовсе печальный. При этом, из настроек есть возможность только отрегулировать уход в один из цветовых каналов. Никаких оригинальных опций не представлено.

Фильтр включает в себя сразу несколько инструментов (их можно использовать и по отдельности): повышение детализации при масштабировании, удаление дефектов JPG, уменьшение шума, повышение резкости и улучшение деталей лица. Все эти инструменты вместе позволяют масштабировать фотографию и после обрезать ее, при этом минимально потеряв в качестве. По крайней мере, фильтр попытается скрыть ранее видимые шумы и повысить упавшую резкость.

Если не заигрываться с ползунком регулировки резкости, то инструмент на самом деле обеспечивает необходимый эффект. Главный минус этого нейрофильтра — медленная работа всех инструментов «из облака», приходится ждать.

Также в новом Photoshop перечислен ряд нейрофильтров, которые должны будут появиться в будущем. Среди них: устранение царапин и пыли с фотографий, очищение лица, воссоздание фотографии из зарисовки и наоборот и превращение снимка в карандашный рисунок. При этом, на странице каждого пока еще неработающего фильтра есть кнопка «Интересует». Не исключено, что компания не будет разрабатывать фильтры, которые не получат отклика со стороны пользователей.

Нейрофильтры Photoshop 2021 точно не оставят ретушеров без работы. Они, конечно же, созданы им в помощь, правда, реальное содействие фильтры окажут профессионалам не скоро. Прямо сейчас обработка с их помощью чаще всего только вносит больше хаоса на изображение. Впрочем, некоторые профессионалы найдут полезными отдельные инструменты (или их части) уже сейчас.

Узнайте больше о фильтрах на основе ИИ, доступных в галерее фильтров Neural Filters, а также найдите ответы на часто задаваемые вопросы.

Узнайте о новых возможностях реализации творческих идей с помощью обновленных фильтров на базе технологии Adobe Sensei. С помощью фильтров Neural Filters в Photoshop раскрашивайте старые черно-белые фотографии, меняйте выражения лиц, выполняйте реалистичное размытие фона или коренным образом изменяйте портреты.

Выравнивание цвета кожи

Экономьте драгоценное время в ходе редактирования портретов с помощью фильтра Skin Smoothing (Выравнивание цвета кожи). Быстрое скрытие пятен и прыщей на коже одним щелчком мыши.

Выравнивание цвета кожи

Удаление артефактов JPEG

Фильтр JPEG Artifacts Removal (Удаление артефактов JPEG) удаляет артефакты, возникающие после сжатия в формат JPEG.

JPG Artifacts Removal (Удаление артефактов JPG)

Перенос стиля

Экспериментируйте с внешним видом изображений с помощью фильтра Перенос стиля . Этот фильтр применяет выбранные художественные стили к изображениям, создавая простор для новых творческих идей.

Перенос стиля

Super Zoom (Суперувеличение)

Быстро увеличивайте и обрезайте изображение с помощью фильтра Super Zoom (Суперувеличение), затем Photoshop добавит детали, чтобы компенсировать потерю разрешения.

Super Zoom (Суперувеличение)

Тонирование

Оживите старые фотографии с помощью фильтра Colorize (Тонирование), который быстро добавляет цвета на черно-белые фотографии. Можно применить фильтр к нескольким фокусным точкам, чтобы дополнительно улучшить тонирование в конкретной области фотографии и настроить другие атрибуты.

Тонирование

Умный портрет

Фильтр Smart Portrait (Умный портрет) упрощает сложный рабочий процесс редактирования портретов, сокращая его до нескольких простых действий. Фильтр Smart Portrait (Умный портрет) позволяет настраивать портрет нестандартным образом за счет создания новых элементов: выражения счастья, удивления, злости, старение лица, взгляд, толщина волос, направление головы и направление света .

Возраст на портрете

Makeup Transfer (Перенос макияжа)

Вы хотите изменить весь внешний вид, не меняя макияж? Фильтр Makeup Transfer (Перенос макияжа) переносит стиль макияжа в области глаз и рта с одного открытого изображения на другое.

Makeup Transfer (Перенос макияжа)

Размытие глубины

Фильтр Размытие глубины глубину окружающей среды на изображении, чтобы подчеркнуть объекты на переднем или заднем плане. Этот фильтр также можно применять для добавления дымки вокруг предмета и настройки температуры цвета окружающих предметов, чтобы сделать изображение теплее или холоднее.

При использовании фильтра Размытие глубины с любым другим фильтром диалоговое окно хода выполнения может не отображаться до конца обработки изображения.

Depth-Aware Haze (Дымка с учетом глубины)

Landscape Mixer (Ландшафтный микс)

Landscape Mixer (Ландшафтный микс) — это суперкреативный и удобный инструмент для профессионалов и концепт-художников, позволяющий работать с фоном в панорамных изображениях, создавать причудливые сцены или визуально насыщенные совмещенные панорамные изображения.

Используйте обновленный нейронный фильтр Landscape Mixer (Ландшафтный микс) для формирования новых совмещенных изображений путем объединения входных и эталонных изображений. Используйте существующие наборы или создавайте пользовательские изображения.

Этот нейронный фильтр с элементами ИИ способен смотреть на эталонное изображение и применять стиль к оригинальному изображению, чтобы создать захватывающий визуальный эффект.

Landscape Mixer (Ландшафтный микс)

Color Transfer (Перенос цвета)

Используйте нейронный фильтр Color Transfer (Перенос цвета), чтобы взять цветовую палитру из эталонного изображения и применить ее к цветовой палитре вашего изображения.

Этот фильтр поставляется с собственными ползунками, которые позволяют настраивать параметры яркости, насыщенности, люминесценции и цвета вашего изображения. Выберите одно из готовых изображений или создайте свое изображение на основе эталонного.

Color Transfer (Перенос цвета)

Harmonization (Гармонизация)

Используйте нейронный фильтр Harmonization (Гармонизация) для сопоставления цвета и тона одного слоя с цветом и тоном другого слоя для создания безупречного составного изображения.

Этот фильтр доступен вместе с элементами управления уточнением в виде ползунков, с помощью которых можно настраивать интенсивность эффектов.

Harmonization (Гармонизация)

Какие операционные системы поддерживают использование Neural Filters?

Среда Neural Filters может работать в следующих операционных системах.

macOS : все фильтры доступны в macOS, начиная с версии 10.15.

Windows : все версии Win 10 и более поздних версий поддерживают среду Neural Filters.

Нужно ли загружать фильтры локально или некоторые фильтры работают в облаке?

Большинство фильтров работают локально, поэтому их необходимо загрузить, прежде чем использовать.

Некоторые фильтры, например Умный портрет (бета-версия) и Размытие глубины , выполняют в облаке некоторые операции. Чтобы использовать все преимущества фильтров требуется подключение к Интернету.

Как обновлять фильтры?

Мы постоянно работаем над повышением производительности моделей машинного обучения, которые лежат в основе фильтров. Когда обновления станут доступны, в Photoshop отобразится запрос на обновление фильтров.

Насколько большой размер у загружаемых файлов фильтров?

Они варьируются: от менее 1 МБ ( Skin Smoothing [Выравнивание цвета кожи]) до более 650 МБ ( Style Transfers [Перенос стиля]). В основе некоторых фильтров лежат небольшие модели машинного обучения, в основе других — большие. Тем не менее мы постоянно работаем над оптимизацией размера каждой модели.

Для работы фильтров используется центральный или графический процессор?

Каждый фильтр сначала пытается использовать графический процессор локального компьютера. Если на вашем компьютере нет подходящего графического процессора, фильтры по умолчанию используют центральный процессор. Высокопроизводительный графический процессор не требуется.

Можно ли удалить фильтр с локального компьютера?

Да. Фильтры располагаются в следующих папках. В каждой вложенной папке содержится отдельная модель.

Adobe собирает сведения обо мне? Какой тип сведений?

  • Adobe собирает анонимные данные о поведении (нажатия кнопкой мыши, отметки «понравилось», перетаскивания ползунков)
  • Adobe анонимно собирает изображения, если вы включаете их в свой отзыв, и не связывает эти изображения с человеком или пользователем
  • Adobe собирает данные в целях оптимизации моделей машинного обучения для получения лучших результатов

Как Adobe обрабатывает проблемы всеобъемлемости и систематических отклонений?

Поскольку галерея в основном используется для портретов и большинство фильтров основано на новых технологиях, могут возникать спорные результаты
с точки зрения всеобъемлемости и систематических отклонений. Adobe стремится обеспечить инклюзивность и беспристрастность. Если вы встречаете необъективные результаты, просим вас связаться с нами с помощью механизма обратной связи.

Мы постоянно работаем над улучшением технологии в основе фильтров, чтобы уменьшить количество необъективных или нежелательных результатов до нуля. У нас есть процесс для обработки этих типов ситуаций в режиме реального времени, если они возникают.

Компания Adobe предпринимает все меры по защите собираемой и передаваемой информации. Дополнительные сведения об обработке пользовательской информации компанией Adobe см. в документе Политика конфиденциальности Adobe.

Посетите Центр обработки конфиденциальной информации Adobe, чтобы найти дополнительную информацию по вопросам конфиденциальности, в том числе о пользовательских настройках сбора и использования персональной информации компанией Adobe.

Общие сведения

В Neural Filters не записывается действие маскировочной кисти по изменению выбранной области.

В настоящее время при использовании Neural Filters запись каких-либо действий маскировочной кисти по изменению выбранной области отключена.

(Windows) Не удается загрузить фильтр Neural Filter даже после того, как запускается загрузка моделей.

Если у вас определены переменные сред TEMP и TMP с указанием пути к диску, не являющемуся основным, то на время загрузки измените их путь так, чтобы он был на основном диске (либо удалите эти переменные). Закройте и перезапустите Photoshop, чтобы изменение переменных вступило в силу.

Примечание. В данном случае основной — это диск, где находится папка %USERPROFILE%\Appdata\Roaming\Adobe\UXP\PluginsStorage\

Вы также можете ввести echo %TEMP% и echo %TMP% в командной строке терминала и убедиться, что эти пути находятся на том же жестком диске, что и echo %USERPROFILE% .

Кнопки загрузки нейронного фильтра серые, их нельзя активировать. В вашей учетной записи используется MDL (лицензирование общих устройств).

Выполните обновление до последней версии Photoshop.

Фильтр Neural Filter неактивен (серый) в меню «Фильтр» и не запускается. Ваша учетная запись использует FRL (ограниченное лицензирование функций).

Neural Filters сейчас недоступны для использующих FRL учетных записей.

Выполните обновление до последней версии Photoshop.

При использовании фильтров Neural Filters появляется ошибка: «Возникла проблема при работе фильтров»

Выполните обновление до последней версии Photoshop. Если это не решит вашу проблему, попробуйте следующие шаги по устранению неполадок.
  1. Перезагрузите Photoshop и попробуйте еще раз
  2. Повторно скачайте модели фильтров
    1. Закройте Photoshop, удалите или переименуйте следующую папку, а затем снова запустите Photoshop и повторите попытку:
      1. Windows: C:\Users\[имя_пользователя]\AppData\Roaming\Adobe\UXP\
        PluginsStorage\PHSP\22\Internal\com.adobe.nfp.gallery\PluginData
      2. Mac:

      Выравнивание цвета кожи

      Выравнивание цвета кожи может не работать для кожи тела, такой как шея и плечи, а также для кожи за очками.

      JPEG Artifacts Removal (Удаление артефактов JPEG)

      Фильтр JPEG Artifacts Removal (Удаление артефактов JPEG) хорошо подходит для градиентов и фигур, но не очень эффективен при потере мелких деталей.

      Smart Portrait (Умный портрет): неожиданные результаты

      • Серьги могут быть изменены по форме и размеру.
      • Кольцо в носу, вероятно, будет сохранено, потому что первоначальная область носа в значительной степени сохраняется после фильтра.
      • В некоторых случаях фильтр также добавляет серьги, если они отсутствуют.
      • Портреты с вьющимися волосами, отсутствующими чертами лица и портреты в профиль могут не распознаваться как портреты.
      • На изображениях, где видны зубы или есть очки, черты лица, скрытые в тени, волосяной покров лица, пальцы и другие объекты, Smart Portrait (Умный портрет) может давать неожиданные результаты.
      • Ползунки Happiness (Счастье), Surprise (Удивление) и Anger (Злость) могут внести искажение в изображение глаз или иным образом вызвать их неправильный рендеринг.

      Makeup Transfer (Перенос макияжа)

      Makeup Transfer (Перенос макияжа) может не работать при закрытых глазах и сомкнутых губах, при сильно наклоненных лицах и очень темном оттенке кожи.

      Фильтр Makeup Transfer (Перенос макияжа) может не сработать или выдать неожиданный результат, если на целевом изображении уже присутствует макияж.

      Тонирование

      Специальные возможности в отношении клавиатуры

      В настоящее время некоторые сочетания клавиш, например с применением клавиши «Tab», «Alt», «Option», «Enter» или «Escape», не работают должным образом в галерее.

      Лимит на применяемые фильтры

      Для обеспечения оптимальной производительности можно одновременно применять до 6 фильтров.

      Depth Blur (Размытие глубины)

      Глубина может быть неправильно рассчитана.

      Landscape Mixer (Ландшафтный микс)

      Harmonization (Гармонизация)

      • Для гармонизированного/выбранного слоя требуется маска или изоляция изображения на прозрачном слое.
      • Чтобы получить предварительный просмотр, выбранный фоновый слой должен быть виден на панели Слои . Он также должен быть самым верхним видимым слоем под гармонизированным/выбранным слоем.

      Периодический сбой (без отчета о сбое)

      В Photoshop 23.0 , когда вы выбираете изображение из Stock , перетаскиваете его и переходите в раздел Фильтры > Neural Filters , фильтры Neural Filters продолжают загружаться и через некоторое время Photoshop аварийно завершает работу без создания отчета о сбое.

      Нейрофильтры Adobe

      Компания Adobe очень оперативно отреагировала на появление редактора LuminarAI и выпустила в ответ собственное обновление для Photoshop. Главным новшеством стали инструменты под названием «нейрофильтры» (Neural Filters), созданные на платформе Sensei AI. Из восьми представленных фильтров шесть еще находятся на стадии бета-тестирования, но в Adobe решили рискнуть и поторопиться, чтобы не упустить свою долю рынка.

      Нейрофильтры предназначены для создания на картинке эффектов, которых изначально там не было, но после наложения они должны выглядеть как естественная часть оригинального изображения. Например, если речь идет о фото человека, ему можно добавить улыбку, сделать лицо гневным или унылым. Для удобства использования нейрофильтры представлены в виде ползунков – чем больше сдвигаешь указатель, тем ярче и экспрессивнее проявляется наложенный эффект.

      Нейрофильтры Adobe

      Поскольку в основе нейрофильтров лежит работа ИИ, то их ассортимент ограничен только фантазией разработчиков. Например, возможность переноса макияжа с одного лица на другое, художественная раскраска черно-белых картинок, удаление с лица очков и дефектов кожи. Нейрофильтры умеют менять направление взгляда человека на фото, корректировать освещение сцены на картинке и убирать эффекты сжатия формата JPEG.

      Все виды ретуши при помощи нейрофильтров обратимые, они не затрагивают исходное изображение. Применять их можно как по отдельности, так и в готовых или новых слоях. В Adobe уточняют – ожидания от описания эффекта могут не совпадать с результатом, но это нормально, потому что вся концепция еще находится на стадии отладки. Обратная связь с разработчиками и конструктивная критика помогут быстрее оптимизировать практичную новинку.

      Читайте также: