Почему портятся фотографии на компьютере
Обновлено: 06.07.2024
Я не профессиональный фотограф, но я очень ценю свои фотографии. Иногда, когда я просматриваю их спустя месяцы или годы после того, как я их забрал, некоторые из них просто кажутся испорченными без видимой причины. Я часто получаю такие вещи, как серые области, измененные цвета, начиная с определенной точки, или даже совершенно не воспроизводимые фотографии. Я использую ОС Windows и Linux на своих ПК.
Почему это происходит и, самое главное, как этого избежать ?
Это старые фотографии? то есть фотографии, которые раньше выглядели хорошо, и которые вы не перемещали на диске впоследствии? Или это фотографии, которые вы недавно сбросили на свой диск, но обнаружили, что они теперь повреждены? Я голосую за то, чтобы закрыть этот вопрос как не по теме, потому что он касается общего управления ИТ и аппаратных / программных сбоев. Принципы, которые применяются к фотографическим файлам, также применимы к любому другому документу, видео или приложению. Как избежать: используйте ZFS на файловом сервере, где я храню свои фотографии.Есть две основные причины. Первое - это ухудшение качества данных . Биты, хранящиеся на магнитном носителе (например, на жестком диске), могут со временем потерять магнитную ориентацию, что приведет к их повреждению. В более жестких условиях (высокая температура и влажность) сам физический носитель может начать ухудшаться. Для твердотельных носителей, таких как SSD, механизм отличается, но результат аналогичен.
Есть два решения этих проблем, и, если вы поверните свои резервные копии, одни только резервные копии не помогут. Более сложный и технический подход заключается в использовании файловой системы со встроенными механизмами целостности данных (например, ZFS или btrfs), тогда как более простой подход заключается в вычислении хэша для каждого файла между резервными копиями для обнаружения любых изменений.
Не фотограф, а фанат целостности данных. Пришлось присоединиться к этому сообществу только для того, чтобы подтвердить этот ответ. В то время как я уже пишу комментарий, я мог бы немного коснуться вопроса о том, что «один перевернутый бит может испортить изображение» . Это связано с тем, что JPEG и другие форматы по своему замыслу устраняют как можно больше избыточности, в этом их суть. Если вы можете немного перевернуть и все же распознать изображение, этот бит не стоит хранить (грубо). Таким образом, несжатые форматы могут быть более устойчивыми и ухудшаться более изящно. Вероятно, не стоит дополнительных 1000% штрафа в размере. @pipe Probably not worth the extra 1000% penalty in size. Я бы сказал прямо противоположное - снимайте RAW, храните RAW, делайте резервную копию RAW. Вы держите негативы, а не отпечатки. @J . Только будьте осторожны, чтобы ваш формат RAW не был сжат алгоритмом без потерь, тогда у вас все еще есть подобная проблема. Лучший вариант - следовать рекомендациям в ответе, который мы комментируем. Хранение файлов RAW имеет, конечно, другие преимущества. :) Продолжайте сжимать и использовать пар2, чтобы добавить полезную избыточность.Я не буду сильно беспокоиться о том, как это происходит, потому что жесткие диски выйдут из строя; как и все в этом мире, они не идеальны. Вы не можете добраться до состояния, когда вы никогда не потеряете файл.
Тем не менее, вы можете перейти в состояние, в котором вы никогда не потеряете фотографию - вы делаете это, имея несколько копий на разных жестких дисках, включая, по крайней мере, одну в отдельном физическом месте. Тогда не имело значения, что один диск вышел из строя, потому что вы можете просто получить фотографию из другого места.
Интересно, есть ли программа, которая может автоматически проверять целостность файлов изображений. Возможно нет - поврежденный JPEG все еще может быть допустимым JPEG, я полагаю. Как отмечается в другом месте, не беспокойтесь о попытке выяснить, повреждены они или нет, просто беспокойтесь о том, что они изменили. Если фотографии немного испортились и стали непригодными для использования, почему это не происходит с обычными файлами? Я полагаю, что если бы это произошло так, как это происходит с фотографиями, операционные системы, вероятно, случайно потерпят неудачу, все виды документов случайно стали бы нечитаемыми . но я еще не видел этого. @PetruDimitriu Изображения и видео занимают много места, если один бит переворачивается, и 90% вашего жесткого диска содержит изображения, у этого бита есть 90% шансов оказаться в изображении, а не в любом другом файле. Если вам не повезло, и этот бит находится в важной части важного системного файла (не в файле readme), ваш компьютер в какой-то момент, скорее всего, выйдет из строя, и вы не будете знать, почему.Ответ на вопрос, почему это происходит, зависит от типа диска, типа файла, файловой системы и используемой операционной системы, поэтому невозможно дать полный ответ на этот вопрос.
Но что касается того, как этого избежать, другой ответ касается наличия резервных копий - однако при таком повреждении файла вам нужен способ определить, была ли повреждена конкретная копия вашего файла, и избегать копирования этого в ваши резервные копии. Очень легко получить 2 поврежденных копии файла. Технический ответ - использовать контрольные суммы и сравнивать их для выявления поврежденных файлов.
Лучший способ избежать этого в наши дни - использовать онлайн-сервис хранения, который будет обрабатывать все избыточность и целостность файлов для вас.
«использовать онлайн-сервис хранения, который будет обрабатывать все избыточность и целостность файлов для вас». . и их клиент автоматически обнаруживает изменение локальной копии фотографии и загружает новую версию, которая повреждена . Облачное хранилище не заменяет хороших политик резервного копирования и некого способа обнаружения коррупции. Сравнить Что нужно для полной системы резервного копирования? , @ MichaelKjörling, использующий онлайн-хранилище в качестве вторичной подчиненной копии данных, будет иметь такой эффект, но хранит мастер-копию в неисправном хранилище. В общем случае всегда выполняется синхронизация от более надежного хранилища к менее надежному хранилищу. @ MichaelKjörling their client automatically detects the change to the local copy of the photo and uploads the new version, which is corrupted. На самом деле, это интересный момент, потому что, если повреждение не находится на программном уровне, клиент фактически не сможет обнаружить повреждение, если вы не переписываете файл. @HarryHarrison Я не согласен. Я не хочу автоматически синхронизировать (например) мой NAS с моим локальным жестким диском только потому, что мой NAS более надежен - все еще есть вероятность, что поврежден NAS, а не мой локальный жесткий диск (или, на самом деле, гораздо более вероятно, Я что-то жирно перебрал и сам испортил файл на NAS). Ручное вмешательство - вот что нужно здесь - оно не должно быть таким распространенным, если вы не Ассошиэйтед Пресс. Ни у кого нет нетленного хранилища. Даже S3 "всего" 12 девяток.Файлы фотографий не являются особенными в этом отношении, любой файл на компьютере может быть поврежден. Вероятно, JPEG-файлы с большей вероятностью обнаружат искажение очевидным образом, чем многие другие типы файлов, поэтому вы можете заметить это больше (см. Комментарий @ pipe к ответу @ alldayremix).
Файлы могут быть повреждены разными способами, жесткие диски (не SSD) могут быть расположены слишком близко к магниту, компакт-диски и DVD-диски могут постепенно гнить, а электрические помехи и ошибки в прошивке или программном обеспечении могут повредить файлы при передаче. Есть и другие причины, но я бы посоветовал спросить о стеке, связанном с компьютером, если вы хотите углубиться в детали.
С точки зрения того, что можно с этим сделать, лучший ответ, который я могу придумать, - это вычисление хешей и хранение нескольких копий фотографий. С этой целью я написал бесплатную программу с открытым исходным кодом для решения этой проблемы для себя: Archiverify .
Он работает путем вычисления хешей, хранения хешей вместе с изображениями и сравнения файлов с хешами при запуске. Если у вас есть более одной копии файла, он может автоматически восстановить поврежденную копию из хорошей (при условии, что обе не повреждаются сразу).
Кроме того, я уверен, что есть платные службы хранения / резервного копирования, которые будут периодически выполнять хеширование и проверку для вас.
Теоретически, такого рода ответы хороши, но, вероятно, стоит прочитать « Как не быть спамером» (не обращайте внимания на слегка подстрекательское название, я не думаю, что отдельные сообщества SE имеют какой-либо контроль над этим). Однако . этот пост фактически не отвечает на вопрос в виде вопроса ("Почему фотографии испорчены?"), Поэтому он может быть потенциально удален по этой причине. Спасибо, это правда, это не отвечает на главный вопрос, я постараюсь ответить на этот вопрос. Это действительно отвечает на "самый важный" вспомогательный вопрос все же. @scottbb Ответ был значительно отредактирован с тех пор, как я разместил этот комментарий. Пожалуйста, смотрите историю редактирования.Есть несколько причин, как указано выше. Это может быть естественный износ с течением времени, который повреждает биты файлов или приводит к ухудшению физического состояния. Если вы постоянно находите фотографии и другие файлы, сильно поврежденные, это может быть признаком компьютерного вируса. Если вы не хотите, чтобы ваши файлы были повреждены первыми двумя способами, тогда инвестируйте в твердотельный накопитель, поскольку он не будет деградировать так же быстро и в 10 раз быстрее. (Вы также можете сделать быструю проверку на вирусы.)
Почему это происходит и, самое главное, как этого избежать?
Вы должны задать этот вопрос на Security.SE.
Чтобы избежать коррупции, вы должны сделать резервные копии .
В информационных технологиях резервное копирование или процесс резервного копирования относится к копированию и архивированию компьютерных данных, поэтому его можно использовать для восстановления оригинала после события потери данных. Форма глагола - это резервное копирование в двух словах, тогда как существительное является резервным.
Записываемые цифровые оптические носители, такие как CD-R и DVD-R, могут быть повреждены даже солнечным светом. Чтобы избежать этого, вы можете использовать что-то вроде стратегии двойного резервного копирования. Однако в настоящее время у нас есть такие красивые онлайн-методы для резервного копирования фотографий, как Instagram или другие онлайн-сервисы. Например, за Google Drive существует большое количество дата-центров. Каждая из ваших фотографий будет храниться в файловой системе Google (GoogleFS или GFS) на серверах, расположенных в этих дата-центрах. Эта файловая система была разработана Google для защиты пользователей от потери данных. Ваши фотографии будут сохранены в трех экземплярах в трех разных географических точках для защиты от потери данных из-за локальных бедствий, вызванных молнией, цунами, землетрясением и т. Д.
Попробуйте использовать несколько онлайн-сервисов одновременно (например, megaupload, dropbox, wuala, 4shared и т. Д.).
После этого, для большего спокойствия, что ни одна из ваших фотографий не была изменена или повреждена, вы должны использовать контрольные суммы для проверки целостности ваших данных.
Контрольная сумма представляет собой элемент данных небольшого размера из блока цифровых данных с целью обнаружения ошибок, которые могли быть внесены во время его передачи или хранения.
Лучший способ - использовать криптографию для такой задачи. Используйте новейшие стабильные хеш-функции, такие как SHA-256 или SHA-512. Старые алгоритмы, такие как MD5, теперь считаются небезопасными. Современный злоумышленник может подделать ваши данные с помощью той же md5sum.
Когда вы закончите, у вас будет распределенная система резервного копирования, которую нелегко сломать даже самым искушенным и преданным злоумышленникам (например, атакам, поддерживаемым государством).
Две копии DVD с одинаковыми данными внутри:
Где этот SHA256SUM должен содержать что-то вроде:
Строки 209732fbdb499f0cad6fd3. - это уникальные хеши ваших фотографий. Когда один фрагмент вашей фотографии станет испорченным, этот хэш будет заменен на другой, поэтому вы можете проверить хеш-значения в этом списке, чтобы убедиться, что ваши фотографии сохраняют целостность.
Во-вторых, все эти фотографии и этот файл SHA256SUM-хэшей загружаются, например, в Dropbox и куда-то еще.
Теперь у вас есть 5 копий ваших фотографий. 2 в автономном режиме, 2 в режиме онлайн, 1 на вашем текущем жестком диске.
Схема может быть развита к чему-то более устойчивому, конечно. Ваше воображение - ваш козырь.
Добрый день.
Предыстория.
Храню свою фотоколлекцию на жестком диске сервера. ( сервер в моей локальной сети) .
Заполню катрочку в 4 гига и после этого сливаю ее по сети на сервак.
после успешного копирования ( размеры файлов на карте и на сервере совпадают) , забываю об этих фото.
Вот решил просмотреть давнишние фото и обнаружил такие фото:
Увеличить
Жесткий диск - в полном порядке. ошибок при копировании не возникает.
Вопросы:
от чего это, может сеть неисправна?
можно ли такие фото восстановить?
Уточню:
Сервером пользуюсь только я.
логических ошибок на диске нет
Физических плохих секторов тоже нет.
Ваши варианты?
И можно ли восстановить такие файлы?
Флеш-карточка фирмы Transcend? Есть у них такая беда - порча файловой системы. Особенно с длинными файлами. Мне удавалось восстановить фото, у которых испорчена только палитра и попутаны части изображения. С помощью графического редактора GIMP.
P.S. Говорят, форматирование карточек и флешек Transcend их фирменной утилитой, поставляемой на прилагаемых дисках и выложенной на их сайтах, помогает восстановить файловую систему. Но самих файлов так, разумеется, не спасти.
Да, вы правы, карточка Transcend SD 4Gb 150x
Спасибо за вах ответ, сейчас покопаюсь на сайте производителя.
Ярослава Емельянова ^^ Гуру (3187) Пожалуйста! С тех пор, как однажды накололась, больше не покупаю продукцию этой марки. Не только на флешках, но и на жестких дисках портятся, и не только файлы фото, нои видеофайлы (MKV z.b.). Это не сеть. Я не могу объяснить, что это, но, грубо говоря, сбой какой-то в файловой математике. Фото не восстанавливаются"сбой какой-то в файловой математике"
Диск, на котором хранятся фото, имеет отличные атрибуты SMART, проверялся неоднократно на ошибки файловой системы. Ошибок нет.
Смарт - это еще все, что может произойти с HDD Советую помимо размеров файлов (который врятли может испортиться) считать контрольные суммы CRC-32 или MD5 У меня похожая проблема была из-за битой оперативы (буфер жесткого диска находится именно там) Прикольно. Видел много всякой всячины. Но чтоб ТАКОЕ. Скорее "умельцы" поработали.файлы не портятся.. . у них нет срока годности.. .
Если вернутся к определению - что такое файл: так это именнованная область данных на диске или носителе информации.
В общем ситуация такая что в той именнованной области данных увас имеет место быть пропуск блока данных.
(скорее всего это флеш.. . но может быть и на жестком диске. ) Ну а контроль по объему данных
если есть аппаратный сбой в блоке носителя вам ничего и не скажет.
. полностью восстановить не сможете, частично же можно.
Photoshop в зубы и вперед!
Т.е. Вы думаете что это физический сбой в жестком диске?не на жестком диске. на флеше. я так понимаю в 4 Гига.
На самой заре когда флеши только появлялись, у меня была на 64 мегабайта. и такое там иногда возникало. практически как у вас
Современные емкие флеши пишут данные по многоуровневому алгоритму. т.е. учитывается еще уровень заряда. в ячейке памяти.
Не так как раньше да/нет, - нолик или единичка. И количество циклов записи-чтения имеет какое-то фиксированый лимит (правда большой).
Но для единичного сбоя этой вероятности ошибки как рази хватает.
есть определенная тенденция. с увеличением емкости флеш носителя и уменьшения физического размера ячейки (именно в реале, на физическом уровне) памяти кто-бы что не говорил но вероятность потери данных возрастает.
причем это касается не только флеш носителей, в определенной степени это свойственно и жестким дискам. (у меня на ноутбуке было так что на 160 Гбайт диск начали терятся данные. принцип конечно принципиально другой, сейчас я просто заменил на новый, правда меньшей емкости. 80 Гбайт.
так что долгое время абсолютно никаких потерь данных нет.
Вообщем это все определяется степенью отработанности технологии. (более емкий носитель должен быть еще и надежнее) так же было один раз потерял такое большое количество информации на флешке в 2 гигабайта. сбойнула. но к примеру флешка на 1гигабайт такого казуса не выкидывала.
на КПК кстати пользовался SD карточкой Kingston. 2 Gb. Работала замечательно. (на ней хранились словари. а к словарям хранились данные, в том числе со звуковым произношением.
Если не сильно принципиально, можно умерить аппетит. Пользоваться к примеру Kingston-ом. Емкостью в пару гигабайт.
Как не испортить фотографию при сохранении и пересохранении? Нужно ли сохранять JPEG в самом лучшем качестве? Небольшой опыт, которым я хочу поделиться.
Слева — оригинал, справа — это же фото, но после многократных пересохранений.
Почти все фотографы знают, что при каждом повторном сохранении фотографии в формате JPEG, происходит повторное сжатие информации и всё сильнее ухудшается качество снимка. То есть, JPEG годится только как итоговый продукт, но не стоит его использовать для записи промежуточного материала, который вы ещё планируете обрабатывать в фоторедакторе.
Мне всегда было интересно узнать, насколько быстро фото придёт в негодность при многократном пересохранении его в формате JPEG. В итоге, я переборол в себе диванного теоретика, не поленился и просто проверил этот вопрос на практике.
Результат оказался довольно неожиданным, что заставило меня взглянуть по-новому на процесс сохранения фотографий в JPEG.
Добрые люди, надеюсь на ваши комментарии, почему такое может происходить.
Вот результаты опыта:
Не зная всех тонкостей и алгоритмов сжатия формата jpeg, я провёл опыт на бытовом уровне. Взял всего одну фотографию и одну программу (Adobe Photoshop).
Оригинальная фотография сохранена в наилучшем качестве.
Процесс сохранения в Фотошопе.
Оказалось, что при сохранении в самом лучшем качестве — 12, заметное ухудшение снимка появлялось уже на пятом сохранении:
Фото было открыто в Фотошопе и сохранено 5 раз.
К 30-му сохранению с фотографией уже было всё плохо:
Фото было открыто в Фотошопе и сохранено 30 раз.
Так что оказалось, портится фото довольно быстро, даже при сохранении в самом лучшем качестве. Что же будет с другими настройками? Я пошёл дальше и проделал тот же опыт для качества 11, 10 и т.д.
Самое удивительное начало происходить со значения качества 8 и ниже — повторные сохранения перестали существенно ухудшать внешний вид фотографии.
Качество — 8. Сохранено — 1 раз.
Качество — 8. Сохранено — 30 раз.
Разницы почти не чувствуется. Хотя, скажу прямо — я её вообще не вижу.
Качество — 6. Сохранено — 30 раз. Размер файла — 156 КБ.
Качество — 12. Сохранено — 30 раз. Размер файла — 991 КБ.
Я пока не могу однозначно трактовать полученный результат, но он мне кажется, как минимум, занятным. Если у вас есть мысли по этому поводу, будет интересно их почитать.
Лига фотографов
36.6K поста 27.8K подписчика
Правила сообщества
1. Фотографии должны содержать тег [моё] и быть хорошего качества.
Не допускаются: мыльные фотографии; фотографии, содержащие большое количество шумов; слишком темные или слишком светлые фотографии (пересвет).
Все подобные фотографии будут перенесены в общую ленту.
Отдельное замечание по фотографиям с телефонов – фотографии просматриваемые на телефоне могут значительно отличаться от фотографии на мониторе компьютера или ноутбука (как правило с телефона не видно проблем).
Пожалуйста, проверяйте свои фотографии с телефона на устройствах с большей диагональю экрана.
2. Желательно указывать минимальный набор информации о технике, на которую сделана фотография. Если это системная фотокамера – фотоаппарат + объектив, если компактная камера или телефон – модель.
Приветствуется указывание более подробной информации.
3. Приветствуется описание процесса съемки, условия съемки, место съемки и т. д.
4. Если Вы хотите получить критику или советы по своей фотографии – добавляйте тег хочу критики. Однако учтите, что отсутствие данного тега не отменяет возможность критиковать Ваши работы.
5. В сообществе запрещается грубое обсуждение моделей (толстая, страшная, худая и т. д.)
Все комментарии подобного рода будут удаляться.
6. Запрещается прямое или косвенное оскорбление участников сообщества и их работ, язвительный тон, мат. Все подобные комментарии будут удаляться.
7. Посты о фотографах, выставках, техниках, жанрах, оборудовании, а также различные уроки (свои, скопированные, переведенные) являются исключением для пунктов 1-3.
немного поясню про JPEG
вне зависимости с каким качеством сжатия JPEG сохраняет изображение, он хранит цвет в формате YUV420 и вот тут и начинается жопа:
YUV - это формат, где цвет каждой точки описывается 3 независимыми характеристиками
Y - яркость (по сути черно-белое изображение), UV - две цветовые компоненты
в формате YUV420 на каждые 4 точки (квадратик 2x2) приходится 4 значения Y и по 1 значению U и V
это сделано из-за особенностей глаза - мы гораздо чувствительнее к разнице в яркости, чем к разнице цветности
таким образом потеря качества происходит уже из-за того, что в отличии от RGB формата (когда каждая точка описывается 3 компонентами цвета - красным, зеленым и синим), YUV420 4 точки описываются одним параметром цвета (UV)
ну и при конвертации из RGB, а потом в RGB (чтобы на экран вывести) страдает точность
например - цвет RGB(32, 64, 128) (глубокий синий цвет) преобразуется в YUV(61, 165, 106), а при обратном преобразовании в (30, 63, 126)
а при многократном преобразовании RGB-YUV-RGB получается вообще треш:
RGB(32, 64, 128) -> RGB(0, 24, 70) - очень грязный темно синий (получено примерно за 45 циклов преобразования)
хотя конечно это все гораздо меньше портит изображение, чем потеря качества при сжатии (дискретные фурье-преобразования, отбрасывание хвостов и т.п.) и конечно гребанная граница между блоками 8x8 (именно с такими блоками работают JPEG кодеры), что конечно правится вейвлет-преобразованиями и соответствующими форматами (типа JPEG2000).
Вы проделали отличную работу, которая заслуживает внимания и распространения. Добавлю пять копеек от себя, попытаясь объяснить достаточно неочевидный результат эксперимента. Думаю, что дело в том, что фотошоп при максимальном качестве изображения стремится максимально точно передать цвет одного пикселя без "усреднений". При этом резкость подскакивает, за счет чего страдают переходы между градиентами. Обратите внимание, сильнее всего ухудшилось качество градиентов. Можно сказать, что в них "обострились" отдельные зоны, что изменило характер изображения. Конечно, здесь на лицо ошибка алгоритма фотошопа. Такого быть не должно. Рекомендую попробовать для других опций сохранения (оптимизированный, прогрессивный). Будет интересно взглянуть. Снижение качества жипега фотошоп достигает усреднением отдельных пикселей. То есть, цвет берётся не из одного пикселя, а усредняется из области 5х5 или 10х10 пикселей по соседним точкам. Естественно, при таком методе градиенты пострадать не могут, они станут даже более плавными. В данном случае будет страдать текстура. Что имеем в итоге? Если на фото много градиентов - лучше снизить качество изображения при сохранении, если надо сохранить текстуру - максимальное качество.
Довольно распространенная проблема, когда файлы в формате jpg просто перестают открываться. Данная статья осветит наиболее распространенные причины данной проблемы.
1) Если файлы перестают открываться на DVD/CD- носителях. При открытии файла может появиться ошибка или файл откроется через обозреватель, но вместо картинки Вы увидите надпись «Изображение не может быть отображено».
Причина может быть в физическом повреждении диска или диск заляпан пальцами. Убедитесь в том, что на поверхности считываемой стороны диска нет царапин. Если диск поцарапан, то восстановить файлы в данном секторе диска уже не получится. Если диск заляпан пальцами, протрите его мягкой тканью.
Так же причиной может быть запекание диска. Это происходит если на считываемую сторону диска попали прямые солнечные лучи.
2) Если файлы перестают открываться на Flesh- носителях. Как и в первом случае, при открытии файла появляется ошибка или файл открывается но появляются надписи «Изображение не может быть отображено» или «формат файла не поддерживается средством просмотра изображений».
Причина скорее всего в вирусах, попавших на Вашу флешку. Проверьте флешку на наличие вирусов при помощи антивирусной программы. Так же следует проверить флешку на наличие ошибок.
Еще одной причиной, но довольно редкой, может послужить физическое повреждение флешки. Но в данном случае более вероятно то, что после механического воздействия на флешку, он скорее всего перестанет работать вообще. Но в очень редких случаях бывает, что повреждаются только некоторые сектора памяти.
3) Файлы не открываются будучи расположенные на самом жестком диске ПК.
Естественно в первую очередь стоит проверить жесткий диск на наличие вирусов.
Прислушайтесь к Вашему жесткому диску. Возможно он издает какие нибудь лишние звуки при работе. Это свидетельствует о том, что жесткий диск начинает «сыпаться» т.е. ломаться. В таком случае нет не чего удивительного в том, что часть файлов повреждены.
Читайте также: