Что такое md5 хеш
Обновлено: 07.07.2024
Что такое хеширование
Хеширование это процесс преобразования любого массива данных в выходную строку фиксированной длины. Это преобразование проводится с помощью, так называемых, хеш-функций. Такая функция на входе получает массив данных, а на выходе возвращает так называемый хеш (хеш-суму) – уникальную строку фиксированной длины.
Алгоритм работы хеш-функции построен таким образом, что для любого массива данных функция выдает уникальную строку. Ввиду этой особенности полученная строка может использоваться как цифровой отпечаток данных. Такой отпечаток можно юзать для проверки целостности данных.
К примеру, когда разработчик программного обеспечения публикует в сети свой программный продукт, вместечке с ним он может опубликовать его хеш. Это позволит юзерам проверить целостность программы перед ее установкой. Ели программа была заражена вирусами или загрузилась с ошибками, ее хеш не будет соответствовать хешу, который был опубликован разработчиком программы.
История развития MD5
Алгоритм MD5 был разработан профессором Рональдом Л. Ривестом из Массачусетского технологического института в 1991 году. Данный алгоритм стал заменой предыдущей версии алгоритма MD4. С этого времени алгоритм обрел большую популярность и стал использоваться повсеместно.
Начиная с 1993 года, регулярно появляются исследования, которые обнаруживают все новые уязвимости в алгоритме MD5. На данный момент алгоритм MD5 считается уязвимым и постепенно заменяется алгоритмом SHA.
Как получить хеш MD5
Чтобы получить MD5 хеш при помощи этого сервиса достаточно ввести строку в поле и нажать на кнопку «Hash». Поле этого появится хеш введенной строки.
Работать с этой программой очень просто. Чтобы получить MD5 хеш файла достаточно запустить программу и выбрать нужный файл.
Проблемы надежности MD5
Казалось бы, такая характеристика MD5 должна обеспечивать 100% гарантии неуязвимости и сохранения данных. Но даже этого оказалось мало. В ходе проводимых исследований учеными был выявлен целый ряд прорех и уязвимостей в этом уже распространенном на тот момент алгоритме. Основной причиной слабой защищенности MD5 значится относительно легкое нахождение коллизий при шифровании.
Под коллизией понимают возможность получения одинакового результата вычислений хеш-функции при разных входных значениях.
Проще говоря, чем больше вероятность нахождения коллизий, тем надежность используемого алгоритма ниже. Вероятность нахождения коллизий при шифровании более надежными хеш-функциями практически сводится к 0.
То есть большая вероятность расшифровки паролей MD5 значится основной причиной отказа от использования этого алгоритма. Многие криптологи (специалисты по шифрованию данных) связывают низкую надежность MD5 с малой длиной получаемого хеш-кода.
Область применения алгоритма хеширования:
- Проверка целостности файлов, полученных через интернет – многие инсталляционные пакеты прог снабжены хеш-кодом. Во время активации приложения его значение сравнивается со значением, расположенным в базе данных разработчика;
- Поиск в файловой системе продублированных файлов – каждый из файлов снабжен своим хеш-кодом. Специальное приложение сканирует файловую систему компа, сравнивая между собой хеши всех элементов. При обнаружении совпадения утилита оповещает об этом пользователя или удаляет дубликат. Одной из подобных прог значится Duplifinder:
- Для хеширования паролей – в семействе операционных систем UNIX каждый юзер системы имеет свой замечательный пароль, для защиты которого используется хеширование на основе MD5. Некоторые системы на основе Линукс также пользуются этим методом шифрования паролей.
Основы безопасности при использовании MD5
Данный стандарт кодирования значится одним из самых распространенных методов защиты данных не лишь в прикладном, но и в веб-программировании. Так что не будет лишним обезопасить свой md5 hash от намеренного взлома.
Основным способом, гарантирующим безопасность хеша вашего пароля, значится использование «соли». Он основан на добавлении к паролю нескольких случайных символов и последующем хешировании результата.
Во многих языках программирования для этого используются специальные классы и функции. Не являются исключением из правил и серверные языки программирования.
Создать хеш-код MD5 в php можно при помощи нескольких функций:
- md5() – в качестве 1-го из параметров принимает значение «соли»;
- crypt() – в отличие от предыдущей эта функция полностью автоматизирует весь процесс, в том числе и генерирование значения соли.
string crypt ( string $str [, string $salt ] )
При использовании функции md5() в PHP для задания значения соли используют методы генерации случайных чисел. К примеру, rand():
Помимо применения «соли» было разработано еще несколько методов защиты хеша MD5:
- MD5 (Unix) – заданное первоначальное значение проходит цикл хеширования около 1000 раз;
- MD5 (HMAC) – данный метод основан на использовании в хешировании специального ключа;
- MD5 (Base64) – полученный хеш еще раз кодируются при помощи алгоритма Base64.
В материале приведены лишь начальные сведения об обеспечении безопасности хеша, полученного при помощи этого алгоритма. Самым простым и эффективным из них значится использование уникального значения «соли», которая даёт возможность существенно «насолить» злоумышленнику и «подсластить» жизнь владельцу взламываемого пароля.
Видео о том, что такое хэш функция?
Проект MD5CRK закончился после 17 августа 2004, когда Ван Сяоюнь (Wang Xiaoyun), Фен Дэнгуо (Feng Dengguo), Лай Сюэцзя (Lai Xuejia) и Юй Хунбо (Yu Hongbo) обнаружили уязвимости в алгоритме.
1 марта 2005, Arjen Lenstra, Xiaoyun Wang, и Benne de Weger продемонстрировали построение двух X.509 документов с различными открытыми ключами и одинаковым хешем MD5.
18 марта 2006 исследователь Властимил Клима (Vlastimil Klima) опубликовал алгоритм, который может найти коллизии за одну минуту на обычном компьютере, метод получил название « Алгоритм MD5 [ ]
Cхема работы алгоритма MD5
Ниже приведены 5 шагов алгоритма:
Шаг 1. Выравнивание потока [ ]
Шаг 3. Инициализация буфера [ ]
Для вычислений инициализируются 4 переменных размером по 32 бита и задаются начальные значения шестнадцатеричными числами:
В этих переменных будут храниться результаты промежуточных вычислений. Начальное состояние ABCD называется инициализирующим вектором.
Определим еще функции и константы, которые нам понадобятся для вычислений.
Шаг 4. Вычисление в цикле [ ]
Заносим в блок данных элемент n из массива. Сохраняются значения A, B, C и D, оставшиеся после операций над предыдущими блоками (или их начальные значения, если блок первый).
AA = A BB = B CC = C DD = D
Суммируем с результатом предыдущего цикла:
После окончания цикла необходимо проверить, есть ли еще блоки для вычислений. Если да, то изменяем номер элемента массива (n++) и переходим в начало цикла.
Шаг 5. Результат вычислений [ ]
Результат вычислений находится в буфере ABCD, это и есть хеш. Если вывести слова в обратном порядке DCBA, то мы получим наш MD5 хеш.
Сравнение MD5 и MD4 [ ]
Различия в скорости работы представлены в таблице:
| MD5 | MD4 | |||
|---|---|---|---|---|
| RFC | 2,614 сек | 37359 Кб/сек | 2,574 сек | 37940 Кб/сек |
| OpenSSL | 1,152 сек | 84771 Кб/сек | 0,891 сек | 109603 Кб/сек |
MD5 хеши [ ]
Хеш содержит 128 бит (16 байт) и обычно представляется как последовательность из 32 шестнадцатеричных чисел.
Несколько примеров хеша:
Пример MD5 хеша для «нулевой» строки:
Криптоанализ [ ]
RainbowCrack — новый вариант взлома хеша. Он основан на генерировании большого количества хешей из набора символов, и потом по этой базе можно вести поиск заданного хеша. Хотя генерация хешей занимает недели, зато последующий взлом производится за считанные минуты. Rainbow-таблицы можно найти, а можно сгенерировать самому.
| AA1DDABE | D97ABFF5 | BBF0E1C1 | 32774244 |
| 1006363E | 7218209D | E01C136D | 9DA64D0E |
| 98A1FB19 | 1FAE44B0 | 236BB992 | 6B7A779B |
| 1326ED65 | D93E0972 | D458C868 | 6B72746A |
Тогда MD5(IV, L1) = MD5(IV, L2) = BF90E670752AF92B9CE4E3E1B12CF8DE.
В 2005 году исследователи Сяоюнь Ван и Хунбо Ю из университета Шандонг в Китае, опубликовали алгоритм, который может найти две различные последовательности 128 байт, которые дают одинаковый MD5 хеш. Одна из таких пар:
| d131dd02c5e6eec4693d9a0698aff95c | 2fcab58712467eab4004583eb8fb7f89 |
| 55ad340609f4b30283e488832571415a | 085125e8f7cdc99fd91dbdf280373c5b |
| d8823e3156348f5bae6dacd436c919c6 | dd53e2b487da03fd02396306d248cda0 |
| e99f33420f577ee8ce54b67080a80d1e | c69821bcb6a8839396f9652b6ff72a70 |
| d131dd02c5e6eec4693d9a0698aff95c | 2fcab50712467eab4004583eb8fb7f89 |
| 55ad340609f4b30283e4888325f1415a | 085125e8f7cdc99fd91dbd7280373c5b |
| d8823e3156348f5bae6dacd436c919c6 | dd53e23487da03fd02396306d248cda0 |
| e99f33420f577ee8ce54b67080280d1e | c69821bcb6a8839396f965ab6ff72a70 |
Каждый их этих блоков дает MD5 хеш равный 79054025255fb1a26e4bc422aef54eb4.
Метод Сяоюнь Вана и Хунбо Ю [ ]
Метод Сяоюнь Вана и Меркле-Дамгарда . Поданный на вход файл, сначала дополняется, так чтобы его длина была кратна 64 байтам, после этого он делится на блоки по 64 байта каждый M0,M1,…,Mn-1. Далее вычисляется последовательность 16-ти байтных состояний s0,…,sn по правилу si+1=f(si,Mi), где f некоторая фиксированная функция. Начальное состояние s0 называется инициализирующим вектором.
Эта атака является разновидностью дифференциальной атаки, которая, в отличие от других атак этого типа, использует целочисленное вычитание а не с вероятностью 2 -37 . К >" width="" height="" />
и >" width="" height="" />
применяется функция сжатия для проверки условий коллизии; далее выбирается произвольное >" width="" height="" />
, модифицируется, вычисляется новый дифференциал, равный нулю с вероятностью 2 -30 , а равенство нулю дифференциала хеш-функции как раз означает наличие коллизии. Оказалось, что найдя одну пару >" width="" height="" />
и >" width="" height="" />
, можно менять лишь два последних слова в >" width="" height="" />
, тогда для нахождения новой пары >" width="" height="" />
и >" width="" height="" />
требуется всего около 2 39 операций хеширования.
Применение этой атаки к MD4 позволяет найти коллизию меньше чем за секунду. Она также применима к другим хеш-функциям, таким как RIPEMD и HAVAL.
Примеры использования [ ]
Многие системы используют базу данных для хранения паролей и существует несколько способов для хранения паролей.
Существует несколько надстроек над MD5 для усиления криптостойкости.
Содержание
История
В 1996 году Ганс Доббертин (Hans Dobbertin) объявил о коллизии в алгоритме и уже в то время было предложено использовать другие алгоритмы хеширования, такие как Whirlpool, SHA-1 или RIPEMD-160.
Из-за небольшого размера хеша в 128 бит, можно рассматривать birthday атаки. В марте 2004 года был запущен проект MD5CRK с целью обнаружения уязвимостей алгоритма, используя birthday атаки.
Проект MD5CRK закончился после 17 августа 2004, когда Ван Сяоюнь (Wang Xiaoyun), Фен Дэнгуо (Feng Dengguo), Лай Сюэцзя (Lai Xuejia) и Юй Хунбо (Yu Hongbo) обнаружили уязвимости в алгоритме.
1 марта 2005, Arjen Lenstra, Xiaoyun Wang, и Benne de Weger продемонстрировали построение двух X.509 документов с различными открытыми ключами и одинаковым хешем MD5.
18 марта 2006 исследователь Властимил Клима (Vlastimil Klima) опубликовал алгоритм, который может найти коллизии за одну минуту на обычном компьютере, метод получил название «туннелирование».
Алгоритм MD5
Ниже приведены 5 шагов алгоритма:
Шаг 1. Выравнивание потока
Шаг 3. Инициализация буфера
Для вычислений инициализируются 4 переменных размером по 32 бита и задаются начальные значения шестнадцатеричными числами (шестнадцатеричное представление, сначала младший байт):
В этих переменных будут храниться результаты промежуточных вычислений. Начальное состояние ABCD называется инициализирующим вектором.
Определим ещё функции и константы, которые нам понадобятся для вычислений.
Шаг 4. Вычисление в цикле
Заносим в блок данных элемент n из массива. Сохраняются значения A, B, C и D, оставшиеся после операций над предыдущими блоками (или их начальные значения, если блок первый).
AA = A BB = B CC = C DD = D
Суммируем с результатом предыдущего цикла:
После окончания цикла необходимо проверить, есть ли ещё блоки для вычислений. Если да, то изменяем номер элемента массива (n++) и переходим в начало цикла.
Шаг 5. Результат вычислений
Результат вычислений находится в буфере ABCD, это и есть хеш. Если выводить побайтово начиная с младшего байта A и закончив старшим байтом D, то мы получим MD5 хеш.
Сравнение MD5 и MD4
Различия в скорости работы представлены в таблице:
Contents
История
В 1996 году Ганс Доббертин (Hans Dobbertin) объявил о коллизии в алгоритме, и уже в то время было предложено использовать другие алгоритмы хеширования, такие как Whirlpool, SHA-1 или RIPEMD-160.
Из-за небольшого размера хеша в 128 бит, можно рассматривать birthday атаки. В марте 2004 года был запущен проект MD5CRK с целью обнаружения уязвимостей алгоритма, используя birthday атаки. Проект MD5CRK закончился 17 августа 2004 года, когда Ван Сяоюнь (Wang Xiaoyun), Фэн Дэнго (Feng Dengguo), Лай Сюэцзя (Lai Xuejia) и Юй Хунбо (Yu Hongbo) обнаружили уязвимости в алгоритме.
1 марта 2005 года Arjen Lenstra, Xiaoyun Wang и Benne de Weger продемонстрировали построение двух X.509 документов с различными открытыми ключами и одинаковым хешем MD5.
18 марта 2006 года исследователь Властимил Клима (Vlastimil Klima) опубликовал алгоритм, который может найти коллизии за одну минуту на обычном компьютере, метод получил название «туннелирование».
В конце 2008 года US-CERT призвал разработчиков программного обеспечения, владельцев веб-сайтов и пользователей прекратить использовать MD5 в любых целях, так как исследования продемонстрировали ненадёжность этого алгоритма.<ref name="USCERT" />
Алгоритм MD5
Ниже приведены 5 шагов алгоритма:
Шаг 1. Выравнивание потока
Шаг 3. Инициализация буфера
Для вычислений инициализируются 4 переменных размером по 32 бита и задаются начальные значения шестнадцатеричными числами (шестнадцатеричное представление, сначала младший байт):
В этих переменных будут храниться результаты промежуточных вычислений. Начальное состояние ABCD называется инициализирующим вектором.
Определим ещё функции и константы, которые нам понадобятся для вычислений.
- Потребуются 4 функции для четырёх раундов. Введём функции от трёх параметров — слов, результатом также будет слово.
где <math>\oplus, \wedge, \vee, \neg</math> логические операции XOR, AND, OR и NOT соответственно.
Шаг 4. Вычисление в цикле
Заносим в блок данных элемент n из массива. Сохраняются значения A, B, C и D, оставшиеся после операций над предыдущими блоками (или их начальные значения, если блок первый).
AA = A BB = B CC = C DD = D
Суммируем с результатом предыдущего цикла:
После окончания цикла необходимо проверить, есть ли ещё блоки для вычислений. Если да, то изменяем номер элемента массива (n++) и переходим в начало цикла.
Шаг 5. Результат вычислений
Результат вычислений находится в буфере ABCD, это и есть хеш. Если выводить побайтово, начиная с младшего байта A и закончив старшим байтом D, то мы получим MD5-хеш. 1,0,15,34,17,18.
Сравнение MD5 и MD4
Различия в скорости работы представлены в таблице:
MD5-хеши
Хеш содержит 128 бит (16 байт) и обычно представляется как последовательность из 32 шестнадцатеричных цифр.
Несколько примеров хеша:
Пример MD5-хеша для «нулевой» строки:
Криптоанализ
При этом методы перебора по словарю и brute-force могут использоваться для взлома хеша других хеш-функций (с небольшими изменениями алгоритма). RainbowCrack требует предварительной подготовки радужных таблиц, которые создаются для заранее определённой хеш-функции. Поиск коллизий специфичен для каждого алгоритма.
Атаки переборного типа
RainbowCrack — ещё один метод взлома хеша. Он основан на генерировании большого количества хешей из набора символов, чтобы по получившейся базе вести поиск заданного хеша. Хотя генерация хешей занимает много времени, зато последующий взлом производится очень быстро.
Коллизии MD5
| AA1DDABE | D97ABFF5 | BBF0E1C1 | 32774244 |
| 1006363E | 7218209D | E01C136D | 9DA64D0E |
| 98A1FB19 | 1FAE44B0 | 236BB992 | 6B7A779B |
| 1326ED65 | D93E0972 | D458C868 | 6B72746A |
<math>L2_i=\begin L1_i, & i\ne 14;\\ L1_i + 2^9, & i = 14. \end</math>
Тогда MD5(IV, L1) = MD5(IV, L2) = BF90E670752AF92B9CE4E3E1B12CF8DE.
В 2004 году китайские исследователи Ван Сяоюнь (Wang Xiaoyun), Фэн Дэнго (Feng Dengguo), Лай Сюэцзя (Lai Xuejia) и Юй Хунбо (Yu Hongbo) объявили об обнаруженной ими уязвимости в алгоритме, позволяющей за небольшое время (1 час на кластере Template:Translation) находить коллизии.<ref>Template:Cite web</ref><ref>Template:Cite web</ref>
В 2005 году Ван Сяоюнь и Юй Хунбо из университета Шаньдуна в Китае опубликовали алгоритм, который может найти две различные последовательности в 128 байт, которые дают одинаковый MD5-хеш. Одна из таких пар (отличающиеся разряды выделены):
| d131dd02c5e6eec4693d9a0698aff95c | 2fcab5Template:Color712467eab4004583eb8fb7f89 |
| 55ad340609f4b30283e4888325Template:Color1415a | 085125e8f7cdc99fd91dbdTemplate:Color280373c5b |
| d8823e3156348f5bae6dacd436c919c6 | dd53e2Template:Color487da03fd02396306d248cda0 |
| e99f33420f577ee8ce54b67080Template:Color80d1e | c69821bcb6a8839396f965Template:Colorb6ff72a70 |
| d131dd02c5e6eec4693d9a0698aff95c | 2fcab5Template:Color712467eab4004583eb8fb7f89 |
| 55ad340609f4b30283e4888325Template:Color1415a | 085125e8f7cdc99fd91dbdTemplate:Color280373c5b |
| d8823e3156348f5bae6dacd436c919c6 | dd53e2Template:Color487da03fd02396306d248cda0 |
| e99f33420f577ee8ce54b67080Template:Color80d1e | c69821bcb6a8839396f965Template:Colorb6ff72a70 |
Каждый из этих блоков даёт MD5-хеш, равный 79054025255fb1a26e4bc422aef54eb4.
Метод Ван Сяоюня и Юй Хунбо
Метод Ван Сяоюня и Юй Хунбо использует тот факт, что MD5 построен на итерационном методе Меркла-Дамгарда. Поданный на вход файл сначала дополняется, так чтобы его длина была кратна 64 байтам, после этого он делится на блоки по 64 байта каждый M0,M1,…,Mn-1. Далее вычисляется последовательность 16-байтных состояний s0,…,sn по правилу si+1=f(si,Mi), где f некоторая фиксированная функция. Начальное состояние s0 называется инициализирующим вектором.
Метод позволяет для заданного инициализирующего вектора найти две пары <math>M,M'</math> и <math>N,N'</math>, такие что <math>f(f(s,M),M')=f(f(s,N),N')</math>. Важно отметить, что этот метод работает для любого инициализирующего вектора, а не только для вектора используемого по стандарту.
Применение этой атаки к MD4 позволяет найти коллизию меньше чем за секунду. Она также применима к другим хеш-функциям, таким как RIPEMD и HAVAL.
В 2006 году чешский исследователь Властимил Клима опубликовал алгоритм, позволяющий находить коллизии на обычном компьютере с любым начальным вектором (A,B,C,D) при помощи метода, названного им «туннелирование».<ref>Template:Cite web</ref><ref>Template:Cite web</ref>
Примеры использования
Ранее считалось, что MD5 позволяет получать относительно надёжный идентификатор для блока данных. Такое свойство алгоритма широко применялось в разных областях. Оно позволяет искать дублирующиеся файлы на компьютере, сравнивая MD5 файлов, а не их содержимое. Как пример, dupliFinder — графическая программа под Windows и Linux.
С помощью MD5 проверяли целостность скачанных файлов — так, некоторые программы идут вместе со значением хеша. Например, диски для инсталляции.
MD5 использовался для хеширования паролей. В системе UNIX каждый пользователь имеет свой пароль и его знает только пользователь. Для защиты паролей используется хеширование. Предполагалось, что получить настоящий пароль можно только полным перебором. При появлении UNIX единственным способом хеширования был DES (Data Encryption Standard), но им могли пользоваться только жители США, потому что исходные коды DES нельзя было вывозить из страны. Во FreeBSD решили эту проблему. Пользователи США могли использовать библиотеку DES, а остальные пользователи имеют метод, разрешённый для экспорта. Поэтому в FreeBSD стали использовать MD5 по умолчанию.<ref>Template:Cite web</ref>. Некоторые Linux-системы также используют MD5 для хранения паролей.
Многие системы используют базу данных для хранения паролей и существует несколько способов для хранения паролей.
Читайте также: