Как узнать формат музыкального файла

Обновлено: 07.07.2024

Основой музыкальной индустрии на современном этапе ее развития является компакт диск, который по сути представляет набор файлов формата WAV PCM 44100 Гц, 16 бит стерео (от англ. waveform, т.е. "в форме волны"), записанных на диске методом CD-DA (Compact Disc - Digital Audio). Но реалии таковы, что далеко не все любители музыки имеют возможность формировать свою фонотеку из CD-Audio, а качественное звучание любят все. Поэтому большинство из нас коллекционирует музыку в кодированном виде.

Не будем говорить в этой теме о достоинствах и недостатках методов кодирования с потерями (lossy) и без потерь (lossless) и о выборе того или иного кодека для получения максимально качественного звучания. Просто признаем, что формат МР3 (кодек третьего уровня MPEG Layer 3) со времен своей стандартизации в 1991-м году прошел путь от малоизвестной части видео файла до такой степени распространенности, о которой большинство аудио-форматов могут только мечтать. МР3 стал де-факто стандартом хранения музыки во всемирной сети и за ее пределами, успешно используясь во многих аудиоустройствах.

Этот формат при хорошей степени сжатия, доступности декодеров, низких системных требованиях к оборудованию и поддержке всеми современными моделями аудиоплееров, музыкальных центров и DVD-плееров, обеспечивает качество звучание, которое сегодня в определенной степени устраивает большинство любителей музыки. Основа успеха формата MР3 - малый объем файла при высоком качестве звука. Достигаются эти преимущества применением сложных алгоритмов сжатия и системой адаптивного кодирования в ходе которого отбрасывается много "излишней" звуковой информации исходного файла.

1. Качество МP3

Формат MР3 является достаточно гибким и позволяет варьировать степень сжатия и качество звучания файла, которые определяются шириной звукового потока - битрейтом (bitrate) - количеством бит выделенных для кодирования секунды звукового потока (kilobits per second - килобит в секунду, обозначается как kbps или кбит/с соответственно). Понятно, что чем битрейт файла выше, тем качество звука лучше. Ведь именно битрейт определяет насколько сильно при кодировании файла в МР3 срезаются верхние частоты (чем выше битрейт, тем граница среза выше).

Само по себе несжатое аудио формата CD-Audio имеет битрейт 1411,2 кбит/с. Значение битрейта для MP3 файла технически может находиться в пределах от минимальных 8 кбит/с до максимальных 320 кбит/с. Наиболее распространенными битрейтами закодированного в МР3 звука являются 128 , 160 , 192 , 224 , 256 и 320 кбит/с.

Но от значения битрейта напрямую зависит и размер полученного МР3-файла. Например, одна секунда звучания МР3 с битрейтом 320 кбит/с будет "весить" 320 кбит, или 40 кбайт. Таким образом, объем пятиминутной композиции в МР3 320 кбит/с будет равен 5*60*320/8=12000 кбайт, или примерно 11.7 Мбайт. Тогда как объем этой же композиции, но в МР3 128 кбит/с составит 4800 кбайт или около 4.7 Мбайт.

Показатели качества МР3 файлов с различными битрейтами приведены в таблице:

Примечание: Все картинки кликабельны.

Таким образом, пользователь имеет возможность выбора: пожертвовать качеством для достижения минимального объема или получить больший файл с более высоким качеством .

Естественно, что в погоне за качеством звука (учитывая, что объемы жестких дисков сегодня измеряются терабайтами), мы отбираем в свою фонотеку файлы с максимальным битрейтом.

2. Создание МP3 файла, апконверт и спектральный анализ

"Правильные" МР3 файлы с максимальным битрейтом 320 кбит/с можно создать только двумя способами:

1. Путем прямого кодирования CD-DA в МР3 файлы с помощью специальных программ - CD-рипперов;

2. Путем конвертирования любого Lossless формата в МР3.

(Перекодирование качественных файлов других lossy форматов, таких как AAC, OGG или MPC, в MP3 320 кбит/с случай особый и пока не рассматривается).

МР3 с меньшим (чем максимальный) битрейтом можно получить также путем перекодирования МР3 файла с более высоким битрейтом.

Но к сожалению, в теории кодирования звуковых файлов существует и такое понятие, как апконверт . Апконвертом является любое преобразование файла с повышением битрейта . Например, перекодирование MP3 128 кбит/с в 320 кбит/с.

И это явление, как в торговой, так и во всемирной сети встречается сплошь и рядом. Мы увидев на обложке диска или на музыкальном сайте заветные 320 кбит/с, покупаем диск или скачиваем с сайта файлы с любимой музыкой. Но при ее прослушивании нас зачастую постигает разочарование - звук оказывается хуже ожидаемого, на частотах среднего диапазона композиция звучит смазанно, на высоких частотах - приглушенно и ненатурально. При этом все программы для работы с тегами (такие как МР3 Tag) и все плееры показывают нам битрейт файла 320 кбит/с, хотя оценивая звуковой файл на слух, мы понимаем что это не так.

А все дело в том, что если мы переконвертируем, например, файл МР3 128 кбит/с в МР3 320 кбит/с, то получим файл, напоминающий МР3 320 кбит/с только внешне, а реально это будет тот же МР3 128 кбит/с, но "раздутый" по объему в 2,5 раза. Мало того, что при этом качество не улучшится(ведь потерянные при предыдущем кодировании в 128 кбит/с данные уже не вернуть и звуковой волне с уже "обрезанной" верхушкой просто неоткуда взять недостающие фрагменты), оно даже ухудшится из-за повторного вмешательства программы-кодировщика в исходный "материал".

Как же оценить качество кодирования и определить, соответствует ли содержимое МР3-файла текущему своему виду, т.е. был ли источником кодирования для МР3 320 кбит/сек lossless сигнал (или использовался ли для получения МР3 с меньшим битрейтом исходный файл с более высоким битрейтом)?

Поскольку основной характеристикой сигнала является его спектр (двумерный график, отображающий степень присутствия в сигнале всех возможных частот), то уровень качества кодирования прямо пропорционален степени приближения спектра конечного звукового потока к исходному . Т.е., чем меньше разница в амплитудах частотных несущих, тем выше качество кодирования.

Поэтому в оценке качества МР3 файла поможет нам спектральный анализ . Его использование позволит наглядно увидеть сигнал, сформированный при кодировании МР3 и сделать кое-какие выводы.

Переходим от теории к практике. Для экспериментов возьмем CD-DA с японским изданием 2012 года альбома группы Scorpions "Comeblack" (RCA - SICP 3373) (Лицензия)

Для начала проверим подлинность компакт-диска в соответствии с рекомендациями в теме "Качество аудио-CD и Lossless аудиофайлов"

Откуда берется подобный фальшивый lossless? Варианта тут два:

Некто осознанно делает апконверт из lossy-контента, преследуя свои корыстные цели — например, желая привлечь трафик на сайт путём выкладывания редких записей в lossless, но при этом не имея их нормального исходника.
Некто из благих побуждений делает lossless с CD и выкладывает его в сеть без проверки. Проблема возникает, если этот CD оказывается пираткой, сделанной из lossy.

auCDtect

auCDtect Task Manager

Результат по каждому треку выводится в столбце «Резюме»: «CDDA» — честный lossless, «MPEG» — апконверт. По умолчанию программа также формирует отчёты в директории с проверяемыми аудиофайлами, эту функцию можно отключить в настройках. В процессе анализа auCDtect Task Manager создает спектрограммы треков, которые впоследствии можно использовать для визуального анализа (подробнее об этом я расскажу ниже).

Audiochecker

Lossless Audio Checker

Название данной программы похоже на название предыдущей, но не нужно их путать — это совершенно разные продукты. Lossless Audio Checker доступен для скачивания на оригинальном сайте, имеются графическая и консольная версии. Интерфейс программы минималистичен, какие-либо настройки отсутствуют. По результатам проверки полноценный lossless отмечается как «Clean», фейковый — «Upsampled»:

Надо отметить, что надёжность распознавания апконверта у Lossless Audio Checker’а оставляет желать лучшего, пользоваться этой программой если и стоит, то только в качестве дополнения к другому ПО.

Визуальный анализ спектрограмм

Давайте посмотрим, как изменяется спектр сигнала при перекодировании музыки из одного формата в другой. Для этого сделаем следующее:

Возьмём CDDA с электронной музыкой, выберем на нём трек с максимально широким спектром, сохраним этот трек в WAV.
Создадим ещё три копии полученного на предыдущем этапе WAV-файла, каждую из которых сожмём в MP3 при помощи кодера LAME с различными настройками. Тем же LAME’ом декодируем все MP3 обратно в WAV. Одну из копий после декодирования обработаем энхансером в аудиоредакторе.
Полученные WAV-файлы сожмём во FLAC (технической необходимости в этом нет, можно анализировать и сразу WAV, но для наглядности пусть всё будет выглядеть так, как будто бы мы скачали музыку в формате FLAC из сети). Конечным результатом всех описанных манипуляций будут четыре варианта тестового трека, один из которых — полноценный lossless, а три другие — псевдоlossless, сделанный из MP3 разной степени урезанности.
При помощи auCDtect Task Manager получим спектрограммы наших тестовых файлов, которые и рассмотрим. Рекомендую читателю сохранить нижеприведённые картинки в папку и посравнивать их самостоятельно в любой программе просмотра изображений, быстро переключаясь между ними — так различия будут видны максимально отчётливо.

Итак, вот спектрограмма исходного CDDA-трека:

А это наш трек после конвертации в MP3 при помощи LAME с пресетом extreme (один из наиболее качественных вариантов MP3-сжатия):

Отличия от исходного образца минимальны, но они есть. В целом спектр всё так же простирается до самой верхней границы (ФНЧ у LAME в этом режиме отключен), однако, на некоторых участках слабые высокочастотные составляющие всё равно подавлены, что видно по обрезке голубовато-фиолетовых составляющих спектрограммы.

А вот так выглядит спектрограмма трека, сжатого в MP3 LAME’ом с настройками по умолчанию (постоянный битрейт 128 kbps, используется фильтр нижних частот):

Тут мы видим работу ФНЧ во всей красе, частотные компоненты выше

17 кГц почти полностью обрезаны.

Теперь посмотрим на спектрограмму этого же варианта трека, дополнительно обработанного энхансером (энхансер — ПО, добавляющее в высокочастотную область сигнала гармоники, субъективно делающие звук более ярким, насыщенным. Лет 15-20 назад многие пиратские CD, изготовленные из MP3, обрабатывались подобным образом). Видим, что энхансер добавил в верхнюю часть спектрограммы немного голубого цвета, что предсказуемо. Впрочем, всё это как мёртвому припарки, отрезанные на этапе MP3-сжатия высокие частоты уже не восстановишь:

Какие выводы можно сделать из увиденного?

Современные lossy-кодеры в высококачественных режимах выдают материал, отличить который от оригинала по спектрограмме весьма сложно или вовсе невозможно. Однако, при переключении этих кодеров в режим «эконом», отличия от оригинала становятся очевидными.
При анализе спектрограммы с целью вычисления апконверта смотреть нужно в первую очередь на наличие явного среза ВЧ. Если таковой присутствует на частотах ниже

Заключение

Как я уже говорил во вступлении, не стоит считать описанный в статье инструментарий панацеей, однако, в большинстве случаев он достаточно эффективно справляется с обнаружением поддельного lossless-контента. Проще всего, когда результаты анализа говорят о том, что перед нами откровенная фальшивка — таковую просто удаляем, и дело с концом. Сложнее принять решение в неоднозначных ситуациях — например, когда отдельные треки в альбоме определяются как апконверт с достаточно высокой вероятностью, а другие — как полноценный lossless. В таких случаях имеет смысл поискать нужные записи в альтернативных источниках и сравнить разные релизы друг с другом. Часто это помогает определиться, является ли сомнительный результат в тестах следствием особенностей фонограммы или же результатом чьей-то вредительской деятельности.

Этичный хакинг и тестирование на проникновение, информационная безопасность

Если вы из тех, кто хочет узнать как работают инструменты указанного сервиса, а также как ими пользоваться на своём компьютере, то продолжайте читать.

Если вам кажется, что проблема с определением типов файлов без расширений надуманная, то это далеко не так! Во-первых, если подумать, это не такая уж простая задача. А с файлом без расширения вы можете столкнуть, например, при декодировании строки из Base64 кодировки.

Во-вторых, у этой статьи будет продолжение, в которой эти же самые инструменты, которые вы изучите на этой странице, будут использоваться для:

1) разбора прошивок (например, роутеров, IP камер) на составные части (первый этап обратной инженерии либо анализа работы устройств для поиска уязвимостей и бэкдоров)

2) поиска файловых систем на дисках и их образах (первый этап криминалистической IT экспертизы)

3) поиска удалённых файлов

Как определить тип данных, если у файла нет расширения

Если у файла нет расширения, то единственным вариантом определения его типа остаётся содержимое этого файла. Можно попробовать добавлять различные расширения к имени файла и пытаться открыть соответствующими для этого расширения программами — этот вариант медленные и неэффективный.

Определённые типы бинарных файлов могут иметь одинаковый набор байтов — по этим байтам можно сопоставить тип файлов. И именно данный метод и применяется программами, предназначенными для определения типа данных. Специфичные байты как правило располагаются не в самом начале файла, поэтому кроме самих байтов, нужно знать смещение от начала, где эти байты должны находиться. Некоторые программы в дополнении к байтам для идентификации ещё имеют список для проверки на ложное срабатывание.

Такие паттерны на английском часто называют magic — это пошло от «magic number» в исполнимых файлах. Эти файлы имеют «магическое число», хранящееся в определённом месте рядом с началом файла, которое сообщает операционной системе UNIX, что файл является двоичным исполняемым файлом и каким именно из нескольких типов. Концепция «магического числа» была применена к другим бинарным файлам. То есть файлы одинакового типа имеют одинаковую последовательность байтов в определённом месте от начала файлов.

Файл с сигнатурами, описывающими какие именно байты, на каком расстоянии от начала файла характерны для файлов того или иного типа, обычно называют magic file.

Кроме магических чисел могут применяться и другие техники, например, программа file для проведения тестов файловых систем также может использовать системный вызов stat. Тип текстовых файлов определяется по содержащимся в них строкам (например, это может быть PHP код, файл в XML или HTML разметке, JSON и так далее).

Команда file — мгновенное определение типа любого файла

В Linux есть команда file с огромной базой сигнатур, которая очень быстро определяет тип файла:

Чтобы узнать, что за файл без расширения, выполните команду вида:

То есть это текстовый файл офисного пакета Microsoft Office.

Можно указать сразу несколько файлов для проверки или использовать подстановочные символы. Например, следующая команда проверит типы всех файлов в текущей папке:

У программы file имеются опции, подробности о них смотрите в отдельной статье «Инструкция по использованию команды file».

Аналог команды file для Windows

file — это утилита командной строки для Linux, поэтому пользователям Windows нужна какая-то альтернатива. Рассмотрим несколько способов использования file в Windows.

1. Утилита file в Cygwin

Данный способ, на мой взгляд, самый простой. Достаточно скачать Cygwin и вы можете пользоваться большинством утилит Linux. Подробности, в том числе как указывать пути в файловой системе, смотрите в ветке «Как начать знакомство с командами Linux: Cygwin».

2. file в WSL

Подсистема Windows для Linux (WSL) это ещё один способ использовать утилиты Linux в Windows. Подробности о работе с WSL смотрите в справочном материале «WSL (подсистема Windows для Linux): подсказки, инструкции, решения проблем».

3. Скомпилированный file для Windows

Файлы различаются архитектурой (64- и 32-битные), а также компилятором.

Распакуйте скаченный архив. Например, я поместил скаченные файлы в папку C:\Users\MiAl\Downloads\file\.

Откройте командную строку, для этого нажмите Win+x, выберите «Windows PowerShell».

Перейдите в папку с программой:

Для определения расширения файла используйте команду вида:

Вы можете проверить сразу много файлов, для этого перейдите в папку с утилитой file и выполните команду вида:

Например, я хочу проверить все файлы в папке Z:\testfiles\, тогда команда следующая:

4. TrID — кроссплатформенная альтернатива file для Windows и Linux

Пример анализа файла — обратите внимание, что выведено несколько вариантов с указанием процентной вероятности каждого из них:

Если указать несколько файлов для идентификации, то будет выведен только самый вероятный вариант типа файла:

Установка TrID в Windows

Распакуйте оба файла в одну папку.

Распакуйте скаченный архив. Например, я поместил скаченные файлы в папку C:\Users\MiAl\Downloads\trid\.

Откройте командную строку, для этого нажмите Win+x, выберите «Windows PowerShell».

Перейдите в папку с программой:

Для определения расширения файла используйте команду вида:

Подстановочные знаки могут использоваться для сканирования групп файлов, целых папок и так далее.

Кроме того, использование ключа -ae даст команду TrID добавить предполагаемые расширения к именам файлов. Это удобно, например, при работе с файлами, восстановленными программами для восстановления данных. Например:

На этом этапе файлы в папке c:\temp будут выглядеть так:

Вместо предыдущей опции можно использовать -ce, которая изменит расширение файла на новое; если у файла нет расширения, будет добавлено новыъое. Например:

IAmASoundFile.dat -> IAmASoundFile.wav
IAmABitmap -> IAmABitmap.bmp

TrID может получить список файлов со стандартного ввода с помощью переключателя -@.

Таким образом, можно работать со всем деревом папок или определенным подмножеством файлов, просто используя вывод какой-либо другой команды через конвейер. Что-то вроде:

Можно указать TrID показывать дополнительную информацию о каждом совпадении (например, тип mime, кто создал эту сигнатуру, сколько файлов было просканировано и так далее); а также можно ограничить количество отображаемых результатов.

Ключ -v активирует подробный режим, а -r:nn указывает максимальное количество совпадений, которое будет отображать TrID. По умолчанию 5 для обычного режима, 2 для подробного, 1 для многофайлового анализа.

Программа TrID обновляется нечасто, но база данных регулярно получает новые сигнатуры, поэтому время от времени обновляйте базу данных.

5. fil — ещё одна кроссплатформенная альтернатива file

Программа fil написана на Go и является кроссплатформенной. Но в программе настолько мало сигнатур, что, на мой взгляд, утилита fil практически бесполезна.

Альтернативы file

Для большинства нужд по определению типа файла без расширения достаточно утилиты file, но есть утилиты со смежным функционалам, которые могут заменить или уточнить информацию от file. Более подробно каждая из этих программ будет рассмотрена в следующей части, сейчас только краткий обзор.

Detect It Easy

Detect It Easy — это кроссплатформенная программа для определения типов файлов. Имеется вариант с графическим интерфейсом, а также интерфейсом командной строки.

Анализ файла /mnt/disk_d/Share/testfiles/file1 с показом результатов в графическом интерфейсе:

Анализ файла без расширения, расположенного по пути /mnt/disk_d/Share/testfiles/file1 для определения типа файла:

Detect It Easy в первую очередь нацелена на анализ исполнимых файлов, поэтому её функции в большей степени относятся к файлам программ, например, определение архитектуры. Но также имеется поддержка других бинарных файлов.

Binwalk

Binwalk это программа для анализа прошивок, но в ней собрано много сигнатур бинарных файлов, поэтому она подходит для определения типа файла. Особенность Binwalk в том, что она нацелена на работу с составными файлами (которыми обычно и являются прошивки), поэтому она может определять тип файла даже если файл находится не в начале.

Использование такое же, как и file, достаточно указать путь до одного или нескольких файлов:

Detect It Easy и Binwalk не столько конкуренты утилиты file, сколько «последний шанс» определить тип данных, если команда file не помогла.