Поиск дубликатов файлов в linux
Обновлено: 02.07.2024
Если у вас есть такая привычка скачивать все из Интернета, как у меня, у вас будет много дубликатов файлов. Чаще всего я могу найти те же песни или кучу изображений в разных каталогах или в конечном итоге создать резервные копии некоторых файлов в двух разных местах. Это боль – искать эти повторяющиеся файлы вручную и удалять их для очистки дискового пространства.
Если вы хотите избавиться от этой боли, существуют различные приложения Linux, которые помогут вам найти эти дубликаты файлов и удалить их. В этой статье мы расскажем о том, как вы можете сделать это в Ubuntu.
Примечание. Вы должны знать, что делаете. Если вы используете новый инструмент, всегда лучше попробовать его в структуре виртуального каталога, чтобы выяснить, что он делает, прежде чем принимать его в корневую или домашнюю папку. Кроме того, всегда лучше создавать резервную копию вашей системы Linux!
FSlint: инструмент GUI для поиска и удаления дубликатов файлов.
FSlint помогает вам искать и удалять повторяющиеся файлы, пустые каталоги или файлы с неправильными именами. Он имеет командную строку, а также графический интерфейс с набором инструментов для выполнения множества задач.
Чтобы установить FSlint, введите следующую команду в Terminal:
Откройте FSlint из поиска Dash.
Используйте инструмент FSlint для поиска дубликатов файлов в Linux.
Панель приборов Fslint
FSlint включает в себя ряд опций на выбор. Существуют варианты поиска дубликатов файлов, установленных пакетов, плохих имен, конфликтов имен, временных файлов, пустых каталогов и т. д. Выберите путь поиска и задачу, которую вы хотите выполнить с левой панели, и нажмите «Найти», чтобы найти файлы. После этого вы можете выбрать файлы, которые хотите удалить, и удалить их.
Вы можете щелкнуть по любому файловому каталогу из результата поиска, чтобы открыть его, если вы не уверены и хотите дважды проверить его перед удалением.
Вы можете выбрать параметры расширенного поиска, где вы можете определить правила для исключения определенных типов файлов или исключить каталоги, которые вы не хотите искать.
FDUPES: инструмент CLI для поиска и удаления дубликатов файлов
FDUPES - это утилита командной строки для поиска и удаления дубликатов файлов в Linux. Она может отображать дубликаты файлов в определенной папке или рекурсивно в папке. Она запрашивает, какой файл сохранить перед удалением, а опция noprompt позволяет удалить все дубликаты файлов, сохраняя первый, не спрашивая вас.
Установка на Debian / Ubuntu:
Установка на Fedora:
После установки вы можете искать дубликаты файлов, используя следующую команду:
Для рекурсивного поиска в папке используйте параметр –r:
Это будет только список дубликатов файлов, они не удалятся автоматически. Вы можете вручную удалить дубликаты файлов или использовать -d:
Это ничего не удалит самостоятельно, но отобразит все дубликаты файлов и даст вам возможность удалять файлы по одному или выбрать диапазон файлов для удаления. Если вы хотите удалить все файлы без запроса и сохранения первого, вы можете использовать опцию noprompt -N.
fdupes – инструмент командной строки для поиска дубликатов файлов в Ubuntu Linux
FDUPES: поиск и удаление дубликатов файлов
На приведенном выше снимке экрана вы можете увидеть команду -d, показывающую все дубликаты файлов в папке, и просящую вас выбрать файл, который вы хотите сохранить.
FDUPES также находит файлы с тем же именем в Linux, но в командной строке.
Если у вас есть такая привычка скачивать все из Интернета, как я, у вас будет много дубликатов файлов.
Чаще всего я могу найти те же песни или кучу изображений в разных каталогах или в конечном итоге создать резервные копии некоторых файлов в двух разных местах.
Это боль, локализуя эти повторяющиеся файлы вручную и удаляя их для восстановления дискового пространства.
Если вы хотите избавиться от этой боли, существуют различные приложения Linux, которые помогут вам найти эти дубликаты файлов и удалить их.
В этой статье мы расскажем о том, как вы можете найти и удалить эти файлы в Ubuntu.
Примечание. Вы должны знать, что делаете.
Если вы используете новый инструмент, всегда лучше попробовать его в структуре виртуального каталога, чтобы выяснить, что он делает, прежде чем принимать его в корневую или домашнюю папку.
Кроме того, всегда лучше создавать резервную копию вашей системы Linux!
FSlint: инструмент GUI для поиска и удаления дубликатов файлов
FSlint помогает вам искать и удалять повторяющиеся файлы, пустые каталоги или файлы с неправильными именами.
Он имеет командную строку, а также графический интерфейс с набором инструментов для выполнения множества задач.
Чтобы установить FSlint, введите следующую команду в Terminal.
Откройте FSlint из поиска Dash.
FSlint включает в себя ряд опций на выбор.
Существуют варианты поиска дубликатов файлов, установленных пакетов, плохих имен, конфликтов имен, временных файлов, пустых каталогов и т. д.
Выберите путь поиска и задачу, которую вы хотите выполнить с левой панели, и нажмите «Найти», чтобы найти файлы.
После этого вы можете выбрать файлы, которые хотите удалить, и удалить их.
Вы можете щелкнуть по любому файловому каталогу из результата поиска, чтобы открыть его, если вы не уверены, и хотите дважды проверить его перед удалением.
Вы можете выбрать параметры расширенного поиска, где вы можете определить правила для исключения определенных типов файлов или исключить каталоги, которые вы не хотите искать.
FDUPES: инструмент CLI для поиска и удаления дубликатов файлов
Он может отображать дубликаты файлов в определенной папке или рекурсивно в папке.
Он запрашивает, какой файл сохранить перед удалением, а опция noprompt позволяет удалить все дубликаты файлов, сохраняя первый, не спрашивая вас.
Установка на Debian / Ubuntu
Установка на Fedora
После установки вы можете искать дубликаты файлов, используя следующую команду:Для рекурсивного поиска в папке используйте параметр -r
Это будет только список дубликатов файлов и не удалит их самостоятельно.
Вы можете вручную удалить дубликаты файлов или использовать -d, чтобы удалить их.
fdupes -d /path/to/folder
Это ничего не удалит самостоятельно, но отобразит все дубликаты файлов и даст вам возможность удалять файлы по одному или выбрать диапазон для его удаления.
Если вы хотите удалить все файлы без запроса и сохранения первого, вы можете использовать опцию noprompt -N.
На приведенном выше снимке экрана вы можете увидеть команду -d, показывающую все дубликаты файлов в папке, и попросит вас выбрать файл, который вы хотите сохранить.
Существует много других способов и инструментов для поиска и удаления дубликатов файлов в Linux.
Лично я предпочитаю инструмент командной строки FDUPES; это просто и не требует никаких ресурсов.
Организация вашего домашнего каталога или даже системы может быть особенно сложной, если у вас есть привычка загружать всевозможные вещи из Интернета.
Часто вы можете обнаружить, что загрузили один и тот же файл mp3, pdf, epub (и все другие расширения файлов) и скопировали его в разные каталоги. Это может привести к тому, что ваши каталоги будут загромождены всевозможными бесполезными дублированными материалами.
В этом руководстве вы узнаете, как находить и удалять повторяющиеся файлы в Linux с помощью инструментов командной строки rdfind и fdupes, а также с помощью инструментов с графическим интерфейсом под названием DupeGuru и FSlint.
Предупреждение - всегда будьте осторожны при удалении в своей системе, так как это может привести к нежелательной потере данных. Если вы используете новый инструмент, сначала попробуйте его в тестовом каталоге, где удаление файлов не будет проблемой.
1. Rdfind - находит повторяющиеся файлы в Linux
Rdfind исходит из поиска избыточных данных. Это бесплатный инструмент, используемый для поиска дубликатов файлов в нескольких каталогах или внутри них. Он использует контрольную сумму и находит дубликаты на основе файлов, содержащих не только имена.
Rdfind использует алгоритм для классификации файлов и определяет, какой из дубликатов является исходным файлом, а остальные считает дубликатами. Правила ранжирования:
- Если A был найден при сканировании входного аргумента раньше, чем B, A имеет более высокий рейтинг.
- Если A был обнаружен на глубине ниже B, A имеет более высокий рейтинг.
- Если A был найден раньше, чем B, A имеет более высокий рейтинг.
Последнее правило используется, в частности, когда два файла находятся в одном каталоге.
Чтобы установить rdfind в Linux, используйте следующую команду для вашего дистрибутива Linux.
Чтобы запустить rdfind в каталоге, просто введите rdfind и целевой каталог. Вот пример:
Как видите, rdfind сохранит результаты в файле с именем results.txt, расположенном в том же каталоге, в котором вы запустили программу. Файл содержит все дубликаты файлов, найденные rdfind. Вы можете просмотреть файл и удалить дубликаты файлов вручную, если хотите.
Еще вы можете использовать параметр -dryrun , который предоставит список дубликатов без каких-либо действий:
Когда вы найдете дубликаты, вы можете заменить их жесткими ссылками.
И если вы хотите удалить дубликаты, вы можете запустить.
Чтобы проверить другие полезные параметры rdfind, вы можете использовать руководство по rdfind с.
2. Fdupes - сканирование дубликатов файлов в Linux
Fdupes - еще одна программа, которая позволяет выявлять повторяющиеся файлы в вашей системе. Он бесплатный, имеет открытый исходный код и написан на C. Он использует следующие методы для определения повторяющихся файлов:
- Сравнение частичных подписей md5sum
- Сравнение полных подписей md5sum
- побайтовое сравнение проверки
Как и у rdfind, у него есть похожие параметры:
- Рекурсивный поиск
- Исключить пустые файлы
- Показывает размер повторяющихся файлов.
- Немедленно удалите дубликаты.
- Исключить файлы с другим владельцем
Чтобы установить fdupes в Linux, используйте следующую команду для вашего дистрибутива Linux.
Синтаксис Fdupes похож на rdfind. Просто введите команду, а затем каталог, который вы хотите просканировать.
Для рекурсивного поиска файлов вам необходимо указать -r такую u200bu200bопцию.
Вы также можете указать несколько каталогов и указать каталог для рекурсивного поиска.
Чтобы fdupes рассчитал размер повторяющихся файлов, используйте параметр -S .
Для сбора сводной информации о найденных файлах используйте параметр -m .
Наконец, если вы хотите удалить все дубликаты, используйте -d такую u200bu200bопцию.
Fdupes спросит, какой из найденных файлов удалить. Вам нужно будет ввести номер файла:
Решение, которое определенно не рекомендуется, - использовать параметр -N , который приведет к сохранению только первого файла.
Чтобы получить список доступных опций для использования с fdupes, просмотрите страницу справки, запустив.
3. dupeGuru - поиск дубликатов файлов в Linux
dupeGuru - это кроссплатформенный инструмент с открытым исходным кодом, который можно использовать для поиска дубликатов файлов в системе Linux. Инструмент может сканировать имена файлов или содержимое в одной или нескольких папках. Это также позволяет вам найти имя файла, похожее на файлы, которые вы ищете.
dupeGuru поставляется в разных версиях для платформ Windows, Mac и Linux. Его функция быстрого алгоритма нечеткого сопоставления поможет вам найти повторяющиеся файлы в течение минуты. Он настраивается, вы можете извлекать точные дубликаты файлов, которые хотите, и удалять ненужные файлы из системы.
Чтобы установить dupeGuru в Linux, используйте следующую команду для вашего дистрибутива Linux.
4. FSlint - Поиск дубликатов файлов для Linux
FSlint - это бесплатная утилита, которая используется для поиска и очистки различных форм линта в файловой системе. Он также сообщает о повторяющихся файлах, пустых каталогах, временных файлах, повторяющихся/конфликтующих (двоичных) именах, плохих символических ссылках и многом другом. Он имеет режимы командной строки и графического интерфейса.
Чтобы установить FSlint в Linux, используйте следующую команду для вашего дистрибутива Linux.
Это очень полезные инструменты для поиска дублированных файлов в вашей системе Linux, но вы должны быть очень осторожны при удалении таких файлов.
Если вы не уверены, нужен ли вам файл или нет, было бы лучше создать резервную копию этого файла и запомнить его каталог перед удалением. Если у вас есть какие-либо вопросы или комментарии, отправьте их в разделе комментариев ниже.
В следующей статье мы рассмотрим три инструменты для поиска и удаления повторяющихся файлов в Ubuntu. Вы можете обнаружить, что ваш компьютер более чем один раз переполнен повторяющимися файлами. Однажды вы обнаружите, что ваш жесткий диск заполнен несколькими копиями одних и тех же файлов в разных каталогах резервных копий. Проблема возникает из-за того, что часто забывают очистить эти файлы, и на жестком диске начинает накапливаться слишком много повторяющихся файлов по прошествии определенного периода времени.
Вот почему всегда хорошо знать, как найти и удалить повторяющиеся файлы. Для этого мы можем использовать инструменты, описанные ниже в разделе Unix-подобные операционные системы. Будьте осторожны при удалении повторяющихся файлов. Если у вас его нет, это может привести к случайной потере данных. Поэтому при использовании этих средств рекомендуется обращать внимание.
Найдите и удалите повторяющиеся файлы в Ubuntu
Для этой задачи мы увидим три доступных инструмента; Rdfind, Fdupes, Fslint.
Эти три утилиты бесплатно, с открытым исходным кодом и работает в большинстве Unix-подобных операционных систем.
Rdfind
Rdfind это полезность с открытым исходным кодом и бесплатно найти повторяющиеся файлы в каталогах и подкаталогах.
Сравните файлы на основе их содержания, а не их имен архив. Rdfind использует алгоритм классификации, чтобы различать оригинальные и повторяющиеся файлы. Если он находит два или более одинаковых файла, Rdfind достаточно умен, чтобы найти исходный файл. Как только вы найдете дубликаты, вы сообщите нам о них. Мы можем принять решение об их удалении или замене.
Установка Rdfind
Открываем терминал (Ctrl + Alt + T) и пишем:
Использовать
После установки вам просто нужно запустите команду Rdfind вместе с путем где мы хотим искать повторяющиеся файлы.
Как видно на скриншоте выше, команда Rdfind просканирует каталог.
/ Загрузки. Он сохранит результаты в файл с именем results.txt, расположенный в текущем рабочем каталоге. Может увидеть имена возможных повторяющихся файлов в файле results.txt.
Вы можете получить более подробную информацию обо всех предлагаемых им возможностях через раздел справки или страницы руководства:
Fdupes
Fdupes - еще одна утилита командной строки для определять и удалять повторяющиеся файлы в указанных каталогах и подкаталогах. Это бесплатная утилита с открытым исходным кодом написан на языке программирования C.
Fdupes идентифицирует дубликаты сравнение размеров файлов, частичные подписи MD5, полные подписи MD5 и, наконец, побайтовое сравнение для подтверждения.
Она похожа на утилиту Rdfind, но в Fdupes есть несколько опций для выполнения операций, таких как:
- Рекурсивный поиск повторяющихся файлов в каталогах и подкаталогах.
- Исключите из рассмотрения пустые и скрытые файлы.
- Показать размер дубликатов.
- И многое другое.
Установка Fdupes
Открываем терминал (Ctrl + Alt + T) и пишем:
Использовать
Использовать Fdupes довольно просто. Просто выполните следующую команду, чтобы найти повторяющиеся файлы в каталоге, например
Мы также можем поиск повторяющихся файлов в подкаталогах, просто используя параметр -r.
к удалить все дубликаты, вариант использования будет -d.
Эта команда позволит нам выбрать сохранение оригинала и удаление всех других повторяющихся файлов. Здесь нужно быть осторожным. Мы можем легко удалить исходные файлы, если не будем осторожны.
Чтобы получить больше информации о том, как использовать fdupes, см. раздел справки или справочные страницы:
FSlint
FSlint это еще одна утилита для поиска повторяющихся файлов, которые я нашел в Github. В отличие от двух других утилит, FSlint имеет режимы GUI и CLI.. Следовательно, это более простой в использовании инструмент.
FSlint не только находит дубликаты, но также символические ссылки, неправильные имена, временные файлы, неправильные IDS, пустые каталоги и не удаленные двоичные файлы и т. Д.
Установить Fslint
Открываем терминал (Ctrl + Alt + T) и пишем:
Использовать
Как только он будет установлен, мы сможем запустить его из меню приложения.
Как видите, интерфейс FSlint прост в использовании и не требует пояснений. Во вкладке Путь поиска, мы добавим маршрут, который хотим просканировать. Нам нужно будет только нажать кнопку «Поиск», чтобы найти дубликаты. Отметьте опцию «Рекурсивно?» для рекурсивного поиска дубликатов в каталогах и подкаталогах. FSlint быстро просканирует указанный каталог и выведет его список.
Из списка выберите дубликаты, которые хотите очистить. Вы можете работать с любым из них с помощью таких действий, как «Сохранить», «Удалить», «Объединить» и «Символическая ссылка». На вкладке «Расширенные параметры поиска» вы можете указать пути, исключаемые при поиске дубликатов.
Чтобы получить подробнее о FSlint, см. раздел справки и справочные страницы.
Это всего лишь три эффективных инструмента для поиска и удаления ненужных дубликатов файлов в Gnu / Linux.
Содержание статьи соответствует нашим принципам редакционная этика. Чтобы сообщить об ошибке, нажмите здесь.
Полный путь к статье: Убунлог » Ubuntu » Дублирующиеся файлы, как найти и удалить их в Ubuntu
Независимо от того, пользуетесь ли вы системой Linux на своем настольном компьютере или на сервере, есть хорошие инструментальные средства, которые просканирут вашу систему на наличие дубликатов файлов и помогут вам удалить их для того, чтобы освободить место. Есть как исключительно графические средства, так и средства, работающие из командной строки.
Дубликаты файлов напрасно засоряют дисковое пространство. В конце концов, если вам действительно нужен один и тот же файл в двух разных местах, то вы всегда можете использовать символическую ссылку или жесткую ссылку, а данные хранить на диске только в одном месте.
FSlint
Пакет FSlint доступен в репозиториях программ различных дистрибутивов Linux, в том числе для Ubuntu, Debian, Fedora и Red Hat. Просто запустите ваш менеджер пакетов и установите пакет "fslint". В этой программе по умолчанию предоставляется удобный графический интерфейс, но также есть различные функции этого пакета, работающие из командной строки. Как и у многих приложений Linux, графический интерфейс пакета FSlint является лишь внешним интерфейсом, который обращается к командам Fslint, лежащим глубже.
Впрочем, пусть вас не пугает использование удобного графического интерфейса FSlint. По умолчанию, он открывается при выборе панели Duplicates (Дубликаты) и указывается путь к вашему домашнему каталогу. Все, что вам нужно сделать, это нажать на кнопку Find (Найти) и пакет FSlint найдет список дубликатов файлов, находящихся в каталогах внутри вашего домашнего каталога. Используйте кнопки для удаления тех файлов, которые вы хотите удалить, и дважды щелкните по ним для того, их просмотреть.
Обратите внимание, что по умолчанию в утилитах командной строки путь к вашему домашнему каталогу не используется, поэтому вы не можете запускать их как обычные команды. В Ubuntu, вы сможете найти их в каталоге /usr/share/fslint/fslint. Так что, если вы хотите с помощью FSlint выполнить полное сканирование в отдельном каталоге, то в Ubuntu воспользуйтесь следующими командами:
fdupes
Команда fdupes обычно не устанавливается по умолчанию, но она доступна в репозиториях многих дистрибутива Linux. Это простое инструментальное средство командной строки. Вероятно, это самый удобный и быстрый инструмент, который можно использовать в случае, если вы хотите найти дубликаты файлов в среде, где у вас есть доступ только к командной строке Linux, а не к графическому интерфейсу пользователя.
Пользоваться этой командой очень просто. Просто запустите fdupes с указанием после нее пути к каталогу. Таким образом, с помощью команды fdupes /home/chris можно выдать список всех дубликатов файлов в каталоге /home/chris - но не в подкаталогах! Команда fdupes -r /home/chris будет рекурсивно выполнять поиск дубликатов файлов во всех подкаталогах внутри каталога /home/chris и выдаст их список.
Этот инструмент не будет что-либо автоматически удалять, он просто покажет вам список дубликатов файлов. Если вы захотите, то можете удалить дубликаты файлов вручную. Вы также можете запустить команду с параметром -d, который поможет вам удалить файлы. Вам будет предложено выбрать файлы, которые вы хотите сохранить.
dupeGuru , музыкальная редакция dupeGuru и редакция dupeGuru для работы с изображениями
Да, мы будем снова рекомендовать пакет dupeGuru. Это кросс-платформенный инструмент с открытым исходным кодом, который настолько полезен, что мы уже рекомендовали его для поиска дубликатов файлов в Windows и удаления дубликатов файлов в Mac .
Пакет dupeGuru немного менее удобен, поскольку он недоступен в репозиториях большинства дистрибутивов Linux; впрочем он есть в репозиториях Arch Linux. Тем не менее, на сайте dupeGuru предлагается вариант PPA, который позволит легко установить пакеты этой программы в Ubuntu и в дистрибутивах Linux, созданных на базе Ubuntu. Пользователи других дистрибутивов Linux могут скомпилировать его из исходных кодов.
Точно также, как и в Windows и в Mac, dupeGuru предлагается в трех различных редакциях: стандартная редакция для простого поиска дубликатов файлов, редакция, предназначенная для поиска дубликатов песен, которые, возможно, были вырезаны или иначе закодированы, и редакция, предназначенная для поиска похожих фотографий, которые были повернуты, был изменен их размер или они были изменены как-то иным образом. Вы можете получить все эти редакции на сайте dupeGuru и все они доступны в виде варианта Ubuntu PPA.
Это приложение работает в Linux точно также, как и на других платформах. Запустите приложение, добавьте один или несколько каталогов для сканирования, и нажмите кнопку Scan (Сканирование). Вы увидите список дубликатов файлов, и вы можете их либо удалить, либо переместить их в другое место. Вы также можете при помощи двойного щелчка мыши легко их открыть и проверить содержимое файла.
После установки пакет Ubuntu должен быть запущен из командной строки - например, с помощью команды dupeguru_se в случае использования стандартной редакции пакета. Это требуется из-за того, что по умолчанию на рабочем столе не устанавливается ссылка на программу. Такое отсутствие интеграции с системой является единственной причиной, по которой мы не можем еще больше рекомендовать эту утилиту; впрочем, после того, как вы ее установите и запустите, она будет хорошо работать.
Как и следовало ожидать, это не полный список. С помощью менеджера пакетов, который есть в вашем дистрибутиве Linux, вы обнаружите много других утилит, предназначенных для поиска дубликатов файлов. В основном, это команды без графического интерфейса. Если нет каких-либо особых требований, то описываемые выше программы будут для вас наилучшими и мы рекомендуем вам ими пользоваться.
Читайте также: