Duplicate 2 настройка windows

Обновлено: 07.07.2024

В сегодняшней небольшой статье мы поговорим о том, как удалить дубликаты файлов на компьютере или ноутбуке. Но для начала, что такое дубликат файла?
Дубликат файла — это копия какого либо файла, который находится на компьютере в другой директории: папке, диске и имеет такое же название, расширение и «вес», как и его оригинал. Даже если вы специально не дублировали файлы на случай утраты, системных сбоев или с другой целью — они все равно есть практически на каждом компьютере.

На операционных системах, которые используются более года, неизбежно появляются ненужные файлы-дубликаты. Это могут быть служебные библиотеки, видео, музыка, картинки и т.д.

Вы спросите откуда берутся дубликаты?

Все очень просто, например вы скачали с интернета два альбома песен одного исполнителя, зачастую песни в сборниках повторяются, т.е. одинаковые. Тоже самое обычно бывает и с фотографиями — в разных папках одинаковые фото.

Со временем дубликатов файлов становиться больше, и они занимают место на жестком диске компьютера или флешке. Удалив бесполезные и повторяющиеся файлы, можно увеличить (и иногда значительно) свободное место на жестких дисках компьютера или ноутбука.

Иногда в возникновении множества дубликатов виноват не пользователь, а сторонние программы, устанавливаемые на компьютер. Например, некоторые приложения могут устанавливать одинаковые библиотеки DLL или файлы OCXв разные папки.

Как удалить дубликаты файлов?

Чтобы избавиться от дублирующего мусора на компьютере и решить вопрос о том, как удалить дубликаты файлов автоматически — можно воспользоваться специальными программами.

Duplicate Finder

Несмотря на то, что программа Duplicate Finder имеет совсем маленький размер, она обладает хорошим функционалом. Это приложение способно быстро решает проблему, как удалить дубликаты файлов, путем сопоставления файлов бит по биту, что позволяет наиболее точно определять дубликаты.

После завершения процесса сканирования программа предлагает либо удалить ненужные копии, либо переместить их в отдельную папку.

Для поиска дубликатов Duplicate Finder может использовать и алгоритм CRC32. Приложение способно находить файлы с нулевым размером и поддерживает работу со съемными накопителями (в т.ч. USB-устройствами).

В программе есть встроенный просмотрщик изображений, в котором можно просмотреть дублирующиеся фотографии перед тем, как их удалить.

Однако программа Duplicate Finder — это платная программа. Ее бесплатная версия позволяет удалять или перемещать в отдельную папку не более 50 файлов, размер каждого из которых не может превышать 2 мегабайт.

CloneSpy и DupKiller

Из бесплатных программ, способных решить проблему, как удалить дубликаты файлов, наиболее популярными являются CloneSpy и DupKiller. Они, как и прочие приложения подобного рода, могут сравнивать файлы друг с другом по именам, датам создания или контрольным суммам. DupKiller использует для поиска дубликатов специальные алгоритмы, значительно ускоряющие процесс сканирования.

Auslogics Duplicate File Finder

Программа Auslogics Duplicate File Finder — также бесплатная и хорошо решает вопрос о том, как удалить дубликаты файлов, т.е. она способна находить лишние копии музыкальных файлов, фильмов, изображений и т.д. Поиск дубликатов программа ведет, сравнивая хеш MD5.

Интерфейс приложения интуитивно понятен — после запуска программы пользователю предлагается выбрать тип файлов для сканирования (архивы, программы, фотографии и т.д.), а после сканирования остается лишь удалить ненужные копии. Единственный минус программы в том, что она время от времени показывает навязчивую рекламу.

И давайте рассмотрим эту программу более детально.

Auslogics Duplicate File Finder работает в операционной системе Windows, быстро скачивается и настраивается. При необходимости ее в любой момент можно удалить.

Утилита позволяет выборочно и быстро сканировать диски компьютера. В конечном итоге программа выдает результат в виде наглядной таблицы, где можно решить – удалять или не удалять найденные дублированные файлы.

Установка и настройка программы
Auslogics Duplicate File Finder.

Установка довольно проста и примитивна. Во время установки соглашаемся принять лицензионное соглашение, поставив галочку у пункта «I accept the agreement».

Далее нажимаем только на кнопку «Next». После того, как программа будет установлена на компьютер перейдем к настройке и, непосредственно, к поиску.

На рисунке ниже в левой колонке выбираем и отмечаем диски (если есть внешний жесткий диск или флешка, можно подключить и их) и даже папки, в которых будем производить сканирование.

В правой колонке выбираем типы файлов поиска. По умолчанию галочки стоят«Среди только этих типов файлов» (Рисунки, Аудио файлы, Видео файлы, Архивы, Приложения).

Начинающим пользователям рекомендуется оставлять все как есть, дабы не удалить лишнее, выбрав пункт «Среди файлов всех типов». Затем жмем на кнопку «Далее». В следующем окне ставим фильтр на размер файла и жмем кнопку «Далее».

Затем нам предлагают поставить фильтр на имена и даты, после жмем кнопку«Далее».

В следующем окне программа (по умолчанию) будет удалять файлы в корзину. Если поставить галочку «В центр Восстановления», то тогда файлы будут архивироваться и их можно будет потом восстановить. Для начинающих пользователей этот метод в самый раз. Опытные юзеры могут и из корзины восстановить, если что.

Ну, а если выбрать пункт «Безвозвратно», то тогда файлы канут в бездну, т.е. удаляться безвозвратно. После выбора места удаления жмем на кнопку«Поиск».

Обычно поиск занимает несколько минут. Далее можно выбрать вручную дублированные файлы для удаления или воспользоваться имеющимися подпунктами в кнопке «Выбрать». После того, как вы определились с файлами для удаления, переходим к финальной части и жмем на кнопку «Удалить выбранные файлы».

После завершения операции в программе можно ознакомиться с результатами. Для этого нажимаем на кнопку «ShowResult». Будет показан краткий анализ.

Восстановление удаленных файлов.

Может случиться и так, что вы по ошибке удалили нужные файлы. Для того чтобы их восстановить поможет инструмент «Центр восстановления», с учетом того, что раньше был создан архив.

«Центр восстановления» можно задействовать как через меню «Файл», так и через непосредственную кнопку в правом верхнем углу программы Auslogics Duplicate File Finder.

На этом пока все! Надеюсь, что вы нашли в этой заметке что-то полезное и интересное для себя.

Понравилась статья? Подпишитесь на канал, чтобы быть в курсе самых интересных материалов

Всякая всячина, которую дядюшка Раджа находит в интернете и хочет поделиться с читателями.

Об авторе

Архив блога

Мой блог смотрят

17 августа 2019

Как я Duplicati 2 в Windows устанавливал и настраивал.

Duplicati 2 - это система резервного копирования с открытым исходным кодом. Есть версии под Window, Linux и MacOS. Умеет архивировать по расписанию, умеет восстанавливать данные из архива в исходное или произвольное расположение, умеет работать с теневыми копиями (VSS). Сплошные бонусы и радости по описанию, но всё немного не так в реальности. По крайней мере у меня не всё гладко прошло.

После установки с помощью MSI-пакета программа запустилась, в системном лотке рядом с часами появился значок, в браузере открылся web-интерфейс для настройки программы и создания заданий. Для простого архивирования документов хватит за глаза, но есть в таком режиме кое-какие ограничения.
Во-первых, при запуске от имени пользователя не работает теневое копирование, т.е. открытые и заблокированные файлы при выполнении резервного копирования будут пропущены.
Во-вторых, настройки самой программы и задания лежат в недрах пользовательского каталога " AppData ", и их таким образом можно потерять.

Решение проблем я нашёл за вечер.

Сначала я удалил программу совсем. Перед этим необходимо экспортировать настройки заданий в JSON-файлы, но у меня задания настроены ещё не были, а тестовые задания ценности не представляли. Потом я скачал со страницы релизов последнюю доступную версию в виде zip-архива с бинарниками для Windows ("duplicati-2.0.4.23_beta_2019-07-14.zip" на момент написания статьи). Распаковал архив в нужный мне каталог и приступил к настройке.

Сначала я запустил командную строку от имени администратора и перешёл в каталог с файлами программы. Из него я установил службу такой командой:

Но в таком варианте настройки хранятся уже внутри каталога " \Windows\System32\config\systemprofile\AppData ", что тоже не очень хорошо. Поэтому я удалил службу и переустановил её с параметром "--portable-mode":

В таком режиме настройки хранятся в каталоге " data " вместе с программой.

Теперь расскажу об использовании механизма теневых копий.

Он включается с помощью добавления параметра "snapshot-policy" и выставления его в положение "on" в разделе "Параметры по умолчанию" настроек программы или в разделе "Расширенные параметры" на 5-м шаге мастера добавления задания.

Ещё в этой программе мне понравилась настройка хранения резервных копий, которая задаётся в виде " Период:Количество ". Например, " 7D:1D,4W:1W " расшифровывается как "В течении 7 дней (7D) хранить по одной копии за каждый день (1D), в течение 4 недель (4W), хранить одну копию за каждую неделю (1W), белее старые копии удалять". Можно довольно гибко настроить хранение и удаление.

А не понравилось мне в программе то, что нельзя просто открыть архив и извлечь нужный файл, потому что данные там хранятся в своём хитром формате. При открытии архива обычным архиватором видны файлы с именами вида "_KGCmOF5iOWsglfcz31luskPsj7NooyjiyXD8sXQDO8="

В данной статье рассмотрены средства резервного копирования, которые выполняют резервное копирование путем создания архивов на резервном сервере.

Из тех, которые удовлетворяют требованиям — duplicity (к которому есть приятный интерфейс в виде deja dup) и duplicati.

Еще одно весьма примечательное средство резервного копирования — dar, но поскольку у него имеется весьма обширный список опций — методика тестирования покрывает едва ли 10% от того, на что он способен, — его в рамках текущего цикла не тестируем.

Ожидаемые результаты

Поскольку оба кандидата так или иначе создают архивы, то в качестве ориентира можно использовать обычный tar.

Дополнительно оценим, насколько хорошо оптимизируется хранение данных на сервере хранения путем создания резервных копий, содержащих только разницу между полной копией и текущим состоянием файлов, или между прошлым и текущим архивами (инкрементальные, декрементальные и т.п.).

Поведение при создании резервных копий:

Сравнительно небольшое число файлов на сервере хранения резервных копий (сравнимо с числом резервных копий или размером данных в гб), но достаточно большой их размер (десятки-сотни мегабайт).
Размер репозитория будет включать только изменения — дубликаты не будут храниться, таким образом размер репозитория будет меньше, чем при работе ПО на основе rsync.
Ожидается большая нагрузка на процессор при использовании сжатия и/или шифрования, а также, вероятно, достаточно большая нагрузка на сеть и дисковую подсистему, если процесс архивации и/или шифрования будет работать на сервере хранения резервных копий.

В качестве эталонного значения запустим следующую команду:

Результаты выполнения получились такие:

Время выполнения 3m12s. Видно, что скорость уперлась в дисковую подсистему сервера хранения резервных копий, как и в примере с rsync. Только чуть быстрее, т.к. запись идет в один файл.

Также для оценки сжатия запустим тот же вариант, но включим сжатие на стороне сервера резервного копирования:

Время выполнения 10m11s. Вероятнее всего, узкое место — однопоточный компрессор на принимающей стороне.

Та же команда, но с переносом сжатия на сервер с исходными данными для проверки гипотезы, что узкое место — однопоточный компрессор.

Время выполнения составило 9m37s. Явно видно загрузку одного ядра компрессором, т.к. скорость передачи по сети и нагрузка на дисковую подсистему источника — аналогичные.

Для оценки шифрования можно использовать openssl или gpg, подключая дополнительную команду openssl или gpg в pipe. Для ориентира будет такая команда:

Результаты вышли такие:

Время выполнения получилось 10m30s, поскольку запущено 2 процесса на принимающей стороне — узкое место опять однопоточный компрессор, плюс небольшие накладные расходы на шифрование.

UPD: По просьбе bliznezz добавляю тесты с pigz. Если использовать только компрессор — получилось за 6m30s, если еще добавить и шифрование — примерно 7m. Провал на нижнем графике — несброшенный дисковый кэш:

Тестирование duplicity

Duplicity — программное обеспечение на python для резервного копирования путем создания шифрованных архивов в формате tar.

Для инкрементальных архивов применяется librsync, следовательно, можно ожидать поведения, описанного в предыдущей заметке цикла.

Резервные копии могут шифроваться и подписываться с помощью gnupg, что немаловажно при использовании различных провайдеров для хранения резервных копий (s3, backblaze, gdrive и т.п.)

Посмотрим, какие будут результаты:

Вот такие результаты получились при запуске без шифрования

Время работы каждого тестового запуска:

Запуск 1	Запуск 2	Запуск 3
16m33s	17m20s	16m30s
8m29s	9m3s	8m45s
5m21s	6m04s	5m53s

А вот результаты при включении шифрования gnupg, с размером ключа 2048 бит:

Время работы на тех же данных, с шифрованием:

Запуск 1	Запуск 2	Запуск 3
17m22s	17m32s	17m28s
8m52s	9m13s	9m3s
5m48s	5m40s	5m30s

Был указан размер блока — 512 мегабайт, что отчетливо видно на графиках; загрузка процессора фактически держалась на уровне 50%, значит, программа утилизирует не более одного процессорного ядра.

Также достаточно хорошо видно принцип работы программы: взяли кусочек данных, пожали его, отправили на сервер хранения резервных копий, который может быть достаточно медленным.
Еще одна особенность — предсказуемое время работы программы, которое зависит только от размера измененных данных.

Включение шифрования не особенно увеличило время работы программы, но повысило загрузку процессора примерно на 10%, что может быть весьма неплохим приятным бонусом.

К сожалению, данная программа не смогла корректно обнаружить ситуацию с переименованием каталога, и результирующий размер репозитория оказался равен размеру изменений (т.е. все 18гб), но возможность использовать недоверенный сервер для резервного копирования однозначно перекрывает такое поведение.

Тестирование duplicati

Примерный список основных возможностей близок к duplicity, включая различных провайдеров для хранения резервных копий, однако, в отличие от duplicity, большинство возможностей доступно без сторонних средств. Плюс это или минус — зависит от конкретного случая, однако для новичков, вероятнее всего, проще иметь перед глазами список сразу всех возможностей, нежели доустанавливать пакеты для python, как в случае с duplicity.

Еще один небольшой нюанс — программа активно пишет локальную базу sqlite от имени того пользователя, который запускает резервное копирование, поэтому нужно дополнительно следить за корректным указанием нужной базы при каждом запуске процесса используя cli. При работе через GUI или WEBGUI детали будут скрыты от пользователя.

Давайте посмотрим, какие показатели может выдать данное решение:

Если выключить шифрование (причем WEBGUI делать этого не рекомендует), результаты таковы:

Запуск 1	Запуск 2	Запуск 3
20m43s	20m13s	20m28s
5m21s	5m40s	5m35s
7m36s	7m54s	7m49s

С включенным шифрованием, используя aes, получается так:

Запуск 1	Запуск 2	Запуск 3
29m9s	30m1s	29m54s
5m29s	6m2s	5m54s
8m44s	9m12s	9m1s

А если использовать внешнюю программу gnupg, выходят такие результаты:

Запуск 1	Запуск 2	Запуск 3
26m6s	26m35s	26m17s
5m20s	5m48s	5m40s
8m12s	8m42s	8m15s

Как видно — программа умеет работать в несколько потоков, но от этого не является более производительным решением, а если сравнивать работу шифрования — запуск внешней программы
получился более быстрым, чем применение библиотеки из набора Mono. Возможно, это связано с тем, что внешняя программа больше оптимизирована.

Приятным моментом также стал тот факт, что размер репозитория занимает ровно столько, сколько реально было измененных данных, т.е. duplicati обнаружил переименование каталога и корректно обработал данную ситуацию. Это можно увидить при прогоне второго теста.

В целом, достаточно положительные впечатления от программы, включая достаточную дружелюбность к новичкам.

Результаты

Оба кандидата достаточно неспешно отработали, но в целом, по сравнению с обычным tar, есть прогресс, как минимум у duplicati. Цена такого прогресса также понятна — заметная нагрузка
процессора. В целом, никаких особых отклонений при прогнозировании результатов нет.

Выводы

Если никуда спешить не нужно, а также есть запас по процессору — подойдет любое из рассмотренных решений, во всяком случае проделана достаточно большая работа, которую не стоит повторять путем написания скриптов-оберток поверх tar. Наличие шифрования весьма нужное свойство, если сервер для хранения резервных копий не может быть полностью доверенным.

Если сравнивать с решениями на основе rsync — производительность может быть хуже в несколько раз, несмотря на то, что в чистом виде tar отработал быстрее rsync на 20-30%.
Экономия на размере репозитория есть, но только у duplicati.

Вчера обнаружил, что на мой домашний сервер пытаются подобрать пароль к RDP. Спросил наших безопасников с работы, да, порт сканировали, но пароль подбирают не они. Надо что-то делать с этим, и я даже знаю что.

Ударим шифрованием по злобным брутфорсерам! Ставим OpenVPN 2.5.1 сервер на Windows Server 2016.

Встретимся с Easy-RSA 3.
Решим неочевидный баг с директорией временных файлов.
Освоим OpenVPN Connect, в том числе на Android.
Запилим адаптер OpenVPN WinTun.

Установка OpenVPN Server

Скачиваем дистрибутив для установки OpenVPN:

Доступна версия OpenVPN 2.5.1. Скачиваю Windows 64-bit MSI installer, файл OpenVPN-2.5.1-I601-amd64.msi.

Запускаем инсталлятор OpenVPN.

Открывается мастер установки, предлагают выбрать тип установки, естественно, нажимаем Customize. Установка по умолчанию нас не устроит.

OpenVPN GUI отключаю. Мне нужно, чтобы OpenVPN на сервере работал автоматически.

А OpenVPN Service, наоборот, включаю. OpenVPN у меня будет работать как служба Windows.

Документацию и примеры конфигурации оставляю. Конфигурационные примеры будут использоваться в качестве шаблонов.

Начиная с версии OpenVPN 2.5 появилась поддержка драйвера WinTUN от разработчиков WireGuard. Говорят, что работает быстрее чем TAP-Windows6. Поэтому драйвер TAP-Windows6 отключаю и включаю Wintun.

ПРИМЕЧАНИЕ: для включения драйвера Wintun необходимо в файле конфигурации сервера включить параметр:

Утилиты OpenSSL EasyRSA 3 Certificate Management Scripts включаю. Install Now.

Начинается процесс установки OpenVPN.

Установка успешно завершена. Close.

Установка выполнена в директорию C:\Program Files\OpenVPN.

После установки у нас появляется новый сетевой адаптер Wintun Userspace Tunnel.

Создание ключей и сертификатов

Запускаем командную строку под администратором и переходим в рабочую директорию C:\Program Files\OpenVPN\easy-rsa.

В этой папке есть всё необходимое для генерации сертификатов.

Для работы в Windows нас интересует файл EasyRSA-Start.bat.

Запускается оболочка EasyRSA Shell.

Инициализируем новую конфигурацию:

Появляется новая директория C:\Program Files\OpenVPN\easy-rsa\pki.

Генерируем ключ и сертификат центра сертификации. Внимание, сейчас мы наступим на грабли, исправим ошибку и снова вернёмся к генерации файлов для центра сертификации.

Нас попросят для раза ввести пароль. Придумываем и вводим.

Extra arguments given.
genrsa: Use -help for summary.

Easy-RSA error:

Failed create CA private key

Исправим этот баг. Мне не совсем понятно, почему нельзя было всё сделать сразу по-человечески, чтобы люди не встречали эту ошибку. Копируем файл C:\Program Files\OpenVPN\easy-rsa\vars.example, называем копию C:\Program Files\OpenVPN\easy-rsa\vars.

Редактируем C:\Program Files\OpenVPN\easy-rsa\vars. В данном файле можно много чего прописать, но я не буду на этом сейчас останавливаться подробно. Находим строку:

И заменяем её на:

Собственно, ошибка и заключалась в том, что оболочка по какой-то причине не могла создать временный файл.

Генерируем ключ и сертификат центра сертификации:

Нас попросят для раза ввести пароль. Придумываем и вводим. После нас просят указать Common Name для центра сертификации, указываю "internet-lab.ru".

Операция проходит успешно.

Создаётся сертификат центра сертификации:

Сертификат создаётся на 10 лет, это значение можно переопределить в файле vars.

И ключ центра сертификации:

Ключ секретный, никому не показываем. он будет храниться на сервере.

Генерируем ключ и запрос на сертификат сервера, назовём сервер именем "server":

Нас просят указать Common Name для сервера, указываю "internet-lab.ru".

Операция проходит успешно.

Создаётся запрос на сертификат сервера:

C:\Program Files\OpenVPN\easy-rsa\pki\reqs\server.req

C:\Program Files\OpenVPN\easy-rsa\pki\private\server.key

Ключ секретный, никому не показываем. он будет храниться на сервере.

Для создания сертификата сервера нужно подписать запрос на сертификат:

Для подписи нужно ввести слово "yes" и указать пароль от центра сертификации.

Создаётся сертификат сервера:

C:\Program Files\OpenVPN\easy-rsa\pki\issued\server.crt

Сертификат сервера создаётся на 825 дней, это значение можно переопределить в файле vars.

Теперь создадим клиентский сертификат. По хорошему клиентский ключ следует запаролить, чтобы исключить утечку при передаче. Для этого есть несколько способов.

Первый

На клиентской машине генерируем запрос на сертификат клиента и ключ без пароля:

Второй

а машине с CA генерируем сертификат клиента и ключ с паролем:

Третий

Но поскольку я генерирую ключ сам для себя, то воспользуюсь небезопасным третьим способом.

Генерируем ключ и запрос на сертификат клиента, назовём клиента именем "client":

Нас просят указать Common Name для клиента, указываю "v.pupkin".

Операция проходит успешно.

Создаётся запрос на сертификат клиента:

C:\Program Files\OpenVPN\easy-rsa\pki\reqs\client.req

C:\Program Files\OpenVPN\easy-rsa\pki\private\client.key

Для создания сертификата клиента нужно подписать запрос на сертификат:

Для подписи нужно ввести слово "yes" и указать пароль от центра сертификации.

Создаётся сертификат клиента:

C:\Program Files\OpenVPN\easy-rsa\pki\issued\client.crt

Сертификат сервера создаётся на 825 дней, это значение можно переопределить в файле vars.

Генерируем ключ Диффи-Хеллмана:

Операция займёт некоторое время.

Я на сервере собираюсь использовать tls-auth для дополнительной проверки целостности, это обеспечит дополнительный уровень безопасности протокола SSL/TLS при создании соединения:

Сканирование прослушиваемых VPN-сервером портов
Инициация SSL/TLS-соединения несанкционированной машиной на раннем этапе
DoS-атаки и флуд на порты OpenVPN
Переполнение буфера SSL/TLS

При использовании tls-auth на клиенте не понадобится ключ Диффи-Хеллмана, но пусть будет. Генерируем ключ tls-auth. Для этого запускаем командную строку под администратором и выполняем:

В папке C:\Program Files\OpenVPN\bin создаётся файл ta.key.

Переносим его в папку C:\Program Files\OpenVPN\easy-rsa\pki.

Минимальный набор сертификатов сгенерирован.

Настройка OpenVPN сервера

Создадим конфигурационный файл сервера C:\Program Files\OpenVPN\config-auto\server.ovpn:

Открываем блокнотом и редактируем:

Лучше изучить конфигурационный файл, я предлагаю свой вариант конфига:

У меня здесь указаны пути к ключам и сертификатам, используется порт TCP 1194. Параметр duplicate-cn позволяет подключаться всем клиентам по одному общему сертификату, но это небезопасно и не рекомендуется. Используйте только в тестовых целях. Я использую для того, чтобы с помощью одного и того же сертификата подключиться к OpenVPN серверу и с клиентской машины и со смартфона. Параметр windows-driver wintun подключает использование драйвера WinTun. И что им стоило этот параметр указать в примере конфигурации? Остальное по умолчанию.

ВНИМАНИЕ: в конфигурационных файлах допускается в путях использование прямого слеша:

ca "C:/Program Files/OpenVPN/easy-rsa/pki/ca.crt"

или двойного обратного слеша:

ca "C:\\Program Files\\OpenVPN\\easy-rsa\\pki\\ca.crt"