Rclone удалить файлы старше 10 дней

Обновлено: 06.07.2024

Rclone является популярным консольным клиентом для управления данными в Объектном хранилище. После установки и настройки Rclone можно использовать его в качестве инструмента для резервного копирования, миграции, синхронизации и шифрования данных.

Обратите внимание! Ниже показан пример установки для актуальной на момент написания инструкции версии 1.55.1. В зависимости от версии Rclone порядок установки может меняться.

Установка

Порядок установки на ОС семейства Linux

Порядок установки на MacOS

Порядок установки на Windows ОС

Скачайте дистрибутив Rclone для Windows с официального сайта Rclone. Запустите приложение и следуйте инструкуциям.

Конфигурация

Перед началом работы с Объектным хранилищем Selectel необходимо создать конфигурацию. Так как Rclone является консольным клиентом, порядок конфигурации не отличается от типа ОС, на которую он был установлен.

Пример конфигурации доступа через Swift API

Для начала настройки введите:

На консоли появится такой диалог:

Выберите n для создания новой конфигурации и нажмите клавишу Enter.

Выберите Openstack Swift (Rackspace Cloud Files, Memset Memstore, OVH) и введите цифру, соответствующую номеру пункта (в зависимости от версии Rclone меняется порядок хранилищ, в данном примере это пункт 11). Нажмите Enter.

Выберите Enter swift credentials in the next step для ввода имени пользователя и пароля.

После этого программа запросит имя пользователя и пароль:

При запросе хоста для доступа через Swift API введите его вручную:

Все пункты ниже можно оставить пустыми, нажав после каждого клавишу Enter.

Еще раз проверьте все настройки:

Если все указано правильно, введите y и нажмите Enter.

Для выхода из диалога настроек введите q и нажмите Enter.

Пример конфигурации доступа через S3 API

Для начала настройки наберите:

На консоли появится такой диалог:

Выберите n для создания новой конфигурации и нажмите клавишу Enter.

Выберите Amazon S3 Compliant Storage Provider (AWS, Alibaba, Ceph, Digital Ocean, Dreamhost, IBM COS, Minio, etc) и введите цифру, соответствующую номеру пункта (в зависимости от версии Rclone меняется порядок хранилищ, в данном примере это пункт 4). Нажмите Enter.

Выберите S3 провайдера Any other S3 compatible provider и введите цифру, соответствующую номеру пункта (в данном примере это пункт 10). Нажмите Enter.

Выберите false в пункте Enter AWS credentials in the next step:

Введите имя пользователя и пароль:

Внимание! Для доступа по S3 API в настройках пользователя отметьте Использовать эти данные для доступа по протоколу S3.

Выберите url для доступа по протоколу S3 API:

Все пункты ниже можно оставить пустыми, нажав после каждого клавишу Enter.

Еще раз проверьте все настройки:

Если все указано правильно, введите y и нажмите Enter.

Для выхода из диалога настроек введите q и нажмите Enter.

Синтаксис команд для работы с хранилищем

Просмотр списка контейнеров в хранилище:

Создание нового контейнера:

Просмотр списка файлов в контейнере:

Копирование файлов с локальной машины в хранилище:

Синхронизация файлов на локальной машине и в хранилище:

Синхронизация файлов в хранилище с файлами на локальной машине:

При выполнении операций копирования и синхронизации rclone проверяет все файлы по дате и времени изменения или md5-сумме. Из директории-источника в директорию назначения передаются те файлы, которые были изменены.

Подробное обо всех командах можно прочитать в официальной документации. Краткую справку можно получить с помощью команды:

Установка rclone

Скачиваем rclone и распаковываем его

Меняем расположение исполняемого файла и настраиваем права

Устанавливаем мануал для rclone

На этом установка окончена

Обновление rclone

Удаляем версию, установленную из архива

Скачиваем новую версию и устанавлваем ее

Запускаем команду для создания конфигурации под хранилище

Далее отобразиться конфигурация, которую мы создали, сохраняем ее и выходим

Команды для работы с хранилищем

Список команд и поддерживаемых флагов можно найти на официальном сайте приложения rcolne

Просмотр списка бакетов:

Создание нового бакета

Просмотр списка файлов в бакете

Копирование файлов с локальной машины в хранилище

Синхронизация файлов на локальной машине и в хранилище

Копирование файлов из хранилища на локальную машину

Не синхронизировать файлы младше 1 дня

Не синхронизировать файлы старше 7 дней

Удалить файлы младше 7 дней

Удалить файлы старше 7 дней

Запускаем команду для создания конфигурации под хранилище

Далее отобразиться конфигурация, которую мы создали, сохраняем ее и выходим

Пример скрипта бэкапирования дампа базы MySQL в хранилище

Логика скрипта бэкапирования следующая:

локально хранятся бэкапы базы за 8 дней (т.к. они небольшого размера)
в облаке хранится бэкапы базы за 1 месяц
в лог пишется информация о количестве локальных бэкапов и какие были удалены

Скрипт через crontab выполняется ежедневно

Для бэкапирования самого сайта у меня запускается похожий скрипт раз в неделю, но из-за другой периодичности запуска:

локально хранится 1 полный бэкап файлов сайта (т.к. этот бэкап весит на несколько порядков больше, чем база)
в облаке хранятся бэкапы за месяц (т.е. 4 шт.)

UPD 13.12.2019

Если конфигурировали rclone от одного пользователя, а скрипт бэкапирования запускается от пользователя root, надо скопировать конфигурационный файл rclone

Конфиг хранится в виде текстового файла в профиле пользователя от которого запускается утилита.

По аналогии можно добавить декадные, ежемесячные и.т.д.

Копирование папки с файлами с вынесением разности в отдельную структуру.

Полный бекап файлового хранилища достаточно затратно и не всегда удобно из него восстанавливаться. Вариант решения:

Запускаю раз в час, получаю свежий бекап общей папки и разность в отдельной структуре с подписанным временем. В моем понимании минимальная защита от шифровальщиков есть.

Благодарю за внимание.

Специальные предложения

Просмотры 5380

Загрузки 0

Рейтинг 18

Создание 21.01.20 19:42

Обновление 21.01.20 19:42

№ Публикации 1183106

Тип файла Нет файла

Конфигурация Не имеет значения

Операционная система Не имеет значения

Страна Россия

Вид учета Не имеет значения

Доступ к файлу Бесплатно (free)

Код открыт Да

См. также

31 марта — Международный день резервного копирования Промо

А вы сделали бэкап? А проверили, что его можно использовать?

31.03.2016 19762 Gilev.Vyacheslav 3

Исправление ошибки плана обслуживания MS SQL

Частный случай решения ошибки выполнения планов обслуживания MS SQL.

20.08.2021 863 TokarevV 1

Резервное копирование PostgreSQL 12 и восстановление на определенный момент времени

Непрерывное архивирование базы данных PostgreSQL на 12ой версии и восстановление на определенный момент времени.

11.08.2021 2309 Vismut 5

Резервное копирование баз PostgreSQL с помощью BASH (Bourne again shell)

Исходный текст скрипта с алгоритмом формирования резервной копии баз(ы) 1С, развернутой на СУБД PostgreSQL, без необходимости отключения пользователей (то есть непосредственно при работе самих пользователей).

15.06.2021 1291 creatermc 4

Скрипт удобного восстановления базы MSSQL при дифференциальном резервировании Промо

Если у Вас база на MSSQL и Вы пользуетесь разностными бекапами, то, скорее всего, столкнулись с тем, что поднять базу/копию базы из имеющихся резервных файлов не столь удобно, как того хотелось бы. В этой статье приведен скрипт по теме.

20.01.2011 31161 Ivon 12

Как не прошляпить архив

Контроль изменения списка баз данных для архивирования BASH.

24.02.2021 590 viptextil1 0

Классическое резервное копирование

В двух словах, данная статья для тех, у кого уже никак нет времени искать способы написания скриптов для резервного копирования.

04.02.2021 1382 creatermc 11

Управление конфигуратором в режиме агента с помощью python

Управление конфигуратором 1С:Предприятие в режиме агента. Опыт применения с реализацией на языке python. Результат получен с использованием интерактивной сессии оболочки через invoke_shell().

06.08.2020 2020 Alex10166 2

Восстановление SQL базы 1С 8.2. рухнувшей во время сохранения конфигурации. Промо

08.02.2012 134741 VanDiesel1 139

Вариант настройки сервисов для рабочей группы

В публикации описан мой вариант построения сервисов для рабочей группы.

24.06.2020 4214 malikov_pro 0

Выгрузка в dt на сервере 1С по расписанию с завершением соединений и подключением к консоли сервера через com

Была задача настроить по расписанию выгрузку серверной базы в dt, готового решения не нашел, делюсь, может, кому пригодится.

16.04.2020 9029 karamazoff 48

Тонкая настройка ежедневного резервного копирования базы данных 1С средствами SQL ver. 2014 (SP3) - 12.0.6024.0 (X64)

Хочу вам предложить небольшой пример, как можно реализовать резервное копирование 1С-ых баз данных средствами SQL. Данный материал не претендует на пулитцеровскую премию. Но возможно кому-то будет интересно узнать, что-то новенькое. Данный материал для резервного копирования только одной базы данных. А именно, если у вас 20-ть баз, то вам придется создавать 20-ть планов обслуживания для каждой базы индивидуально. (Слава разработчикам SQL, они разрешили копировать блоки из одного плана в другой, вам остается только произвести небольшую настройку для каждого скопированного блока - некоторые настройки блоков сбрасываются и выставляются значением по умолчанию и остаются неактивными)

07.10.2019 14561 DrZombi 53

Резервное копирование-архивирование каталогов с помощью Python 3 Промо

В целях предварительного знакомства со скриптовым языком python я написал небольшой скрипт копирования-архивирования каталогов из заданного списка.

26.04.2012 28087 aximo 8

Быстрое копирование таблиц большого размера и/или с большим числом строк, на примере регистра сведений (для MS SQL)

Моментальное восстановление затертого регистра сведений из бекапа посредством SQL.

11.08.2019 8386 Zlohobbit 25

Настройка резервного копирования (резервирования) баз данных 1С: Предприятие на MS SQL Server

Настройка резервного копирования (резервирования) баз данных на "бюджетной" версии 1С Предприятие под MS SQL Server. Используется пример MS SQL Server 2008 R2 под Windows. Для малых и средних предприятий, исключая производственные и торговые, так как тестирование на них не проводилось.

30.10.2018 13260 unclevad 16

Работа с конфигуратором по протоколу SSH (не в режиме агента)

Рабочее решение запуска пакетного скрипта конфигуратора 1С через SSH-клиента.

28.04.2018 11331 vsbronnikov 2

К вопросу об архивации баз 1С (и снова, и снова. ) Промо

Из своего опыта хочу напомнить о самом простом способе архивации баз типовыми средствами 1С и планировщика Windows.

08.01.2010 27161 grum01 14

Git с человеческим лицом для тех, кто устал терять данные

Посвящается всем тем, у кого хоть раз в жизни пропадали файлы с важной информацией. Эта статья о том, как очень легко и быстро пользователю наколдовать "машину времени", которая будет возвращать потерянные файлы с возможностью восстановления любой предыдущей версии. Без программирования и программистов, без командных строк и системных администраторов. Руками любого бухгалтера, менеджера, секретаря или аналитика.

06.01.2018 80743 for_sale 66

BackTracker - бот для контроля своевременности резервного копирования

20.11.2017 12480 kuld 2

"Из грязи в князи" или из реального HDD в виртуальный

Данная публикация рассказывает, как можно поэкспериментировать с настройками на рабочем сервере, без проблем для самого сервера.

29.10.2017 12738 JohnConnor 10

Потоковая репликация и непрерывное архивирование базы данных PostgreSQL - делюсь небольшим опытом

Постарался кратко описать опыт настройки потоковой репликации и непрерывного архивирования в PostgreSQL.

27.10.2017 25291 KRIHA 17

Резервное копирование "онлайн" клиент-серверных баз в dt (не отключая пользователей)

Как реализовать резервное копирование клиент-серверных баз 1с в формат dt, не отключая пользователей. Рассматривается способ, делающий резервирование наименее заметным для пользователей и серверного оборудования.

03.10.2017 26732 konstanta_online 82

Настройка зеркалирования базы для MS SQL

Очень удобный способ, когда нам нужна не просто резервная копия, а "горячая" замена серверов.

19.05.2017 34346 MsDjuice 20

Бекап средствами MS SQL во внешний источник по датам

Бекап средствами MS SQL (Transact-SQL) всех баз во внешний источник по папочкам и датам

08.02.2017 11390 ILYXA 10

Резервное копирование и восстановление базы 1С средствами PostgreSQL

Алгоритм резервного копирования баз 1С: 8 средствами PostgreSQL.

01.08.2016 75924 dimisa 35

Сохранение SQL Backup в облачном хранилище

В этой статье я расскажу, как можно настроить сохранение последних SQL бэкапов выбранных баз в облачном хранилище, используя SQL jobs.

09.03.2016 21408 BadMadJohn 4

Архивирование БД. v7. v8. DBF. SQL

Простые примеры архивирования БД. Простой вариант для решения резервного копирования DBF и SQL баз данных. Для автоматического резервного копирования достаточно добавить задание «планировщик заданий», которое будет выполняться раз в сутки, и установить WinRar.

22.12.2015 15804 LavinVadik 6

Резервная копия файловой базы данных на ftp сервер через cmd

Если тебе нужно не только локальное, а и удаленное резервное копирование файловой базы данных 1С, используя стандартные средства платформы виндовс, тогда читай ниже.

1 стартмани

20.09.2015 23664 jaroslav.h 17

Как я восстанавливал разрушенную базу

УТ10.3 на Платформе 8.2 на базе MSSQL была разрушена после попытки её восстановить после неудачного динамического обновления. Таблица Config целевой базы была заменена на содержимое таблицы Config от другой рабочей базы. Но на самом деле конфигурации у них существенно отличались, поэтому после таких действий целевая база рухнула окончательно. Что же делать?

21.08.2015 30552 METAL 25

Просто и сердито. Архивирование (backup) типовых конфигураций 1С 8.2, 8.3

После эксплуатации различных "бесплатных" обработок и скриптов решил написать свой cmd-файл для ежедневного архивирования баз 1С. Работает на конфигурациях, где есть процедуры "ЗавершитьРаботуПользователей" и "РазрешитьРаботуПользователей" (т.е. во всех типовых, в нетиповые данные модули можно скопировать из типовых). Сохраняет файлы как локально так и на удаленном файловом сервере. Автоматически удаляет старые архивы и копирует на удалённый сервер отсутствующие. Расписание задается установкой соответствующего задания (запуска cmd-файла по времени) в планировщике задач Windows. Для борьбы с зависшими сеансами, рекомендуется настроить в режиме конфигуратора параметры информационной базы: "Время засыпания пассивного сеанса" и "Время завершения спящего сеанса".

18.06.2015 18945 Prelude 14

Функциональные возможности инструментов для резервного копирования данных 1С

В данной статье рассматриваются функциональное и технологическое обеспечение резервного копирования данных 1С, предоставляемого различными специализированными и универсальными утилитами. Для сравнения отобраны программы: Effector Saver, Handy Backup, «1Скрипт-Менеджер для MS SQL» а также бесплатная «Бэкапер-1С».

Иногда надо сделать удаление файлов старше n дней. Например Backup’ ы. Можно делать это вручную, отсортировать их по дате и удалить, а можно воспользоваться скриптом. В данном примере мы рассмотрим скрипт для удаления файлов старше n дней и добавим задание в планировщик Windows Server 2012R2.

Содержание:

1. Скрипт удаления файлов старше n-дней

2. Создание задания в планировщике задач

Скрипт на самом деле очень простой, создается в PowerShell и выглядит он следующим образом:

Где:
F:\backup\ - путь, в какой папке мы будем с вами искать файлы для удаления *.* - имя (маска) файлов /d -30 - старше скольки дней нам необходимо удалить файлы.

Вот так это выглядит в PowerShell:

Осталось только его выполнить и все.

Все хорошо, у нас есть скрипт. Мы можем выполнять его вручную, когда необходимо очистить наши бекапы. Но зачем выполнять это вручную? Мы поручим планировщику запускать наш скрипт и избавимся сами от рутинной работы.

Итак, что нам для этого надо?

Для начала идем в "Пуск -> панель управления -> Администрирование" и запускаем там "Планировщик заданий".

Выбираем пункт "Создать задачу":

На вкладке "Общие" задаем имя задания, его описание и пользователя, от которого оно будет выполняться. По умолчанию там будет пользователь, под которым вы вошли в данный момент в систему.

Далее переходим на вкладку "Триггеры" и создаем расписание, когда мы будем запускать наше задания. У меня настроено в 10:00 каждые 2 дня.

Далее идем на вкладку "Действия" и задаем действие, которое будет выполняться. Выбираем "Запуск программы"

программу или сценарий

и указываем путь до PowerShell:

А аргументе указываем путь до нашего скрипта, который мы создали ранее:

Нажимаем "Ок" и еще раз "Ок"

Все, на этом наше задание создано. Осталось дождаться, когда будет выполнено наше действие по расписанию и проверить, все ли правильно было настроено.

Читайте также: