Как переместить файлы с одного облака на другое

Обновлено: 07.07.2024

Чуть больше года назад редмондцы решили разрекламировать свой не шибко популярный OneDrive самым решительным образом. Тогда Microsoft явила миру аттракцион невиданной щедрости:

  • Новые пользователи получали 15 ГБ облачного хранилища бесплатно. Ещё 15 ГБ давали для хранения фотографий.
  • Полный безлимит полагался подписчикам Office 365.
  • Стоимость 100 ГБ диска снижалась до 1,99 доллара.

Недавно хозяин своего слова компания пересмотрела свою политику и уведомила общественность о серьёзных изменениях:

  • Вместимость бесплатного диска сокращается до 5 ГБ. Бонус за облачное хранение снимков изымается.
  • Подписчики Office 365 вместо бесконечности получают 1 ТБ.
  • Бросовые тарифы на 100 и 200 ГБ больше не предлагаются и заменяются на 50 ГБ за 1,99 доллара.

Почувствуй разницу! Своё дикарское непопулярное решение Microsoft объясняет некорректным поведением самих пользователей. Не всех, конечно, а тех наглецов, которые слишком прямолинейно поняли слово «безлимит» и стали заливать на серверы чересчур большие коллекции фильмов. Так, в отдельных случаях цифра достигала 75 ТБ, что в 14 000 раз превышает среднестатистический показатель.

Hey, Cortana. А при чём здесь обладатели несчастных 15 ГБ? Почему большинство отдувается за меньшинство?

На эти вопросы официальный блог ответа не даёт, что вызывает бурю негодования на профильных форумах с тысячами возмущённых комментариев.

Справедливости ради нельзя не упомянуть об единственном светлом пятне всей этой заварушки. Помните Microsoft раздавала по 100 ГБ за участие в программе Bing Rewards? Эта ёмкость не попадёт под карающий меч. Правда, по условиям самой акции халява автоматически пропадёт уже менее чем через год. Так что пятно скорее серое, а не белое.

Что дальше?

Как поясняют зарубежные издания, в начале 2016 года пользователи бесплатных 15 ГБ получат предупреждение, после чего у них останется 90 дней на принятие решения: перекинуть информацию на другой облачный диск либо стать подписчиком Office 365 (первый год бесплатно, но необходимо привязать кредитную карту). По прошествии этого срока данные всё ещё будут доступны, но только для чтения и только в течение девяти месяцев. Дальше — удаление. Действующие подписчики Office 365 ещё год смогут пользоваться сверхнормативным объёмом либо вправе затребовать компенсацию.

Mover

Выбор за вами, но, если вы решили распрощаться с OneDrive, обратите внимание на Mover. Об этом замечательном веб-сервисе для трансфера данных между облачными хранилищами вы уже читали на Лайфхакере. Mover абсолютно бесплатен для обычных пользователей и поддерживает Dropbox, Box, Yandex, Copy, PutIO и, конечно же, Google Drive.

По завершении процесса вы увидите подробный отчёт об успешной либо неудачной передаче, а также получите аналогичное уведомление на электронную почту.

Как видите, альтернатива есть. В том числе можно понять и простить Microsoft: ужаться, скинуть балласт и остаться на OneDrive. Каким путём пойдёте вы?



Вообще, переносить данные с одних устройств, систем и сервисов на другие мне приходится с некоторой назойливой периодичностью. Которая, путём проб и ошибок позволила мне не только познакомиться с массой интересных продуктов, но и найти баланс между функционалом и стоимостью решения, о котором хочу рассказать

Проектирование

Как оказалось в результате проектно-изыскательских работ, качество и оперативность процесса миграции зависит не только от технических характеристик «площадок», где находятся или будут находиться данные, но и от их физического местоположения.

Миграционный менеджер — вычислительный узел, на котором функционирует «логика» процесса — ПО для управления миграцией.

То есть, всего существуют две модели размещения «миграционного менеджера»

  • Модель А. Если хотя бы к одной из площадок есть доступ только изнутри локальной сети, то в этой же сети стоит размещать и «миграционного менеджера». Ибо производительность и время миграции всё равно ограничены скоростью и аптаймом канала, площадки связывающие.
  • Модель B. Если и к источнику, и к приёмнику данных есть доступ за пределами локального сети, то «миграционного менеджера» стоит селить там, где скорость и аптайм канала между ними будет заведомо лучше.

Короткий ответ: «ДА!»

Rclone — rsync для облачных хранилищ. Open Source ПО предназначенное для синхронизации файлов и папок более чем с 45 типами и видами хранилищ.

— Проверка целостности файлов по хэшам MD5/SHA1.
— Сохранение временных меток создания/изменения файлов.
— Поддержка частичной синхронизации.
— Копирование только новых файлов.
— Синхронизация (односторонняя).
— Проверка файлов (по хэшам).
— Возможность синхронизации из одного облачного аккаунта в другой.
— Поддержка шифрования.
— Поддержка локального кэширования файлов.
— Возможность монтирования облачных сервисов через FUSE.

От себя добавлю, что Rclone также помогает мне решать львиную долю задач связанных с автоматизацией резервирования данных в проекте «Väinämöinen».

Следующая задача — выбор модели размещения «миграционного менеджера».

Ко всем источникам данных — коими являются различные публичные облачные сервисы, есть доступ через интернет. В том числе и через API. У двух из трёх приёмников — тоже. Неясно только где развёрнут сам Nextcloud и какой доступ к нему есть?

Возможных вариантов я насчитал пять:

  1. На собственном сервере в домашней/корпоративной сети.
  2. На собственном сервере в арендуемой стойке дата-центра сервис-провайдера.
  3. На арендуемом у сервис-провайдера сервере.
  4. На виртуальном сервере (VDS/VPS) у сервис/хостинг-провайдера
  5. У сервис-провайдера по модели SaaS

Согласно выбранной в качестве площадки для «миграционного менеджера» модели, я выберу один из оптимальных, с моей точки зрения, вариантов — виртуальный сервер в дата-центре М9 крупнейшей в России точки обмена интернет-трафиком MSK-IX.

Третье решение, которое необходимо принять — это определиться с конфигурацией виртуального сервера.

При выборе параметров конфигурации VDS нужно руководствоваться необходимой производительностью, которая зависит от ширины каналов между площадками, количеством и размером перемещаемых файлов, количеством потоков миграции и настройками. Что касается ОС, то Rclone — кроссплатформенное ПО, работающее под различными операционными системами, включая Windows и Linux.

Если планируется запускать несколько процессов миграции, да ещё и определённой периодичностью, то стоит рассмотреть вариант аренды VDS с оплатой за ресурсы.

Создание

Согласно вышеизложенному, при создании прототипа для этой статьи я выбрал VDS в следующей конфигурации.


стоимостью 560 руб./мес. с учётом 15% скидки по купону NOSTRESS.

Такой выбор обусловлен тем, что узел под ОС Windows, для соответствия условиям нашего ТЗ, настраивается легче, чем под другие ОС, доступные к заказу.

Оффтопик: Кстати, для пущей безопасности, этот виртуальный сервер назначен одним из узлов защищенной виртуальной сети. и доступ к нему по RDP разрешён только оттуда…

После создания VDS и получения доступа к рабочему столу по RDP, первое что необходимо сделать — подготовить окружение для Rclone и Web-GUI. Т.е. установить новый браузер по умолчанию, например Chrome, так как установленный изначально IE 11, к сожалению, не всегда корректно работает с используемым ПО.


После подготовки окружения загружаем архив с программным пакетом Rclone для Windows и распаковываем его.

Далее — в режиме командной строки Windows выполняем команду перехода в папку с извлечёнными файлами. У меня она располагается в домашней папке администратора:

После перехода — выполняем команду запуска Rclone c Web-GUI:

C:\Users\Administrator\rclone>rclone rcd --rc-web-gui --rc-user=”login” --rc-pass=”password” -L

где “login” и “password”, заданные вами логин и пароль, естественно, без кавычек.

По факту выполнения команды в терминале выводится


Несмотря на то, что Web-GUI ещё находится в стадии тестовой версии и не обладает пока всеми возможностями управления Rclone, которые есть у интерфейса командной строки, его возможностей вполне достаточно для осуществления миграции данных. И даже чуть больше.

Настройка

Следующим этапом мы настроим подключения к площадкам где находятся или будут находится данные. И первым в очереди будет основной приёмник данных — Nextcloud.

1. Для этого переходим в раздел Configs Web-GUI.

2. Инициируем создание новой конфигурации — кнопка New Config.

3. Задаём имя площадке — поле Name of this drive (For your reference): Nextcloud.

4. Выбираем тип или вид хранилища Select: Для Nextcloud и Owncloud основной интерфейс обмена данными — WebDAV.

5. Далее кликом на Step 2: Setup drive раскрываем список параметров соединения и заполняем.

6. Далее жмём Create config и для того чтобы убедиться в создании конфигурации, переходим в раздел Сonfig веб-интерфейса… Через эту же страницу вновь созданную конфигурацию можно удалить или отредактировать.

Для того чтобы проверить работоспособность подключения к площадке — переходим в раздел Explorer. В поле Remotes вводим название настроенной площадки и нажимаем Open. Если вы увидели список файлов и каталогов — соединение с площадкой работает.

Для пущей убедительности можете через веб-интерфейс создать/удалить папку или скачать/удалить какой-либо файл.

Второй по порядку подключаемой площадкой будет Яндекс диск.

Миграция

Когда у нас подключены две площадки, мы уже можем осуществить миграцию данных между ними. Собственно процесс похож на проверку работоспособности подключения к Nextcloud, что мы проводили ранее.

  • Переходим в Explorer.
  • Выбираем шаблон 2-side by side.
  • В каждом из Remotes указываем имя своей площадки.
  • Жмём Open.
  • Видим каталог файлов и папок каждой из них.


Для начала процесса миграции остаётся только выбрать нужную папку с файлами в каталоге источника данных и перетащить её мышкой в каталог приёмника.

Механизм добавления оставшихся площадок и действий по миграции данных между ними аналогичен операциям, выполненным выше. Если в процессе работы вы сталкиваетесь с ошибками, то подробности о них можно изучить в терминале, где запущен Rclone с Web-GUI.

Вообще, документация по Rclone обширна и доступна на сайте и в интернете, и не должна вызвать каких-то сложностей в использовании. На этом, первый пост о том, как перенести файлы с одного облака на другое, минуя свой ПК, считаю завершённым.

Для миграции из одного облака в другое может быть множество причин, например: сбои у провайдера, отсутствие необходимых функций, изменения законодательства, более выгодные условия в другом месте.

Расскажем, как перенести ваши приложения и данные из одного облака в другое без потерь, лишних настроек и с минимальным простоем.

Сначала инвентаризация, потом миграция

Алгоритмы миграции с AWS, Azure, Яндекс.Облака, IBM Cloud, Alibaba Cloud, Google Cloud Platform, Oracle Cloud и любого другого облака похожи, различаются только технические детали.

Переезд начинается с полной инвентаризации вашей инфраструктуры. Нужно составить полный список всех инфраструктурных объектов, например:

Также необходимо собрать данные о том, какие из проектов/отделов предприятия какие конкретно мощности используют.

Не забудьте отметить объем различных ресурсов, нужных каждому объекту инфраструктуры. Для некоторых сервисов полезно отметить версии ПО, которые вы используете, чтобы в процессе переезда не выяснилось, что вы, например, пытаетесь перенести данные из PostgreSQL 12 в PostgreSQL 10.

Мигрируем из облака в облако похожие компоненты инфраструктуры

Большинство компонентов удастся мигрировать без особых проблем — виртуальные серверы и диски к ним у большинства облачных провайдеров выглядят примерно одинаково. Даже наборы предоставляемых операционных систем и их версии могут совпадать. Если образов слишком много (сотни и тысячи) — стоит задуматься о применении средств автоматизации управления серверами: Chef, Ansible, Terraform. Эти инструменты можно использовать как дополнение к образам или альтернативу им.

В облаках также есть готовые механизмы, которые помогают избежать излишнего ручного труда. Например, на облачной платформе VK можно воспользоваться автоматической платформой для миграции серверов, данных и приложений. Это не отменяет использования конфигурационных менеджеров типа Ansible или подхода по управлению инфраструктурой как кодом.

Иногда нужные сервисы у разных провайдеров называются по-разному, так что стоит потратить немного времени и изучить ассортимент того, что предлагает новый облачный провайдер.

Мигрировать данные нужно прямым копированием информации из инфраструктуры старого провайдера в новую. Спланируйте эти процессы наперед и прикиньте, сколько времени они могут занять: например, сотню терабайт просто так не перенести. Копирование данных — процесс несложный, но требующий внимания к деталям и большого количества времени.

Сети и подсети — вещь, которую вам удастся перенести без проблем. Конечно, могут быть исключения, например, если вам потребуется особо сложная конфигурация. Однако почти всегда вы легко сможете объединить серверы в сети так, как считаете нужным, в том числе используя возможности провайдера по кастомизации канального протокола передачи данных.

Миграция из облака в облако — хорошее время для модификации инфраструктуры. Используйте его, чтобы пересесть на новые версии ОС и программного обеспечения. Где-то вы захотите уменьшить мощность виртуальных серверов, а где-то, наоборот, увеличить.

Составьте детальный план того, как хотите выполнить миграцию подсетей и виртуальных машин с пометками об обновлении конфигурационных файлов серверных мощностей и версий ПО.

Многие говорят, что переезд подобен пожару, на самом деле — миграция из облака в облако поможет внести больше порядка в вашу инфраструктуру, если уделить внимание планированию.

Мигрируем то, что есть не у всех провайдеров

Почти все популярные облачные платформы предлагают сервисы, которые есть только у них. Например, это могут быть внутренние системы мониторинга серверов, особенные балансировщики нагрузки, дистрибутивы операционных систем и проприетарные программы.

Хорошая новость — в мире open source почти для всех этих штук есть приемлемые решения, которые можно внедрить в инфраструктуру после переезда. Составьте подробный план того, как будете заменять коробочные решения вашего старого провайдера альтернативным ПО.

Проприетарные решения почти всегда можно заменить альтернативным свободным софтом. Возможно, будут расходы на правки кода, но это не делает переход невозможным.

Также оценивайте на предмет альтернативного использования то, что предлагает новый провайдер. Возможно, среди его услуг есть непрямые аналоги привычной функциональности.

Чтобы в будущем не пришлось переезжать на другую платформу, убедитесь, что выбранный поставщик оказывает облачные услуги, которые могут вам понадобиться в перспективе.

Так, для крупных проектов нужен VPN, балансировщики нагрузки, объектное хранилище, различные PaaS-сервисы, например, облачные СУБД — и лучше уже в готовом к использованию виде, чтобы не пришлось конфигурировать и долго настраивать их самостоятельно. Выбор облачного провайдера — сложная задача, поэтому мы подготовили отдельный гайд.

В это облако встроен Paper, который позволяет работать с документами прямо внутри Dropbox. Кроме того, к диску можно подключать Trello, Slack и множество других сторонних сервисов для управления проектами, а также для коллективной работы. Бесплатное пространство, которое предоставляет Dropbox, можно расширить: за каждого приглашённого вами друга, установившего приложение на своём компьютере, вы получите бонусные 500 МБ.

2. «Google Диск» (Google One)

  • Стоимость: 15 ГБ бесплатно, 100 ГБ — 139 рублей в месяц, 200 ГБ — 219 рублей в месяц, 2 ТБ — 699 рублей в месяц.
  • Приложения: Windows, macOS, iOS, Android.
  • Поддержка русского языка: есть.

Один из самых очевидных вариантов для владельцев устройств под управлением Android, поскольку приложение «Google Диск» изначально установлено на смартфонах и планшетах на базе этой ОС. Впрочем, из‑за немалого объёма бесплатного хранилища сервис может быть привлекателен и для обладателей других устройств. Важный плюс — глубокая интеграция с множеством сервисов Google: от Gmail до «Google Фото».

3. Mega

  • Стоимость: 15 ГБ бесплатно, 400 ГБ — 446 рублей в месяц, 2 ТБ — 893 рубля в месяц, 8 ТБ — 1 785 рублей в месяц, 16 ТБ — 2 678 рублей в месяц.
  • Приложения: Windows, macOS, Linux, iOS, Android, Windows Phone.
  • Поддержка русского языка: есть.

Ещё один сервис с неплохим доступным объёмом в бесплатной версии. Как утверждает компания, все данные хранятся на серверах в зашифрованном виде, а потому сотрудники Mega не могут их прочитать. Исходный код клиентов сервиса доступен на GitHub, его может проверить любой эксперт. Поэтому утверждение внушает доверие.

4. «Яндекс.Диск»

  • Стоимость: 10 ГБ бесплатно, 100 ГБ — 99 рублей в месяц, 1 ТБ — 300 рублей в месяц, 3 ТБ — 900 рублей в месяц.
  • Приложения: Windows, macOS, Linux, iOS, Android.
  • Поддержка русского языка: есть.

«Яндекс.Диск» — облако отечественной разработки. Разумеется, сервис хорошо интегрирован в экосистему «Яндекса». Более того, пользователи получают безлимитное хранилище для фотографий, снятых на смартфон с установленным приложением «Яндекс.Диск». Из минусов: бесплатная версия отображает рекламу.

5. OneDrive

  • Стоимость: 5 ГБ бесплатно, 1 ТБ за 269 или 339 рублей в месяц при оформлении персональной или семейной подписки на Office 365, соответственно.
  • Приложения: Windows, macOS, iOS, Android, Windows Phone, Xbox.
  • Поддержка русского языка: есть.

Облачный диск, интегрированный в Windows 10 и множество сервисов Microsoft. Например, OneDrive автоматически синхронизирует все файлы между Word, PowerPoint и другими офисными программами на разных устройствах. Очень удобно для пользователей Microsoft Office.

  • Стоимость: 8 ГБ бесплатно, 128 ГБ — 149 рублей в месяц, 256 ГБ — 229 рублей в месяц, 512 ГБ — 379 рублей в месяц, 1 ТБ — 699 рублей в месяц, 2 ТБ — 1 390 рублей в месяц, 4 ТБ — 2 690 рублей в месяц.
  • Приложения: Windows, macOS, iOS, Android.
  • Поддержка русского языка: есть.

7. iCloud

  • Стоимость: 5 ГБ бесплатно, 50 ГБ — 59 рублей в месяц, 200 ГБ — 149 рублей в месяц, 2 ТБ — 599 рублей в месяц.
  • Приложения: Windows.
  • Поддержка русского языка: есть.

5 ГБ бесплатного пространства может быть недостаточно, но iCloud — это самый удобный способ создавать бэкапы фотографий и других файлов с iPhone и iPad.

Сервис интегрирован в программу Finder на macOS — рабочий стол всех компьютеров Mac. Документы, созданные через офисный пакет iWork, тоже сохраняются в iCloud, благодаря чему могут синхронизироваться между устройствами. У платформы есть и официальный клиент для Windows, с помощью которого можно поддерживать файлы на ПК в актуальном состоянии.

8. Box

  • Стоимость: 10 ГБ бесплатно, 100 ГБ — 12 евро в месяц.
  • Приложения: Windows, macOS, iOS, Android.
  • Поддержка русского языка: есть.

Хотя сервис не имеет своей развитой экосистемы, он подключается к сотням сторонних инструментов вроде программ из пакетов G Suite и Office 365. Настольные клиенты Box позволяют не только синхронизировать, но и редактировать файлы.

9. IDrive

  • Стоимость: 5 ГБ бесплатно, 5 ТБ за 52 доллара в первый год и 70 долларов — со второго, 10 ТБ за 75 долларов в первый год и 100 долларов — со второго.
  • Приложения: Windows, macOS, Linux, iOS, Android, Windows Phone.
  • Поддержка русского языка: нет.

IDrive предоставляет инструмент для создания бэкапов всех подключённых устройств. Есть возможность открывать доступ к документам другим пользователям для совместной работы. Кроме того, во все планы входит сервис IDrive Express: если вы потеряете все свои данные, вам доставят жёсткий диск для их быстрого восстановления.

10. pCloud

  • Стоимость: 10 ГБ бесплатно, 500 ГБ за 48 долларов в год или за 175 долларов навсегда, 2 ТБ за 96 долларов в год или за 350 долларов навсегда.
  • Приложения: Windows, macOS, Linux, iOS, Android.
  • Поддержка русского языка: есть.

Этот материал впервые был опубликован в августе 2017 года. В июне 2021-го мы обновили текст.

Читайте также: