Как быстро скопировать большой объем данных на другой диск

Обновлено: 06.07.2024

Описываемый лайфхак будет полезен пользователям как Мак, так и Windows!

На днях столкнулся с необходимостью сохранить с Мака на флэшку файл размером в 9 гигабайт. Делал фильм, и нужно было перенести его на ПК с Windows.

Флэшка у меня была, 16 Гб. Отформатирована в FAT32. Как известно , эта файловая система не позволяет записать файл размером больше 4 гигабайт.

Тут спасла бы флэшка в системе NTFS , но! . как вы возможно знаете, Мак не поддерживает запись /удаление на NTFS!

Поддерживает, только при наличии специальных программ типа Paragon NTFS for MAC.

А если нет такой программы, и не хочется её покупать?

Как же скопировать файл размером больше 4 гигабайт на внешний носитель?

Решение нашлось внезапно в виде файловой системы exFAT .

На Маке можно отформатировать флэшку в файловой системе exFAT . Есть такая интересная и малоизвестная файловая система. Она не очень распространена. Её основной плюс в том, что многие ограничения FAT32 в ней сняты! В частности, она поддерживает файлы размером больше 4 гигабайт! Теоретически - до 16 экзабайт! Разработана эта файловая система была как раз для внешних носителей большого объёма (флэшки и внешние жёсткие диски).

Так вот, взял я флэшку, запустил на Маке "Дисковую утилиту" , выбрал пункт " Стереть. ", и в качестве файловой системы выбрал exFAT.

На Маке форматируем в exFAT c помощью "Дисковой утилиты" На Маке форматируем в exFAT c помощью "Дисковой утилиты"

Потом скопировал спокойно 9-ти гигабайтный видеофайл на эту флэшку. В Windows 7 всё прекрасно считалось в нужную папку!

Форматирование в exFAT возможно и в Windows, но только для внешних дисков. То есть подключённых через USB или другие внешние интерфейсы-кабели. Для внутренних не работает. Этого пункта не будет в меню.

При форматировании внешнего диска или флэшки выбираем exFAT При форматировании внешнего диска или флэшки выбираем exFAT

На эту тему также есть небольшое хорошее видео (не моё)

В данной статье мы рассмотрим программы, которые помогут быстро клонировать (скопировать) жесткий диск на другой жесткий диск. Подобные знания пригодятся любому владельцу компьютера или ноутбука.

Апгрейд компьютера или ноутбука зачастую включает замену жесткого диска на более емкий и скоростной. Пользователи при этом сталкиваются с проблемой переноса информации с установленного носителя на новый, ведь чтобы установить заново систему, драйвера и нужные приложения, приходится тратить большое количество времени.

Гораздо проще в этой ситуации провести полное или частичное клонирование HDD или SSD при помощи одной из профильных программ. Настройка и работа с ними не требуют специальных знаний, а времени на процесс клонирования тратится на порядок меньше, чем на установку ОС и настройку.

Копирование жесткого диска в программе Acronis True Image

Одна из функций этой полезной программы - клонирование дисков, которую, кстати, можно настроить очень тонко в зависимости от задач конкретного пользователя. Чтобы избежать возможных ошибок в ходе операции, не нужно использовать Acronis True Image из-под работающей ОС - рекомендуется запустить приложение при помощи загрузочного диска. Поэтому вам потребуется дистрибутив Acronis BootCD/DVD, который нужно будет распаковать на DVD или даже на флешку, например, при помощи приложений UltraISO, UNetbootin и т. п.

После создания загрузочного носителя можно приступать непосредственно к клонированию:

Загрузитесь с созданного при помощи Acronis BootCD/DVD накопителя.
В главном окне Acronis откройте раздел инструментов и утилит.

Обычно на SSD переносится только система, поэтому для точного копирования можно выделить лишь основной раздел диска (обычно «С»), исключив из процесса разделы или отдельные файлы с ненужной информацией. Если же объемы диска позволяют клонировать старый накопитель полностью, можете нажать «Далее», после чего запустится процесс посекторного низкоуровневого копирования диска.

Отметим, что приложение является платным, но зато оно многофункционально, очень быстро работает и, как было показано, имеет возможность выбора данных на жестком диске для переноса.

Использование приложения Paragon Hard Disk Manager

Это многофункциональное приложение по популярности лишь немногим уступает описанной выше программе. Использовать ее для клонирования информации на накопителях так же удобно:

Как и Acronis True Image, рассматриваемое приложение для надежного посекторного копирования данных лучше запускать не из-под Windows, а с загрузочного накопителя. Создать его можно в самой программе, используя специальный мастер создания аварийного носителя:

Далее требуется подтвердить действие, после чего загрузочная флешка будет создана автоматически.

Отметим, что Paragon Hard Disk Manager - приложение также платное, однако функционал его не меньше, чем у Acronis True Image. Обе они работают с любыми дисками и файловыми системами, поддерживают Windows 8.1 и 10.

Клонирование дисков с использованием EASEUS Disk Copy

Данное небольшое приложение в отличие от рассмотренных ранее является полностью бесплатным, но тем не менее позволяет надежно посекторно клонировать жесткие диски, отдельные их разделы и осуществлять миграцию ОС на различные накопители, в т. ч. твердотельные SSD. Запускается программа с загрузочного DVD или флешки, для чего на официальном сайте утилиты нужно скачать бесплатный дистрибутив для установки. После запуска исполняемого установочного файла мастер предложит выбор:

установить EASEUS Disk Copy на USB-флешку,
на оптический накопитель,
экспортировать ISO-образ утилиты на диск компьютера.

Простой и быстрый вариант - создать загрузочную флешку, т. е. первый из списка.

Далее останется загрузить компьютер с созданной флешки и, пропустив окно приветствия, выбрать пункт копирования диска или отдельного раздела.

В следующем окне укажите копируемый диск и накопитель, на который будет осуществляться посекторный перенос информации. Определенным недостатком приложения является отсутствие русской локализации.

После клонировании загрузочного диска с Windows 10 иногда система может не загрузиться. В этом случае:

Если после загрузки появится ошибка File: \Boot\BCD, восстановите загрузчик Windows.

Клонирование дисков с утилитой Macrium Reflect

Это еще одна небольшая утилита, распространяемая бесплатно. Ее функционал включает клонирование HDD и SSD, создание их полных образов, а также образов отдельных разделов, которые могут использоваться в ОС как виртуальные носители. Установщик можно получить на оф. сайте приложения, при запуске его нужно указать директорию установки и выбрать лицензию «Free».

При первом запуске Macrium Reflect сама предложит создать загрузочный диск, с чем следует согласиться, так как при работе в среде Windows клонирование может сопровождаться ошибками. После запуска программы:

В главном окне выберите диск, подлежащий клонированию.
Под выделенным накопителем кликните по ссылке «Clone this disk» и в следующем окошке укажите накопитель, на который нужно перенести информацию.

Далее останется запустить процесс посекторного переноса данных, о завершении которого Macrium Reflect вам сообщит в следующем окне.

Использование утилиты Farstone RestoreIT Pro

Это платное приложение используется для создания бэкапов любой информации на дисках, сохраняя текущее состояние системы, и в случае непредвиденных сбоев восстанавливая ее буквально нажатием единственной кнопки.

Механизм работы в том, что оно перезаписывает загрузочный сектор диска, добавляя себя в него, а также создает дополнительный логический диск для записи всей резервируемой информации. Фактически Farstone RestoreIT Pro создает точки восстановления системы, причем откатить к предыдущему состоянию с ее помощью можно не только диск целиком, но и отдельные разделы.

Активировать и деактивировать приложение можно в контекстном меню, последнее открывается кликом по иконке в трее. Эта возможность позволяет экономить ресурсы системы, когда есть уверенность в том, что ее состояние в данный момент не меняется. Farstone RestoreIT Pro может создавать загрузочные CD/DVD или даже дискеты, при помощи которых можно не только восстановить диск при невозможности его нормальной загрузки, но и главную загрузочную запись MBR с таблицей разделов.

Как быстро скопировать много файлов в Windows

Если вы регулярно копируете большие файлы, встроенная система передачи файлов в Windows работает медленно и занимает много времени для перемещения файлов. К счастью, вы можете ускорить процесс с помощью нескольких альтернативных методов, которые могут помочь перемещать и копировать файлы гораздо быстрее.

Быстро скопировать много файлов в командной строке

Это встроенный инструмент в Windows, который можно найти в командной строке, который предлагает больше возможностей, когда вам нужно запускать повторяющиеся и / или сложные процессы копирования файлов.

Способ копирования файлов при помощи командной строки Windows Robocopy делает выполнение этой операции намного проще и быстрее, особенно при работе в сети.

Чтобы использовать Robocopy, щелкните панель поиска, введите «Командная строка» и нажмите «Командная строка» в результатах поиска. Вы также можете щелкнуть правой кнопкой мыши Пуск и выбрать «Windows PowerShell». В любом из способов введите команду:

и нажмите Enter, чтобы получить инструкции на основе параметров копирования, которые вы хотите.

Если вы хотите регулярно выполнять один и тот же процесс копирования, вы можете создать пакетный файл и дважды щелкнуть, чтобы запустить или настроить сценарий для запуска через планировщик заданий в качестве автоматизированного процесса.

Обновите жесткие диски для копирования большого количества файлов

Аппаратные диски играют большую роль в определении скорости процесса копирования. Твердотельные накопители (SSD) работают быстрее, чем старые HDD, поэтому для увеличения скорости копирования по возможности на своем ПК используйте SSD.

Приложение для копирования большого количества файлов

Хотя описанные выше методы являются простыми способами увеличения скорости копирования больших файлов в Windows, используя приложение для копирования, вы можете получить еще более высокую скорость, чем та, которую предлагает вам Windows. На рынке есть несколько таких вариантов, но наиболее популярным является TeraCopy, алгоритмы которого динамически корректируют буферы, чтобы сократить время поиска и ускорить операцию копирования.

Более того, приложение проверяет файлы, чтобы убедиться, что они полностью идентичны. И даже предупреждает вас o перемещении файлов, чтобы вы просто не допустили ошибку этим действием.

TeraCopy имеет приятный интерфейс, хорошо интегрируется в Windows и активно обновляется. Он также выполняет асинхронное копирование, что ускоряет передачу файлов между двумя жесткими дисками.

Приложение TeraCopy, не прерывая всю передачу, интеллектуально пропускает проблемные файлы, чтобы вы могли их проверить позже.

Сжатие файлов перед копированием

Перемещение множества небольших файлов путем архивирования их с помощью WinRAR или 7zip также позволяет увеличить скорость процесса. Сжатие ваших файлов занимает несколько минут, но зато теперь у вас есть только один большой файл, который копируется намного быстрее.

Заключение

С помощью любого из этих методов вы сможете скопировать много файлов гораздо быстрее, чем позволяет это сделать обычный процесс Windows. Кроме того приложение для копирования обязательно сделает процесс копирования менее утомительным и более эффективным. Мы хотели бы узнать, какие еще способы вы используете, чтобы копировать огромные файлы. Расскажите нам о них в комментарии ниже.

Оказалось, что Винда в плане копирования большого количества мелкий файлов - полный идиот.
Конкретно пробовал на Windows 7 x64 + клиент WoW (25 гигов).

Поэтому придумал вот такой способ: нужно собрать файлы в tar-архив, прямо на целевом жестком диске, и там же его разжать. По скорости получается быстрее, чем просто копировать файлы.

На линуксе такая фича тоже будет работать? Какие есть еще хаки чтобы ускорить копирование?

а теперь попробуй в качестве архиватора lzma или 7-zip, если первого нету

имхо, быстрее всего копировать на линуксе без (включенных) иксов, и без сжатия.

> Какие есть еще хаки чтобы ускорить копирование?

держать tar-архив не на том же диске, с которого его разжимать, а на третьем (можно вообще на SSD)

а у tar есть сжатие шоле?
я в tar собирал как раз 7zip'ом

так было всегда, вообщето

Такое ощущение, что у тебя DMA не работает. А диски SATA->USB или SATA->SATA?

> так было всегда, вообщето

а почему тогда это не поведение по умолчанию, если так быстрее?

> А диски SATA->USB или SATA->SATA?

IDE (адаптер Marvell) -> SATA

Или дрова и винды настолько корявые.

потому что пользователю важно показать что процесс идёт, а профессионал и через copy скопирует.

А, ну тогда LAN -> SATA точно может быть быстрее, т.к. эти адаптеры очень слоупочные (у меня такой-же).

нужно собрать файлы в tar-архив, прямо на целевом жестком диске

Пайпами не? Архивируем, получающийся tar шлём на конвейер, разархивируем на целевой диск. Так не быстрее получается?

>>>IDE (адаптер Marvell) -> SATA

Оказалось, что Винда в плане копирования большого количества мелкий файлов - полный идиот.

Сам пофиксишь? Надеюсь помогать не надо?

У меня стойкое дежа-вю, что такая тема ту была много лет назад.

И да, почитай обзоры - копирование кучи файлов еще зависит от прошивки самого винта.

Где в WoW-клиенте много мелких файлов? Там пара многогиговых MPQ-архивов - и все, остальное - всякие аддоны, скриншоты и логи, кеш можно не копировать.

/.wine/drive_c/World of Warcraft$ find ./ -type f | wc -l
1101

>> И да, почитай обзоры - копирование кучи файлов еще зависит от прошивки самого винта.

Нирикамендую такие обзоры.

Это оффтопик так тонко намекает что вов не нужен

при чем тут венда. везде так, много мелких файлов копируется сильно медленнее чем тот же объем в нескольких файлах

> Где в WoW-клиенте много мелких файлов?

ты прав, их там нет, всё запаковано )

просто после всяких NFS в каждой массивной игрушке мерещатся миллионы файлов

но результата теста не отменяет. Копировать через tar оказалось быстрее.

везде так, много мелких файлов копируется сильно медленнее чем тот же объем в нескольких файлах

почему же ось автоматически не сливает копируемое в один файл?

> почему же ось автоматически не сливает копируемое в один файл?

просто скопировать с одного диска на другой получается быстрее чем сделать архив на одном диске и затем распаковать его на другой

такой вариант может работать быстрее только если задержка на передачу одного файла очень большая, как например передача через FTP

Зависит от ФС, в рейзере куча мелких файлов копируется с той же скоростью что и один большой того же объема

>а на третьем (можно вообще на SSD)

По пропускной способности SSD сильно отсасывает у современных винчестеров, единственный плюс - малое время поиска блока но при копировании больших файлов это не важно

а почему тогда это не поведение по умолчанию, если так быстрее?

а потому-что так быстрее лишь в недосистемах типа оффтопика с её NTFS. Используй EXT4, и не заморачивайся.

The command also works using long option forms:

$ (cd sourcedir; tar --create --file=- . ) \ | (cd targetdir; tar --extract --file=-)
or

$ tar --directory sourcedir --create --file=- . ) \ | tar --directory targetdir --extract --file=-

Да, tar поддерживает сжатие. Самое лучшее на сегодня - LZMA-2, реализованное в программе xz. Ключ -J (J - большая буква)

Если у тебя over9000 памяти, и быстрый CPU, то используй это. Можешь с ключом -9 (сжатие по макс)

потому что при сжатии tar копирование выполняется в одном потоке
пробовали с rsync?

а, ну и если tar, то через pipe ещё быстрее будет

>малое время поиска блока но при копировании больших файлов это не важно

Если у тебя диск C: на весь HDD, и на нём раскидано 100500 мелких файлов по всему диску, то SSD будет однозначно быстрее. А если у тебя Ъ система, и есть спец-раздел для файлов, то они идут почти подряд, и копировать их также быстро как один большой. Особенно если EXT4 с экстентами.

> а потому-что так быстрее лишь в недосистемах типа оффтопика с её NTFS. Используй EXT4, и не заморачивайся.

вранье 100%. е4 на мелкие файлы реагирует так же как нтфс +-0.хрен%

с райзером скорее всего тоже самое

с райзером скорее всего тоже самое

На чём основано столь смелое предположение?

> На чём основано столь смелое предположение?

бесчисленные тесты файловых систем, однако

>бесчисленные тесты файловых систем, однако

пруфы будут? или ты так, потрещать зашёл?

А где там много мелких файлов? Аддоны что ли?

>> бесчисленные тесты файловых систем, однако

пруфы будут? или ты так, потрещать зашёл?

+1 тупой тест специально для тебя

копирование с райзера на райзер 1.5гб мелких файлов из /usr/share

копирование с райзера на райзер 1.5гб мп3 файлов

то же самое на ext4

разница >2x в обоих случаях (чтд?) и райзер не быстрее даже на мелких файлах

оперативки 256мб, в кеш файлы не помещаются по-этому при повторах те же цифры

Очередной фороникс-стайл бенчмарк. Опции монтирования, естественно, дефолтные?

> Очередной фороникс-стайл бенчмарк. Опции монтирования, естественно, дефолтные?

сделайте по своему. только не забудьте что задача - доказать/опровергнуть утверждение что райзер так же сильно реагирует на размер и количество файлов при копировании как и другие фс, а не что то другое

> По пропускной способности SSD сильно

отсасывает у современных винчестеров

Сам ты . не пробовал SSD на PCIe

>разница >2x в обоих случаях (чтд?) и райзер не быстрее даже на мелких файлах

ну и что? всё зависит от исходного и конечного положения файлов: Например, для операции чтения одного нефрагментированного файла нам нужно просто подвести головку к файлу, и его читать. Основное время тратится на начальное позиционирование. Если-же файлов 2шт, то нужно позиционировать дважды. При этом время второго позиционирования зависит от расстояния между файлами. Совсем плохо, если файлов много, и мы их копируем в случайном порядке.

Как они у тебя там лежали - мне неведомо. И тебе тоже. Однако, один файл ФС старается засунуть в одно место, а вот кучу мелочи - не старается.

И вообще не надо холиварить на эту тему - результаты измерений слишком сильно (в сотни раз!) зависят от случайных причин. Если уж проводить тесты, то на только-что созданных идентичных разделах. Причём копировать источник нужно командой dd, что-бы файлы легли одинаково. Но команда dd не может скопировать файлы на разные ФС, потому мы не можем гарантировать эквивалентность источника. Видимо надо написать специальный скрипт, который создаёт N файлов размера S, причём эти размеры делает случайными, и данные берёт из /dev/urandom. После этого можно провести тест копирования на пустой раздел.

Это надо повторить 3 раза (минимум), причём каждый раз создавать ФС заново, с нуля.

А затем ещё 3 раза, но уже создавая ФС другого типа.

А так - просто 3.1415926здабольство.

SSD бывают разные. На первых ёёёшках тоже SSD, скорость у них в

3 раза меньше, чем на моём тихом десктопном винте.

>Сам ты . не пробовал SSD на PCIe

В продаже не видел, те что в продаже - говно полное. Были бы они на PCIe сам бы прикупил, я уже по этому поводу отписывался что SATA-интерфейс для SSD это охрененно кривой костыль. Хотя если SSD использовать для временных файлов не лучше ли дохрена оперативки и tmpfs? ;)

> не лучше ли дохрена оперативки и tmpfs? ;)

SSD дешевле на единицу объема (читай интернет - там пруфы)

> А затем ещё 3 раза, но уже создавая ФС другого типа.

А так - просто 3.1415926здабольство.

зачем всё это если на глаз отчетливо видно что много мелких файлов копируется медленее чем мало больших. лишь бы попистеть?

В линупсе можно существенно ускорить копирование мелких файлов, смонтировав target файловую систему с опцией async.

Читайте также: