Импорт csv в mysql через консоль
Обновлено: 05.07.2024
Изредка бывает необходимо импортировать/экспортировать довольно большую базу данных и через phpmyadmin делать это нет желания, выскакивают ошибки вроде:
Для этого логинимся в консоли ssh и выполняем следующую последовательность действий:
username заменяем на имя пользователя, который имеет доступ к данной бд или root, если аутентификация работает через него, но не использует unix_socet
Вариант второй (если не используется unix_socet):
или (равнозначные команды)
После авторизации (в случае root или тп типа авторизации) можно посмотреть ваши текущие базы данных:
Вывод будет примерно следующим:
После чего можно выбрать нужную базу данных командой:
Вывод в таком случае будет следующим:
После чего вы можете просмотреть существующие в данной базе таблицы командой:
Вывод будет следующим:
Так же вы можете посмотреть все записи в конкретной таблице следующей командой:
Вывод будет аналогичным:
Чтобы посмотреть спецификацию таблицы, используйте следующую команду:
Вывод будет аналогичным:
Импорт базы данных
Вариант 1
Если вы хотите импортировать дамп базы из файла на сервере, то можете выполнить следующую команду:
username — логин для доступа к базе
/home/files/dumps/backup_database_name.sql — адрес файла бекапа на сервере
Вариант 2
Если вы уже авторизовались в mysql/mariadb, то можете выбрать базу данных командой:
После чего следующей командой импортировать базу:
/home/files/dumps/backup_database_name.sql — адрес файла бекапа на сервере
Импорт отдельной таблицы:
Чтобы импортировать одну таблицу в существующую базу данных, вы должны использовать следующую команду:
Экспорт базы данных
Для экспорта можно использовать простую команду:
username — логин для доступа к базе
/home/files/dumps/backup_database_name.sql — адрес файла бекапа на сервере
Чтобы экспортировать одну таблицу из вашей базы данных, вы должны использовать следующую команду:
Опять же, вам нужно будет заменить имя пользователя, базу данных и имя таблицы на правильную информацию.
Доброго времени суток, коллеги 🙂
Сегодня я продолжу знакомить вас с работой с MySQL в консоли и командной строкой MySQL.
Я уже написал статьи о том, как производить основные действия с данными MySQL через консоль иm делать бэкап базы MySQL, а также экспорт хранимой в ней информации.
Если же вам нужна инструкция по импорту базы через phpMyAdmin, то вы можете найти её в статье о переносе WordPress на хостинг. В текущей статье я не горю желанием описывать её ещё раз, тем более, что сегодняшний материал будет посвящён исключительно импорту базы MySQL через консоль.
Но, перед тем, как мы приступим к обзору способов и инструментов, пару слов о том, что такое импорт базы данных MySQL, каким он бывает и как его лучше всего делать?
Импорт базы данных MySQL: что и зачем?
Импорт, как и экспорт БД MySQL, бывает двух видов информации, хранящейся в базе:
- структуры базы, её таблиц и хранимых в них данных (в простонародье именуемых дампом БД);
- просто данных, хранящихся в таблице либо собранных с помощью SELECT запросов.
В данной статье будут рассмотрены оба варианта.
Для восстановления из дампа MySQL базы данных с её структурой и всей хранимой информацией, как уже было сказано, нужен файл дампа БД, который представляет из себя текстовый файл с любым расширением (предварительно может быть запакован в архив для уменьшения размера), содержащий SQL команды для создания самой базы и таблиц, а также наполнения их информацией.
Следовательно, для того, чтобы восстановить MySQL базу из дампа, требуется выполнение содержащихся в файле команд.
Для обычного восстановления данных такие сложности не обязательны. Достаточно иметь в наличии тестовый файлик, информация в котором будет структурирована тем же образом, что и в таблице БД: количество колонок с информацией соответствует числу атрибутов записи таблицы.
Для этих целей подойдёт и обычный txt файл, данные в котором будут разделены, либо файлы, создаваемые в специальных табличных редакторах (Microsoft Office Excel, OpenOffice и т.д.), имеющих отличное расширение: xls, csv, odt и др.
Данные форматы даже предпочтительнее, т.к. при их создании ограничители данных добавляются редакторами автоматически, и нет нужды вносить их отдельно, как в случае обычного текстового файла.
Добавление данных в MySQL: инструменты
По поводу инструментов осуществления импорта базы данных MySQL могу сказать, что их на сегодняшний день существует целых три.
Перечислю их, начиная с самых низкоуровневых, заканчивая высокоуровневыми (с точки зрения применения всяческих оболочек и надстроек):
- Консоль сервера и командная строка MySQL;
- Скрипты, написанные на языках программирования, позволяющие делать запись данных в MySQL с помощью языковых средств;
- Готовые программы, предоставляющие визуальный интерфейс для работы с БД (тот же самый phpMyAdmin, MySQL WorkBench, MySQL Manager и др.).
Думаю, что порядок расположения инструментов не вызовет ни у кого вопросов, т.к. средства языков программирования, как правило, работают на базе команд консоли MySQL, а программы базируются на скриптах или же работают с MySQL командной строкой напрямую.
Так или иначе, во главе всего лежит консоль, а остальные инструменты, по сути, являются её эмуляторами.
Поэтому использование консоли при импорте данных в MySQL позволяет обойти различного рода ограничения, устанавливаемые настройками языков программирования на Web сервере и самих программ (которые, кстати, не всегда возможно изменить).
За счёт этого залить базу данных MySQL через консоль можно не только быстрее, но и сделать эту операцию возможной в принципе, т.к. скрипты и программы склонны прерывать импорт при достижении максимального времени выполнения скрипта или вообще не стартовать его из-за размера загружаемого файла.
Думаю, все, кто хоть раз пытался загрузить дамп в MySQL БД большого размера через phpMyAdmin, понимают, о чём я говорю.
Зачастую именно эти лимиты являются причинами ошибок при импорте базы данных MySQL, которые при использовании консоли вы никогда не увидите.
Они, конечно, не константны, и их можно изменить, но это дополнительная головная боль, которая для рядовых пользователей, кстати, может оказаться нерешаемой.
Надеюсь, что я замотивировал вас делать импорт базы данных MySQL через консоль (причём, как её структуры, так и отдельно данных).
И на этой позитивной ноте мы переходим к долгожданной практике и рассмотрим способы и команды для консольного переноса данных в базу.
Как восстановить MySQL базу из дампа через консоль?
Итак, для того, чтобы развернуть дамп MySQL из консоли есть два пути:
- с помощью команды в командной строке MySQL;
- в самой консоли сервера.
Начнём по порядку.
Итак, чтобы импортировать дамп базы данных MySQL в существующее хранилище через командную строку MySQL, нам сначала нужно её запустить и выбрать нужную базу данных, в которую мы будем заливать наш дамп.
Выполнение данных действий подробно описано в статье по ссылке выше, поэтому если вам нужно их описание – возьмите оттуда, т.к. дублировать их по второму кругу я не хочу.
После того, как вы сделаете указанное, вводим в MySQL Shell следующую команду:
Без предварительного переключения на нужную базу данных после соединения с сервером MySQL в консоли дамп можно импортировать следующей командой:
Если файл дампа будет запакован в архив, то при загрузке нужно будет его попутно распаковывать.
В Linux это можно сделать следующим образом:
В Windows стандартной утилиты для распаковки архива в консоли нет, поэтому её нужно будет установить дополнительно.
Как видите, импорт дампа MySQL через консоль – операция весьма простая, которая выполняется одной командой. Так что для выполнения данной процедуры не обязательно быть разработчиком.
Если вдруг вы не знаете, как запустить консоль сервера, то можете найти эту информацию в статье о командной строке MySQL, ссылку на которую я уже располагал ранее.
Кстати, описанными способами возможен также и импорт таблицы MySQL, а не целой базы. В этом случае в заливаемом вами дампе должны присутствовать операции её создания и наполнения данными.
Загрузка данных в MySQL базу из файла в консоли
О восстановлении БД MySQL из дампа в консоли мы поговорили. Теперь самое время разобраться с тем, как аналогичным образом можно импортировать данные из файлов, в том числе из xls и csv в MySQL базу.
Для данной задачи у нас снова есть те же два инструмента, что и в предыдущем случае: командная строка MySQL и консоль сервера.
Снова начнём обзор по порядку.
Итак, для импорта файла в MySQL командной строке мы снова запускаем её и переходим на БД, в которую будут загружаться данные.
А далее прописываем в консоли следующую SQL команду:
О том, как узнать её значение и изменить его, подробно написано в статье об экспорте базы данных MySQL.
Для того, чтобы сделать импорт базы данных MySQL в консоли сервера, не заходя в MySQL Shell, нам пригодится утилита mysqlimport, входящая в состав дистрибутива MySQL, и следующий её вызов:
Данная утилита является аналогом SQL команды LOAD DATA INFILE, только для командной строки. Но, спрашивается, почему тогда среди параметров её вызова не указана таблица, в которую будут загружаться данные из файла?
Дело в том, что у mysqlimport просто физически нет данного параметра. Вместо этого имя таблицы, в которую будут загружаться данные, должно присутствовать в имени импортируемого файла.
Т.е. если вы захотите сделать импорт из Excel таблицы в MySQL таблицу users, то ваш файл должен называться users.xls.
Расширение у импортируемого файла, как уже говорилось, может быть любым.
С помощью mysqlimport также можно загружать сразу несколько файлов xls или csv в MySQL. Чтобы данные попали по назначению, названия файлов и таблиц БД, как и в предыдущем примере, также должны совпадать.
Естественно, что в своих примерах я не рассмотрел полный список параметров mysqlimport, т.к. некоторые из них весьма специфичны и на практике используются крайне редко.
Особенности загрузки данных в MySQL базу из дампа
Если хотите, чтобы процесс импорта большой базы MySQL проходил быстрее, то необходимо создавать дамп БД с использованием специальных опций команды mysqldump, о которых я писал в своей предыдущей статье об экспорте БД MySQL, ссылку на которую размещал в тексте ранее.
У самих команд импорта баз данных MySQL таких опций, к сожалению, нет.
Единственное, для увеличения скорости при загрузке большого дампа БД можете использовать следующую фишку.
1. Открываем файл дампа (желательно в файловых менеджерах, т.к. обычные редакторы могут просто загнуться от больших файлов).
2. Прописываем в начале файла следующие строки:
Обратите внимание! Может быть они уже есть или закомментированы (многие программы, с помощью которых делают дампы, могут добавлять их автоматически)
3. В конце файла прописываем обратные действия:
Кстати, данные команды помогут не только ускорить процесс импорта, но и сделать его возможным.
Дело в том, что, если вы хоть раз заглядывали в файл дампа для импорта БД MySQL, то могли заметить, что операция задания структуры загружаемых таблиц выглядит так:
Т.е. выполняется поиск в БД таблицы с таким же именем, как и у импортируемой, и если таковая найдена, то она удаляется и создаётся заново.
И если вдруг существующая таблица будет связана внешними ключами с другими, то вся загрузка провалится.
Поэтому отключение проверки существования внешних ключей и прочих – это ещё и отличная гарантия успешного выполнения процесса импорта базы данных MySQL.
Особенности импорта csv в MySQL БД и других файлов
При загрузке данных в MySQL БД из текстовых файлов может также потребоваться отключение внешних ключей.
Причём, в отличие от предыдущей ситуации, в данном случае прописать директивы в файл не получится, т.к. SQL команды в нём не будут восприниматься и выполняться.
В предыдущей статье об экспорте базы MySQL я уже упоминал о том, как это сделать с помощью следующей операции в командной строке MySQL:
Однако, там я не упомянул, что системная переменная MySQL FOREIGN_KEY_CHECKS имеет два значение: глобальное и сессионное (для текущей сессии).
Глобальное значение переменных MySQL действует при выполнении любых действий на сервере MySQL вплоть до его перезапуска. Тогда значение переменных будут сброшены и им будет присвоено значения по умолчанию.
Сессионное значение системной переменной MySQL устанавливается только на время сеанса работы пользователя с сервером MySQL. Сеанс или сессия начинается при подключении клиента к серверу, при котором ему присваивается уникальный connection id, и заканчивается при отключении от сервера, которое может произойти в любой момент (например, по таймауту).
Почему я об этом решил вспомнить?
Потому что при выполнении команд загрузки файла в MySQL БД через консоль сервера, без захода в MySQL Shell, я обнаружил, что отключение проверки внешних ключей приведённым ранее способом не работает.
А возникало оно по той причине, что приведённой командой отключалась проверка существования внешних ключей в рамках сессии, а не глобально, которая, помимо указанного способа, может быть выполнена ещё и следующим образом:
В приведённых командах переменная явно помечается как сессионная.
А, поскольку, я выполнял загрузку csv файла в MySQL таблицу через консоль сервера, без прямого подключения к серверу MySQL, то сеанс и не был создан, в рамках которого работало бы моё сессионное значение переменной.
В итоге я установил глобальное значение FOREIGN_KEY_CHECKS, и импорт успешно выполнился.
Сделать это можно одним из перечисленных способов:
После изменения значений для проверки того, что изменения вступили в силу, не лишним будет просмотреть значения переменной. Для вывода сессионного и глобального значений одновременно пользуйтесь следующей командой:
На этом сегодняшняя статья, посвящённая импорту базы данных MySQL, подошла к концу. Делитесь своими впечатлениями и собственными наработками в комментариях. Думаю, что многим будет интересен ваш опыт.
В базе данных MySQL хранится динамический контент сайта (комментарии, аккаунты пользователей, размещённые посты и т. д.). Потеря подобной информации недопустима, поэтому нужно заранее позаботиться о резервировании данных.
Все таблицы из базы данных можно экспортировать в отдельный файл, который потом же импортировать обратно для восстановления информации. Кроме этого, созданный дамп БД можно использовать для переноса информации в другую базу MySQL.
Существует два способа импорта/экспорта:
- через веб-интерфейс PhpMyAdmin;
- подключившись к консоли MySQL локально или через SSH.
Подробнее о подключении через протокол SSH можно узнать здесь.
Все описанные действия с MySQL схожи по выполнению на любых операционных системах Linux.
Экспорт базы данных с помощью PhpMyAdmin
В первую очередь требуется выполнить вход в интерфейс PhpMyAdmin. Список существующих баз находится в верхнем левом углу.
Выбрав необходимую базу данных, нужно перейти в раздел «Экспорт».
Для быстрого экспорта подойдёт вариант «Быстрый – отображать минимум настроек», при котором используются оптимальные параметры переноса. Чтобы открыть список дополнительных опций, нужно выбрать метод «Обычный – отображать все возможные настройки».
Во вкладке «Формат» рекомендуется выставить расширение SQL (.sql) для экспортируемого файла. Но также можно использовать и другие форматы, такие как CSV (.csv) и XML (.xml).
Определившись с параметрами, остаётся выполнить экспорт нажатием «Вперёд». В браузере начнётся загрузка файла.
Экспорт базы данных MySQL через консоль
Экспорт базы данных выполняется с помощью утилиты MySQLdump:
Переменные в приведенном примере:
- «Login» – имя пользователя MySQL.
- «Password» – пароль пользователя MySQL.
- «db_name» – наименование базы данных.
- «db_name.sql» – конечный файл.
MySQLdump позволяет экспортировать базу данных с удаленного сервера (если хосту разрешено подключение):
*Вместо «XXX.XXX.XXX.XXX» указывается актуальный IP-адрес сервера.
Импорт базы данных с помощью PhpMyAdmin
Для начала необходимо авторизоваться в интерфейсе PhpMyAdmin и выбрать базу данных в левом верхнем углу. После этого стоит перейти в раздел «Импорт».
Теперь нужно нажать «Выбрать файл» и в открывшемся проводнике выбрать SQL-файл (принимаются также архивы Gzip, Bzip2, Zip). В разделе «Формат» отмечается расширение используемого файла.
Все остальные параметры изменять необязательно. Завершить импорт можно нажатием кнопки «Вперёд»
Импорт базы данных MySQL через консоль (замена существующей)
Для начала необходимо авторизоваться в командной строке MySQL:
*Вместо «Login» и «Password» вводятся действительные данные пользователя MySQL.
Теперь выбирается существующая база данных, с которой планируется дальнейшая работа:
*Вместо «db_name» вводится наименование существующей БД.
Остаётся выполнить импорт таблиц следующей командой:
*Вместо «db_name.sql» вводится путь до файла SQL (предварительно загружается на сервер).
Импорт и создание базы данных MySQL через консоль
Выше был описан способ импорта, при котором осуществляется замена таблиц в существующей базе данных. Но такой вариант не подойдёт, если БД изначально не существует. В таком случае потребуется сначала создать новую базу данных, а уже потом импортировать в неё таблицы из резервной копии.
Для начала необходимо авторизоваться в консоли MySQL:
*Вместо «Login» и «Password» вводятся действительные данные пользователя MySQL.
Далее нужно создать новую базу данных:
*Вместо «new_database» вводится собственное наименование базы данных.
На экране появится следующий вывод:
Теперь нужно выбрать созданную базу, чтобы все последующие команды относились к ней:
Эта статья в первую очередь рассчитана на новичков в администрировании, для тех, кто хочет научиться самостоятельно производить импорт и экспорт баз данных. Зачем вам может это понадобиться? Допустим, вы хотите самостоятельно сделать бэкап, чтобы в дальнейшем при необходимости восстановить определенную версию базы данных. Или вам нужно сделать перенос сайта на другой сервер либо в другую среду разработки. В общем, причин может быть множество, поэтому понимание того, как сначала сделать, а потом импортировать резервную копию, лишним не будет.
Для того, чтобы выполнить все дальнейшие действия, у вас должны быть:
а) доступ к серверу на базе Linux, на котором работает MySQL/MariaDB;
б) название базы данных и данные доступа к ней.
Используем консоль
Экспорт
Для того, чтобы произвести экспорт, мы будем использовать утилиту mysqldump. При помощи нее осуществляется работа с текстовыми файлами базы данных. Итак, вы должны знать название базы данных, а также иметь доступ (логин и пароль) к аккаунту, который имеет, по крайней мере, доступ read only (только для чтения).
Для экспорта базы данных введите вот такую команду:
в которой нужно ввести имя пользователя с необходимым доступом, название нужной вам базы данных, а также data-dump.sql – файл в текущей директории, куда будут сохранены данные.
После ввода этой команды вы не увидите никакого вывода на экране, однако вы можете проверить содержимое файла data-dump.sql для того, чтобы убедиться, что теперь он является резервной копией вашей базы данных.
Содержимое файла должно выглядеть примерно так, как показано ниже. В документе будет указано название базы данных (в данном случае MySQL), ее название и другие данные.
Импорт
Для того, чтобы импортировать существующий файл в MySQL или MariaDB, вам нужно начать с создания новой базы данных. Именно в нее вы затем загрузите содержимое резервной копии.
Сначала подключитесь к базе данных в качестве root-пользователя (либо другого пользователя, который сможет создать новую базу данных):
После того, как вы подключились к консоли MySQL, создайте новую базу данных (в данном случае new_database):
После этого на экране появился следующий вывод:
Теперь для выхода из консоли MySQL нажмите CTRL+D. Далее переходите к самому импорту. Сделать это можно, введя вот такую команду:
Команда очень похожа на команду экспорта, вам нужно ввести имя пользователя, название новой базы данных, куда вы будете импортировать данные (в качестве примера new_database), и название самого файла, который вы собираетесь импортировать (data-dump.sql).
И тогда при всех последующих запросах в данном сеансе автоматически будет использоваться эта база данных. Данную установку можно изменить, использовав команду use с названием другой базы данных.
Что касается команды show, то она используется для того, чтобы посмотреть информацию о самих базах данных, о таблицах, столбцах, которые они содержат, а также о состоянии сервера.
Допустим, нам нужно посмотреть, список таблиц в базе. Для этого вводим:
Хотите увидеть список столбцов в какой-то определенной таблице? Используйте команду SHOW COLUMNS FROM и название нужно вам таблицы:
Статистику по работе сервера можно получить в ответ на команду:
Используем phpMyAdmin
Экспорт и импорт баз данных можно также делать через phpMyAdmin. В общем и целом, пожалуй, это даже более простой путь, чем использование консоли.
Экспорт
Зайдите в phpMyAdmin и выберите базу данных, с которых вы хотите работать.
Далее выберите вкладку «Экспорт» и, в зависимости от своих предпочтений, быстрый или обычный метод экспорта. Второй подойдет для тех, кто хочет самостоятельно выставить все настройки.
Импорт
Выполнить импорт базы данных тоже совсем несложно. Как и в предыдущем случае, в списке слева выберите нужную вам базу данных, а затем перейдите во вкладку «Импорт».
Импорт успешно завершён, выполнено 32 запроса.
В списке слева вы можете выбрать базу данных, с которой работали, и посмотреть имеющиеся файлы, а также их содержимое (и изменить их).
Заключение
Выбор подходящего метода экспорта и импорта баз данных зависит только от вас и ваших предпочтений – кому-то проще работать в консоли, а для кого-то понятнее phpMyAdmin. Главное, нужно регулярно делать бэкапы, в том числе и ваших баз данных.
Кстати, полезную информацию о базах данных я также нашел в Справочном центре Timeweb.
Читайте также: