Anaconda установка библиотек из файла

Обновлено: 06.07.2024

Дистрибутив Anaconda включает conda и Anaconda Navigator, а также Python и сотни пакетов, используемых в научных вычислениях. При установке Anaconda все эти элементы также устанавливаются.

Conda работает в командной строке так же, как Anaconda Prompt в Windows и терминал в macOS и Linux.

Navigator — это настольная программа с пользовательским интерфейсом, с помощью которой можно запускать приложения и легко управлять пакетами conda, средами и каналами, не прибегая к командам командной строки.

Можете попробовать conda и Navigator, чтобы решить, что лучше подходит именно вам для управления пакетами и средами. Между ними даже можно переключаться — результат работы из одной программы будет виден во второй.

Выполните простые упражнения в Navigator и командной строке, чтобы решить, что подходит больше.

Первая программа на Python: Hello, Anaconda!

Используйте Anaconda Navigator для запуска приложения. Затем создайте и запустите простую программу на Python с помощью Spyder и Jupyter Notebook.

Откройте Navigator

Windows

Откройте приложение Anaconda Navigator в меню Пуск.

macOS

Откройте Launchpad и кликните по иконке Anaconda Navigator.

Linux

Откройте окно терминала и введите anaconda-navigator .

Запустите Python в Spyder IDE

Главный экран Navigator показывает приложения, которые можно запустить.

На «домашней» вкладке Navigator в панели приложений с правой стороны пролистайте до плитки Spyder и нажмите «Установить» (install) для установки компонента.

Если Spyder уже установлен, переходите к следующему пункту.

Запустите Spyder.
В новом файле слева удалите текст-заполнитель и введите print("Hello Anaconda") .
В меню выберите «Файл — Сохранить как» (File — Save As) и назовите новую программу hello.py .
Запустите новую программу, нажав на зеленый треугольник Пуск.
Вывод программы отобразится в консоли в правом нижнем углу.

Закройте Spyder

В меню выберите «Spyder — Закрыть Spyder» (на macOS: «Python — Закрыть Spyder»).

Запустите Python в Jupyter Notebook

На домашнем экране Navigator в панели приложений с правой стороны пролистайте до плитки Jupyter Notebook и нажмите «Установить» (Install) для установки компонента.

Если Jupyter Notebook уже установлен, переходите к следующему пункту.

Запустите Jupyter NotebookЭто запустит новое окно браузера (или новую вкладку) с панелью инструментов Notebook.
Вверху справа есть выпадающее меню, подписанное «Новое» (New). Создайте новый блокнот (notebook) с версией Python, которая установлена на компьютере.
Переименуйте блокнот. Кликните на текущее название и отредактируйте его или найдите пункт переименовать в разделе «Файл» (File) в верхнем меню. Название может быть любым, но для примера используйте MyFirstAnacondaNotebook
На первой строке введите print("Hello Anaconda")
Сохраните блокнот, нажав на «Сохранить» или найдите соответствующую кнопку «Файл — Сохранить» (File — Save) в меню.
Запустите программу кнопкой «Пуск» или через меню «Ячейка — Запустить все» (Cell — Run All) в меню

Закройте Jupyter Notebook

В меню программы выберите «Файл — Закрыть и Остановить» (File — Close and Halt)
Нажмите на кнопку выхода в правом верхнем углу в панели инструментов Notebook и закройте окно или вкладку

Закройте Navigator

В меню выберите Anaconda Navigator — Закрыть Anaconda-Navigator

Напишите программу на Python с помощью Anaconda Prompt или терминала

Откройте Anaconda Prompt

Windows
В меню Пуск найдите и откройте Anaconda Prompt

macOS
Откройте Launchpad и кликните на окно терминала

Linux
Откройте окно терминала

Запустите Python

В Anaconda Prompt (терминале — в Linux или macOS) введите python и нажмите Enter.

Напишите программу на Python

Введите print("Hello Anaconda!") и нажмите Enter.

После нажатия программа запустится. На экран выведется «Hello Anaconda!». Вы официально начали программировать на Python!

Выйдите из Python

На Windows используйте сочетание CTRL-Z и нажмите Enter. На macOS или Linux введите exit() и нажмите Enter.

По желанию: запустите Spyder или Jupyter Notebook из командной строки.

В Anaconda Prompt (терминале — на Linux или macOS) введите spyder и нажмите Enter. Spyder должен запуститься так же, как это было при использовании Anaconda Navigator.
Закройте Spyder тем же способом, что и в прошлом упражнении.
В Anaconda Prompt (терминале — на Linux или macOS) введите jupyter-notebook и нажмите Enter.

Jupyter Notebook должен запуститься так же, как это было при использовании Anaconda Navigator. Закройте его по тому же принципу.

Цель данного материала — познакомить вас с Anaconda — инструментом, который поможет вам в программировании на Python и не только. Он пригодится, чтобы не запутаться в версиях установленных библиотек, а также с лёгкостью поможет установить необходимые для курса пакеты.

Это лишь один из общепринятых инструментов для аналитики, другие мы затронем позже или же в других курсах, посвящённых статистике.

Anaconda наиболее известна как дистрибутив Python со встроенным в него пакетным менеджером conda . Она позволяет изолировать окружение проекта от системной версии Python , который критически необходим для работы системы. Использование sudo pip считается плохой практикой. Также conda позволяет без проблем переносить окружение с одной машины на другую. Кроме того, если вы что-то сломаете, то с Anaconda вы всегда сможете откатиться на более старую версию окружения. Конечно, если вы позаботитесь о регулярных бэкапах. С системной версией Python это гораздо сложнее и может потребовать переустановки системы.

Въедливый читатель скажет, что вместо Anaconda можно использовать virtualenv или docker . Тем не менее, docker это чаще всего overkill для простых проектов. Его сложно настраивать, он работает относительно медленно и требует sudo -прав. Связка pip + virtualenv хорошо работает для Python -only проектов, но вам также может быть придётся также работать с R . Кроме того, conda во многом аналогична пакетному менеджеру внутри операционной системы и позволяет локально без sudo -прав, которых в облаке у вас почти никогда нет, установить gcc , бразуер, альтернативный shell и многое другое для 100+ языков. С более подробным сравнением Anaconda с альтернативными инструментами вы можете ознакомиться по ссылке.

Мы установим Anaconda и настроим с её помощью комфортное окружение для работы над учебными курсами.

Замечание: Anaconda можно поставить и под Windows , на официальном сайте есть инструкция. Тем не менее, мы не берёмся гарантировать, что всё заработает. Портирование кода под Windows это долго и дорого, потому большая часть библиотек по анализу данных и машинному обучению доступны только под Linux .

Скачайте последнюю версию Anaconda под свою ОС с официального сайта. Запустите установочный файл и следуйте инструкциям. Не меняйте дефолтные параметры без уважительной причины. После установки перезагрузите терминал, например, с помощью команды exec bash . Если всё прошло успешно, то ячейка ниже должна отработать без ошибок:

Простое руководство по Anaconda и его установке на Ubuntu 16.04 (64-bit).

May 21, 2019 · 4 min read

Перед тем, как изучать Anaconda, рассмотрим Conda.

Цитируем определение Conda с официального блога:

Conda — это менеджер пакетов с открытым кодом и система управления средой, которая работает на Windows, macOS и Linux.
Conda проста в установке, выполнении и обновлении пакетов и зависимостей. Conda легко создает, сохраняет, загружает и переключается между средами на локальном компьютере.
Она задумывалась для программ на Python, но может создавать пакеты и дистрибутивы программного обеспечения на любом языке.

Возникает вопрос: почему вдруг речь зашла о Conda? Все мы знаем, что это система управления пакетами, которая используется для установки и управления пакетов приложений, написанных на Python.

Система имеет и свои ограничения. Ей можно пользоваться только для пакетов Python.

pip работает с Python и пренебрегает зависимостями из не-Python библиотек (HDF5, MKL, LLVM), в исходном коде которых отсутствует файл установщика.

Проще говоря, pip – это менеджер пакетов, который облегчает установку, обновление и удаление пакетов Python. Он работает с виртуальными средами Python.

Conda – это менеджер пакетов для любого программного обеспечения (установка, обновление, удаление). Он работает с виртуальными системными средами.

Conda — это инструмент для управления пакетами и установщик с куда большим функционалом, чем в pip . Conda может обрабатывать зависимости библиотек вне пакетов Python, а также сами пакеты Python.

Кроме того, Conda создает виртуальную среду.

Как возникла Anaconda?

Conda написан на чистом Python, что облегчает его использование в виртуальных средах Python. Кроме того, Conda подходит для библиотек С, пакетов R, Java и т.д.

Он устанавливает двоичные системы. Инструмент conda build создает пакеты из исходного кода, а conda install выполняет установку из пакетов сборки Conda.

Conda является менеджером пакетов для Anaconda — дистрибутива Python, предоставляемого Continuum Analytics. Емкое описание Anaconda следующее:

Anaconda — это дистрибутивы Python и R. Он предоставляет все необходимое для решения задач по анализу и обработке данных (с применимостью к Python).

Anaconda — это набор бинарных систем, включающий в себя Scipy, Numpy, Pandas и их зависимости.

Scipy — это пакет статистического анализа.

Numpy — это пакет числовых вычислений.

Pandas — уровень абстракции данных для объединения и преобразования данных.

Anaconda полезна тем, что объединяет все это в единую систему.

Двоичная система Anaconda — это установщик, который собирает все пакеты с зависимостями внутри вашей системы.

Установка файлов иногда превращается в сущий ад. Но Anaconda куда проще, чем кажется. Я предпочитаю Ubuntu, поскольку здесь установка зависит от выполнения пары команд и хорошего сетевого подключения. Поэтому все становится еще проще. Вот дальнейшие шаги для установки Anaconda.

(Данный процесс подойдет только для 64-битных компьютеров).

Шаг 1: скачивание bash-скрипта Anaconda

Перейдите в папку /tmp.

После установки curl выполните следующую команду:

Размер файла — порядка 500 МБ, поэтому установка обычно занимает несколько минут. Пожалуйста, дождитесь полного скачивания файла.

Этот скриншот был сделан после скачивания скрипта. Убедитесь в стабильности сетевого подключения. В противном случае могут возникнуть ошибки при скачивании.

Шаг 2: проверка целостности

Для проверки целостности данных установщика воспользуемся криптографическим алгоритмом хеширования под названием SHA-2 (алгоритм безопасного хеширования).

Контрольная сумма генерируется следующей строкой после выполнения команды.

Проверка целостности данных через контрольную сумму

Шаг 3: запуск bash-скрипта

Мы почти закончили. Пакет загрузился. Теперь осталось запустить скрипт через нужную команду.

На стандартном этапе проверки у вас спросят, хотите ли вы установить Anaconda. Для продолжения установки введите yes .

Шаг 4: установка криптографических библиотек

Это часть предыдущего процесса. Установщик спрашивает у пользователя, хочет ли он установить все криптографические библиотеки. Введите yes и можете продолжать. Ориентируйтесь по скриншоту ниже – вы увидите примерно ту же информацию.

Шаг 5: подтверждение папки

Последним и итоговым шагом является подтверждение папки, куда будут выгружаться все пакеты Anaconda. Укажите путь, нажмите Enter и готово! Anaconda начнет творить чудеса, устанавливая все, что вам нужно!

Для выполнения расчетов с помощью Python, как правило, требуются дополнительные библиотеки. Оптимальным способом загрузки дополнительных библиотек на вычислительном кластере НИУ ВШЭ является использование программного пакета Anaconda. Это удобный менеджер пакетов Python, предназначенный для создания изолированных окружений Python и автоматического разрешения зависимостей. На суперкомпьютере уже имеется базовая конфигурация Anaconda, которую можно подключить следующей командой:

module load Python/Anaconda_v11.2020

После подключения этого модуля становятся доступными для использования большинство наиболее популярных библиотек Python, в том числе pytorch, tensorflow.

Полный список базовых библиотек можно посмотреть следующей командой: conda list
Установка других пакетов или обновление версий в базовом окружении невозможна.

Если вам необходимо установить пакеты или версии пакетов, которых нет в базовом окружении, то потребуется создать своё собственное изолированное окружение и установить в него требуемые для расчетов пакеты: conda create -n <имя окружения> python=<версия python>

Например, для создания окружения "my_py_env1" на базе последней версии Python 3 воспользуйте следующей командой: conda create -n my_py_env1 python=3
На запрос об установке новых пакетов ответьте "y".

Далее необходимо задействовать созданное окружение: source activate my_py_env1

После активации в приглашении терминала появится префикс с именем окружения: (my_py_env1) [testuser@sms

Для вывода списка доступных окружений используйте команду conda env list

Для установки необходимых пакетов используйте команду conda install, например, для установки последней версии NumPy: conda install numpy

Для установки пакетов из файла requirements.txt можно использовать команду conda install --file requirements.txt

С помощью команды conda search выполняется поиск пакетов в репозиториях Anaconda: conda search keras

Отключить окружение (например, для выбора другого): conda deactivate

Пример sbatch-скрипта

Примечание для расчетов на python с выводом в терминал

Важное примечание для расчетов на python, результаты которых отображаются в выводе!
По умолчанию python использует буфферизованный вывод (т.е. вывод НЕ мгновенно передается в результирующий файл).
Например, в случае такого кода:

Начальный вывод "Start" появится в файле вывода (slurm-.out) только спустя 60 итераций (одновременно с "Done").
Для задач, результаты которых оцениваются в процессе выполнения (выводятся промежуточные значения и тп), это не подходит (например, в случае, когда задача завершится по таймауту, вывода в файле не будет).
Для мгновенного отображения результатов предлагается 2 варианта:
1. Добавлять аргумент flush=True в функцию print: "print ('Start', flush=True)" (это работает только при версии python >= v3.3)
2. Добавить аргумент -u при запуске задачи к самому интерпретатору: например, "python3 -u myprog.py" (изменения в кода в данном случае не понадобится)

Читайте также: