Как создать py файл в anaconda

Обновлено: 07.07.2024

AnacondaЭто версия Python с открытым исходным кодом. Anaconda объединяет множество сторонних библиотек для научных вычислений в python, которые в основном предназначены для научных вычислений и просты в установке. Python - это компилятор. Если вы не используете anaconda, его будет сложнее установить. Зависимости между библиотеками очень высоки. Трудно подключиться хорошо. Anaconda предоставляет инструмент управления conda , Можно поставить conda рассматривается как pip + virtualenv + PVM (Python Version Manager) + Некоторые необходимые базовые библиотеки, то есть более полный и более крупный интегрированный инструмент управления. На мой взгляд, основным преимуществом является то, что множество сторонних библиотек предустановлено, а в Anaconda добавлена команда conda install, что делает установку новых пакетов очень удобной и поставляется сSpyderIDE и Jupyter Notebook

Обзор

Многие новички, которые изучают python, даже некоторое время учатся и чувствуют, что у них нет возможности начать, когда они вступают в контакт с анакондой или другими инструментами виртуальной среды. Основная причина в том, что они не понимают, для чего эти инструменты используются, для чего они используются и почему они такие Например, я сначала не понимал, зачем мне такая вещь, кроме python, в чем связь и разница между ней и python, и почему ее можно использовать для управления python.

После его использования я постепенно обнаружил, что на самом деле делают инструменты управления средой, такие как Anaconda, и почему они нам нужны для управления нашей средой python.

Прежде всего, нам нужно сначала понять цель Anaconda, а затем понять, как использовать Anaconda.

Сам Python

Прежде всего, нам нужно начать с самого python и искать проблему в основной причине. Нам нужно загрузить интерпретатор python перед написанием программы на языке python. Это основная часть python. Без интерпретатора python, даже если мы напишем очень правильный и элегантный Скрипт python не запускается, так где же этот интерпретатор? Именно туда вы установили python, например мой C:\Users\Acring\AppData\Local\Programs\Python\Python36-32

Структура проекта показана выше, вот уже знакомый нам python.exe, интерпретатор Python.

Кроме того, есть еще одна очень важная вещь, Lib, которая представляет собой файл пакета python, включая его собственный пакет и сторонние пакеты.

Каталог Lib показан на рисунке выше. Вот пакеты, которые поставляются с python, например, журнал пакетов, который часто использует автор, асинхронный пакет одновременно, и все сторонние пакеты помещаются в папку site-packages.

Понимая их, мы получаем общее представление обо всей среде python. На самом деле, самое главное, что среде python требуетсяПереводчик, аСбор пакетов.

Переводчик

Интерпретатор примерно разделен на 2 и 3 в соответствии с версией python. Python 2 и 3 несовместимы друг с другом, то есть скрипты, написанные с синтаксисом python2, могут не работать в интерпретаторе python3.

Сбор пакетов

Коллекция пакетов включает в себя свои собственные пакеты и сторонние пакеты. Сторонние пакеты обычно загружаются через pip или easy_install. Если среда python не содержит этого пакета, то программа, которая ссылается на этот пакет, не может работать в среде python. .

Например, если сценарий поискового робота использует сторонний пакет запросов, а на другом компьютере только что установлен исходный питон, то есть сторонний пакет вообще отсутствует, то этот сценарий искателя не может работать на другом компьютере. .

проблема заключается в

Объясняется среда python, а затем мы объясним, какие проблемы есть в такой среде, потому что анаконда официально родилась для решения этих проблем.

Что мне следует установить - Python2 или Python3?

Python2 и python3 несовместимы с грамматической точки зрения, поэтому следует ли мне установить python2 или python3 на свой компьютер, возможно, я выберу один для изучения в начале, но если программа, которую вы хотите разработать, должна использовать python2 вместо python3, тогда это В это время вам нужно загрузить еще один python2, тогда в чьей директории должна быть установлена переменная среды в это время, если вы все еще переключаете переменную среды, не будет ли это проблем.

Если у меня локально только одна среда Python, различные пакеты, используемые всеми моими программами, могут быть размещены только в одной среде, что приводит к путанице в среде, и когда я помещаю написанную программу на другой компьютер, она будет При отсутствии соответствующих пакетов вам необходимо вручную загружать их один за другим. Это действительно раздражает. Если вы можете выбрать другую среду для разработки каждой программы, и после разработки среда (сторонний пакет), требуемая для программы, может быть независимой. Просто упакуй это.

Anaconda

Затем мы поиграем в нашу Анаконду, давайте сначала установим Анаконду, а затем я расскажу вам, как использовать Анаконду для решения вышеперечисленных проблем одну за другой.

скачать

Рекомендуется загрузить версию python3, в конце концов, python2 перестанет обслуживать в будущем.

Анаконда - этоКроссплатформенностьдаWindows, MacOS, версия для Linux

монтаж

Просто следуйте инструкциям установщика и установите его пошагово. После завершения установки приложений будет больше

Anaconda Navigtor: Графический интерфейс пользователя, используемый для управления инструментарием и средой Многие команды управления, задействованные в последующем, также могут быть реализованы вручную в Navigator.
Jupyter notebook: Интерактивная компьютерная среда на базе Интернета, которая может редактировать документы, которые легко читать, чтобы показать процесс анализа данных.
qtconsoleПрограмма с графическим интерфейсом терминала, которая может выполнять IPython. По сравнению с интерфейсом Python Shell, qtconsole может напрямую отображать графику, сгенерированную кодом, реализовывать ввод и выполнение многострочного кода и иметь множество встроенных полезных функций и функций.
spyder: Кросс-платформенная интегрированная среда разработки научных вычислений с использованием языка Python.

Пока не беспокойся об этом, просто узнай

Настроить переменные среды

Если это окна, вам нужно идти Панель управления \ Система и безопасность \ Система \ Расширенные настройки системы \ Переменные среды \ Пользовательские переменные \ ПУТЬ Добавьте папку Scripts в установочный каталог anaconda, например, мой путь D:\Software\Anaconda\Scripts , В зависимости от индивидуального пути установки вам нужно настроить его самостоятельно.

Затем вы можете открыть командную строку (желательно открыть в режиме администратора) и ввести conda --version

Если на выходе conda 4.4.11 Это означает, что переменная среды установлена успешно.

Во избежание возможных ошибок вводим в командную строку conda upgrade --all Сначала обновите все наборы инструментов

Управление виртуальными средами

Затем мы можем использовать anaconda для создания наших независимых сред Python. Все следующие примеры работают в командной строке, пожалуйста, откройте свою командную строку.

activate

Activate может ввести нас в виртуальную среду, установленную anaconda.Если вы не добавите никаких параметров позже, вы войдете в базовую среду, которая поставляется с anaconda.

Вы можете попробовать ввести python, который войдет в интерпретатор python базовой среды,Если вы удалите среду Python в исходной среде, вы будете более осведомлены, В настоящее время в командной строке используется не ваш исходный питон, а питон в базовой среде. И перед командной строкой будет еще один. (base) Это означает, что в настоящее время мы находимся в базовой среде.

Создайте свою собственную виртуальную среду

Конечно, нас не устраивает базовая среда, мы должны установить отдельную виртуальную среду для наших программ.

Создайте виртуальную среду с именем learn и укажите версию python как 3 (здесь conda автоматически найдет последнюю версию в 3 для загрузки)

Итак, у нас есть виртуальная среда обучения, а затем мы переключаемся в эту среду, снова используя команду activae, за которой следует имя среды, которую нужно переключить.

Переключить среду

Если мы забудем имя, мы можем сначала использовать его

Чтобы увидеть всю окружающую среду

В текущей среде обучения нет других пакетов, кроме некоторых официальных пакетов, которые поставляются с python, относительно чистая среда, которую мы можем попробовать.

Введите первый python Откройте интерпретатор Python и введите

Он сообщит об ошибке, что пакет запросов не может быть найден, что нормально. Далее мы продемонстрируем, как установить пакет запросов.

Выйти из интерпретатора Python

Установить сторонние пакеты

Чтобы установить пакет запросов.

После завершения установки введем python Войдите в интерпретатор и импортируйте пакет запросов, на этот раз он должен быть успешным.

Удалите сторонние пакеты

Итак, как удалить пакет

Просмотр информации о экологическом пакете

Чтобы просмотреть все установленные пакеты в текущей среде, вы можете использовать

Среда импорта и экспорта

Если вы хотите экспортировать информацию о пакете текущей среды, вы можете использовать

Сохраните информацию о пакете в файле yaml.

Вы можете использовать его, когда вам нужно воссоздать ту же виртуальную среду

На самом деле команды очень простые, не так ли? Я приведу некоторые из наиболее часто используемых ниже, я думаю, что смогу вспомнить, если наберу их еще два раза

активировать // переключиться в базовую среду

активировать обучение // переключиться на изучение среды

conda create -n learn python = 3 // Создайте среду под названием learn и укажите версию python как 3 (последняя версия)

conda env list // Список всех сред, управляемых conda

conda list // Список всех пакетов в текущей среде

conda install requests пакет запросов на установку

conda удалить запросы на удаление пакета запросов

conda remove -n learn --all // Удаляем обучающую среду и все подчиненные пакеты

conda update requests пакет запросов на обновление

conda env export> environment.yaml // Экспорт информации о пакете текущей среды

conda env create -f environment.yaml // Создайте новую виртуальную среду с файлом конфигурации

Идти глубже

Вам может показаться странным, почему анаконда может делать эти вещи, каков ее принцип, давайте посмотрим на каталог установки анаконды

Это только часть перехвата, но когда мы сравниваем его с каталогом среды python в начале этой статьи, мы можем обнаружить, что он на самом деле очень похож. Фактически, это базовая среда. Внутри находится базовый интерпретатор Python, и lLib также имеет различные базовые среды. Вид пакетного файла.

Итак, где находится среда, которую мы создали, мы можем видеть envs, вот вход в различные виртуальные среды, которые мы создали, щелкните и посмотрите

Вы можете обнаружить, что каталог обучения, который мы создали ранее, находится ниже, а затем щелкните в

Разве это не стандартный каталог среды Python?

Таким образом, так называемое создание виртуальной среды с помощью anaconda фактически устанавливает реальную среду Python, но мы можем использовать команды activate, conda и другие для переключения нашей текущей среды Python по желанию, используя разные версии интерпретаторов и разные пакеты. Среда для запуска скриптов Python.

противpycharmсвязь

В рабочей среде мы интегрируем среду разработки в код. Здесь мы рекомендуем pycharm JB, а pycharm также можно легко объединить с виртуальной средой anaconda.

в Setting => Project => Project Interpreter Измените Project Interpreter внутри, щелкните значок шестеренки и нажмите Add Local, чтобы использовать интерпретатор python.exe для вашей среды.

Например, если вы хотите написать программу в обучающей среде, измените ее на D:\Software\Anaconda\envs\learn , Видно, что в настоящее время следующие пакеты зависимостей также стали пакетами в обучающей среде.Тогда мы можем с радостью написать код в pycharm.

Анаконда первый опыт

Anaconda Prompt
Откройте окно Anaconda Prompt. Это окно совпадает с окном документа. Вы можете управлять и настраивать python, вводя команды. Наиболее часто используемая команда - conda. Использование этой программы аналогично. Это программное обеспечение интегрировано. Вы можете использовать его напрямую, щелкнув по нему, как показано ниже. Используйте команду conda list для просмотра установленных пакетов. Из этих библиотек мы можем найти NumPy, SciPy, Matplotlib, Pandas, что указывает на то, что установка прошла успешно!

Вы также можете использовать команду conda для установки и обновления некоторых пакетов.

conda list: список всех установленных пакетов

Имя установки conda: где имя - это имя пакета, который необходимо установить.Например, если я устанавливаю пакет numpy, введите указанную выше команду «conda install numpy». Оставьте пробел между словами, нажмите Enter и введите y.

После установки anaconda это эквивалентно установке Python, IPython, интегрированной среды разработки Spyder, некоторых пакетов и так далее. Вы можете просмотреть его в cmd под Windows:

Anaconda Navigtor

Графический пользовательский интерфейс, используемый для управления инструментарием и средой, и многие команды управления, участвующие в последующих действиях, также могут быть реализованы вручную в навигаторе.

Jupyter notebook

Интерактивная вычислительная среда на базе Интернета может редактировать документы, которые легко читать, чтобы показать процесс анализа данных.

Qtconsole

Программа с графическим интерфейсом, похожая на терминал, которая может выполнять IPython. По сравнению с интерфейсом Python Shell, qtconsole может напрямую отображать графику, созданную кодом, реализовывать ввод и выполнение нескольких строк кода и иметь множество встроенных полезных функций и функций.

Spyder

Кросс-платформенная интегрированная среда разработки для научных вычислений с использованием языка Python.

Нажмите Anaconda Navigator, он будет инициализирован при первом включении, терпеливо подождите некоторое время, загрузка завершится, интерфейс будет таким, как показано на рисунке.

Мы просто пишем программу для проверки успешности установки, программа используется для открытия картинки и ее отображения. Сначала подготовьте картинку, затем откройте spyder и напишите следующий код:

This is a temporary script file.

from skimage import io

Измените C: /Users/Administrator/Desktop/379283176280170726.jpg на место, где вы хотите отобразить изображение, а затем щелкните зеленый треугольник на панели инструментов выше, чтобы запустить его. Окончательный вид будет следующим:

jupyterlab

VSCode

Glueviz

Glue - это библиотека Python для изучения взаимосвязей внутри и между связанными наборами данных. Его основные особенности включают в себя:

Свяжите статистические графики. Используя Glue, пользователи могут создавать диаграммы разброса, гистограммы и изображения (2D и 3D) данных. Glue фокусируется на парадигмах рисования кистью и связывании, где выделение в любой графике распространяется на всю другую графику.

Гибкая связь между данными. Glue использует логические связи, существующие между различными наборами данных, чтобы охватить визуализацию различных данных и распределить варианты выбора между наборами данных. Эти ссылки задаются пользователем и могут быть произвольно гибкими.

Полная функция скрипта. Glue написан на Python и построен поверх его стандартных научных библиотек (например, Numpy, Matplotlib, Scipy). Пользователи могут легко интегрировать свой собственный код Python для ввода, очистки и анализа данных.

Orange3

Интерактивная визуализация данных

Выполняйте простой анализ данных с помощью интеллектуальной визуализации данных. Изучите статистические распределения, ящичные диаграммы и точечные диаграммы или узнайте больше о деревьях решений, иерархической кластеризации, тепловых картах, MDS и линейных проекциях. Даже ваши многомерные данные можно сделать разумными в 2D, особенно с точки зрения интеллектуального ранжирования и выбора атрибутов.

Учителям и ученикам это нравится

При обучении интеллектуальному анализу данных нам нравится объяснять, а не просто объяснять. И апельсин - это здорово. Orange используется в школах, университетах и на курсах профессионального обучения по всему миру для поддержки практических занятий и визуальных иллюстраций концепций науки о данных. Есть даже виджеты, специально предназначенные для обучения.

Используйте различные надстройки, доступные в Orange, для извлечения данных из внешних источников данных, выполнения обработки естественного языка и интеллектуального анализа текста, выполнения сетевого анализа, определения часто используемых наборов элементов и выполнения анализа ассоциативных правил. Кроме того, биоинформатики и молекулярные биологи могут использовать Orange для секвенирования генов посредством дифференциальной экспрессии и выполнения анализа обогащения.

Вывод

Теперь вы обнаружили, что использование anaconda может очень элегантно и просто решить недостатки упомянутой выше единой среды python, а также понять, что реализация всего этого не так уж и волшебна.

Конечно, в дополнение к управлению пакетами, anaconda также входит в свой пакет расширенного анализа данных, но это уже другой контент. Сначала мы учимся использовать anaconda, чтобы изменить способ управления нашей собственной средой разработки, что уже является большим улучшением.

Эй, ребята! В этой статье мы узнаем, как начать работу с Python Anaconda в этом полном учебнике по Anaconda. Давайте начнем прямо сейчас!

Что такое Анаконда в Python?

Anaconda-это бесплатный дистрибутив программирования на Python и R с открытым исходным кодом для приложений в области науки о данных и машинного обучения. Он имеет более 1500 пакетов Python/R data science.

Он поставляется с такими инструментами, как Spyder и Jupyter notebook, которые используются новичками для изучения Python, поскольку они действительно просты и удобны в использовании.

Anaconda упрощает управление пакетами и их развертывание. Он создает виртуальную среду, которая позволяет легко развернуть любой проект.

Шаги по установке последней версии Anaconda в Windows

1. Запустите программу установки и нажмите кнопку Далее

2. Выберите расположение файла

Имейте в виду, чтобы установить anaconda в путь к каталогу, который не содержит пробелов или символов Юникода.

3. Завершите настройку

Вы можете выбрать, следует ли добавлять Anaconda в переменную среды PATH. Рекомендуется не добавлять Anaconda в переменную среды PATH, так как это может помешать работе другого программного обеспечения.

Вы можете зарегистрировать Anaconda в качестве Python по умолчанию, если вы не планируете устанавливать и запускать несколько версий Anaconda или несколько версий Python.

В моем случае я собираюсь перейти к настройкам по умолчанию, чтобы продемонстрировать установку.

Добавление пакетов в Python Anaconda

Более 250 пакетов автоматически устанавливаются с помощью Anaconda, и более 75,00 пакетов с открытым исходным кодом могут быть дополнительно установлены с помощью команды conda install .

1. Использование conda-forge

Чтобы установить пакеты с помощью команды conda-forge , выполните следующий синтаксис в командной строке anaconda:

2. Использование команды pip

Чтобы установить пакеты с помощью команды pip , выполните следующий синтаксис в командной строке anaconda:

Понимание виртуальной среды

Python-универсальный язык, и его можно использовать для чего угодно. Например, анализ данных, машинное обучение, искусственный интеллект или веб-разработка и т. Д. Для каждой из этих задач требуются различные пакеты и версии Python.

Чтобы эффективно использовать эти пакеты и версии, мы используем виртуальную среду.

Это позволяет каждому проекту иметь свои собственные зависимости, и мы можем легко переключаться между приложениями независимо от того, какие зависимости и требования у них есть.

Conda является одним из таких менеджеров пакетов и менеджеров среды, включенных в anaconda.

Теперь давайте настроим виртуальную среду с помощью интерфейса conda.

1. Проверьте, установлен ли conda в вашем пути

Откройте командную строку Anaconda и введите следующий код:

2. Обновление среды conda

Выполните следующую команду, чтобы обновить среду Python Anaconda.

3. Создайте виртуальную среду

Замените envname именем, которое вы хотите дать своей виртуальной среде, и x.x версией Python, которую вы хотите использовать.

Введите y, чтобы продолжить

Вы можете выполнить поиск по списку доступных версий python, введя следующий код:

4. Активируйте виртуальную среду

Введите данную команду в командной строке anaconda

Замените env name на имя вашей среды.

Чтобы просмотреть список доступных сред, введите команду conda info-e

5. Шаги по установке дополнительных пакетов

Введите данную команду после замены envname на заданное имя среды и ИМЯ ПАКЕТА на пакет, который вы хотите установить.

6. Шаги по деактивации виртуальной среды

Чтобы закончить сеанс и выйти из окружающей среды:

7. Шаги по удалению виртуальной среды

Замените env name своим именем и удалите виртуальную среду.

Вывод

В этом уроке мы узнали, как загрузить и настроить anaconda для python. Мы поняли, как легко установить пакеты и настроить виртуальную среду. С тоннами пакетов anaconda обеспечивает превосходную поддержку и эффективные результаты. Надеюсь, вам всем понравилось, следите за обновлениями!

Среды Conda помогает управлять зависимостями и изолировать проекты. Также среды conda не зависят от языка, т.е. они поддерживают языки, отличные от Python.

В этом руководстве мы рассмотрим основы создания и управления средами Conda для Python

venv создает изолированные среды только для разработки на Python, а conda может создавать изолированные среды для любого поддерживаемого языка программирования.

Примите во внимание, что pip устанавливает только пакеты Python из PyPI, с помощью conda можно

Установить пакеты (написанные на любом языке) из репозиториев, таких как Anaconda Repository и Anaconda Cloud.
Установить пакеты из PyPI, используя pip в активной среде Conda.

Anaconda — это дистрибутивы Python и R. Он предоставляет все необходимое для решения задач по анализу и обработке данных (с применимостью к Python).

Anaconda — это набор бинарных систем, включающий в себя Scipy, Numpy, Pandas и их зависимости.

Scipy — это пакет статистического анализа.
Numpy — это пакет числовых вычислений.
Pandas — уровень абстракции данных для объединения и преобразования данных.

Что такое Анаконда Навигатор?

Зачем использовать Навигатор?

Для запуска многие научные пакеты зависят от конкретных версий других пакетов. Исследователи данных часто используют несколько версий множества пакетов и используют несколько сред для разделения этих разных версий.

Программа командной строки conda является одновременно менеджером пакетов и менеджером среды. Это помогает специалистам по данным гарантировать, что каждая версия каждого пакета имеет все необходимые зависимости и работает правильно.

Почему Вам могут потребоваться несколько сред Python?

Когда Вы начинаете изучать Python, Вы устанавливаете самую новую версию Python с последними версиями библиотек (пакетов), которые Вам нужны или с которыми Вы хотите поэкспериментировать.

Когда Вы постигните азы Python и загрузите приложения Python из GitHub, Kaggle или других источников. Этим приложениям могут потребоваться другие версии библиотек (пакетов) Python, чем те, которые Вы в настоящее время используете (прошлые версии пакетов или прошлые версии Python).

В этом случае Вам необходимо настроить различные среды.

Помимо этой ситуации, есть и другие варианты использования, когда могут оказаться полезными дополнительные среды:

У вас есть приложение (разработанное Вами или кем-то еще), которое когда-то работало прекрасно. Но теперь Вы пытались запустить его, и оно не работает. Возможно, один из пакетов больше не совместим с другими частями вашей программы (из-за так называемых критических изменений). Возможное решение состоит в том, чтобы настроить новую среду для вашего приложения, которая содержит версию Python и пакеты, полностью совместимые с вашим приложением.
Вы сотрудничаете с кем-то еще и хотите убедиться, что ваше приложение работает на компьютере члена вашей команды, или наоборот.
Вы доставляете приложение своему клиенту и снова хотите убедиться, что оно работает на компьютере вашего клиента.
Среда состоит из определенной версии Python и некоторых пакетов. Следовательно, если Вы хотите разрабатывать или использовать приложения с разными требованиями к Python или версиями пакетов, Вам необходимо настроить разные среды.

Рекомендуется добавлять канал в список каналов как элемент с самым низким приоритетом. Таким образом, вы можете включить «специальные» пакеты, которые не являются частью тех, которые установлены по умолчанию (каналы

Создание новой среды в Anaconda Navigator

Для создания новой среды, нажимаем пункт Environments, а затем Create:

Далее указываем наименование среды и выбираем версию Python:

Добавление нового канала в Anaconda Навигаторе

Как начать работу в новой среде Conda?

Итак, Вы создали среду, указали дополнительные каналы, установили необходимые пакеты (библиотеки). Теперь необходимо в Анаконда Навигаторе перейти на вкладку Home и инсталлировать в определенную среду те компоненты, которые Вы хотите использовать.

Например, последовательно установим 2 компонента Jupyter Notepad и Spyder. Для компонентов также имеются каналы, откуда скачиваются для инсталляции ПО.

Запустим для примера Spyder:

Настройка среды для Spyder

1. Настройка интерпретатора

Настройка директории

Как открыть Jupyter Notebook в новой среде MyNewEnvironmentName

Для того, чтобы запустить Jupyter Notebook в созданной среде MyNewEnvironmentName, в пуске находим Anaconda3 и запускаем блокнот с названием среды:

В Jupyter запускаем Python 3:

Для того, чтобы убедиться в какой среде мы работаем, можно вбить ряд команд (ниже приведен текст этих команд для Python 3):

Узнать среду, в которой работает Jupyter Notebook:

Получить список модулей, доступных в Env:

Для того, чтобы использовать команды conda через командную строку (cmd), необходимо запустить программу Anaconda Prompt (Anaconda3)

Можете набрать две команды (в качестве проверки работы conda):

Установка новой библиотеки (пакета) в среду

Пакеты управляются отдельно для каждой среды. Изменения, которые вы вносите в пакеты, применяются только к активной среде.

Исполняемые файлы в среде Conda

Видео по Anaconda Youtube

Использование Anaconda с Doker

Anaconda со своей изолированной средой для пакетов Data Science Python и технологией контейнеров Docker создает отличную комбинацию для масштабируемых, воспроизводимых и переносимых развертываний данных.

Вы можете использовать Anaconda с Docker для создания контейнеров и обмена вашими приложениями для обработки данных внутри вашей команды. Совместные рабочие процессы по обработке данных с Anaconda и Docker максимально упрощают переход от разработки к развертыванию.

Jupyter Notebook: цифровая лабораторная тетрадь

Для обеспечения воспроизводимости исследований необходимо регистрировать все, что вы делаете. Это достаточно обременительно, особенно если вы просто хотите просто поэкспериментировать и выполнить специальный анализ.

Отличный инструмент для экспериментов — Jupyter Notebook. Интерактивный интерфейс программирования позволяет мгновенно проверять действия, выполняемые кодом, благодаря чему можно создавать алгоритмы шаг за шагом. Более того, вы можете использовать ячейки Markdown для записи своих идей и выводов одновременно с кодом.

Conda

Conda как менеджер пакетов поможет вам найти и установить пакеты. Если вам нужен пакет, для которого требуется другая версия Python, вам не нужно переключаться на другой менеджер среды, потому что conda также является менеджером среды. С помощью всего лишь нескольких команд вы можете настроить совершенно отдельную среду для запуска этой другой версии Python, продолжая при этом запускать вашу обычную версию Python в обычной среде.

Conda может быть объединена с системами непрерывной интеграции, такими как Travis CI и AppVeyor, чтобы обеспечить частое автоматическое тестирование вашего кода.

Пакет conda и менеджер среды включены во все версии Anaconda и Miniconda.

Conda также включена в Anaconda Enterprise , которая обеспечивает управление корпоративными пакетами и средами для Python, R, Node.js, Java и других стеков приложений. Conda также доступна на conda-forge , канале сообщества. Вы также можете получить conda на PyPI , но этот подход может быть не таким современным.

Команды Conda

conda search package_name — поиск пакета через conda
conda install package_name — установка пакета через conda
conda install — установка всего стандартного набора пакетов — более 150, около 3 Гб
conda list — список установленных пакетов
conda update conda — обновление conda
conda clean -t — удаление кеша — архивов .tar.bz2, которые могут занимать много места и не нужны

Управление Conda и Anaconda

Обновление пакета conda и менеджера среды

Обновите метапакет анаконды (anaconda)

Получить список всех моих окружений. Активная среда показана с *

Создать среду и установить программу (ы)

Активируйте новую среду, чтобы использовать ее

Дезактивировать окружающую среду

Создайте новую среду, укажите версию Python

Сделать точную копию окружения

Сохранить текущую среду в файл

Загрузить среду из файла

Управление Python

Проверьте версии Python, доступные для установки

Установите другую версию Python в новой среде

Управление конфигурацией .condarc

Получить все ключи и значения из моего файла .condarc

Получить значение ключевых каналов из файла .condarc

Добавьте новое значение в каналы, чтобы conda искала пакеты в этом месте

Управление пакетами (Packages), включая Python

Просмотр списка пакетов и версий, установленных в активной среде

Найдите пакет, чтобы узнать, доступен ли он для установки conda.

Установите новый пакет. ПРИМЕЧАНИЕ. Если вы не укажете имя среды, оно будет установлено в текущей активной среде.

Для выполнения расчетов с помощью Python, как правило, требуются дополнительные библиотеки. Оптимальным способом загрузки дополнительных библиотек на вычислительном кластере НИУ ВШЭ является использование программного пакета Anaconda. Это удобный менеджер пакетов Python, предназначенный для создания изолированных окружений Python и автоматического разрешения зависимостей. На суперкомпьютере уже имеется базовая конфигурация Anaconda, которую можно подключить следующей командой:

module load Python/Anaconda_v11.2020

После подключения этого модуля становятся доступными для использования большинство наиболее популярных библиотек Python, в том числе pytorch, tensorflow.

Полный список базовых библиотек можно посмотреть следующей командой: conda list
Установка других пакетов или обновление версий в базовом окружении невозможна.

Если вам необходимо установить пакеты или версии пакетов, которых нет в базовом окружении, то потребуется создать своё собственное изолированное окружение и установить в него требуемые для расчетов пакеты: conda create -n <имя окружения> python=<версия python>

Например, для создания окружения "my_py_env1" на базе последней версии Python 3 воспользуйте следующей командой: conda create -n my_py_env1 python=3
На запрос об установке новых пакетов ответьте "y".

Далее необходимо задействовать созданное окружение: source activate my_py_env1

После активации в приглашении терминала появится префикс с именем окружения: (my_py_env1) [testuser@sms

Для вывода списка доступных окружений используйте команду conda env list

Для установки необходимых пакетов используйте команду conda install, например, для установки последней версии NumPy: conda install numpy

Для установки пакетов из файла requirements.txt можно использовать команду conda install --file requirements.txt

С помощью команды conda search выполняется поиск пакетов в репозиториях Anaconda: conda search keras

Отключить окружение (например, для выбора другого): conda deactivate

Пример sbatch-скрипта

Примечание для расчетов на python с выводом в терминал

Важное примечание для расчетов на python, результаты которых отображаются в выводе!
По умолчанию python использует буфферизованный вывод (т.е. вывод НЕ мгновенно передается в результирующий файл).
Например, в случае такого кода:

Начальный вывод "Start" появится в файле вывода (slurm-.out) только спустя 60 итераций (одновременно с "Done").
Для задач, результаты которых оцениваются в процессе выполнения (выводятся промежуточные значения и тп), это не подходит (например, в случае, когда задача завершится по таймауту, вывода в файле не будет).
Для мгновенного отображения результатов предлагается 2 варианта:
1. Добавлять аргумент flush=True в функцию print: "print ('Start', flush=True)" (это работает только при версии python >= v3.3)
2. Добавить аргумент -u при запуске задачи к самому интерпретатору: например, "python3 -u myprog.py" (изменения в кода в данном случае не понадобится)

Читайте также: