Способы хранения данных в windows azure
Обновлено: 03.07.2024
Мы знаем, что данные — это самое главное, что есть у нас, данные — это то, для чего создается инфраструктура и вообще существует ИТ. Поэтому вопрос хранения данных — наиболее важный.
Microsoft Azure. Как мы храним свои и ваши данные
Для начала давайте посмотрим, как Microsoft хранит данные для собственных сервисов и данные своих пользователей и какие опции компания использует сама и предлагает клиентам.
Нам очень важно обеспечить все потребности наших клиентов, и поэтому мы постоянно расширяем свои ЦОДы, увеличиваем их мощности и создаем новые. Сегодня мы предлагаем 16 самых современных и очень больших ЦОД по всему миру, обеспечивая работу сотен своих сервисов и сервисов тысяч наших клиентов, которыми пользуются сотни миллионов людей по всему миру. Благодаря этому сервисы Azure доступны на 89 рынках с круглосуточной и ежедневной поддержкой.
Говоря про данные нужно понимать, что объемы данных среднего предприятия растут на 50-60% каждый год, однако работа с данными в компаниях в основном производится над неким рабочим набором данных, которые разумно поместить в локальное хранилище. Остальной же объем данных наиболее выгодно размещать и обрабатывать в облаке, уменьшая расходы, имея в виду низкую стоимость облачного хранилища данных по сравнению с затратами на собственную инфраструктуру.
Бизнес уже давно осознал преимущества облачного хранения данных, именно поэтому, уже сегодня в хранилище Azure находится более 10 триллионов объектов пользователей! Наше хранилище не только растет с каждым годом, но становится дешевле и быстрее, что отмечают независимые аналитические компании.
Важный вопрос хранения данных — это их безопасность, надежность хранения. В Azure любой элемент данных сохраняется как минимум ТРИ раза, независимо от того, что именно вы храните. При этом вам самим совершенно не нужно думать о сохранности. Мы берем на себя задачу репликации и восстановления данных внутри ЦОДа для абсолютной надежности сохранения ваших данных.
Думая о надежности данных мы идем еще дальше и предлагаем вам обеспечение надежности даже в случаях, когда целый огромный ЦОД будет выведен из строя, например, в случае природной катастрофы. Для обеспечения еще большей надежности мы сохраняем три копии ваших данных еще раз, на этот раз в другой ЦОД, который расположен на расстоянии как минимум в 400 миль от первого. Этим мы гарантируем, что даже если извергающийся вулкан уничтожит один датацентр, ваши данные будут доступны вашим клиентам из автоматически созданной реплики в другом ЦОДе.
Большинство крупных или средних компаний сегодня уже имеют собственные решения для хранения и обработки данных. В таком случае вам могут потребоваться решения для постоянного расширения мощности. Для таких задач мы предлагаем уникальный сервис StorSimple, который позволяет расширить ваш ЦОД в облако Azure, автоматически архивируя неиспользуемые данные в облако, сохраняя локально только наиболее часто используемые данные. Этот подход позволяет уже сегодня экономить компаниям от 60 до 80 % затрат на оборудование!
Говоря про использование облачного хранилища для хранения резервных копий данных, важно иметь возможность интеграции существующих решений в процесс резервирования. Мы предлагаем возможность автоматического бэкапа данных SQL Server в облачное хранилище Azure и легкое восстановление в облаке или на серверах компании.
Вместе с резервным копированием баз данных очень важно иметь возможность резервного копирования пользовательских и корпоративных файлов и папок. Мы предлагаем прозрачную интеграцию процесса резервирования данных корпоративной инфраструктуры в надежное облачное хранилище Azure.
Azure Storage. Надежно храним огромные объемы данных
Давайте рассмотрим конкретные сервисы и возможности Azure более подробно. Начнем с надежного хранилища Azure Storage.
Azure Storage — это единое распределенное надежное хранилище для разных типов данных, которое позволяет каждому из пользователей сохранять петабайты данных без необходимости думать об инфраструктуре и вложениях.
Предлагая возможности роста хранимых данных Azure Storage автоматически, без действий пользователей, реплицирует все данные несколько раз для надежного хранения.
Иметь удобное, надежное хранилище недостаточно для создания облачных решений. Необходимы также удобные инструменты и поддержка возможности разработки. Azure предлагает первоклассную поддержку разработчиков с интеграцией во все популярные языки, платформы и инструменты разработки.
Наконец, говоря о хранении данных, необходимо думать и о цене надежного хранилища. И тут, к моему удовольствию, облако Azure предлагает самые низкие на рынке цены, обладая лучшей надежностью и производительностью. Хранить данные в облаке Azure не только надежнее, но и дешевле!
Хранилище Azure предлагает возможность хранения множества типов данных. Пользователи могут сохранять структурированные данные в виде наборов "ключ-значение".
Третьей возможностью, и самой распространенной, является хранение в облаке Azure Storage любых бинарных объектов, в том числе текстовых файлов, документов, мультимедиа и так далее.
И наконец, расширением возможности хранения блобов в Azure Storage является возможность обращаться к хранилищу как к обычному сетевому хранилищу файлов, через стандартные протоколы и API, что позволяет мигрировать старые приложения, которые ничего не знают про облако, легко и просто.
Azure Cache. Кэшируем данные для быстрого доступа из кода
Следующим сервисом Azure, который позволяет работать с данными является Azure Cache, который позволит вам кэшировать часто используемые данные в быстрой памяти и повторно их использовать.
Azure Cache предлагает высочайшую скорость доступа к данным, сохранения и выборки и оптимизирован под высокие нагрузки.
В основе Azure Cache лежит популярное открытое решение Redis, что открывает доступ к десяткам готовых инструментов, а также предлагает эффективную репликацию ваших данных в облаке.
Начать использовать кэш Azure очень просто, достаточно задать параметры на портале, через минуту получить адреса доступа к хранилищу и начать его использовать в приложении. Все именно так просто.
Одной из замечательных возможностей кэша в Azure является возможность выделить в кэш и эффективно использовать память внутри существующих рабочих ролей, которые пользователи могут использовать для свои решений. Это решение позволяет сильно сэкономить.
Azure SQL Database. Храним реляционные данные без железа и админов
Важнейшим типом данных, с которыми работают приложения и сервисы — это реляционные SQL базы данных. Облако Azure позволяет эффективно хранить эти данные и предлагает несколько подходов.
Сервис Azure SQL Database — это полностью управляемый сервис БД в облаке, который предлагает вам получить БД как сервис.
Вместе с тем, что мы полностью управляем инфраструктурой размещения БД, мы гарантируем пользователям предсказуемость производительности, эластичное масштабирование, непрерывность работы и богатые возможности для разработчиков.
При этом вы снижаете затраты на инфраструктуру до нуля, передавая нам все задачи управления серверами БД. Будучи управляемым сервисов Azure SQL Database не теряет в функциональности, оставаясь решением СУБД корпоративного уровня.
Этот облачный сервис мы рекомендуем всем архитекторам и разработчикам, которым нужны привычные для DBA инструменты и возможности разработки.
Вместе с сервисом SQL Database в облаке Azure существует возможность размещения и привычных собственных серверов БД, например, SQL Server. Если сравнить два подхода, то можно заметить, что размещение своего сервера предлагает больше гибкости и полный контроль над сервером, тогда как SQL Database предлагает возможность снизить затраты на администрирование почти до нуля. Мы, создавая облака Azure, желали предоставить возможность любого выбора для пользователя. Поэтому вы можете выбирать то решение, которое вам больше всего подходит.
Azure DocumentDB. Храним NoSQL-данные без схемы, но с SQL-запросами
В последнее время популярность стали набирать разнообразные решение для хранения структурированных, но не реляционных данных, под общим названием NoSQL. Для хранения такого типа данных в Azure представлено эффективное и быстрое решение — сервис DocumentDB.
Azure DocumentDB — NoSQL-решение, изначально разработанное и созданное с учетом JavaScript и формата данных JSON.
Вместе с тем, что DocumentDB — это NoSQL-решение, уникальной возможность сервиса является возможностью выбирать данные с помощью языка запросов SQL. Данные, сохраняемые в DocumentDB, совершенно не имеют схемы и даже функция индексирования в сервисе работает совершенно автоматически, оптимизируя данные для быстрого поиска.
Скорость работы сервиса DocumentDB и доступа к нему обеспечивается оптимизированной архитектурой и использованием SSD-накопителей.
Любое средство хранения данных должно быть удобным для пользователей и разработчиков, поэтому DocumentDB предлагает открытые стандарты для доступа к данным и массу инструментов для разработчиков.
Microsoft Azure. Множество сервисов на любой вкус, для любой задачи
Microsoft Azure предлагает массу сервисов для построения облачных сайтов, решений и сервисов. Вместе с перечисленными основными и самыми популярными сервисами, которые мы уже рассмотрели, в Azure есть еще целый ряд специализированных сервисов для работы с данными.
Например, воспользуйтесь сервисом Azure HDInsight, для того чтобы получить готовые кластеры Hadoop в облаке по запросу с преднастроенным окружением и поддержкой всей экосистемы Hadoop. Используйте HDInsight для эффективной обработки больших данных.
Используйте новый сервис Azure Machine Learning для реализации машинного обучения и построения сервисов прогнозов.
Используйте Azure Search для получения по запросу возможностей индексации и быстрого поиска любой информации.
Используйте Azure Backup, для того чтобы эффективно резервировать свои данные в облако.
Наконец, воспользуйтесь Azure CDN для эффективного распространения файлов в сети доставки контента в узлах по всему миру.
Windows Azure предоставляет разработчикам различные способы хранения данных. Нереляционные хранилища данных - это BLOB-объекты, таблицы и очереди и реляционное хранилище в виде SQL Database. Рассмотрим основные три типа нереляционных способов хранения данных.
BLOB-объекты - это самый простой способ хранения данных в Windows Azure. Эти объекты содержат бинарные данные, и как видно на картинке, они организованы в виде простой иерархии. Каждый контейнер может содержать один или несколько BLOB-объектов. Объекты могут быть большими по объему – до одного терабайта, а также они могут иметь ассоциированные метаданные, например информация о том, где была сделана фотография, или кто исполнитель mp3-файла. BLOB-объекты также предоставляют место для размещения, как бы, файловых систем Windows Azure. Это механизм, который позволяет ролям Windоws Azure работать с постоянными хранилищами, как будто, это файловая система NTFS.
BLOB-объекты - весьма полезная штука, но они слишком плохо структурированы для некоторых ситуаций. Для работы с более организованными данными Windows Azure предоставляет таблицы. Но сразу нужно предупредить, это не реляционные таблицы данных. Здесь каждая таблица хранит сущности с определенным набором свойств. И подобно SQL-запросам, приложения могут запрашивать данные из таблиц, используя протокол OData (открытый веб-протокол для запроса и обновления данных). Такой подход позволяет масштабировать хранилище, распределяя данные на многих машинах. Это более эффективно, чем стандартные реляционные базы данных. Фактически, одна таблица Windows Azure может содержать миллиарды сущностей и хранить терабайты данных.
BLOB-объекты и таблицы предназначены для хранения данных и доступа к ним. Третий вид данных – очереди имеют совершенно другое назначение. Главная задача очередей – это реализовать асинхронное взаимодействие объектов web-роли с объектами worker-роли. Например, пользователь через веб-интерфейс может задать некую долгую операцию объекту worker-роли. Web-роль записывает задание, которое нужно сделать, в очередь. Объект worker-роли считывает задание из очереди, выполняет его и результат может тоже записать обратно в очередь.
Независимо от типа хранимых данных, будь то BLOB-объекты, таблицы, или очереди – вся хранимая информация трижды реплицируется. Такое копирование позволяет минифицировать ущерб от сбоев и потери данных не являются фатальными. Система обеспечивает строгую согласованность, то есть данные, помещенные в хранилище, гарантированно считываются обратно в приложение. Дополнительно Windows Azure еще хранит резервную копию всех данных в той же части мира, что и оригинал. Если центр данных, хранящий главную копию не может предоставить данные, то резервная копия остается доступной и выполнит свою задачу.
Использование BLOB-объектов, таблиц и очередей открывает большие возможности в приложениях Windows Azure. Но если приложения зависят от реляционных данных, то можно использовать еще один компонент – SQL Database (прежнее название SQL Azure). Приложения использующие этот компонент, могут получать доступ к данным в облаке через SQL запросы.
Если Вы следили за новостями Microsoft, есть большая вероятность, что Вы слышали о Microsoft Azure, ранее известном как Windows Azure. Этот сервис облачных вычислений является большой частью бизнеса Microsoft, и он конкурирует с аналогичными сервисами от Amazon и Google.
Понятие облачных вычислений
Microsoft Azure — это сервис облачных вычислений, который работает аналогично Amazon Web Services (AWS) и облачной платформе Google .
Под «облачными вычислениями» мы не подразумеваем туманный термин, который часто применяется к потребительским сервисам, которые хранят Ваши данные на удаленном сервере. Мы имеем в виду фактические вычисления как услугу для компаний, организаций и даже частных лиц, которые хотят этим воспользоваться.
Традиционно предприятия и другие организации размещают свою собственную инфраструктуру. У бизнеса будет собственный веб-сервер (или почтовый сервер, или что-то еще) на своем собственном оборудовании. Если бы потребовалось больше мощности, бизнесу пришлось бы покупать больше серверного оборудования. Компании также придется платить кому-то за администрирование этого оборудования и платить за надежное подключение к Интернету для обслуживания своих клиентов. Кроме того, есть хостинговые компании, которые размещают Ваши сервисы на некоторых из своих аппаратных средств в своих центрах обработки данных, за деньги.
Облачные вычисления работают немного по-другому. Вместо того, чтобы запускать собственное оборудование или платить за использование определенного оборудования в чужом центре обработки данных, Вы просто платите за доступ к огромному пулу вычислительных ресурсов, предоставляемых Microsoft (или Amazon, или Google). Это позволяет Вам размещать веб-серверы, серверы электронной почты, базы данных, серверы хранения файлов, виртуальные машины, пользовательские каталоги или все, что Вам может понадобиться. Когда Вам нужно больше вычислительных ресурсов, Вам не нужно приобретать физическое оборудование. «Облако» разделяет аппаратное обеспечение и автоматически назначает работу по мере необходимости. Вы платите за столько вычислительных ресурсов, сколько Вам нужно, а не за определенное количество аппаратных серверов в стойке.
Службы, которые Вы развертываете таким образом, могут быть либо общедоступными серверами, доступными для всех, либо частью «частного облака», которое используется только в организации.
В чем смысл
При использовании облачных вычислений значительно снижаются первоначальные затраты. Вам не нужно вкладывать кучу денег в создание собственного центра обработки данных, приобретать оборудование для него и оплачивать услуги персонала. Нет риска переплачивать за слишком много оборудования или покупать слишком мало и не иметь того, что Вам нужно.
Вместо этого Вы размещаете все необходимое для размещения «в облаке», предоставляемом такой службой, как Microsoft Azure. Вы платите только за те вычислительные ресурсы, которые используете. Если Вам нужно больше, он может мгновенно масштабироваться для удовлетворения спроса. Если Вам нужно меньше, Вы не платите больше, чем нужно.
По этой причине все, от внутренней почтовой системы компании до общедоступных веб-сайтов и сервисов для мобильных приложений, все чаще размещается на облачных платформах.
Что может сделать Microsoft Azure
Веб-сайт Microsoft Azure предоставляет каталог сотен различных сервисов , которые Вы можете использовать, включая полноценные виртуальные машины, базы данных, хранилище файлов, резервные копии и сервисы для мобильных и веб-приложений.
Первоначально эта служба называлась «Windows Azure», но была переименована в «Microsoft Azure», поскольку она может делать гораздо больше, чем просто Windows. Например, Вы можете запускать виртуальные машины Windows или Linux в Azure — в зависимости от того, что Вы предпочитаете.
Копаясь в этих сотнях сервисов, Вы увидите, что можете делать практически все, что угодно. И для всего, что Azure не предлагает в простом обслуживании, Вы можете настроить виртуальную машину Windows или Linux, на которой размещено любое программное обеспечение, которое Вы хотите использовать. Вы даже можете разместить на виртуальной машине рабочий стол Windows или Linux в облаке и подключаться к нему удаленно. Это просто еще один способ использовать удаленные вычислительные ресурсы.
Многое из того, что делает Azure, не является эксклюзивным для Azure. Amazon, Microsoft и Google конкурируют. Например, Amazon Web Services является лидером в этой области, опережая предложения Microsoft и Google.
Azure Active Directory и Windows 10
Microsoft также использует Azure для расширения Windows несколькими важными способами. Традиционно организациям, которые хотели иметь центральный пользовательский каталог и управление своими ПК, требовалось запустить собственный сервер Microsoft Active Directory. Теперь, в дополнение к традиционному программному обеспечению Active Directory, которое может быть установлено на сервере Windows, организация может использовать Azure Active Directory.
Azure AD — то же самое, но размещено в Microsoft Azure. Это позволяет организациям иметь все эти функции централизованного администрирования, не требуя от них размещения собственного сервера Active Directory (и настройки зачастую сложной инфраструктуры и разрешений доступа, необходимых для его удаленной работы).
Эти сервисы не идентичны, но Microsoft однозначно делает ставку на то, что Azure AD — это будущее. Пользователи Windows 10 могут присоединиться к Azure Active Directory через функцию «Рабочий доступ», а служба Microsoft Office 365 использует Azure Active Directory для проверки подлинности пользователей.
Как каждый может использовать Azure
Любой может использовать Microsoft Azure. Просто зайдите на веб-сайт Azure , и Вы сможете зарегистрировать новую учетную запись. Каждая учетная запись имеет кредит в размере 12 500 рублей, который Вы можете использовать в течение первых 30 дней, чтобы Вы могли начать и посмотреть, как работает Azure. Вы также получаете определенное количество бесплатных услуг в течение первого года, включая доступ к виртуальным машинам Linux, виртуальным машинам Windows, хранилищу файлов, базам данных и пропускной способности.
Копирование данных из хранилища файлов Azure и обратно с помощью фабрики данных Azure
В этой статье описано копирование данных в хранилище файлов Azure и из него. Дополнительные сведения о Фабрике данных Azure см. во вводной статье.
Этот соединитель хранилища файлов Azure предназначен для поддержки следующих действий.
Данные можно скопировать из хранилища файлов Azure в любое поддерживаемое хранилище-приемник данных или скопировать из любого поддерживаемого исходного хранилища данных в хранилище файлов Azure. Список хранилищ данных, поддерживаемых действием копирования в качестве источников и приемников, приведен в разделе Поддерживаемые хранилища данных и форматы.
В частности, этот соединитель хранилища файлов Azure поддерживает:
- Копирование файлов с помощью ключей учетной записи или подписанного URL-адресом службы (SAS).
- Копирование файлов "как есть", анализ или создание файлов с использованием поддерживаемых форматов файлов и кодеков сжатия.
Следующие разделы содержат сведения о свойствах, которые используются для определения сущностей фабрики данных, относящихся к хранилищу файлов Azure.
Свойства связанной службы
Этот соединитель хранилища файлов Azure поддерживает следующие типы проверки подлинности. Дополнительные сведения см. в соответствующих разделах.
[!NOTE] Если вы использовали связанную службу хранилища файлов Azure с устаревшей моделью, в которой пользовательский интерфейс для создания ADF-данных был показан как "Обычная проверка подлинности", он все равно поддерживается как есть, хотя мы предлагаем использовать новую модель для перемотки. Устаревшая модель передает данные из хранилища или в хранилище через протокол SMB, а в новой модели используется пакет SDK хранилища с лучшей пропускной способностью. Чтобы выполнить обновление, можно изменить связанную службу, переключая метод проверки подлинности на "ключ учетной записи" или "URI SAS"; для набора данных или действия копирования не требуется никаких изменений.
Проверка подлинности на основе ключа учетной записи
Фабрика данных поддерживает следующие свойства для проверки подлинности ключа учетной записи хранилища файлов Azure.
| Свойство. | Описание | Обязательно |
|---|---|---|
| type | Свойству type необходимо задать значение AzureFileStorage. | Да |
| connectionString | Укажите сведения, необходимые для подключения к хранилищу файлов Azure. Можно также поместить ключ учетной записи в Azure Key Vault и извлечь accountKey конфигурацию из строки подключения. Дополнительные сведения см. в следующих примерах и в статье хранение учетных данных в Azure Key Vault . | Да |
| fileShare | Укажите общую папку. | Да |
| snapshot | Укажите дату создания моментального снимка файлового ресурса , если необходимо выполнить копирование из моментального снимка. | Нет |
| connectVia | Среда выполнения интеграции, используемая для подключения к хранилищу данных. Вы можете использовать среду выполнения интеграции Azure или локальную среду IR (если хранилище данных расположено в частной сети). Если не указано другое, по умолчанию используется интегрированная среда выполнения Azure. | Нет |
Пример.
Пример. Сохранение ключа учетной записи в Azure Key Vault
Подпись общего доступа обеспечивает делегированный доступ к ресурсам в вашей учетной записи хранения. Вы можете использовать подписанный URL-адрес, чтобы предоставить клиенту ограниченные разрешения на работу с объектами в вашей учетной записи хранения на определенный период. Дополнительные сведения о подписанных URL-адресах см. в разделе Использование подписанных URL-адресов (SAS): Что такое подписанный URL-адрес?
Фабрика данных поддерживает следующие свойства для использования проверки подлинности подписанного URL:
| Свойство. | Описание | Обязательно |
|---|---|---|
| type | Свойству type необходимо задать значение AzureFileStorage. | Да |
| sasUri | Укажите URI подписанного URL общего доступа для ресурсов. Пометьте это поле как SecureString , чтобы безопасно хранить его в фабрике данных. Также можно разместить маркер SAS в Azure Key Vault, чтобы использовать автоматическое вращение и удалить часть токена. Дополнительные сведения см. в следующих примерах и хранение учетных данных в Azure Key Vault. | Да |
| fileShare | Укажите общую папку. | Да |
| snapshot | Укажите дату создания моментального снимка файлового ресурса , если необходимо выполнить копирование из моментального снимка. | Нет |
| connectVia | Среда выполнения интеграции, используемая для подключения к хранилищу данных. Вы можете использовать среду выполнения интеграции Azure или локальную среду IR (если хранилище данных расположено в частной сети). Если не указано другое, по умолчанию используется интегрированная среда выполнения Azure. | Нет |
Пример.
Пример. Сохранение ключа учетной записи в Azure Key Vault
| Свойство. | Описание | Обязательно |
|---|---|---|
| type | Свойству type необходимо задать значение AzureFileStorage. | Да |
| host | Указывает конечную точку хранилища файлов Azure как: — при использовании пользовательского интерфейса: укажите \\<storage name>.file.core.windows.net\<file service name> . — при использовании JSON: укажите "host": "\\\\<storage name>.file.core.windows.net\\<file service name>" . | Да |
| userid | Укажите пользователя для доступа к хранилищу файлов Azure как: — при использовании пользовательского интерфейса: укажите AZURE\<storage name> . — при использовании JSON: укажите "userid": "AZURE\\<storage name>" . | Да |
| password | Укажите ключ доступа к хранилищу. Пометьте это поле как SecureString, чтобы безопасно хранить его в фабрике данных, или добавьте ссылку на секрет, хранящийся в Azure Key Vault. | Да |
| connectVia | Среда выполнения интеграции, используемая для подключения к хранилищу данных. Вы можете использовать среду выполнения интеграции Azure или локальную среду IR (если хранилище данных расположено в частной сети). Если не указано другое, по умолчанию используется интегрированная среда выполнения Azure. | "Нет" для источника, "Да" для приемника |
Пример.
Свойства набора данных
Полный список разделов и свойств, доступных для определения наборов данных, см. в статье о наборах данных.
Ниже перечислены свойства, которые поддерживаются для хранилища файлов Azure в параметрах location в наборе данных на основе формата.
| Свойство | Описание | Обязательно |
|---|---|---|
| type | Свойство Type в location наборе данных должно иметь значение азурефилесторажелокатион. | Да |
| folderPath | Путь к папке. Если вы хотите использовать подстановочный знак для фильтрации папки, пропустите этот параметр и укажите его в параметрах источника действия. | Нет |
| fileName | Имя файла в заданном пути к папке. Если вы хотите использовать подстановочный знак для фильтрации файлов, пропустите этот параметр и укажите его в параметрах источника действия. | Нет |
Пример.
Свойства действия копирования
Полный список разделов и свойств, используемых для определения действий, см. в статье Конвейеры и действия в фабрике данных Azure. Этот раздел содержит список свойств, поддерживаемых источником и приемником хранилища файлов Azure.
Хранилище файлов Azure в качестве источника
Ниже перечислены свойства, которые поддерживаются для хранилища файлов Azure в параметрах storeSettings в источнике копирования на основе формата.
Если значение не указано, по умолчанию
— При использовании пути к файлу в наборе данных или списке файлов в источнике корневой путь к разделу — это путь, настроенный в наборе данных.
— При использовании фильтра папки с подстановочными знаками корневой путь к разделу является вложенным путем перед первым подстановочным знаком.
Пример.
Хранилище файлов Azure в качестве приемника
Ниже перечислены свойства, которые поддерживаются для хранилища файлов Azure в параметрах storeSettings в приемнике копирования на основе формата.
Пример.
Примеры фильтров папок и файлов
В этом разделе описываются результаты применения фильтров с подстановочными знаками к пути папки и имени файла.
| folderPath | fileName | recursive | Структура исходной папки и результат фильтрации (извлекаются файлы, выделенные полужирным шрифтом) |
|---|---|---|---|
| Folder* | (пусто, используйте по умолчанию) | false | ПапкаA Файл1.csv Файл2.json Вложенная_папка1 Файл3.csv Файл4.json Файл5.csv Другая_папкаB Файл6.csv |
| Folder* | (пусто, используйте по умолчанию) | Да | ПапкаA Файл1.csv Файл2.json Вложенная_папка1 Файл3.csv Файл4.json Файл5.csv Другая_папкаB Файл6.csv |
| Folder* | *.csv | false | ПапкаA Файл1.csv Файл2.json Вложенная_папка1 Файл3.csv Файл4.json Файл5.csv Другая_папкаB Файл6.csv |
| Folder* | *.csv | Да | ПапкаA Файл1.csv Файл2.json Вложенная_папка1 Файл3.csv Файл4.json Файл5.csv Другая_папкаB Файл6.csv |
Примеры списков файлов
В этом разделе описывается результирующее поведение при использовании пути к списку файлов в источнике действия копирования.
Предположим, что у вас есть следующая исходная структура папок и вы хотите скопировать файлы, выделенные полужирным шрифтом.
В источнике действия копирования:
— Путь к списку файлов: root/Metadata/FileListToCopy.txt
Примеры recursive и copyBehavior
В данном разделе описываются результаты выполнения операции копирования при использовании различных сочетаний значений recursive и copyBehavior.
Папка1
Файл1
Файл2
Папка1
автоматически созданное имя для "Файл1"
автоматически созданное имя для "Файл2"
Папка1
Содержимое файлов "Файл1" и "Файл2" объединяется в один файл с автоматически созданным именем. автоматически созданное имя для "Файл1"
Свойства действия поиска
Подробные сведения об этих свойствах см. в разделе Действие поиска.
Свойства действия GetMetadata
Подробные сведения об этих свойствах см. в разделе Действие GetMetadata
Свойства действия удаления
Подробные сведения об этих свойствах см. в разделе Действие удаления
[!NOTE] Следующие модели по-прежнему поддерживаются на условиях "как есть" для обеспечения обратной совместимости. Новую модель, упомянутую в разделах выше, рекомендуется использовать в дальнейшем. Пользовательский интерфейс создания ADF был изменен для создания новой модели.
Устаревшая модель набора данных
| Свойство | Описание | Обязательно |
|---|---|---|
| type | Для свойства type набора данных необходимо задать следующее значение: FileShare. | Да |
| folderPath | Путь к папке, |
Фильтр с подстановочными знаками поддерживается. Допустимые подстановочные знаки: * (соответствует нулю или большему количеству знаков) и ? (соответствует нулю или одному знаку). Для экранирования используйте ^ , если имя фактической папки содержит подстановочный знак или escape-символ.
Допустимые знаки подстановки для фильтра: * (соответствует нулю или нескольким символам) и ? (соответствует нулю или одному символу).
Пример 1. "fileName": "*.csv"
Пример 2. "fileName": ". 20180427.txt"
Используйте ^ для экранирования символов, если фактическое имя файла содержит подстановочный знак или этот escape-символ.
Учтите, что включение этого параметра в случае, если требуется применить фильтр файлов к огромному числу файлов, повлияет на общую производительность перемещения данных.
Учтите, что включение этого параметра в случае, если требуется применить фильтр файлов к огромному числу файлов, повлияет на общую производительность перемещения данных.
[!TIP] Чтобы скопировать все файлы в папке, укажите только folderPath.
Чтобы скопировать один файл с заданным именем, укажите folderPath с частью папки и fileName с именем файла.
Чтобы скопировать подмножество файлов в папке, укажите folderPath с частью папки и fileName с фильтром подстановочных знаков.
[!NOTE] Если вы использовали свойство fileFilter для фильтрации файлов, оно по-прежнему поддерживается без изменений, а вам предлагается далее использовать новую возможность фильтрации, добавленную к fileName.
Пример.
Устаревшая модель источника действия копирования
| Свойство | Описание | Обязательно |
|---|---|---|
| type | Свойству type источника действия копирования необходимо задать значение FileSystemSource. | Да |
| recursive | Указывает, следует ли читать данные рекурсивно из вложенных папок или только из указанной папки. Обратите внимание, что если для свойства recursive задано значение true, а приемником является файловое хранилище, в приемнике не будут создаваться пустые папки и вложенные папки. Допустимые значения: true (по умолчанию), false. | Нет |
| maxConcurrentConnections | Верхний предел одновременных подключений, установленных для хранилища данных во время выполнения действия. Укажите значение, только если требуется ограничить количество одновременных подключений. | Нет |
Пример.
Устаревшая модель приемника действия копирования
| Свойство | Описание | Обязательно |
|---|---|---|
| type | Свойство type приемника действия копирования должно иметь следующее значение: FileSystemSink. | Да |
| copyBehavior | Определяет поведение копирования, когда источником являются файлы из хранилища данных на основе файлов. |
Пример.
В таблице Поддерживаемые хранилища данных приведен список хранилищ данных, которые поддерживаются в качестве источников и приемников для действия копирования в фабрике данных Azure.
Читайте также: