Для данного сервера установлен лимит на производительность диска в 300 iops

Обновлено: 07.07.2024

При переносе высоконагруженных систем в облако очень важно подобрать правильный тип дисков — чтобы гарантировать максимальную пропускную способность и минимизировать время задержки.

Зачем нужны быстрые и сверхбыстрые диски

Большинство облачных провайдеров предлагают на выбор несколько типов дисков, которые отличаются числом операций ввода/вывода в секунду (Input/Output Operations Per Second, IOPS), пропускной способностью (Throughput) и задержкой (Latency). При этом облачные диски, как правило, имитируют привычные для классических архитектур физические носители информации, такие как HDD и SSD.

Облако VK не исключение — в нем доступны и HDD-, и SSD-диски:

HDD — это наименее производительные диски, которым в традиционной инфраструктуре соответствуют обычные HDD.
SSD — это более производительные диски, которые при сравнении с физическими устройствами будут существенно быстрее, чем любые HDD, но медленнее SSD: в основном из-за дополнительных накладных расходов на сеть и репликацию.

Характеристики HDD и SSD в облаке VK Cloud Solutions (бывш. MCS)

Параметр	HDD	SSD
IOPS (количество операций в секунду на 2 Тб пространства)	SLA для чтения — 300–2400, для записи — 150–800.	SLA для чтения — 1000–16 000, для записи — 500–8000.
Throughput (пропускная способность на 2 Тб пространства, при размере блока 1М)	SLA для чтения — 250 Мб/с, для записи — 100 Мб/с.	SLA для чтения и записи — 400 Мб/с.
Latency (задержка)	SLA не установлен	SLA не установлен

Однако существуют приложения, для которых критически важна скорость отклика дисков. В первую очередь это высокопроизводительные СУБД, аналитические платформы, приложения, работающие с Big Data, и иные высоконагруженные системы, обрабатывающие большие объемы данных. В качестве основы для таких приложений может использоваться такое ПО, как Arenadata DB, Apache Hadoop, Apache Spark, ClickHouse, Storm, Kafka и так далее.

Обслуживая миллионы параллельных запросов к данным, подобные системы предъявляют повышенные требования к производительности дисков: она должна быть достаточной, чтобы обеспечить минимальное время отклика системы. Очевидно, что диски HDD и SSD для подобных задач не подходят. Именно поэтому на платформе VK доступны еще два типа дисков: быстрые High IOPS SSD и сверхбыстрые Low Latency NVMe.

Быстрые диски High IOPS SSD

Это быстрые диски, обеспечивающие большую производительность по сравнению с SSD и HDD. В мире традиционной инфраструктуры им соответствуют SSD потребительского класса.

High IOPS SSD размещаются в дата-центрах, как и диски SSD и HDD. Однако, в отличие от них, для High IOPS SSD не обеспечивается реплицирование данных между доступными нодами. Поэтому в случае выхода физического оборудования из строя может наступить временная недоступность данных, стоит дополнительно позаботиться об обеспечении отказоустойчивости на уровне приложений.

Технические характеристики High IOPS SSD приведены ниже: диски имеют время обслуживания и полосу пропускания, приемлемые для подавляющего большинства приложений. Чаще всего их используют в СУБД, аналитике и телеметрии с большими требованиями к производительности, чем у обычных SSD. Но для очень высоких нагрузок их возможностей все-таки может не хватить.

Характеристики High IOPS SSD в облаке VK Cloud Solutions (бывш. MCS)

Параметр	Значение
IOPS (количество операций в секунду на 2 Тб пространства)	SLA для чтения — 10 000–45 000, для записи — 5000–30 000.
Throughput (пропускная способность на 2 Тб пространства при размере блока 1М)	SLA для чтения и записи 500 Мб/с.
Latency (задержка)	SLA не установлен

Сверхбыстрые диски Low Latency NVMe

Это диски с быстрым откликом. Они подключаются на высокочастотных конфигурациях ВМ по запросу в техническую поддержку. Среди всех облачных дисков VK обеспечивают наименьшую задержку: гарантированное время отклика дисковой подсистемы составляет не более 0,5 мс. При этом среднее время отклика на таких дисках — 0,2 мс. В традиционной инфраструктуре им соответствуют физические диски NVMe. Виртуальная машина с такими дисками наиболее близка к Bare Metal.

В отличие от других типов облачных дисков, размещаемых в дата-центрах, Low Latency NVMe являются локальными, то есть они физически базируются в гипервизорах. По сравнению с прямым пробросом NVMe-устройства в гостевую ОС это приводит к меньшей скорости работы, но к большей отказоустойчивости: предоставляются гарантии сохранности данных даже в случае, если NVMe-диск отказывает.

Несмотря на то что Low Latency NVMe являются локальными, они позволяют производить замену диска на лету, без прерывания сервиса — как и для других облачных дисков. При необходимости обслуживания гипервизора также предоставляется возможность миграции виртуальной машины и дисков на другой гипервизор с аналогичными дисками без прерывания сервиса.

Благодаря высокой производительности Low Latency NVMe идеальны для сверхнагрузок. Чаще всего они используются там, где важно обеспечить минимальные задержки: высокопроизводительные СУБД, аналитика и кэш.

Характеристики Low Latency NVMe на платформе VK Cloud Solutions (бывш. MCS)

Параметр	Значение
IOPS (количество операций в секунду на 2 Тб пространства)	SLA для чтения — 10 000–75 000, для записи — 5000–50 000.
Throughput (пропускная способность на 2 Тб пространства при размере блока 1М)	SLA для чтения — 1200 Мб/с, для записи — 900 Мб/с.
Latency (задержка)	SLA — максимум 0,5 мс.

Как понять, какой тип быстрых дисков вам подходит

Диски High IOPS SSD и Low Latency NVMe по производительности во много раз превосходят HDD и SSD. Но как выбрать между ними? Как убедиться, достаточно ли для проекта High IOPS SSD, или их скорости будет мало и лучше подключить Low Latency NVMe?

Ответы на эти вопросы можно получить только с помощью тестирования приложения под HighLoad-нагрузкой. Без этого не получится определить, какая производительность дисковой подсистемы потребуется на конкретном проекте, так как итоговые цифры будут зависеть от многих факторов: какие запросы выполняются над данными, в каком количестве и так далее. На основе исходных данных о проекте можно подобрать объем дисков, но требуемую производительность получится определить только с помощью тщательного тестирования.

В общем случае тестирование производительности может состоять из следующих шагов:

Определите критерии успешности тестирования. Это может быть величина задержки, число операций ввода/вывода, пропускная способность — все те параметры дисковой подсистемы, которые необходимы для эффективного функционирования конкретного приложения в часы наибольшей нагрузки. Подготовьте тестовый стенд с минимальными ресурсами, достаточными для удовлетворения требований, выделенных на первом шаге. Пересчет на ресурсы VK проводится на основе SLA. Запустите нагрузочное тестирование с заранее подготовленными синтетическими данными, сопоставимыми с максимально возможными нагрузками на приложение. Определите степень достижения показателей, выбранных на первом шаге. Если их не удалось достичь, на тестовом стенде увеличивается объем ресурсов либо по возможности пересматривается архитектура приложения, после чего тестирование повторяется. Когда нужные показатели будут достигнуты, можно начинать миграцию в облако и приступать к промышленной эксплуатации с использованием того типа дисков, который максимально подошел под требования приложения.

Таким образом, единого алгоритма для выбора между High IOPS SSD и Low Latency NVMe быть не может: для каждого бизнес-кейса потребуется анализ требований к производительности и тестирование.

Какой тип быстрых дисков выбрать: базовые рекомендации

Несмотря на то что правильный выбор можно сделать только после тестирования, мы можем дать несколько базовых рекомендаций:

IOPS (количество операций ввода/вывода – от англ. Input/Output Operations Per Second) – один из ключевых параметров при измерении производительности систем хранения данных, жестких дисков (НЖМД), твердотельных диски (SSD) и сетевых хранилища данных (SAN).

По сути, IOPS это количество блоков, которое успевает считаться или записаться на носитель. Чем больше размер блока, тем меньше кусков, из которых состоит файл, и тем меньше будет IOPS, так как на чтение куска большего размера будет затрачиваться больше времени.

Значит, для определения IOPS надо знать скорость и размер блока при операции чтения / записи. Параметр IOPS равен скорости, деленной на размер блока при выполнении операции.

Характеристики производительности

Основными измеряемыми величинами являются операции линейного (последовательного) и произвольного (случайного) доступа.

Под линейными операциям чтения/записи, при которых части файлов считываются последовательно, одна за другой, подразумевается передача больших файлов (более 128 К). При произвольных операциях данные читаются случайно из разных областей носителя, обычно они ассоциируются с размером блока 4 Кбайт.

Ниже приведены основные характеристики:

Параметр	Описание
Всего IOPS (Total IOPS)	Суммарное число операций ввода/вывода в секунду (при выполнении как чтения, так и записи)
IOPS произвольного чтения (Random Read)	Среднее число операций произвольного чтения в секунду
IOPS произвольной записи (Random Write)	Среднее число операций произвольной записи в секунду
IOPS последовательного чтения (Sequential Read)	Среднее число операций линейного чтения в секунду
IOPS последовательной записи (Sequential Write)	Среднее число операций линейной записи в секунду

Приблизительные значения IOPS

RAID пенальти

Любые операции чтения, которые выполняются на дисках, не подвергаются никакому пенальти, поскольку все диски могут использоваться для операций чтения. Но всё на оборот с операциями на запись. Количество пенальти на запись зависят от типа выбранного RAID-а, например.

В RAID 1 чтобы данные записались на диск, происходит две операции на запись (по одной записи на каждый диск), и следовательно RAID 1 имеет два пенальти.

В RAID 5 чтобы записать данные происходит 4 операции (Чтение существующих данных, четность RAID, Запись новых данных, Запись новой четности) тем самым пенальти в RAID 5 составляет 4.

В этой таблице приведено значение пенальти для более часто используемых RAID конфигурации.

RAID	I/O Пенальти
RAID 0	1 (Edited by Reader)
RAID 1	2
RAID 5	4
RAID 6	6
RAID 10	2

Характеристика рабочих нагрузок

Характеристика рабочей нагрузки в основном рассматривается как процент операции чтений и записей, которые вырабатывает или требует приложение. Например, в среде VDI процентное соотношение IOPS рассматривается как 80-90% на запись и 10-20% на чтение. Понимание характеристики рабочей нагрузки является наиболее критическим фактором, поскольку от этого и зависит выбор оптимального RAID для среды. Приложения которые интенсивно используют операции на запись являются хорошими кандидатами для RAID 10, тогда как приложения которые интенсивно используют операции на чтение могут быть размещены на RAID 5.

Вычисление IOPS

Есть два сценария вычисления IOPS-ов.
Один из сценариев это когда есть определенное число дисков, и мы хотим знать, сколько IOPS эти диски выдадут?
Второй сценарий, когда мы знаем сколько нам IOPS-ов надо, и хотим вычислить нужное количество дисков?

Сценарий 1: Вычисление IOPS исходя из определенного кол-ва дисков

Представим что у нас есть 20 450GB 15к RPM дисков. Рассмотрим два сценария Рабочей нагрузки 80%Write-20%Read и другой сценарий с 20%Write-80%Read. Также мы вычислим количество IOPS как для RAID5 и RAID 10.

Формула для расчета IOPS:

Total Raw IOPS = Disk Speed IOPS * Number of disks
Functional IOPS =(((Total Raw IOPS×Write %))/(RAID Penalty))+(Total Raw IOPS×Read %)

Есть определение Raw IOPS и Functional IOPS, как раз токи Functional IOPS-ы и есть те IOPS-ы которые включают в себя RAID пенальти, и это и есть “настоявшие” IOPS-ы.

А теперь подставим цифры и посмотрим что получится.

Total Raw IOPS = 170*20 = 3400 IOPS (один 15K RPM диск может выдать в среднем 170 IOPS)

Для RAID-5

Вариант 1 (80%Write 20%Read) Functional IOPS = (((3400*0.8))/(4))+(3400*0.2) = 1360 IOPS
Вариант 2 (20%Write 80%Read) Functional IOPS = (((3400*0.2))/(4))+(3400*0.8) = 2890 IOPS

Для RAID-1

Вариант 1 (80%Write 20%Read) Functional IOPS = (((3400*0.8))/(2))+(3400*0.2) = 2040 IOPS
Вариант 2 (20%Write 80%Read) Functional IOPS = (((3400*0.2))/(2))+(3400*0.8) = 3100 IOPS

Сценарий 2: Подсчет кол-ва дисков для достижения определенного кол-ва IOPS

Рассмотрим ситуацию где нам надо определить тип RAID-а и количества дисков для достижения определенного количества IOPS-ов 5000 и с определенными рабочими нагрузками, например 80%Write20%Read и 20%Write80% Read.

Опять же для начала формула по которой и будем считать:

Total number of Disks required = ((Total Read IOPS + (Total Write IOPS*RAID Penalty))/Disk Speed IOPS)

Total IOPS = 5000

Теперь подставим цифры.

Заметка: 80% от 5000 IOPS = 4000 IOPS и 20% от 5000 IOPS = 1000 IOPS с этими цифрами и будем оперировать.

Для RAID-5

Вариант 1 (80%Write20%Read) – Total Number of disks required = ((1000+(4000*4))/170) = 100 дисков.
Вариант 2 (20%Write80%Read) – Total Number of disks required = ((4000+(1000*4))/170) = 47 дисков приблизительно.

Для RAID-1

Вариант 1 (80%Write20%Read) – Total Number of disks required = ((1000+(4000*2))/170) = 53 диска приблизительно.
Вариант 2 (20%Write80%Read) – Total Number of disks required = ((4000+(1000*2))/170) = 35 дисков приблизительно.

Понимание и подсчет IOPS, RAID пенальти, и характеристик рабочих нагрузок очень критичны аспект при планировании. Когда нагрузка более интенсивна на запись луче выбирать RAID 10 и наоборот при нагрузках на чтение RAID 5.

IOPS используется для определения производительности диска или дискового массива.

IOPS означает Input/Output (operations) Per Second , количество “операций ввода/вывода в секунду”. Величина измеряет объем работы за определенный промежуток времени. По сути, IOPS это количество блоков, которое успевает считаться или записаться на носитель. Чем больше размер блока, тем меньше кусков, из которых состоит файл, и тем меньше будет IOPS, так как на чтение куска большего размера будет затрачиваться больше времени.

“Операция ввода/вывода” - это просто некая часть работы дисковой подсистемы, которая совершается в ответ на запрос хост-сервера и/или некоторых внутренних процессов. Обычно это чтение или запись с различными подкатегориями, например “чтение” (read), “повторное чтение” (re-read), “запись”(write), “перезапись” (re-write), “произвольный тип доступа” (random), “последовательный тип доступа” (sequential) и размер оперируемого блока данных.

В зависимости от вида операции, этот размер может варьироваться от байт до килобайт и даже нескольких мегабайт. Существует множество типов ввода/вывода и многозадачная и многохостовая система почти никогда не использует какой-то один. Виртуализация только добавляет разнообразия к паттернам ввода/вывода.

Никакая система хранения не может показывать максимальные значения IOPS безотносительно к характеру операций ввода/вывода, значений latency и размеру блоков.

Latency это мера того, сколько времени занимает выполнение одного запроса ввода/вывода, с точки зрения приложения.

Значительные объемы I/O wait это признак того, что источник проблем - хранилище (существуют и другие источники задержек, CPU и сеть - это обычные примеры). Даже в случае хороших показателей latency, если вы видите большое количество I/O waits - это значит, что приложение хотело бы больше скорости от системы хранения.

Определение производительности дисковой системы - это часто игнорируемый аспект проектирования систем. Поскольку дисковая система является самой медленной средой на компьютере, она должна быть одной из ПЕРВЫХ компонентов, спецификация которых правильно определена.

Приложения которые интенсивно используют операции на запись являются хорошими кандидатами для RAID 10, тогда как приложения которые интенсивно используют операции на чтение могут быть размещены на RAID 5.

IOPS используются для определения производительности диска или дискового массива. Для примера можно считать, что максимальный IOPS для диска:

ПРИМЕЧАНИЕ. Для расчета фактического IOPS для диска требуется следующая информация: Average latency , Average seek time . Эту информацию можно получить от производителя

Вычислим максимальный IOPS для диска

Для примера возьмем диск: Seagate ST500DM002-1BC142

Чтобы вычислить IOPS используем уравнение:

Итого, максимальный IOPS - 79.

Вычисляем максимальное значение IOPS для дискового массива

В примечании к разработке системы хранения, вычисление производительности дисковой системы имеет решающее значение для работы данной системы. Большинство систем используют RAID для обеспечения избыточности хранилища. В этом разделе описывается, как вычисляются IOPS для RAID-массивов.

Максимальное значение IOPS для чтения

Вычисление максимального значения IOPS чтения (maxReadIops) для RAID-массива:

maxReadIops = numDisks * diskMaxIops

Соответственно для массива из 4 дисков максимальное значение IOPS чтения будет следующим:

Максимальное значение IOPS для записи

Вычисление максимального значения IOPS записи (maxWriteIops) - это совсем другое в отношении RAID-массивов. RAID-массивы имеют штраф на запись, а тип RAID-массива определяет серьёзность штрафа. Этот штраф является результатом избыточности, которую предоставляет RAID, поскольку массив обязательно должен записывать данные на несколько дисков/локаций для обеспечения целостности данных.

Штраф на запись RAID-массива

Наиболее распространенные типы RAID и их штрафы на запись определяются в следующей таблице:

RAID Type	Write Penalty
RAID 1	2
RAID 5	4
RAID 6	6
RAID 10	2

Чтобы вычислить максимальное значение IOPS записи (maxWriteIops) для заданного RAID-массива, разделим максимальное значение IOPS чтения (maxReadIops) на штраф за запись RAID-массива (raidWritePenalty): maxWriteIops = maxReadIops / raidWritePenalty

Используя наш пример с 4-мя дисками и конфигурацией RAID 10, получаем следующие значения:

Итого, для нашего примера, максимальное значение IOPS на запись для массива RAID 10 - 158.

Проектирование для производительности

Простое вычисление максимального количества IOPS для чтения и записи для существующего или будущего RAID-массива недостаточно. Для обеспечения последовательной и устойчивой производительности необходимо определить требования к производительности для системы, чтобы определить лучшее решение для диска. Минимальный требуемый IOPS должен быть определен таким образом, чтобы можно было приобрести необходимое количество дисков с требуемой скоростью.

Для начала необходимо знать требования к производительности (например, чтение и запись IOPS) для данной системы или приложения. Эта информация может быть получена из документации поставщика или программного обеспечения.

Вычисление минимально необходимого IOPS

Предположим, что у нас есть приложение, которое требует 600 Read IOPS и
300 Write IOPS . Дисковый массив собран в RAID 5.

Чтобы вычислить минимальное количество IOPS (minReqdIops), добавьте количество требуемых IOPS чтения (reqdReadIops) к сумме количества требуемых IOPS записи (reqdWriteIops) и штрафа RAID (raidWritePenalty): minReqdIops = reqdReadIops + (reqdWriteIops * raidWritePenalty)

В нашем примере:

Минимальное количество IOPS, необходимое для обеспечения уровня производительности для нашего примера - 1800.

ПРИМЕЧАНИЕ. Этот расчет определяет минимальное количество IOPS, необходимое для соответствия спецификации производительности. Это означает, что дисковый массив НЕ должен работать ниже этого уровня производительности.

Вычисляем минимальное количество дисков для RAID-массива

Как только минимальное количество требуемых IOPS определено, очень легко определить минимальное количество и скорость дисков, необходимых для создания RAID-массива для удовлетворения требований к производительности.

Минимальное количество дисков по скорости диска

Минимальное количество дисков, необходимых для выполнения нашего требования к производительности (minNumDiskMinPerf), рассчитывается следующим образом: minNumDisksMinPerf = minReqdIops / maxIopsByDiskSpeed

Используя информацию из расчета минимально необходимых IOPS выше и предполагая, что мы хотим создать массив из 10 000 RPM-дисков (

125-150 IOPS), вычисление минимального количества дисков, которое будет соответствовать нашим минимальным требованиям к производительности (minNumDisksMinPerf) 1800 IOPS (minReqdIops) выглядит следующим образом:

Минимальное количество дисков 10 000 RPM, необходимых для удовлетворения наших требований к производительности, - 14.

Минимальное количество дисков по типу RAID

Тип RAID определяет минимальное количество дисков для удовлетворения требований типа RAID. Например, для RAID 5 всегда требуется как минимум 3 диска. Для RAID 10 всегда требуется как минимум 4 диска.

Для любых массивов, требующих большого количества дисков, используйте множитель в приведенной ниже таблице, чтобы определить правильное количество дисков для соответствия требованиям типа RAID:

Тип RAID	Количество дисков	RAID множитель
RAID5	3	N/A
RAID10	4	4

После вычисления количества дисков по скорости, определяем минимальное количество дисков, требуемых по типу RAID.

В примере, когда 10K RPM-диски были выбраны для построения массива, расчет показывает, что требуется не менее 14 дисков. Если тип RAID будет 5, 14 дисков будет достаточным. Однако, если тип RAID будет равен 10, минимальное количество дисков, требуемых этим типом RAID, будет 8, поскольку множитель для RAID 10 равен 4.

Программы для измерения IOPS

IOmeter — тест IOPS
IOzone — тест IOPS
FIO — тест IOPS
CrystalDiskMark — тест IOPS
SQLIO — набор тестов для расчета производительности (IOPS, MB, Latency) под сервера БД
wmarow — калькулятор RAID по производительности IOPS

IOPS — количество операций ввода-вывода в секунду. Одна из основных характеристик для оценки производительности проектируемой или уже существующей системы хранения данных, RAID-массива, HDD или SSD диска. Другими словами это количество блоков, которое успевает записаться или считаться с устройства в единицу времени. Чем больше IOPS, тем более производительная система.

IOPS — понятие расплывчатое, указанные производителем значения могут на практике отличаться в разы. Дело в том, что величина IOPS зависит от многих факторов:

Конструкция диска.
Настройка диска.
Конструкция массива.
Настройка массива.
Настройка файловой системы.
Драйвера.
Конфигурация и тип RAID-массива.
Количество дисков в массиве.
Наличие и размер кеша.
Гибридные диски.
Качество диска.
Типы интерфейсов.
Количество интерфейсов.
Пропускная способность интерфейсов.
Размер блока.
RAID-контроллер.
Условия запуска программы, которая измеряет IOPS.
Наличие других фоновых задач.
Размеры очередей и буферов.
Погода на Марсе.

Принято выделять несколько типов IOPS:

IOPS последовательного чтения.
IOPS последовательной записи.
IOPS произвольного чтения.
IOPS произвольной записи.
TOTAL IOPS — суммарное значение IOPS чтения и записи (отличается для последовательного и произвольного доступа).

IOPS для HDD

Для жёстких дисков величина IOPS более или менее постоянная.

IOPS для SSD и гибридных дисков

Зависит от модели и интерфейса. PCIe на порядок быстрее чем SATA.

Вычисление IOPS для RAID массива

Если мы знаем IOPS диска, то можем вычислить IOPS RAID массива.

RAID пенальти . При операции чтения данных из любого массива происходит одна операция, собственно, операция чтения, поэтому на чтение RAID пенальти отсутствует. При записи ситуация иная для каждого типа массива.

RAID0 — 1
RAID1 — 2
RAID10 — 2
RAID5 — 4
RAID6 — 6

Где T — вычисляемое значение IOPS массива, I — IOPS диска, N — количество дисков, P — пенальти, W — процент записи, R — процент чтения.

Пример 1 . RAID5 массив из 10 дисков. IOPS одного диска — 200. Посчитаем IOPS массива при 20% операций чтения и 80% операций записи.

Пример 2 . RAID5 массив из 10 дисков. IOPS одного диска — 200. Посчитаем IOPS массива при 80% операций чтения и 20% операций записи.

Пример 3 . RAID1 массив из 10 дисков. IOPS одного диска — 200. Посчитаем IOPS массива при 20% операций чтения и 80% операций записи.

Пример 4 . RAID1 массив из 10 дисков. IOPS одного диска — 200. Посчитаем IOPS массива при 80% операций чтения и 20% операций записи.

Вычисление требуемого количества дисков для достижения заданного IOPS

Где N — вычисляемое количество дисков, T — IOPS массива, I — IOPS диска, P — пенальти, W — процент записи, R — процент чтения.

Пример . Сколько нужно дисков, чтобы получить 1700 IOPS при использовании RAID5 массива (80% операций чтения и 20% операций записи, IOPS одного диска — 200)?

Ответ совпадает с примером 2 выше.

Если вам понравилась статья, то ставьте 👍🏻 каналу.
Пишите комментарии, задавайте вопросы, подписывайтесь.

Читайте также: