Datastore usage on disk vmware что это

Обновлено: 05.07.2024

Файловая помойка в нашей организации крутится на виртуальной машине VMware ESXi 6 под Windows Server 2016. И это не просто помойка. Это сервер файлового обмена между структурными подразделениями: тут и совместная работа, и проектная документация, и папки с сетевых сканеров. В общем, тут вся производственная жизнь.

Я впал в изумление и решил сходить в отпуск. Пока я был в отпуске — у помойки не было ни одного зависания. А когда в понедельник вышел первый день на работу — помойка висела. Вытерпела полное резервное копирование и аккурат по его окончании повисла. Такая теплая встреча из отпуска подтолкнула меня к решению физически перетащить диски с гостевой машиной в другой хост.

И, хотя давно известно, что в первый день после отпуска нельзя делать ничего серьезного, хотя я всю дорогу на работу настраивал себя не работать, мое возмущение очередным зависанием выбило из головы и настрой, и зароки…

По окончании мастера свежий Datastore появился в списке… а вместе с ним и Datastores с остальных физических дисков.

Чтобы развеять сомнения, по-быстрому установил на пробу свежий ESXi, взял левый диск и, уже вчитываясь, прошелся по шагам мастера. Да. При добавлении Datastore с помощью мастера происходит потеря всех данных на диске без возможности отката операции и восстановления данных. Позже я прочитал на одном из форумов оценку такого дизайна мастера: shitsome crap. И прямо вот очень согласился.

Начиная с шестой — мысли потекли в более конструктивном русле. Ладно. Инициализация занимает считанные секунды даже для 3Tb-диска. Значит, это высокоуровневое форматирование. Значит, просто была переписана таблица разделов. Значит, данные все еще там. Значит, сейчас поищем какой-нибудь unformat и voila.

Гружу машину с загрузочного образа Strelec… И выясняю, что программы восстановления разделов знают все, кроме VMFS. Разметку разделов Synology, например, знают, а вот VMFS — нет.

Перебор программ не утешителен: в лучшем случае GetDataBack и R.Saver находят NTFS-разделы с живой структурой каталогов и живыми именами файлов. Но меня это не устраивает. Мне нужны два vmdk-файла: с диском системы и диском файлов помойки.

И тут я понимаю, что, похоже, сейчас буду ставить винду и раскатываться из файлового бэкапа. И одновременно с этим вспоминаю, что у меня там был корень DFS. А еще совершенно дикая по объему и разветвленности система прав доступа к папкам подразделений. Не вариант. Единственный приемлемый по времени вариант — восстановление состояния системы и диска с данными и всеми правами.

Снова гуглинг, форумы, KB'шки и снова плач Ярославны: VMware ESXi не предусматривает механизма восстановления данных. Все ветки обсуждений имеют два финала: кто-то восстановился с помощью не дешевой DiskInternals VMFS Recovery или кому-то помог активно продвигающий свои услуги специалист по vmfs-tools и dd. Вариант с покупкой лицензии DiskInternals VMFS Recovery за $700 — не вариант. Допуск постороннего лица с «территории потенциального противника» к корпоративным данным — тоже не вариант. Зато было нагуглено, что VMFS разделы умеет читать так же еще UFS Explorer.

DiskInternals VMFS Recovery

Была скачана и установлена триальная версия. Программа успешно увидела пустой VMFS раздел:

В режиме Undelete (Fast Scan) так же нашла и потертый Datastore c папками виртуальных машин с дисками внутри:

Предпросмотр показал, что файлы живые:

Монтирование раздела в систему было успешным, но по непонятной причине во всех трех папках была одна и та же виртуалка. Конечно, по закону подлости — не та, что требуется.

Предпринятая попытка бессовестно запиратить софтину закончилась провалом. Зато запиратился UFS Explorer.

Я крайне отрицательно отношусь к воровству ПО. Ни в коем случае не призываю к использованию средств обхода защиты от нелицензированного использования.

Я находился в катастрофическом положении и вовсе не гордился теми мерами, к которым прибег.

UFS Explorer

Сканирование диска показало наличие 7 нод. Количество нод «удивительным образом» совпало с количеством *-flat.vmdk файлов, обнаруженных VMFS Recovery:

Сравнение размеров файлов и размеров нод показало так же совпадение до байта. Заодно были восстановлены имена *-flat.vmdk файлов и, соответственно, принадлежность их к виртуальным машинам.

Спустя 4 часа выгрузки 2,5Тб нода из UFS Explorer'a и 20 часов загрузки в Datastore гипервизора грохнутые файлы дисков были подключены к свеже-созданной виртуальной машине. Диски подхватились. Потери данных замечено не было.

Как выглядит предупреждение Datastore usage on disk

Вот так вот на вкладке "Summary" выглядит предупреждение.

Варианты решения проблемы

Данное уведомление очень полезное, так как системный администратор будет в курсе, что у него заканчивается место, хотя уверен, что он об этом узнает из другой системы мониторинга, например, Zabbix. Но если у вас ситуация как у меня, когда на датасторе полно место и вы не хотите, чтобы предупреждение мозолило вам глаза, то у вас два варианта, точнее три:

Освободить свободное место на нужном датасторе ESXI хоста, не всегда представляется возможным
Полностью отключить оповещение, не самый лучший вариант
Отредактировать настройки, и изменить значения срабатывания тригера, наш выбор

Для того, чтобы изменить параметры, нужного вам задания по мониторингу, выберите в корне ваш vCenter 6.5 сервер, раздел "Monitor", вкладка Issues, в которой выберите пункт "Alarm Definitions". В поисковой строке введите "Datastore usage on disk". В итоге у вас будет выполнен фильтр по данному имени.

Щелкните по нему правой кнопкой мыши и из контекстного меню выберите пункт "Edit", для его редактирования.

Откройте пункт "Triggers", в нем вы увидите значения при которых он будет срабатывать. По умолчанию, это 75% занятого места, это предупреждение и 85% это критический alarm.

Щелкните по ним и измените значения на свои.

Я выставил 85% для предупреждения и 95% для критического сигнала. Сохраняем изменения, и ручками очищаем текущие уведомления, через функцию "reset to Green".

Второй метод, полного отключения политики оповещения по тригеру "Datastore usage on disk". Делается это, через VMware PowerCLI. Подключитесь, через команду Connect-viserver -Server имя сервера, если будет ошибка проверки сертификата (Invalid server certificate), то ее решение в скобках.

Запросим текущее состояние политики с помощью команды:

Get-AlarmDefinition -Name 'Datastore usage on disk' | Set-AlarmDefinition -Enabled:$false
для включения политики, выполните:
Get-AlarmDefinition -Name 'Datastore usage on disk' | Set-AlarmDefinition -Enabled:$true

Посмотреть все политики оповещения связанные с датастором, можно вот так:

Из графического интерфейса можно выключить тригер, сняв галку "Enable this alarm"

Старайтесь не доводить ваши датасторы, до уведомления "Datastore usage on disk"

Auto-suggest helps you quickly narrow down your search results by suggesting possible matches as you type.

VMware Technology Network
:
Global
:
Russian
:
Russian Discussions
:
datastore usage on disk

BorisGrigorev

Mark as New
Bookmark
Subscribe
Mute
Email to a Friend

У нас на одном из хранилищ объемом красный Алерт, с ошибкой datastore disk usage. Как я понимаю появилось это оповещение когда место на диске достигло порога данного оповещения.

Скажите пожалуйста где регулируется данное оповещение и сколько необходимо реально место для стабильный работы хранилища?

Вместимость хранилища: 2,54 ТБ, свободно место 383,83 Гб

IT_pilot

Mark as New
Bookmark
Subscribe
Mute
Email to a Friend

По поводу логов: логи с циферками в принципе можно удалить. Если их много и они занимают много места.

Но прежде можете почитать

IT_pilot

Mark as New
Bookmark
Subscribe
Mute
Email to a Friend

порог конечно редактировать можно - выбираете в Hosts and Clusters верхний объект иерархии - ваш vCenter, Monitor, Issues, ищите с помощью фильтра ваш аларм, затем Edit, Triggers. Там ставите процент срабатывания.

А сколько надо места - так это от многих факторов зависит.

Как-то в подведомственной структуре админ поставил в задачу клонирование ВМ. Она и клонировалась пару тройку дней (читать - раз). Еще снапшот сделал. В итоге место и закончилось и все встало.

Поэтому место все же лучше освободить. Ревизию провести.

Диски у вас тонкие или как? Какие у вас ВМ, возможен ли резкий рост объема (если диски тонкие и выделено больше чем объем хранилища).

BorisGrigorev

Mark as New
Bookmark
Subscribe
Mute
Email to a Friend

Скажите пожалуйста где можно посмотреть какие диски у нас на хранилищах?

IT_pilot

Mark as New
Bookmark
Subscribe
Mute
Email to a Friend

Какие ВМ вы имеете ввиду?

В разных версиях по разному. У вас какая?

А в целом нужно выбрать Storage в главном меню, и там уже во вкладках искать.

В 6.0. в Связанных объектах надо искать.

BorisGrigorev

Mark as New
Bookmark
Subscribe
Mute
Email to a Friend

)))) Где версию глянуть?

IT_pilot

Mark as New
Bookmark
Subscribe
Mute
Email to a Friend

Самый простой способ - это меню Help.

В веб-интерфейсе это правый верхний угол.

Finikiez

Mark as New
Bookmark
Subscribe
Mute
Email to a Friend

Можно выгрузить себе всю информацию с помощью бесплатной утилиты RVTools и наслаждаться

BorisGrigorev

Mark as New
Bookmark
Subscribe
Mute
Email to a Friend

Как я понимаю судя по скриншоту vSphere Client и VMware vCenter Server версии 5.5.0

BorisGrigorev

Mark as New
Bookmark
Subscribe
Mute
Email to a Friend

На одном из серверов нашел неиспользуемый диск объемом 3ТБ, в настройках удаления выбрал: Remove from virtual machine and delete files from disk.

Все прошло успешно, но на хранилище место не освободилось.

Что я сделал не так, подскажите пожалуйста?

IT_pilot

Mark as New
Bookmark
Subscribe
Mute
Email to a Friend

возможно диск был тонкий, и пустой. Тонкие диски занимают ровно столько места сколько в них данных не зависимо от "формального размера".

Finikiez

Mark as New
Bookmark
Subscribe
Mute
Email to a Friend

Так что вы в конечном счете хотите сделать? Почистить место на датасторе?

Как много хостов подключено к этому датастору? Делали ли вы рескан на всех этих хостах когда-нибудь в последнее вермя?

Как много виртуальных машин там лежит? есть ли у них снапшоты?

Также в 5.5 и других версиях был забавный баг, когда vmware.log виртуальных машин мог занимать до нескольких гигабайт.

BorisGrigorev

Mark as New
Bookmark
Subscribe
Mute
Email to a Friend

Как все такие определить тонкие ли диски у меня стоят, зная версию vSphere?

BorisGrigorev

Mark as New
Bookmark
Subscribe
Mute
Email to a Friend

Да хочу место на датасторе освободить.

Хранилище EMC VNX5300, в нем два хранилища как мне объясняли (быстрый и медленный ).

Первый объемом 2,54 ТБ, второй 10,45 ТБ.

К хранилищу подключено два хоста.

К первому хранилищу подключены 11 виртуалок, ко второму хранилищу подключены 15 виртуалок. Причем на одном и на другом есть одинаковые виртуалки. Как я понимаю, например на виртуальном сервере диски расположены на разных датасторах. Например файловая система на более медленном а диск с базой данных на более быстром датасторе.

К сожалению я не знаю что такое рескан, так-что сам в ручную этого не делал.

Всего виртуалок в работе 14 штук, отключенных 5 штук.

снапшоты не в курсе есть ли они или нет, я так понимаю это типа слепка системы, состояние к которому можно вернуться при необходимости, типа точки восстановления.

Как выглядит предупреждение Datastore usage on disk

Варианты решения проблемы

Освободить свободное место на нужном датасторе ESXI хоста, не всегда представляется возможным
Полностью отключить оповещение, не самый лучший вариант
Отредактировать настройки, и изменить значения срабатывания тригера, наш выбор

Щелкните по ним и измените значения на свои.

Запросим текущее состояние политики с помощью команды:

Посмотреть все политики оповещения связанные с датастором, можно вот так:

Hi Guys,
I have a VMware cluster (3 ESXi Servers) and a vSAN configured using all the storage among these servers.

When I go to the vSAN Datastore summary usging the vSphere client it shows 8TB of free space.

But 2 events are happening that got me worried:

Why are these events popping up if according to the system I still have 8TB of free space?

How can I fix this issue?, preferable keeping all the space I have reserved for Virtual Disks on my VMs.

Background

I was doing an upgrade from 4.0 to 4.1 this week on a two node cluster. This cluster is owned by an SMB and its a fully contained VMware setup, basically it has two DL380 G6 servers each with 8 – 146GB 10k SAS drives, dual Nehalem processors, and 24GB of ram. We have HP’s P4000 VSA software installed on each node to form a redundant two node SAN, so each server has all 8 drives in a RAID5 and a single VMware VMFS volume on them. Inside of that volume we have a single virtual machine (the VSA) and it consumes about 90% of the space in that datastore. Inside of the VSA is where all of the production VM’s live, but the problem is that the local datastores are in an alarm state because they are above the threshold set at the vcenter level. I suppose I could just change that threshold to like 98% or something and the alarms would go away, but that wouldn’t let us much time to react if the VSA volume ever got full. So the better solution would be to somehow ignore alarms on local datastores but still keep the alarms for shared datastores. Below is what the problem looks like… Local datastores are in an alarm state… but the “real” data which is in “VM Storage Repository” is not full yet.

Solution

After doing a little research I was able to come by one other blog post that used this same method on ESX to fix the errors on the service console volume, but I could not find anything related to local and VSA shared volumes. The process is the same for both though, so I figured I would share.

The first step is to log into vcenter (or esxi, whichever your using) and goto the Datastore Inventory tab. Next create two folders, one for local datastores and another for shared. Then drag your local datastores to the local folder and your shared datastores to the shared folder.

Note that the pictures shows how it will look after we delete some alarms and recreate them.

After putting your datastores in the proper folders click on the vcenter, or esxi object (whichever is the top level) and go to the alarms tab (you will need to click on the Definitions button as well. Find the ‘Datastore usage on disk’ alarm and go into it and take some screen shots of how it is setup, we will use these later to recreate the alrm, then delete it. (Or at least disable it) Then go down to the shared datastore folder that you created, and then into the alarms tab again (then click Definitions). In here we will want to recreate a ‘Datastore Usage on Disk’ alarm so that we still get alarms for our shared storage. Right click and Add new. and then refer to the screenshots you took in order to create it properly. Just for reference here is what it looks like inside of the alarm definition:

Now you should have something that looks like the last screen shot… you will have a ‘Datastore Usage on Disk’ alarm that has been created in “This object” and your local datastores are no longer monitored. If you wanted to you could create a disk usage alarm for the local folder and set its thresholds much higher just to be safe.

02.06.2021

VMWare, Виртуализация

комментария 2

В этой статье мы рассмотрим, как увеличить размер VMFS хранилища с помощью веб интерфейса vSphere Client и из командной строки VMWare ESXi.

При проверке свободного места на VMFS датасторах, вы обнаружили что на одном из них заканчивается свободное место. Вам нужно увеличить размер VMFS хранилища, добавив дополнительное место на СХД.

Сначала нужно увеличить размер LUN на СХД. Как это сделать – зависит от вендора вашей хранилки (если вы используете Microsoft iSCSI, то увеличить размер диска можно через Server Manager -> File and Storage Services -> iSCSI -> выберите диск -> Extend iSCSI Virtual Disk). В нашем примере мы увеличили размер LUN со 100 до 105 Гб.

VMWare ESXi поддерживает два способа расширения VMFS хранилищ – за счет неиспользуемого места на этом же LUN (этот способ мы рассматриваем в статье) или за счет добавление дополнительного LUN-а (способ называется extent). VMFS extent – своеобразный span раздела на несколько LUN. Запись на второй LUN начнется после того, как заполнится первый и т.д.

Как увеличить VMFS хранилище из веб-интерфейса VMWare vSphere Client?

В интерфейсе vSphere Client выберите раздел Storage;
Щелкните правой кнопкой мыши по датастору и выберите Increase Datastore Capacity;
Выберите диск (LUN), который надо расширить. Обратите внимание на значение поля Expandable. В нем должно быть указано Yes. Это значит, что данное VMFS хранилище можно расширить;

Если тут указано No, значит расширить этот раздел можно только с помощью VMFS Extent, растянув VMFS раздел на два LUN. The datastore already occupies one or more extents on this device. Selecting free space adjacent to an extent in the datastore will expand that extent. Selecting any other option will add a new extent to the datastore. Максимальный размер VMFS хранилища для VMFS6 – 64 Тб. Том может состоять из одного LUN или из максимум 32 extent-ов общей емкостью до 64 Тб.

В некоторых случая расширить VMFS хранилище из графического интерфейса vSphere Client нельзя. Чаще всего проблема связана с невозможностью расширить VMFS хранилище на загрузочном диске. При этом появляется ошибка:

В этом случае придется расширить хранилище из командной строки хоста ESXi.

Расширить VMFS хранилище из командной строки VMWare ESXi

Подключитесь к хосту ESXi через SSH (можно использовать встроенный SSH клиент Windows)
Пересканируйте адаптеры хранения: esxcli storage core adapter rescan --all
Затем нужно определить диск, соответствующий вашему VMFS хранилищу: vmkfstools -P /vmfs/volumes/DCx2VMFS1 . В нашем случае диск выглядит так /vmfs/devices/disks/naa.60003ff44dc75adca68b263bd62e4d1f.:1 означает, что VMFS хранилище расположено на первом разделе диска;
Проверим таблицу разделов диска: partedUtil get /vmfs/devices/disks/naa.60003ff44dc75adca68b263bd62e4d1f

Как вы видите, вы успешно расширили VMFS хранилище на 5 Гб. Операция выполнялась онлайн без отмонтирования хранилища и без остановки ВМ.

Читайте также: