Как сделать uld файл
Обновлено: 03.07.2024
Взрыв интереса и рост рынка NFT токенов поднял на поверхность ключевые вопросы отрасли. Мы разработали юридическую модель создания NFT на основе Парижской Конвенции по охране промышленной собственности и нового инструмента Всемирной организации интеллектуальной собственности (ВОИС) при ООН. Данный метод имеет надгосударственный правовой статус и не требует дополнительной легализации в 177 странах мира. А еще это занимает всего 15 минут и стоит копейки. Обьединив международное право и NFT мы все вместе создадим огромный новый рынок до конца 2021. Тут образцы договоров и все детали, чтобы вы могли самостоятельно их применять.
Какую интеллектуальную собственность можно превратить в NFT с помощью этой методологии?
Коммерческую тайну и нераскрытое ноу-хау.
Творческое произведение. Аудио, визуальное или литературное.
Творческий дизайн. Например, логотип бренда, орнамент, текстиль или архитектурный дизайн.
Промышленный проект. Различные технические схемы, планы и процессы.
Программный код. Игры, приложения и др.
Исследования. В том числе в форме лабораторных заметок, отчётов и других результатов.
Данные. Например, результаты обучения алгоритмов искусственного интеллекта, результаты генетического секвестирования.
Такая информация может быть преобразована в NFT токены и реализована, как в целом, так и в долевых частях участия в создании, разработках и использовании объектов ИС. Около половины выдающихся изобретений остаются частично или полностью в форме ноу-хау, чтобы предотвратить нелегальное использование. Этот метод создает рынок для легальной торговли такими объектами интеллектуальной собственности. Кроме того, не любой результат интеллектуальной деятельности подлежит правовой охране и считается изобретением по определению и в силу изъятий, установленных законодательством. Такими объектами могут быть нетехнические решения задач, проекты, схемы, идеи и т.п. Метод препятствует хищениям, а также может внести определенный порядок в транзакции с ноу-хау.
Шаг 1. Создаем PDF документ с вашей интеллектуальной собственностью. Подписываем вашей электронной подписью.
Подпись связана как с вами, как с автором, так и с самим документом. Документ, подписанный электронной подписью, имеет такую же юридическую силу, как и документ, подписанный рукой в бумажном формате.
Шаг 2. На сервисе WIPO PROOF Всемирной организации интеллектуальной собственности (ВОИС) при ООН загружаем документ и получаем WIPO токен
Это онлайн-сервис, который быстро создает защищенное от взлома доказательства существования вашего цифрового файла на определенный момент времени. Этот новый сервис главной международной организации управляющей правами интеллектуальной собственности дает способ защитить ценные цифровые активы, будь то творческое произведение, дизайн продукта, изобретение или исследовательские данные и выводы, полученные в процессе инновационной работы.
Шаг 3. Превращаем в NFT токен
I. В публичном описание (metadata) указываем условия владения интеллектуальной собственностью передаваемой автором владельцу данного выпущенного NFT токена. И вшиваем IPFS линк на Договор Публичной Оферты о Продаже Ноу-Хау, подписанный автором.
II. Там же описываем суть нераскрытого изобретения, область применения и результаты экспериментов. Описываем материалы, которые содержатся в приватной части.
III. Прикладываем сертификат Всемирной организации интеллектуальной собственности.
IV. Опционально можно добавить отчет международного патентного поверенного о новизне, изобретательском уровне ноу-хау и промышленной применимости. Это дает покупателю «пощупать» изобретение перед покупкой.
V. В приватном описании (Unlockable Content) доступном только для владельца токена выкладываем IPFS линк на зашифрованный архив со всеми материалами и чертежами. А также IPFS линк на WIPO токен, который неразрывно связан с сертификатом в публичной части.
Пример, который мы сделали для демонстрации
Мой друг, Сергей Виноградов, Евразийский патентный поверенный (рег. номер 3) с которым совместно была разработана эта методология. Но еще он физик и инженер-изобретатель. Мы выложили его нераскрытое изобретение по усовершенствованию катушки Тесла в полном соответствие с вышеизложенными принципами.
Ему удалось снизить резистивные потери до 70000 раз, расширить динамический диапазон, а также увеличить температурную и механическую стабильность. Это "core invention" для нового поколения элементов в области электротехники, энергетики и приборостроения. Это существенно сократить глобальные потери при транспортировке и трансформации энергии, которые составляют 24%.
У нас стояла задача сделать целостную процедуру для международных сделок с NFT токенами действительную в абсолютном большинстве юрисдикций. Для этого мы максимально используем ресурсы надгосударственной управляющей организации. От применения WIPO PROOF сертификата до указания их арбитражного центра, как пространство разрешения любых споров. WIPO исключительно хорошо понимает характер соглашения о передаче ноу-хау. Имеет экспертизу и умеет ориентироваться в сложных нестандартных технологических процессах любых сделок, связанных с интеллектуальной собственностью.
К настоящему моменту образовалась среда для появления нового рынка интеллектуальной собственности. С одной стороны WIPO создало уникальное удостоверение о приоритете с аутентификацией автора хорошо сочетающееся с его надгосударственным арбитражем. С другой стороны новая технология NFT оформилась, как многомиллиардный рынок и подтвердила свою первичную жизнеспособность.
Яна, ну да, это файлы, который нам испытательный центр предоставил. У них там есть компьютеризированная установка в автоматическом поворотном устройстве устанавливается сам светильник, это всё в затемнённом зале, на определённом расстоянии фотодетектор, оно поворачивает на маленький угол, замеряет и так снимает КСС. На выходе из той установки выходит файл *.ies. Ну в этом же файле нет геометрии самого светильника?
DIALux - расчёт и проектирование освещения, а как выйти с этой фирмой DIAL dial.de на контакт, во что это выливается?
Я так понял, в самом DIALux можно создать сам светильник и прицепить к нему КСС из файла *.ies. Но он получается в виде прямоугольного паралелепипеда, причём поверхность выхода света в нём по центру получается, её нельзя сместить к одному из краёв. А существует ли возможность сделать так, чтоб светильник в проекте DIALux был похож на сам светильник (в трёхмерке)?
Александр, это все можно и это работает (в диалюкс вставляется светильник нужных размеров и формы, ИС располагается в нужном месте), также подтягиевается картинка СП. Но это несет не файл расчета в себе, а нужен полный импорт через базу диалюкс или плагины.
Вам как производителю, у которого объемы не сильно велики не стоит заморачиватся с сотрудничеством с диалом, это стоит не малых денег.
Просто сделайте толковые и корректный файлы, а лучше обратитесь в специалистам, либо первоисточнику - кафедра электротехники и светотехники НАУ (Шевченко Владимир Александрович).
Александр, dialog@dial.de Писать лучше на английском языке. Плагины создаются только для официальных партнеров, сколько стоит им стать - не знаю. Если узнаете сумму, поделитесь с нами информацией, многие спрашивают сколько это стоит.
Александр, вот это как раз и интересует - как должны выглядеть толковые и корректные файлы светильников и в каком они должны быть формате? Т. е. как их сделать так, чтобы потом проектировщикам-дизайнерам освещения было наиболее удобно с ними работать в DIALux-е? Где можно посмотреть примеры толковых и корректных файлов светильников?
Александр, это все есть у толковых производителей СП - Пфилипс, Осрам, Айгузини, СТ, да и другие. Вам наверное в Тернополе мерили, вот там тоже норм делают.
Александр, мерили в Киеве в институте им. Лашкарёва. Так там же тот аппарат ихний выдаёт только файл КСС типа *.ies. Они там ничего с тем файлом не делают, не редактируют, вот как выдало - так и есть. Смотрел базы других производителей, ну из отечественных - выкладывают в формате *.ies, например ВАТРА да и другие, а так вообще встречается ещё в формате *.ldt, но почему-то не все ldt-шки у меня открываются и ещё встречается в формате *.uld. Ну *.uld формат уже содержит в себе только контур светильника в виде прямоугольного паралелепипеда или цилиндра. Хотелось бы узнать мнение дизайнеров освещения - с каким форматом светильников им наиболее удобно работать?
Александр, дизайнеры думаю сами нарисуют в 2д или 3д светильник. А проектировшикам главное чтоб были реальные характеристики и габариты. Ies или ldt думаю не существенно.
Доброго времени суток. Недавно начал осваивать программу,сейчас занимаюсь проектом наружного освещения. Возникла проблема с добавлением новых светильников. Скачал с сайта базы в формате .ldt, а при импорте требуются файлы в формате .uld. Если не затруднит, объясните пошагово добавление. Так же хотелось узнать каким целям служат плагины и чем они отличаются от баз.
Есть ли возможность в 3D использовать стандартные металлоконструкции (опоры светильников, фонарные столбы)? Заранее спасибо.
| Gavr: |
| Каталоги или базы? По моему формат ies не предусматривает наличие изображения для светильника. О какой именно базе идет речь? |
База данных светильников "Световые Технологии" c этого сайта, если этот формат не поддерживает изображения, то тогда какие базы нужно скачивать чтоб отображались картинки светильников ? не очень удобно выбирать светильник в слепую, или придется скачать каталог продукции в PDF по нему выбирать светильник, а потом уже искать этот файл в скачанной базе светильников "Световые Технологии" так ?
06 Август 2013 в 16:37
База данных Световые Технологии
Производитель: Компания «Световые Технологии»
Тип: Архив с файлами в формате *.ldt
Размер: 1,3 МБ
Версия: от 25.01.2013
| Atleto: |
| Формат ldt, так же как и ies, не поддерживает столь подробного описания светильника чтобы показывать для него картинку. Подобное есть только в форматах uld и плагинах производителей светильников. Пользуйтесь плагином, там есть изображение и можно выбирать параметры светильника, но плагин у них не обновлялся с 04.2012. |
Подскажите а плагины только через интернет работают или можно локально использовать ?, на работе с интернетом проблема админ закрыл доступ карпаративная защита говорит.
06 Август 2013 в 19:11
расширение uld это случайно не Eulumdat ?
Плагины скачиваются и устанавливаются как программа.
Нет. Eulumdat это ldt. Файлы с расширением uld могут создавать только партнеры Dialux. В соседней теме создание плагина обсуждали - то же самое.
| Atleto: |
| Плагины скачиваются и устанавливаются как программа. |
06 Август 2013 в 21:31
подскажите пожалуйста как светильник 3D из автокада формате .dwg вставить в диалюкс ево, в какой формат нужно перевести ?
Dmitriy, плагины российских производителей можно пересчитать по пальцам, их всего то 4-5 штук. Плюс они обновляются гораздо реже чем базы.
Плюсы баз: не нужно быть партнером Диалюкса и заключать с ними договор чтобы создать файлы ies; чаще обновляются; меньше размер и т.д.
По поводу импорта модели из автокада - в Dialux 4 есть один общий формат - *.sat, в Эво не нашёл его.
| olecorp: |
| Dmitriy, плагины российских производителей можно пересчитать по пальцам, их всего то 4-5 штук. Плюс они обновляются гораздо реже чем базы. Плюсы баз: не нужно быть партнером Диалюкса и заключать с ними договор чтобы создать файлы ies; чаще обновляются; меньше размер и т.д. |
07 Август 2013 в 17:06
Подскажите где взять видео уроки на Русском если у кого есть поделитесь, пожалуйста )
Подскажите, пожалуйста, как можно вернуть ассоциацию файлов *.ies с DiaLUX'ом?
Правил *.ies при помощи блокнота и забыл убрать галочку "открывать по умолчанию все файлы этого типа". Теперь все файлы *.ies ассоциированы с блокнотом и при добавлении папки со светильниками (во вкладке "выбор светильников") в DiaLUX их КСС не отображаются и добавить в проект через контекстное меню их нельзя. Если щелкнуть 2 раза-открываются блокнотом.
Выбрал в качестве основной программы для даного типа файлов DiaLUX, теперь КСС отображаются при открытии папки во вкладке "выбор светильников", однако в контекстном меню (если правой кнопкой целкнуть по нужной КСС) пункты "ввести в проект" и "добавить в собственный банк данных" отсутствуют. Там обычное Виндовское контекстное меню.
Подскажите, пожалуйста, каким образом можно вернуть прежнее контекстное меню, чтобы из него можно было добавлять файл *.ies в проект или в собственный банк данных?
Пробовал переустанавливать DiaLUX-не помогло. Винду переустанавливать не хочу.
Подскажите, пожалуйста, как можно вернуть ассоциацию файлов *.ies с DiaLUX'ом?
Нововведением в DIALux 4 стала вкладка Метод плана техобслуживания. Здесь приводится поддерживающая определение коэффициентов обслуживания схема, базирующаяся на EN 12464-1 и CIE 97. Параметры обслуживания осветительных установок в проекте могут быть оптимизированы относительно значения коэффициента обслуживания и нового значения установки. Для пользователя также предусмотрена возможность использовать значение коэффициента обслуживания как общее совместимое значение комнаты и не ориентируемого светильника. После введения EN12464 проектировщик должен обеспечить разработку плана техобслуживания в проекте освещения. В DIALux теперь это объединено с программой планирования освещении и обеспечивается автоматически.
Рис. 78 Редактирование данных помещения - Метод плана техобслуживания
Простой метод определения коэффициента обслуживания
В DIALux пользователь имеет возможность выбрать, рассчитывать ли общий коэффициент обслуживания для всего помещения, или определить соответствующий коэффициент обслуживания для каждого светильника / осветительной установки. Более простой и идентичный с ранними версиями DIALux путь - использование классического метода. После того, как помещение или наружная сцена были вставлены в проект, пользователь может сделать вышеупомянутый выбор на странице свойств.
Рис. 79 Редактирование данных помещения – Выбор рекомендованных значений коэффициента обслуживания
Для классического метода рекомендованные значения также названы г. Стокмаром в статье "Коэффициент обслуживания - теория и практика" в Light 6-2003 в таблице 1. Конечно, пользователь может также редактировать любой коэффициент обслуживания в соответствующем поле.
После выбора светильника, пользователь может поместить его в любой установке. Также он имеет доступ к техническим характеристикам светильника.
Рис. 80 Технические характеристики светильника
Поскольку световой поток и поправочный коэффициент влияют на число светильников, эти данные можно редактировать здесь.
Рис. 81 Определение числа светильников
В DIALux метод коэффициента использования полагается на CIE, чтобы грубо определить правильное число для всех возможных размещений светильников. Таким образом обозначается ожидаемое новое значение освещенности, а так же значения коэффициента обслуживания.
Кроме того, новое значение и значение коэффициента обслуживания всего помещения обозначаются аналогично. Пользователь может немедленно понять влияние этой осветительной установки на все планирование. В этом случае значения идентичны, потому что никакой другой осветительной установки в комнате не существует.
При выводе результатов коэффициент обслуживания указывается как прежде на нескольких разных страницах результатов. Например, как здесь на странице "План техобслуживания".
Если пользователь явно не выбирает метод плана обслуживания, ничто не изменяется в использовании DIALux. "Классический" метод также выбирается при первоначальной вставке нового помещения в проект.
Рис. 82 Результат - План техобслуживания
Расширенный метод определения коэффициента обслуживания
Пользователь также может определить, если требуется, коэффициент обслуживания единственного используемого светильника (установки). Кроме того, соответствующий метод должен быть выбран сначала на странице свойств помещения
Для помещения или наружной сцены сначала определяются окружающие условия. Здесь пользователь может выбрать из следующих заданных условий: очень чистые, чистые, нормальные и загрязненные (по книге Trilux "Planning help 12464").
Здесь также устанавливается интервал обслуживания помещения.
Рис. 83 Выбор определения расширенного коэффициента обслуживания
После выбора светильника, пользователь может поместить его в любой установке. Он также имеет доступ к техническим характеристикам светильника. Эта страница свойств идентична странице из простого метода.
Если пользователь использует светильник с несколькими (различными) излучающими элементами (LEO, Light Emitting Object - Светоизлучающий объект), он может установить для каждого LEO обособленно выбор лампы и поправочный коэффициент.
Рис. 84 Технические характеристики светильников с различными светоизлучающими элементами
Новое значение освещенности и значения коэффициента обслуживания будет обозначено, так же как и в простом методе. Дополнительно новое значение и значение коэффициента обслуживания всего помещения обозначаются аналогично. Пользователь может немедленно понять влияние этой осветительной установки на всю планировку. В этом случае значения идентичны, потому что в комнате никакой осветительной установки еще не существует.
Рис. 85 Определение числа светильников
На странице свойств Показатель техсодержания осветительной установки все параметры могут быть отредактированы для коэффициентов обслуживания этого светильника. Если светильник имеет несколько LEO, они могут аналогично индивидуально параметризоваться.
На этой странице свойств пользователь может оптимизировать осветительную установку относительно коэффициента обслуживания. Если изготовитель светильника определил параметры обслуживания для этого светильника в своем Каталоге или ULD-файле, это будет отмечено в поле Тип светильников и - при условии, что это доступно - в поле Тип ламп. Коэффициент обслуживания в зависимости от окружающих условий (уже определен на странице свойств помещения), монтажная высота (индекс комнаты k, также определяемый из монтажной высоты), продолжительность работы в часах (вводится здесь) и интервал обслуживания светильников и ламп (определяется также здесь). Если изготовитель светильника не определил никаких параметров, пользователь может выбрать их из выпадающих списков рядом с типом светильника и типом лампы примерные данные CIE.
Если пользователь захочет по каким-то причинам использовать другие коэффициенты, он может установить флажок в соответствующем поле индивидуальных коэффициентов.
Рис. 87 Определяемые пользователем коэффициенты обслуживания
Для коэффициентов обслуживания, которые выбрал пользователь (LLMF или/и LMF), тип лампы или тип светильника устанавливаются как По определению пользователя. Теперь проектировщик может вставить непосредственно коэффициенты и, кроме того, дополнительное замечание. На этой странице свойств проектировщик также имеет краткий обзор значений коэффициентов обслуживания и новое значение для всей осветительной системы так же как и отдельной установки. Поэтому он может оптимизировать схему обслуживания с целью сокращения числа частей осветительной установки и минимизации усилий по обслуживанию.
С другой установкой в том же самом помещении значения, конечно, изменяются как для всей освещенности, так и для значений соответствующей установки.
Рис. 88 Вставка другой осветительной установки в то же помещение
Теперь оптимальное число частей может быть определено здесь для исследования желательной освещенности во всем помещении.
Это может быть также рассмотрено в окне CAD. Поскольку возможно, что светильники в некоторых зонах комнаты находятся в иных условиях (увеличенное загрязнение, другое время зажигания, …), индивидуальные коэффициенты обслуживания светильников можно показать в окне CAD, и поэтому локальное распределение этих измененных рабочих условий может быть легко понято. Вы можете показать коэффициенты обслуживания в окне CAD с помощью меню Вид > Показать факторы плана технического содержания в CAD или инструментальной панели.
Рис. 89 Отображение коэффициентов обслуживания в окне CAD с помощью меню Вид
Рис. 90 Кнопка "Показать факторы плана технического содержания в CAD“
Пользователь имеет возможность редактировать коэффициенты обслуживания, когда соответствующая функция вызвана в меню Обработать > Обработать коэффициенты техсодержания
Рис. 91 Меню Обработать – Обработать коэффициенты техсодержания
или в контекстном меню осветительной установки.
Рис. 92 Контекстное меню осветительной установки - Обработать коэффициенты техсодержания
Также установленный коэффициент обслуживания документируется в данных результатов. Кроме того, начиная с DIALux 4, План техобслуживания добавлен как новый вид результата.
Рис. 93 Отображение коэффициентов обслуживания отдельных светильников в окне CAD
Теперь в DIALux можно сохранить план техобслуживания как *.RTF файл.
Рис. 94 Экспорт плана техобслуживания в формате RTF
В области обеспечения непрерывности бизнеса существует много различных проблем, связанных с быстрым ростом данных в современных IT инфраструктурах. На мой взгляд, можно выделить две основные:
- Как запланировать место для хранения большого объема данных
- Как сделать резервную копию этих данных
Действительно, рост объема данных на терабайты в год у какой-нибудь крупной организации – сегодня вполне реальный сценарий. Но как быть с эффективным хранением и резервным копированием? Ведь в сутках есть максимум 24 часа и окно резервного копирования не может расти бесконечно (в отличие от самих данных). Сегодня я хочу рассказать, как дедупликация может помочь уменьшить остроту этой проблемы.
Дедупликация
В широком смысле, существует два основных вида дедупликации:
- File-level deduplication (дедупликация на уровне файлов) — единицей дедупликации в данном методе, как несложно понять, является отдельный файл, когда дублирующие файлы исключаются из системы хранения данных. Когда говорят о дедупликации на уровне файлов, часто также упоминают технологию Single-Instance Storage (SIS).
- Block-level deduplication (блочная дедупликация) – здесь единицей дедупликации является блок данных произвольной длины, который часто повторяется в различных логических объектах системы хранения данных.
Обычно, чем более гранулярная схема дедупликации используется, тем больше экономия места в хранилище данных.
Что такое SIS? Суть метода проста, например, если существуют 2 файла, которые абсолютно идентичны, то один из них заменяется ссылкой на другой. Такой механизм успешно работает в почтовых серверах (например, Exchange) и в базах данных. Например, если один пользователь корпоративной почты отправит письмо с прикрепленным файлом нескольким адресатам, то этот файл будет сохранен в базе Exchange только один раз.
Звучит здорово! Но только до той поры, пока файлы абсолютно идентичны. Если один из идентичных файлов будет изменен хотя бы на байт, будет создана его отдельная измененная копия и эффективность дедупликации снизится.
Блочная дедупликация работает на уровне блоков данных, записанных на диск, для оценки идентичности или уникальности которых используются хеш-функции. Система дедупликации хранит хеш-таблицу для всех блоков данных, хранящихся в ней. Как только система дедупликации находит совпадающие хеши для разных блоков, она предполагает сохранить блоки в виде единственного экземпляра и набора ссылок на него. Также можно сравнивать блоки данных с разных компьютеров (глобальная дедупликация), что еще больше увеличивает эффективность дедупликации, так как на дисках разных компьютеров с одной и той же операционной системой может храниться много повторяющихся данных. Стоит заметить, что наибольшая эффективность будет достигнута при уменьшении размера блока и максимизации коэффициента повторяемости блока. В связи с чем существует два метода блочной дедупликации: с постоянной (заранее заданной) и переменной (динамически подбираемой под конкретные данные) длиной.
Области применения дедупликации
Большинство разработчиков продуктов с поддержкой дедупликации сосредоточены на рынке резервного копирования. При этом со временем резервные копии могут занимать в два-три раза больше места, чем сами оригинальные данные. Поэтому в продуктах резервного копирования давно применяется файловая дедупликация, которой, однако, может быть недостаточно при определенных условиях. Добавление блочной дедупликации может значительно повысить эффективность использования систем хранения и сделать выполнение требований отказоустойчивости системы более легким.
Другой способ использования дедупликации – использование ее на серверах продуктивной системы. Это может быть сделано средствами самой ОС, дополнительным ПО или аппаратурой хранилища данных (СХД). Здесь требуется внимательность, например, Windows 2008 — ОС, позиционируемая, как способная производить дедупликацию данных, делает только SIS. В тоже время СХД могут производить дедупликацию на блочном уровне, представляя файловую систему для пользователя в развернутом (оригинальном) виде, скрывая все детали связанные с дедупликацией. Предположим, что на СХД есть 4 ГБ данных, дедуплицированных до 2 ГБ. Иными словами, если пользователь обратится к такому хранилищу, он увидит 4 ГБ данных и именно такой их объем будет помещен в резервные копии.
Сокращенные проценты и большие надежды
Процент сохраненного места на диске – наиболее важная область, которой легко манипулируют, говоря о “95% уменьшении размеров файлов резервного копирования”. Однако, алгоритм, используемый для подсчета этого соотношения, может быть не вполне релевантным к вашей конкретной ситуации. Первую переменную, которую следует принять во внимание, – это типы файлов. Такие форматы, как ZIP, CAB, JPG, MP3, AVI – это уже сжатые данные, которые дают меньший коэффициент дедупликации, чем несжатые данные. Не менее важна частота изменения данных для дедупликации и количество архивных данных. Если вы используете продукт, который дедуплицирует существующие данные на файловом сервере, то не стоит переживать. Но если дедупликация используется, как часть системы резервного копирования, то нужно ответить на следующие вопросы:
- Как часто меняются данные?
- Эти изменения существенны или изменяются только несколько блоков в файле?
- Как часто выполняется резервное копирование и сколько файлов хранится?
Дедупликацию легко рассчитать online с помощью специальных калькуляторов, но таким образом нельзя представить, какой она будет в вашей конкретной ситуации. Как можно заметить, процент зависит от множества факторов и в теории достигает 95%, но на практике может достигать только нескольких процентов.
Время – наше все
Говоря о дедупликации в системах резервного копирования, нам важно знать, как быстро она выполняется. Существует три основных типа дедупликации:
- source (на стороне источника данных);
- target (или «пост-обработка дедупликации»);
- непрерывная (или «транзитная дедупликация»);
Первый тип: Дедупликация на стороне источника данных
Она выполняется на самом устройстве, где находятся исходные данные. Любые данные, помеченные для резервного копирования, поделены на блоки, для них посчитан хеш. Здесь можно заметить 3 потенциальные проблемы.
- Первая проблема в том, что здесь задействованы ресурсы исходной машины. Поэтому нужно убедиться, что у нее имеется достаточно ресурсов процессора и оперативной памяти. Нет никакой разумной причины выполнять дедупликацию на уже нагруженном почтовом сервере. Конечно, некоторые производители говорят о легкости их решений, но это не отменяет тот факт, что эффективность работы исходной среды будет затронута, и это может быть неприемлемо.
- Вторая проблема – где лучше хранить хеш-таблицы? Можно располагать хеш-таблицы на том же source-сервере, либо на централизованном сервере в сети (это необходимо сделать в случае, если применяется глобальная дедупликация), однако такое решение создает дополнительную нагрузку на сеть.
- Несмотря на свои минусы, source дедупликация имеет свое право на применение, например, в компаниях с малым размером ИТ-инфраструктуры, где в инфраструктуре несколько серверов, нерационально использовать глобальную дедупликацию.
Target (или пост-процессная) дедупликация
Предположим, что данные со всех компьютеров отправляются в один репозиторий резервных копий. Как только данные поступят, репозиторий может создать таблицу хеша c блоками этих данных. Первое преимущество такого способа – больший объем данных, а чем больше будет пул данных, тем больше будет таблица хеша и, соответственно, тем больше шансов, найти идентичные блоки. Второе преимущество в том, что весь процесс происходит вне продуктивной сети.
- Первое – зависимость от свободного места. Если у вас обширная инфраструктура, то размер требуемого места может быть очень большим.
- Также второй недостаток target дедупликации – требовательность к дисковой подсистеме репозитория. Обычно данные должны быть записаны на диск репозитория перед разбивкой на блоки, и только потом начинается процесс хеширования и дедупликации. Это делает дисковую подсистему узким местом архитектуры.
- Третий недостаток может быть в том, что у каждой хеш-функции есть вероятность хеш-коллизии, то есть ситуации, когда для двух разных блоков вычисляется один и тот же хеш. Это приводит к повреждению оригинальных данных. Для предотвращения необходимо выбирать хеш-алгоритм с минимальной вероятностью коллизий, что в свою очередь требует бОльшей вычислительной мощности. Обычно, это не проблема, так как для target дедупликации используется аппаратное обеспечение, способное справляться с такой нагрузкой. Надо сказать, что вероятность хеш-коллизий современных хеш-функций довольно мала.
- Четвертый потенциальный недостаток в том, что полный объем данных из «продакшн» должен быть передан через сеть без создания существенной нагрузки на сеть и саму продуктивную систему. Это может быть решено использованием ночных или других менее загруженных часов для системы, либо изолированием этого трафика в другую сеть (что является распространенной практикой в средних и крупных компаниях).
Транзитная дедупликация
Транзитная дедупликация объясняется, как процесс, происходящий в течение переноса данных из source на target. Термин немного сбивает с толку. Данные на самом деле не дедуплицируются «в проводе». На самом деле это значит, что данные, собранные в оперативной памяти target устройства, дедуплицируются там перед операцией записи на диск. Это выводит время поиска диска из уравнения. Транзитная дедупликация может рассматриваться как лучшая форма target дедупликации. Она имеет все преимущества глобального представления данных наряду с разгрузкой процесса хеширования, но ни одного из недостатков медленного I/O дисков.
Однако она все еще представляет большой сетевой трафик и потенциальные хеш-коллизии. Этот метод требует наибольших вычислительных ресурсов (процессора и памяти) среди всех перечисленных.
Подведение итогов
Технологии дедупликации могут помочь снизить затраты на покупку систем хранения. Следует продуманно выбирать тип дедупликации. В конечном счете, дедупликация позволит компании медленнее наращивать расходы на хранение своих растущих данных.
Читайте также: