Какой фреймворк сейчас наиболее популярен apache hadoop apache spark apache storm

Обновлено: 04.07.2024

Еще материалы по теме

PXF, Greenplum и оптимизация SQL-запросов к разным источникам данных

AVRO и JSON В Apache Kafka: краткий ликбез по реестру…

На заметку разработчику Spark-приложений: 3 ошибки PySpark и тонкости Outer…

Новое на сайте

Отзывы на Google

Курсы от инженеров и для инженеров. Всё чётко, по делу. Тренеры глубоко знают продукты, о которых читают лекции. read more

Принимал участие в обучении по курсу "KAFKA: Администрирование кластера Kafka". В целом понравилось, но хотелось бы более качественной организации работы с лабгайдами. Когда лектор выполняет лабораторную работу, не совсем удобно выполнять её параллельно - где-то отстаешь, где-то убегаешь вперед. Может будет лучше разделить на более мелкие модули. read more

Прошел Курс Администрирование кластера Hadoop. Подача материала хорошая, размеренная. Преподаватель отвечает на все вопросы, и пытается как можно прозрачней приподнести материал. read more

Обучался на программе HADM. Подача материала доступная. Порадовало соотношение теории и практики 50/50. Отзывчивый преподаватель. Однозначно рекомендую. read more

Заканчиваю прохождения курса "ADH: Администрирование кластера Arenadata Hadoop". Хочу сказать, что выстроен грамотный план обучения, где отслеживается отличное соотношение практики и теории. Преподаватель, Комисаренко Николай, обладает отличным чувством юмора, что позволило не скучать на серьезных темах, и обладает отличным навыком объяснять сложные вещи простыми словами. На курс приходил с большим числом вопросов, на все из которых получил грамотные ответы, после чего все разложилось по полочкам. read more

В декабре 2020 прошел курс "Администрирование кластера Kafka". Курс проводился удаленно. В части организации обучения придраться не к чему. Необходимую информацию прислали заранее, лабораторный стенд и портал обучения работали стабильно. Немного разочаровали лабораторные работы. На месте BigDataSchool я бы их переделал. В документах с лабами нужно сделать нормальное форматирование и нумерацию пунктов. Все пункты, необходимые для выполнения, нужно сделать в виде текста. В лабах много работ по созданию «обвязки» kafka (создание самоподписных сертификатов, развертывание MIT и т.п), которые можно сделать заранее. Это позволит студентам уделять больше времени изучению самой kafka. BigDataSchool идет навстречу и позволяет пользоваться лабораторным стендом гораздо дольше установленных часов обучения. Это очень к стати, если в течении дня Вы вынуждены отвлекаться от обучения. В целом, курс дает хорошую базу по kafka. Преподаватель хорошо подает материал, делает акценты в нужных местах, подробно отвечает на вопросы. read more

С 30 ноября по 4 декабря прошел курс "Администрирование кластера Hadoop". Учитывая, что я обладал довольно поверхностной информацией в данной теме (я CIO) - ушел с курсов просветленным. Многое стало понятным, в процессе обучения наложил знания на существующую инфраструктуру компании, в которой работаю. Рекомендую коллегам руководителям в ИТ - прокачаться на данном курсе, вы поймете куда двигаться в ближайшие 2-3 года. Админам, работающим или стремящимся в BigData- обязательно! Рекомендация - настойчиво, для тех кто "думает, что знает": перед курсом уделите время работе с командной строкой Linux! Total recall - обязательное условие. Много практической работы, и если есть затык в Linux - будете безнадежно отставать при выполнении лабораторных работ. read more

В октябре прошел курс Анализ данных с Apache Spark, это был второй раз, когда я обучался в этом месте. В целом, все хорошо, думаю что не последний. Не могу не подчеркнуть профессионализм преподавателя Королева Михаила, отвечал на поставленные вопросы, делился своим опытом. В общем, рекомендую! read more

Прошел тут курс "NIFI: Кластер Apache NiFi", вёл Комисаренко Николай. Живое и понятное обучение. Преподаватель отвечал на все вопросы от самых глупых, до самых умных и это было приятно. Так же порадовало, что преподаватель не идёт по заранее проложенным рельсам, а проходит весь путь вместе с вами, стараясь привнести, что-то новое. read more

Спасибо за обучение!

Очень крутое место, много практики, понятное объяснение заданной темы. Еще вернусь :) read more

Обучался на курсе HADM администрирование кластера Arenadata Hadoop. Интересный курс, хорошая подача. read more

Обучался на курсе по администрированию Apache Kafka. Хорошая подача материала, интересные практические задачи. Возникающие вопросы доходчиво и ясно объясняют. Остался очень доволен. read more

Был на курсе "Администрирование кластера Hadoop". Отличная подача материала. Очень много практики и технических подробностей. Подробный обзор стека технологий, платформы и инструментов. Рекомендую! read more

Учился на курсе Администрирование Hadoop. Курс вёл Николай Комиссаренко. Отлично подготовленная, продуманная, системная программа курса. Практические занятия организованы так, что у студентов есть возможность познакомиться с реальными особенностями изучаемого продукта. Отключил голову и прощёлкал лабы по книжке - здесь не работает. Преподаватель легко и развёрнуто отвечает на возникающие вопросы не только по теме предмета, но и по смежным. read more

Прошёл курс по администрированию Apache Kafka. Очень понравилась как подача материала, так и структура курса. Только вот времени маловато оказалось. не всё успел доделать, но это уже не к курсу претензии :). Практики было довольно много, и это хорошо read more

Прошёл курс "Hadoop для инженеров данных" у Николая Комиссаренко. Информация очень актуальна и полезна, заставляет задуматься о текущих методах работы с большими данными в нашей компании и, возможно, что-то поменять. Занятия с большим количеством практики, поэтому материал хорошо усваивается. Отдельное спасибо Николаю за то, что некоторые вещи объяснял простым языком, понятным даже для "чайников" в области Hadoop. read more

I did not find any disadvantages in the course. Pluses: + A lot of practice (50% of the time). + The teacher can explain difficult topics easy way. + Announced topics were considered. Besides additional materials were studied. read more

Посетил курс администрирование Hadoop. На курсе устанавливали кластер с нуля на виртуалках в облаке Amazon. Настраивали Kerberos, тестировали выполнение задач на кластере, управление ресурсами кластера. Т.к. кластер развернут в облаке, после завершения занятий можно самостоятельно работать с кластером из дома. Лекции вел Николай Комиссаренко, после обучения предоставил все материалы. На занятиях отвечал на дополнительные вопросы, рассмотрели как решить пару живых задач от студентов. Хороший курс для начала изучения BigData. Update Дополнительно прошел обучения по Airflow и NiFi. Курсы двух дневные упор на занятиях делался на использовании продуктов, администрированию уделялось меньше времени. Т.к. курсы короткие, то перед занятиями желательно почитать обзорные статьи по продуктам, чтобы не терять время на базовое погружение и задавать более предметные вопросы. Перед началом занятий желательно связаться с школой и запросить что больше интересуется на обучении. Может быть предложить свои кейсы, чтобы на лабораторных отработать не только общий функционал. read more

Был на основах хадупа, все материалы описаны доступным языком. В частности хочу отметить преподавателя Николая Комисаренко, как очень квалифицированного преподавателя и специалиста. read more

Отличные курсы по "Администрированию Hadoop" и отличная организация проведения занятий, все по делу и понятно. Очень понравилось, знания получены основательные. Материал подаётся основательно. Постараюсь ещё попасть на другие курсы. read more

Курс по Isilon у Николая Комиссаренко мне тоже понравился. Грамотный и отзывчивый. Возникали вопросы по курсу он отвечал на все вопросы. Спасибо. Успехов ему read more

Эффективный практический курс. Прошел курс Администрирование Hadoop в октябре 2018. Хорошо наполненный материал, оптимальная длительность курса и все делалось своими руками. Местами было непросто, но преодолимо. Оправдал все ожидания, после курса появилось целостное понимание создания и работы кластера. Николай, большое спасибо read more

Прошёл курс по администрированию Hadoop Cloudera. Отличная "живая" подача материала на "простом" языке. Как плюс работа с кластером построена на платформе AWS. На курсах не скучно, рекомендую! read more

Я узнал много нового посетив курс уважаемого Николая Комиссаренко по айзелону. Очень грамотный специалист обучение было очень полезным и грамотным. Спасибо вам большое read more

Специалисты компании Databricks, основанной создателями Spark, собрали лучшее о функционале Apache Spark в своей книге Gentle Intro to Apache Spark (очень рекомендую прочитать):

“Apache Spark — это целостная вычислительная система с набором библиотек для п араллельной обработки данных на кластерах компьютеров. На данный момент Spark считается самым активно разрабатываемым средством с открытым кодом для решения подобных задач, что позволяет ему быть полезным инструментом для любого разработчика или исследователя-специалиста, заинтересованного в больших данных. Spark поддерживает множество широко используемых языков программирования (Python, Java, Scala и R), а также библиотеки для различных задач, начиная от SQL и заканчивая стримингом и машинным обучением, а запустить его можно как с ноутбука, так и с кластера, состоящего из тысячи серверов. Благодаря этому Apache Spark и является удобной системой для начала самостоятельной работы, перетекающей в обработку больших данных в невероятно огромных масштабах.”

Посмотрим-ка на популярное определение больших данных по Гартнеру. Это поможет разобраться в том, как Spark способен решить множество интересных задач, которые связаны с работой с большими данными в реальном времени:

“Большие данные — это информационные активы, которые характеризуются большим объёмом, высокой скоростью и/или многообразием, а также требуют экономически эффективных инновационных форм обработки информации, что приводит к усиленному пониманию, улучшению принятия решений и автоматизации процессов.”

Заметка: Ключевой вывод — слово “большие” в больших данных относится не только к объёму. Вы не просто получаете много данных, они поступают в реальном времени очень быстро и в различных комплексных форматах, а ещё — из большого многообразия источников. Вот откуда появились 3-V больших данных: Volume (Объём), Velocity (Скорость), Variety (Многообразие).

Основываясь на самостоятельном предварительном исследовании этого вопроса, я пришёл к выводу, что у Apache Spark есть три главных компонента, которые делают его лидером в эффективной работе с большими данными, а это мотивирует многие крупные компании работать с большими наборами неструктурированных данных, чтобы Apache Spark входил в их технологический стек.

Если отвечать коротко, то выбор зависит от конкретных потребностей вашего бизнеса, естественно. Подытоживая свои исследования, скажу, что Spark выбирают в 7-ми из 10-ти случаев. Линейная обработка огромных датасетов — преимущество Hadoop MapReduce. Ну а Spark знаменит своей быстрой производительностью, итеративной обработкой, аналитикой в режиме реального времени, обработкой графов, машинным обучением и это ещё не всё.

Это изображение наглядно показывает, как Spark использует в работе лучшее от Hadoop: HDFS для чтения и хранения данных, MapReduce — для дополнительной обработки и YARN — для распределения ресурсов.

Дальше я пробую сосредоточиться на множестве преимуществ Spark перед Hadoop MapReduce. Для этого я сделаю краткое поверхностное сравнение.

Скорость

Apache Spark —это вычислительный инструмент, работающий со скоростью света. Благодаря уменьшению количества чтения-записи на диск и хранения промежуточных данных в памяти, Spark запускает приложения в 100 раз быстрее в памяти и в 10 раз быстрее на диске, чем Hadoop.
Hadoop MapReduce— MapReduce читает и записывает на диск, а это снижает скорость обработки и эффективность в целом.

Просто пользоваться

Apache Spark— многие библиотеки Spark облегчают выполнение большого количества основных высокоуровневых операций при помощи RDD (Resilient Distributed Dataset/эластичный распределённый набор данных).
Hadoop — в MapReduce разработчикам нужно написать вручную каждую операцию, что только усложняет процесс при масштабировании сложных проектов.

Обработка больших наборов данных

Apache Spark— так как, Spark оптимизирован относительно скорости и вычислительной эффективности при помощи хранения основного объёма данных в памяти, а не на диске, он может показывать более низкую производительность относительно Hadoop MapReduce в случаях, когда размеры данных становятся такими огромными, что недостаточность RAM становится проблемой.
Hadoop —Hadoop MapReduce позволяет обрабатывать огромные наборы данных параллельно. Он разбивает большую цепочку на небольшие отрезки, чтобы обрабатывать каждый отдельно на разных узлах данных. Если итоговому датасету необходимо больше, чем имеется в доступе RAM, Hadoop MapReduce может сработать лучше, чем Spark. Поэтому Hadoop стоит выбрать в том случае, когда скорость обработки не критична и решению задач можно отвести ночное время, чтобы утром результаты были готовы.

Функциональность

Apache Spark — неизменный победитель в этой категории. Ниже я даю список основных задач по анализу больших данных, в которых Spark опережает Hadoop по производительности:

Итеративная обработка. Если по условию задачи нужно обрабатывать данные снова и снова, Spark разгромит Hadoop MapReduce. Spark RDD активирует многие операции в памяти, в то время как Hadoop MapReduce должен записать промежуточные результаты на диск.
Обработка в почти что реальном времени. Если бизнесу нужны немедленные инсайты, тогда стоит использовать Spark и его обработку прямо в памяти.
Обработка графов. Вычислительная модель Spark хороша для итеративных вычислений, которые часто нужны при обработке графов. И в Apache Spark есть GraphX — API для расчёта графов.

Машинное обучение. В Spark есть MLlib — встроенная библиотека машинного обучения, а вот Hadoop нужна третья сторона для такого же функционала. MLlib имеет алгоритмы “out-of-the-box” (возможность подключения устройства сразу после того, как его достали из коробки, без необходимости устанавливать дополнительное ПО, драйверы и т.д.), которые также реализуются в памяти.

Объединение датасетов. Благодаря скорости Spark может создавать все комбинации быстрее, а вот Hadoop показывает себя лучше в объединении очень больших наборов данных, которым нужно много перемешивания и сортировки.

А вот и визуальный итог множества возможностей Spark и его совместимости с другими инструментами обработки больших данных и языками программирования:

Spark Core — это базовый инструмент для крупномасштабной параллельной и распределённой обработки данных. Кроме того, есть дополнительные библиотеки, встроенные поверх ядра. Они позволяют разделить рабочие нагрузки для стриминга, SQL и машинного обучения. Отвечают за управление памятью и восстановление после ошибок, планирование, распределение и мониторинг задач в кластере, а также взаимодействие с системами хранения.
Cluster management (управление кластером) — контроль кластера используется для получения кластерных ресурсов, необходимых для решения задач. Spark Core работает на разных кластерных контроллерах, включая Hadoop YARN, Apache Mesos, Amazon EC2 и встроенный кластерный менеджер Spark. Такая служба контролирует распределение ресурсов между приложениями Spark. Кроме того, Spark может получать доступ к данным в HDFS, Cassandra, HBase, Hive, Alluxio и любом хранилище данных Hadoop.
Spark Streaming — это компонент Spark, который нужен для обработки потоковых данных в реальном времени.
Spark SQL — это новый модуль в Spark. Он интегрирует реляционную обработку с API функционального программирования в Spark. Поддерживает извлечение данных, как через SQL, так и через Hive Query Language. API DataFrame и Dataset в Spark SQL обеспечивают самый высокий уровень абстракции для структурированных данных.
GraphX — API Spark для графов и параллельных вычислений с графами. Так что он является расширением Spark RDD с графом устойчивого распределения свойств (Resilient Distributed Property Graph).
MLlib (Машинное обучение): MLlib расшифровывается как библиотека машинного обучения. Нужна для реализации машинного обучения в Apache Spark.

Вместе со всем этим массовым распространением больших данных и экспоненциально растущей скоростью вычислительных мощностей инструменты вроде Apache Spark и других программ, анализирующих большие данные, скоро будут незаменимы в работе исследователей данных и быстро станут стандартом в индустрии реализации аналитики больших данных и решении сложных бизнес-задач в реальном времени.

Для тех, кому интересно погрузиться глубоко в технологию, которая стоит за всеми этими внешними функциями, почитайте книгу Databricks — “A Gentle Intro to Apache Spark” или “Big Data Analytics on Apache Spark”.

Программирование и разработка

Эта статья — ваш путеводитель и поможет вам разобраться в дебатах между Apache Spark и Hadoop. Мы покажем вам основные сходства и различия между продуктами и поможем понять, какой из них лучше всего подходит для вашего бизнеса. Оба продукта превосходны, и споры вокруг того, какой из них использовать, продолжаются.

В чём сходство?

На самом деле больше похожи, чем разные.

Одна из особенностей самых выдающихся технических профессий — это открытая атмосфера, которая поощряет исследования и разработки. Тот же подход хорошо работает при сравнении таких продуктов, как Hadoop и Spark. Любой вариант предлагает качественную структуру с надёжными функциями. Итак, что же такое Spark и Hadoop? Какие варианты и подходы есть у этих двух компаний и есть ли области, в которых они предлагают идентичные услуги?

Ключевой концепцией, которую следует понимать при работе со Spark и Hadoop, является понятие больших данных. Большие данные — это сбор и изучение огромных объёмов информации с целью лучшего понимания рынка, клиентов и потребностей. Однако большие данные производят огромное количество информации. И для её обработки необходимо использовать специальные методы распространения и анализа. И Hadoop, и Spark делают это через распределённые среды компьютеров и приложений.

Мощность и скорость обработки

Итак, у этих двух фреймворков есть много общего. Это всё хорошо, но мы здесь для развлечения. Если вы потратили время на технические разработки , вы знаете, что большинство продуктов имеют свою нишу, и в этой нише они лучшие в своём деле. Hadoop и Spark ничем не отличаются, и у каждого есть своя область, в которой они лучшие. Одна из областей, где сияет Spark, — это вычислительная мощность и скорость.

Hadoop использует алгоритм MapReduce, который требует чтения и записи с диска, что значительно замедляет работу. Операции процессора в Hadoop также выполняются медленно. Чтобы предотвратить проблемы при обработке больших наборов данных, создаваемых операциями с большими данными. Spark новее и намного быстрее — он использует кластерные вычисления для расширения модели MapReduce и значительного увеличения скорости обработки. А поскольку Spark использует оперативную память вместо дискового пространства, он примерно в сто раз быстрее, чем Hadoop при перемещении данных.

Пакетная обработка и данные в реальном времени

Spark и Hadoop относятся к разным эпохам компьютерного дизайна и разработки. И это проявляется в том, как они обрабатывают данные. Hadoop должен управлять своими данными в пакетном режиме благодаря своей версии MapReduce. А это означает, что у него нет возможности работать с данными в реальном времени по мере их поступления. Это одновременно и преимущество, и недостаток — пакетная обработка — это эффективный метод работы с большими объёмами данных, но отсутствие метода обработки потоковых данных снижает производительность Hadoop.

В целом Spark — гораздо более быстрый фреймворк. Он может обрабатывать пакетную обработку, но также имеет хорошо продуманную потоковую обработку данных. Которая может обрабатывать поток входящей информации и при этом оставаться над водой. Spark также может выполнять несколько задач одновременно; он может без проблем выполнять потоковую и пакетную обработку в одном кластере. Он даже может добавлять в кластер машинное обучение и другие функции, не влияя на производительность.

По данным Forbes, каждый день генерируется около 2,5 квинтиллионов байтов данных. Тем не менее, согласно прогнозам, это число будет постоянно увеличиваться, стоит отметить, что 90% хранимых в настоящее время данных было получено в течение последних двух лет.

Рассмотрим введение в большие данные и различные методы, используемые для их обработки, такие как MapReduce, Apache Spark и Hadoop.

Что отличает большие данные от любого другого большого объема данных, хранящихся в реляционных базах данных, — это их неоднородность. Данные поступают из разных источников и записываются в разных форматах.

Обычно используются три различных способа форматирования данных:

Неструктурированные = неорганизованные данные (например , видео).
Полуструктурированный = данные организованы в нефиксированном формате (например , JSON).
Структурированный = данные хранятся в структурированном формате (например , СУБД).

Большие данные определяются тремя свойствами:

Объем = из-за большого объема данных, сохранение данных на одном компьютере невозможно. Как мы можем обрабатывать данные на нескольких машинах, обеспечивая отказоустойчивость?
Разнообразие = Как мы можем иметь дело с данными, поступающими из различных источников, которые были отформатированы с использованием различных схем?
Скорость = Как мы можем быстро хранить и обрабатывать новые данные?

Большие данные могут быть проанализированы с использованием двух различных методов обработки:

Пакетная обработка = обычно используется, если нас интересует объем и разнообразие наших данных. Сначала мы храним все необходимые данные, а затем обрабатываем их за один раз (это может привести к высокой задержке). Типичным примером применения может быть расчет ежемесячных сводок заработной платы.
Потоковая обработка = обычно используется, если нас интересует быстрое время отклика. Мы обрабатываем наши данные сразу после их получения (низкая задержка). Примером приложения может быть определение того, является ли банковская транзакция мошеннической или нет.

Большие данные могут быть обработаны с использованием различных инструментов, таких как MapReduce, Spark, Hadoop, Pig, Hive, Cassandra и Kafka. Каждый из этих различных инструментов имеет свои преимущества и недостатки, которые определяют, как компании могут принять решение использовать их.

Анализ больших данных в настоящее время широко используется многими компаниями для прогнозирования рыночных тенденций, персонализации взаимодействия с клиентами, ускорения работы компаний и т. д.

MapReduce

При работе с большим объемом данных, когда у нас заканчиваются ресурсы, есть два возможных решения: горизонтальное или вертикальное масштабирование.

В горизонтальном масштабировании мы решаем эту проблему, добавляя больше машин одинаковой емкости и распределяя рабочую нагрузку. При использовании вертикального масштабирования мы вместо этого масштабируем, добавляя больше вычислительной мощности в нашу машину (например , ЦП, ОЗУ).

Вертикальное масштабирование проще в управлении и контроле, чем горизонтальное, и доказано, что оно эффективно при работе с проблемами сравнительно небольшого размера. Хотя горизонтальное масштабирование обычно дешевле и быстрее вертикального масштабирования при работе с большой проблемой.

MapReduce основан на горизонтальном масштабировании. В MapReduce кластер компьютеров используется для распараллеливания, что упрощает обработку больших данных.

В MapReduce мы берем входные данные и делим их на множество частей. Каждая часть затем отправляется на другой компьютер для обработки и наконец, агрегирования в соответствии с заданной функцией groupby.

Apache Spark

Платформа Apache Spark была разработана в качестве усовершенствования MapReduce. Что выделяет Spark среди конкурентов, так это скорость выполнения, которая примерно в 100 раз выше, чем у MapReduce (промежуточные результаты не сохраняются и все выполняется в памяти).

Apache Spark обычно используется для:

Чтение хранимых и данных в реальном времени.
Предварительная обработка большого количества данных (SQL ).
Анализируйте данные с помощью машинного обучения и графовых сетей.

Apache Spark можно использовать с такими языками программирования, как Python, R и Scala. Для запуска Spark обычно используются облачные приложения, такие как Amazon Web Services, Microsoft Azure и Databricks (который предоставляет бесплатную версию сообщества).

При использовании Spark наши большие данные распараллеливаются с использованием эластичных распределенных наборов данных (RDDs ). RDDs являются основной абстракцией Apache Spark, которая берет наши исходные данные и распределяет их по различным кластерам (работникам ). RRD являются отказоустойчивыми, что означает, что они могут восстановить потерянные данные в случае сбоя любого из узлов.

RDDs можно использовать для выполнения двух типов операций в Spark: преобразования и действия

Преобразования создают новые наборы данных из RDDs и возвращают в результате RDDs (например , отображают, фильтруют и сокращают по ключевым операциям). Все преобразования выполняются только один раз, когда вызывается действие (они помещаются в карту выполнения, а затем выполняются, когда вызывается действие).

Вместо этого используются действия, чтобы получить результаты нашего анализа из Apache Spark и вернуть значение в наше приложение Python / R (например , операции сбора и получения).

Для хранения пар key/value в Spark используются парные RDDs. Пара RDD сформирована двумя RRD, хранящимися в кортеже. Первый элемент tuple используется для хранения значений ключа, а второй — для хранения элементов значения (ключ , значение).

Hadoop

Hadoop — это набор программ с открытым исходным кодом, написанных на Java, которые можно использовать для выполнения операций с большим объемом данных. Hadoop — это масштабируемая, распределенная и отказоустойчивая экосистема. Основными компонентами Hadoop являются:

Hadoop YARN = управляет и планирует ресурсы системы, разделяя рабочую нагрузку на кластер машин.
Распределенная файловая система Hadoop (HDFS ) = это кластерная система хранения файлов, разработанная для обеспечения отказоустойчивости, высокой пропускной способности. Кроме того, он может хранить данные любого типа в любом возможном формате.
Hadoop MapReduce = используется для загрузки данных из базы данных, их форматирования и проведения количественного анализа.

Некоторые примеры применения Hadoop: поиск (например , Yahoo), обработка журналов / хранилище данных (например , Facebook) и анализ видео / изображений (например , New York Times).

Традиционно Hadoop была первой системой, которая сделала MapReduce доступной в большом масштабе, хотя Apache Spark в настоящее время является основой предпочтений многих компаний благодаря более высокой скорости выполнения.

Заключение

Термин «большие данные» изначально был придуман для описания проблемы: генерируя большие данные, чем их можем реально обработать. После многих лет исследований и технологических достижений большие данные вместо этого теперь рассматриваются как возможность. Благодаря Big Data последние достижения в области искусственного интеллекта и глубокого обучения стали возможными, что позволило машинам выполнять задачи, которые казались невозможными всего несколько лет назад.

Читайте также: