VMware — лучшая платформа как для приложений, работающих с большими объемами данных, так и для традиционных приложений. Виртуализация приложений, обрабатывающих большие объемы данных, облегчает управление инфраструктурой больших объемов данных, ускоряет получение результатов и позволяет сократить расходы.

Что такое большие объемы данных

Объем данных, поступающих в организацию из различных источников, стремительно растет, и этот рост носит постоянный характер. Системы и устройства, в том числе компьютеры, смартфоны и другое оборудование, создают и используют большие массивы данных.
 

Но что же представляют собой «большие данные»? Термин «большие данные» имеет широкий смысл: он характеризует структурированные и неструктурированные наборы данных, которые невозможно надлежащим образом обрабатывать с помощью традиционных приложений и систем. Для больших объемов данных часто применяется прогнозный анализ. Благодаря анализу наборов данных становятся возможными поиск новых взаимосвязей и обнаружение тенденций в бизнесе, предотвращение эпидемий, борьба с преступностью и решение множества других задач.

Отраслевой аналитик Даг Лэйни (Doug Laney) определяет «большие данные» с помощью следующих характеристик:

• Объем: терабайты, записи, транзакции, таблицы и файлы
• Интенсивность: пакетная и потоковая обработка в реальном или почти реальном времени
• Разнообразие: структурированные, неструктурированные и частично структурированные

Apache Hadoop (или Hadoop) — это ПО с открытым исходным кодом для распределенного хранения и обработки больших объемов данных. Пакеты Hadoop интегрированы в крупные дистрибутивы таких компаний, как Cloudera, Hortonworks, MAPR и Pivotal, они выполняют рабочие нагрузки, связанные с большими объемами данных.

Препятствия для успешной обработки больших данных

При реализации проектов по обработке больших объемов данных компании часто сталкиваются с различными препятствиями, в числе которых бюджетные ограничения, отсутствие технического опыта и риски привязки к платформе.

Бюджетные ограничения

Согласно исследованию Deloitte, бюджетные ограничения и расходы являются ключевыми факторами, противодействующими развертыванию технологий обработки больших объемов данных во многих компаниях. Доказать целесообразность инвестиций в новую ИТ-инфраструктуру с целью обработки больших данных бывает сложно, особенно если у компании нет готового экономического обоснования.

Технический опыт

Обработка больших объемов данных отличается от обработки рабочих нагрузок, типичных для компаний. Рабочие нагрузки, связанные с обработкой больших объемов данных, выполняются не последовательно, а параллельно. Как правило, ИТ отдают наивысший приоритет важным рабочим нагрузкам, а выполнение менее приоритетных задач планируется в пакетном режиме в ночное время или осуществляется при наличии свободных ресурсов. При анализе больших объемов данных необходимо выполнять многочисленные сценарии использования в реальном времени, чтобы анализ и реакция происходили динамически. Это вынуждает ИТ-отделы изменять политики центра обработки данных и изучать средства для создания, мониторинга новых рабочих нагрузок и управления ими.

Привязка к платформе

Компаниям необходимо выбирать для своих приложений и данных подходящую инфраструктуру. Закупка оборудования требует времени; переход в облако — хороший способ проверки концепции, однако он создает риск привязки к платформе, возникновения проблем с безопасностью, а также требует значительных расходов в масштабе всей системы. Кроме того, компаниям необходимо выбирать подходящий дистрибутив Hadoop в условиях, когда Cloudera, Hortonworks, MAPR и Pivotal предлагают архитектуры, которые конкурируют между собой и при этом несовместимы друг с другом. Поскольку принятые решения часто бывает трудно корректировать в будущем, компании зачастую откладывают внедрение технологий обработки больших объемов данных.