Что представляют собой большие объемы данных?

Большие объемы данных

Объем данных, поступающих в организацию из различных источников, стремительно и непрерывно растет. Системы и устройства, в том числе компьютеры, смартфоны и другое оборудование, создают и используют крупные наборы данных.
 

Что же представляют собой большие объемы данных? Большие объемы данных — это общий термин для структурированных и неструктурированных наборов данных, объем и сложность которых делают невозможной их надлежащую обработку с помощью традиционных приложений и систем. Большие объемы данных часто используются для прогнозного анализа. Анализ наборов данных помогает выявлять новые взаимосвязи и определять тенденции в бизнесе, предотвращать эпидемии, бороться с преступностью и решать множество других задач. 
 

Отраслевой аналитик Даг Лэйни (Doug Laney) определяет большие объемы данных с помощью следующих характеристик.

• Объем: терабайты, записи, транзакции, таблицы и файлы
• Скорость: пакетная и потоковая обработка в режиме реального времени или близком к реальному времени
• Многообразие: структурированные, неструктурированные и частично структурированные данные

Apache Hadoop (или Hadoop) — это ПО с открытым исходным кодом, которое используется для распределенного хранения и обработки больших объемов данных. Пакеты Hadoop интегрированы в крупные дистрибутивы таких компаний, как Cloudera, Hortonworks, MAPR и Pivotal, для выполнения рабочих нагрузок, связанных с большими объемами данных.

Препятствия для успешной обработки больших объемов данных

Компании часто сталкиваются с препятствиями при реализации проектов, связанных с большими объемами данных. В числе этих препятствий бюджетные ограничения, отсутствие необходимых ИТ-навыков и риски привязки к платформе.

Бюджетные ограничения

Согласно исследованию Deloitte, бюджетные ограничения и высокие расходы являются основными факторами, из-за которых многие компании не развертывают решения для обработки больших объемов данных. Доказать целесообразность инвестиций в новую ИТ-инфраструктуру для обработки больших объемов данных бывает сложно, особенно если у компании нет готового экономического обоснования.

ИТ-навыки

Обработка рабочих нагрузок, связанных с большими объемами данных, значительно отличается от обработки стандартных рабочих нагрузок корпоративных приложений. Рабочие нагрузки, связанные с большими объемами данных, обрабатываются параллельно, а не последовательно. Как правило, ИТ-отделы отдают наивысший приоритет важным рабочим нагрузкам, а выполнение менее приоритетных задач планируется в пакетном режиме в ночное время или осуществляется при наличии свободных ресурсов. При анализе больших объемов данных необходимо выполнять многочисленные сценарии использования в режиме реального времени, чтобы обеспечить оперативный анализ и реагирование. Это вынуждает ИТ-отделы изменять политики ЦОД и изучать новые средства для создания, администрирования и мониторинга новых рабочих нагрузок.

Привязка к платформе

Компаниям необходимо выбирать для своих приложений и данных подходящую инфраструктуру. На приобретение оборудования требуется время. Переход в облако — хороший способ проверки концепции, однако он создает риск привязки к платформе и возникновения проблем безопасности, а также требует значительных расходов в масштабе всей системы. Компаниям также приходится выбирать, какой дистрибутив Hadoop использовать, так как Cloudera, Hortonworks, MAPR и Pivotal предлагают эффективные, но при этом несовместимые архитектуры. Так как принятые решения часто бывает трудно корректировать в дальнейшем, многие компании откладывают внедрение технологий обработки больших объемов данных.