ビッグデータとは

ビッグデータとは

ビッグデータの急激な増加には目を見張るものがあり、その発生源や種類、発生頻度も増加の一途をたどっています。コンピューター、スマートフォン、アプライアンス、機器などのシステムやデバイスによって、膨大なデータ セットが作り出され、積み上げられています。
 

そもそも、ビッグデータとはどのようなものでしょうか。ビッグデータとは、構造化データと非構造化データのセットを指す幅広い言葉です。ビッグデータは非常に大量で複雑なため、従来のデータ処理アプリケーションやシステムでは適切に処理できません。ビッグデータは、予測分析の向上に使用されることが多く、データ セットを分析することで新たな相関関係を検出し、ビジネス トレンドの特定、病気の予防、犯罪撲滅などに役立てることができます。 

業界のアナリストである Doug Laney 氏は、ビッグデータを次の 3 つの「V」で定義しました。

• Volume（データの量）：テラバイト、レコード、トランザクション、テーブル、ファイル
• Velocity（データの速度、頻度）：バッチ、ニア リアルタイム、リアルタイム、ストリーム
• Variety（データの多様性、種類）：構造化、非構造化、準構造化

Apache Hadoop（Hadoop）は、ビッグデータの分散格納や分散処理に使用される、オープン ソースのソフトウェアです。Hadoop は、Cloudera、Hortonworks、MAPR、Pivotal などの企業が提供する大規模なディストリビューションにパッケージングおよび組み込まれており、ビッグデータのワークロードの実行に利用されています。

ビッグデータ プロジェクト成功の障壁

企業がビッグデータ プロジェクトの実現において直面する問題には、予算の制約、IT の専門知識不足、プラットフォーム ロックインのリスクなどがあります。

予算の制約

Deloitte の調査によると、予算の制約とコストの問題が、多くの企業がビッグデータの導入を断念する主な理由となっています。特にビジネス自体の投資対効果が保証されていない場合、膨大なデータを処理するための新たな IT インフラストラクチャへの投資を正当化することが非常に難しくなります。

IT の専門知識

ビックデータのワークロードの処理は、一般的なエンタープライズ アプリケーションのワークロードの処理とは異なります。ビッグデータのワークロードは、シーケンシャルではなく並列に処理されます。通常、IT 部門はビジネス クリティカルなワークロードを優先し、優先度が低いタスクは夜間のバッチ処理やキャパシティに余裕のある時間帯にスケジューリングします。ビッグデータの分析では、多くのユースケースをリアルタイムで実行して、分析と対応をリアルタイムで行います。そのため、IT 部門はデータセンターのポリシーを変更して、これらの新たなワークロードを作成、管理、および監視するための新しいツールの使用方法を習得する必要があります。

プラットフォーム ロックイン

企業は、アプリケーションやデータを実行するため、適切な種類のインフラストラクチャを選択する必要があります。ハードウェアの調達には時間がかかるため、クラウドへの移行は事前検証には適しているかもしれませんが、プラットフォーム ロックインのリスクがあるとともに、セキュリティに関する懸念と規模の拡大によるコストの増大を伴います。また、企業はどのベンダーの Hadoop ディストリビューションを導入するかを選択する必要があります。Cloudera、Hortonworks、MAPR、および Pivotal が、互換性のない競合アーキテクチャを提供しています。決定しなければならないことが多く、一度決定すると方針の転換が困難なため、多くの企業がビッグデータの導入を躊躇しています。