ビッグデータの急激な増加には目を見張るものがあり、その発生源や種類、発生頻度も増加の一途をたどっています。コンピューター、スマートフォン、アプライアンス、機器などのシステムやデバイスによって、膨大なデータ セットが作り出され、積み上げられています。
そもそも、ビッグデータとはどのようなものでしょうか。ビッグデータとは、構造化データと非構造化データのセットを指す幅広い言葉です。ビッグデータは非常に大量で複雑なため、従来のデータ処理アプリケーションやシステムでは適切に処理できません。ビッグデータは、予測分析の向上に使用されることが多く、データ セットを分析することで新たな相関関係を検出し、ビジネス トレンドの特定、病気の予防、犯罪撲滅などに役立てることができます。
業界のアナリストである Doug Laney 氏は、ビッグデータを次の 3 つの「V」で定義しました。
Apache Hadoop(Hadoop)は、ビッグデータの分散格納や分散処理に使用される、オープン ソースのソフトウェアです。Hadoop は、Cloudera、Hortonworks、MAPR、Pivotal などの企業が提供する大規模なディストリビューションにパッケージングおよび組み込まれており、ビッグデータのワークロードの実行に利用されています。
企業がビッグデータ プロジェクトの実現において直面する問題には、予算の制約、IT の専門知識不足、プラットフォーム ロックインのリスクなどがあります。
Deloitte の調査によると、予算の制約とコストの問題が、多くの企業がビッグデータの導入を断念する主な理由となっています。特にビジネス自体の投資対効果が保証されていない場合、膨大なデータを処理するための新たな IT インフラストラクチャへの投資を正当化することが非常に難しくなります。
ビックデータのワークロードの処理は、一般的なエンタープライズ アプリケーションのワークロードの処理とは異なります。ビッグデータのワークロードは、シーケンシャルではなく並列に処理されます。通常、IT 部門はビジネス クリティカルなワークロードを優先し、優先度が低いタスクは夜間のバッチ処理やキャパシティに余裕のある時間帯にスケジューリングします。ビッグデータの分析では、多くのユースケースをリアルタイムで実行して、分析と対応をリアルタイムで行います。そのため、IT 部門はデータセンターのポリシーを変更して、これらの新たなワークロードを作成、管理、および監視するための新しいツールの使用方法を習得する必要があります。
企業は、アプリケーションやデータを実行するため、適切な種類のインフラストラクチャを選択する必要があります。ハードウェアの調達には時間がかかるため、クラウドへの移行は事前検証には適しているかもしれませんが、プラットフォーム ロックインのリスクがあるとともに、セキュリティに関する懸念と規模の拡大によるコストの増大を伴います。また、企業はどのベンダーの Hadoop ディストリビューションを導入するかを選択する必要があります。Cloudera、Hortonworks、MAPR、および Pivotal が、互換性のない競合アーキテクチャを提供しています。決定しなければならないことが多く、一度決定すると方針の転換が困難なため、多くの企業がビッグデータの導入を躊躇しています。
インフラストラクチャの役割は、物理であるか仮想であるかを問わず、アプリケーションをサポートすることです。アプリケーションには、従来のビジネス クリティカルなアプリケーションのほかに、最新のクラウド アプリケーション、モバイル アプリケーション、ビッグデータ アプリケーションが含まれます。
Hadoop のようなビッグデータ アプリケーションを仮想化することで、物理インフラストラクチャやクラウドでは得られない多くのメリットを享受することができます。ビッグデータのインフラストラクチャの管理を簡素化することで、メリットを享受できるまでの時間が短縮され、費用対効果を高めることができます。VMware のプラットフォームは、従来のアプリケーションと同様に、ビッグデータにも最適です。
ビッグデータのインフラストラクチャの運用とメンテナンスを簡素化します。
クラスタを統合することで設備投資コストを削減し、自動化とシンプルなワークフローによって運用コストを削減します。
インフラストラクチャをオンデマンドで入手できるため、ビジネス バリューを迅速に実現できます。
主要なビッグデータ テクノロジーを早期かつ頻繁に試用できます。マルチテナントにより、複数の Hadoop ディストリビューションを同一の仮想マシン上で実行できます。
リソースをプールしてサーバの使用率を向上させます。ワークロードを自動的に移動できるため、プロセスの効率が向上します。
秘密データを管理し、コンプライアンスを確保します。