ログ分析とは
ログ分析は、ネットワーク、オペレーティング システム、アプリケーション、サーバ、その他のハードウェア コンポーネントとソフトウェア コンポーネントによって生成されたログの確認と解釈を通じて、IT インフラストラクチャおよびアプリケーション スタックのパフォーマンスや健全性を可視化するプロセスです。
一般的に、ログには、コレクターを使用してリアルタイムでストリーミングされた時系列データ、または後で確認するために保存された時系列データが含まれています。ログ分析を利用すると、システム パフォーマンスに関するインサイトを入手し、セキュリティ侵害や発生が予測されるハードウェア障害などの問題を把握できます。
VMware vRealize Log Insight Cloud：クラウドサービスの概要
VMware Aria Operations for Logs で問題を迅速かつインテリジェントにトラブルシューティング
ログ分析のメリット
- コンプライアンスの確保：数多くの行政機関や規制機関が、それぞれの規制に対するコンプライアンスの実装を組織に求めており、ほとんどすべての組織がその影響を受けています。ログ ファイルの分析をすることで、組織は HIPAA、PCI、GDPR、またはその他の規制要件を実際に満たしていることを証明できます。
- セキュリティの強化：サイバー犯罪の組織化が進むにつれ、より強力な対策の必要性も高まっています。イベント ログ分析はプロアクティブな対策を講じるための強力なツールであるとともに、侵害やデータ損失が発生した場合でも事後のフォレンジック調査を可能にします。ログ分析では、ネットワーク監視データを活用して不正アクセスの試みを発見し、セキュリティ運用とファイアウォールが最適に構成されていることを確認できます。
- 効率性：ログ分析のフレームワークは、組織全体の効率向上に役立ちます。すべての部門の IT リソースが 1 つのログ リポジトリを共有でき、組織のログ データを分析し、すべてのビジネス部門と部署におけるエラーや傾向を見つけて、迅速に修正できます。
- 高可用性：ログ分析で発見された情報に基づいて適時に措置を講じることで、ダウンタイムを引き起こす問題を防止できます。その結果として、企業はビジネス目標を達成し、IT 組織は所定の連続稼働時間保証に沿ってサービスを提供するという約束を果たすことができます。
- オーバープロビジョニングやアンダープロビジョニングの回避：組織はピーク時の需要に対応する計画を立てる必要がありますが、ログ分析により、現在の需要、および予測される傾向に対応するのに十分な CPU、メモリ、ディスク、ネットワーク帯域幅があるかどうかを予測できます。オーバープロビジョニングは貴重な IT 資産を浪費することになります。アンダープロビジョニングの場合は、サービス停止につながる可能性があるため、組織は需要の変動に対応するために追加リソースの購入またはクラウド リソースの利用を迫られることになります。
- セールスとマーケティングの有効性：ログ分析では、セールス担当者とマーケティング担当者は、トラフィック量や顧客が訪問したページなどのメトリックを追跡することで効果的なプログラムの特定や変更すべき点の把握ができます。また、トラフィック パターンに基づいて、組織の Web サイトを再調整し、もっともアクセスの多い情報にユーザーがより簡単にたどり着けるようにすることもできます。
ログ分析が重要な理由
ログはアプリケーションのパフォーマンスや健全性を可視化するため、ログ分析をすることで、運用チームと開発チームは事業活動中に発生したパフォーマンスの問題を把握して修正できます。
ログ分析には、次のような多くの重要な機能があります。
- 社内ポリシーに加えてガバナンスおよび規制の要件を順守する
- セキュリティ侵害やデータの持ち出しを追跡して、責任者を特定し、侵害状態の修正を図る
- フルスタックの診断とトラブルシューティングを支援する
- ユーザーの異常な振る舞いを追跡し、悪意のある意図や侵害されたシステムを検知する
- マルウェア攻撃、持ち出し、従業員による窃盗に関するフォレンジック調査を支援する
一部の規制機関は、規制へのコンプライアンスを証明できるようにログ ファイル分析を実行することを組織に求めています。また、サイバーセキュリティ体制の改善に努めるすべての組織には、あらゆる種類のサイバー脅威を発見して修正できるようにログ分析の専門知識が必要になります。ログ分析がコンプライアンスの確立に役立つ規制要件としては、IT セキュリティの実践規範に関する ISO/IEC 27002:2013、クレジットカードやその他の金融情報のプライバシーに関する PCI DSS V3.1、米国連邦政府機関の IT 組織の継続的監視に関する NIST 800-137 などがあります。
ログ分析の実行方法
ログは、アプリケーション、ネットワーク、デバイス（プログラマブル デバイスや IoT デバイスを含む）、オペレーティング システムなどによって生成されたアクションやアクティビティの時系列記録です。これらは通常、ファイルやデータベースに保存されるか、リアルタイムのログ分析用にログ コレクターと呼ばれる専用アプリケーションに保存されます。
ログ アナリストにとっての職務の一つは、コンテキストに照らしてあらゆる種類のログ データとメッセージを解釈できる状態にすることであり、そのためには、共通の用語を使用するようにログ データを正規化する必要があります。たとえば、対処の必要がないことを示すシグナルとして、ある機能では「normal」を使用し、別の機能では「green」を使用している場合がありますが、混乱が生じないように用語を統一しなければなりません。
一般的に、ログ データはログ分析プログラム用に収集され、クレンジングされて、構造化または正規化された後、分析用に提供されます。この情報を使用して、専門家はパターンを検知したり、サイバー攻撃やデータの持ち出しといった異常を発見したりすることができます。ログ ファイル分析は、一般的に次のステップに従って実行されます。
- データの収集：ハードウェアおよびソフトウェアのプローブからのデータが中央データベースに収集されます。
- データのインデックス作成：あらゆるソースからのデータを一元管理し、データにインデックスを付けて、検索性を高めます。これにより、IT プロフェッショナルは問題やパターンを見つけやすくなります。
- 分析：正規化、パターン認識、相関付け、タグ付けなどのログ分析ツールは、機械学習ツールを使用して自動的に実行することも、必要に応じて手動で実行することもできます。
- 監視：リアルタイムの自律型ログ分析プラットフォームでは、異常が検知されたときにアラートを生成できます。このような自動化されたログ分析は、IT スタック全体の継続的監視の基盤となります。
- レポート：従来のレポートとダッシュボードはログ分析プラットフォームの一部であり、メトリックの概要表示または履歴表示を運用、開発、管理のステークホルダーに提供します。
ログ分析のベスト プラクティス
効果的なログ分析システムの構成要素を以下に示します。
正規化：さまざまなログ要素データを一貫性のある形式に変換することで、「同一条件」での比較を行えるようになります。また、変換したデータについては、ログ ソースに関係なく一元的に保存してインデックスを付けることができます。
パターン認識：最新の機械学習（ML）ツールを利用すると、異常を示している可能性のあるパターンをログ データ内で発見できます。たとえば、外部リストに隠されたメッセージを比較することで、パターンに隠された脅威があるかどうかを判断できます。これにより、日常的なログ エントリを除外できるため、なんらかの異常を示している可能性のある情報に集中できます。
タグ付けと分類：キーワードでタグ付けし、タイプ別に分類すると、フィルターを適用できるようになり、有用なデータの発見を早めることができます。たとえば、Windows サーバを攻撃するウイルスを追跡している場合は、「LINUX」クラスのエントリをすべて破棄できます。
相関付け：複数のソースからのログを組み合わせると、1 つのログだけのデータでは把握しにくいイベントの解読が容易になります。これは、サイバー攻撃中および攻撃後に特に役立ちます。ネットワーク デバイス、サーバ、ファイアウォール、ストレージ システムからのログを相関付けることで、攻撃に関連するデータや、1 つのログでは表れていないパターンを把握できる場合があります。
AI：最新のログ分析システムに組み込まれている人工知能と機械学習（AI/ML）ツールでは、異常やセキュリティ侵害の発見に役立たないログ エントリを自動的に識別し、破棄または無視することができます。「Artificial ignorance（人工無能）」とも呼ばれるこの機能により、ログ分析で、スケジューリングされた定期イベントが予定どおりに発生しなかった場合にアラートを送信できます。
構造化：最大の効果を得るためには、すべてのログ データを中央リポジトリに格納し、人間にも機械にも理解できるように構造化しておく必要があります。ログ分析ツールの進歩により、負担の大きい作業の大部分は自動で処理できるようになっています。したがって、組織は、アクティビティやアノマリについて余すところなく把握できるように、すべてのシステム コンポーネントにわたるフルスタックのログ収集を実施すべきです。
