什麼是日誌記錄分析?
日誌記錄分析是一項流程,可透過檢閱和解讀網路、作業系統、應用程式、伺服器和其他軟硬體元件產生的日誌記錄,提供 IT 基礎架構和應用程式堆疊在效能和運作狀況的能見度。
通常,日誌記錄會包含時序資料,該資料會使用收集器即時串流,或儲存以供日後檢閱。日誌記錄分析可提供系統效能的洞悉,並指出多個潛在問題,例如安全性漏洞或迫在眉睫的硬體故障。

VMware Aria Operations for Logs - 雲端服務簡介

使用 VMware Aria Operations for Logs 快速且睿智地疑難排解問題
日誌記錄分析具備哪些優勢?
- 合規:許多政府單位或監管機關,都會要求企業證明其符合各式各樣的法規,而幾乎所有實體,都會受到這些法規的影響。日誌記錄檔案分析可用來證明,企業確實合乎 HIPAA、PCI、GDPR 或其他法規的要求。
- 安全性增強功能:隨著網路犯罪變得更加縝密,業界越來越需要更強大的應對措施。事件日誌記錄分析可提供強大的工具,以利採取主動的措施,並於發生漏洞或資料外洩後,進行事後外加的鑑識檢查。日誌記錄分析可利用網路監控資料來找出未經授權的存取嘗試,並確保安全性作業和防火牆能採用最佳設定。
- 效率:日誌記錄分析架構有助於提高企業整體的效率。每個部門的 IT 資源可共用單一日誌記錄存放庫,而企業日誌記錄資料的分析則有助於找出所有業務單位和部門中的錯誤或趨勢,以利快速修復。
- 高可用性:根據日誌記錄分析發現的資訊進行即時修復,可避免因問題而造成停機時間。這樣一來,將有助於確保企業滿足自身的業務目標,並確保 IT 部門能以指定的不停機時間保證,履行服務提供的承諾。
- 避免過度佈建或佈建不足:儘管企業必須預作規劃,以滿足高峰需求,日誌記錄分析有助於預測是否有足夠的 CPU、記憶體、硬碟和網路頻寬,以滿足現行需求,以及所預測的趨勢。過度佈建會浪費寶貴的 IT 預算,而佈建不足則會導致服務停擺,繼而迫使企業倉促購置額外的資源,或利用雲端資源來滿足需求波動。
- 銷售和行銷效益:日誌記錄分析可透過追蹤流量和客戶造訪頁面等指標,協助銷售和行銷專業人員掌握哪些計畫具有效果,而哪些地方應做出改變。流量模式也有也可協助革新企業網站,好讓使用者更易於瀏覽最常遭到存取的資訊。
為何日誌記錄分析如此重要?
由於日誌記錄可提供應用程式效能和運作狀況的能見度,日誌記錄分析可讓作業和開發團隊瞭解和修正在業務作業期間發生的任何效能問題。
日誌記錄分析可提供多項重要功能,包括:
- 符合治理和法規要求,以及內部原則
- 追蹤安全性漏洞和資料外洩,以判斷需要負起責任的當事方,以及修復漏洞要採取的行動
- 協助診斷和疑難排解完整堆疊
- 追蹤使用者行為異常,以偵測惡意意圖或遭到入侵的系統
- 協助進行惡意軟體攻擊、外洩或員工竊盜行為的鑑識調查
在部分監管單位的堅持下,企業需執行日誌記錄檔案分析,才能取得法規的合規認證;而有意改善自身網路安全態勢的每家企業,都需藉助於日誌記錄分析領域的專業能力,以找出和修復各種類型的網路威脅。日誌記錄分析有助於滿足部分法規遵循需求,包括有關 IT 安全性實踐準則的 ISO/IEC 27002:2013、涵蓋信用卡和其他金融資訊隱私權的 PCI DSS V3.1,以及有關聯邦 IT 部門持續監控的 NIST 800-137。
如何執行日誌記錄分析?
日誌記錄為行動和活動的時序記錄,會由應用程式、網路、裝置 (包括可程式化和物聯網裝置) 和作業系統產生。日誌記錄通常會儲存在檔案或資料庫中,或是名為「日誌記錄收集器」的專屬應用程式中,以做為即時的日誌記錄分析之用。
日誌記錄分析工作的目的,在於協助解讀環境中的各種日誌記錄資料和訊息;這項工作需要將日誌記錄資料正規化,以確保使用一組通用的術語。某項功能可能會使用「正常」訊號來表示無需採取行動,但另一項功能則使用「綠燈」訊號來表示相同情況,而正規化可避免這類現象所造成的混淆。
通常,收集到的日誌記錄資料會提供給日誌記錄分析程式,並進行清理、結構化或正規化,接著會進行分析以供專家偵測模式,或是找出網路攻擊或資料外洩等異常情況。一般而言,日誌記錄檔分析會依循以下步驟進行:
- 資料收集:將軟硬體探測資料收集到中央資料庫內。
- 資料索引:來自所有來源的資料會集中並進行索引,藉此加快搜尋,從而強化 IT 專業人員迅速找出問題或模式的能力。
- 分析:可透過機器學習工具或手動方式 (如有需要),自動完成日誌記錄分析工具的相關作業,包括正規化、識別模式、建立關聯性和進行標記。
- 監控:即時且自主的日誌記錄分析平台,可在偵測到異常情況時產生警示。這類型的自動化日誌記錄分析可做為良好基礎,以用於進行完整 IT 堆疊的多數持續監控作業。
- 報告:日誌記錄分析平台同時備有傳統報告和儀表板,可為作業、開發和管理部門的相關人員,提供指標概覽或歷史記錄檢視畫面。
日誌記錄分析的最佳實踐方式為何?
下方列出了有效的日誌記錄分析系統所涵蓋的部分要素。
正規化:將不同的日誌記錄項目資料轉換為一致的格式,可確保比較能採用相同的基準來進行;而且無論日誌記錄的來源為何,該資料都能集中存放並建立索引。
識別模式:套用現代化機器學習 (ML) 工具,以找出在日誌記錄資料中代表異常情況的模式;例如,可以比較隱藏在外部清單中的訊息,以協助判斷該模式是否存在威脅。此舉有助於篩除例行的日誌記錄項目,這樣一來,就能著重分析指出特定異常情況的項目。
標記和分類:使用關鍵字標記和依照類型分類,皆有助於套用篩選條件,進而加速找出實用資料。舉例來說,如果追蹤到專門攻擊 Windows 伺服器的病毒,就能排除「LINUX」類別中的所有項目。
關聯性:分析師可結合來自多個來源的日誌記錄,以破解無法透過單一日誌記錄資料找出的事件。在網路攻擊期間及攻擊過後,這項作業會顯得特別實用;畢竟,網路裝置、伺服器、防火牆和儲存系統等日誌記錄的關聯性,可指出與攻擊相關的資料,以及無法透過單一日誌記錄察覺的模式。
人工智慧:整合於現代化日誌記錄分析系統中的人工智慧和機器學習 (AI/ML) 工具,可自動識別、排除或忽略無助於找出異常情況或安全性漏洞的日誌記錄項目。這項功能有時也稱為「人工忽略」,當排程的例行事件並未如實發生時,日誌記錄分析就會傳送相關警示。
結構化:為了充分發揮價值,所有日誌記錄資料都應存放在中央存放庫內,並進行結構化,好讓真人和機器能順利理解。多虧日誌記錄分析工具持續發展進化,許多繁重的工作都可自動完成。因此,企業應在所有系統元件中實施完整堆疊的日誌記錄,以透過最全面的方式掌握活動和異常情況。