Virtual Machine Failure Prediction using Log Analysis

Abstract

In this study, we propose a machine learning model that predicts failures by analyzing logs before failures occur in virtual machines (VMs) used in network function virtualization (NFV) environments. The proposed model utilizes a convolutional neural network (CNN) and includes pre-processing and pre-failure tagging techniques. We collected log data from VMs built on OpenStack to validate the proposed model. We classified failures based on early fault messages and built a CNN model to predict VM failures with fault messages. The experimental results showed that the proposed model can predict failures within a 5-min period with an F1-score of 0.67. The proposed model could be used for VM proactive live migration to avoid service degradation and interruptions caused by failures.

본 연구에서는 NFV 환경에서 가상 머신 (VM)에 발생하는 고장을 예측하는 모델을 제안하고 실험을 통해 검증했다. 제안한 모델은 VNF가 설치된 가상 머신에서 추출한 로그를 분석하여 일정 시간이 경과한 뒤에 고장이 일어날지 아닐지를 판단한다. 우리는 기존의 sentence classification 문제에서 사용되는 합성곱 신경망 기술을 적용하였으며, 가상 머신의 로그 분석에 적합한 데이터 전처리, log word embedding, pre-failure tagging 등의 기법을 함께 사용하여 더 높은 탐지 성능을 갖도록 하였다. 우리는 OpenStack에서 생성한 데이터로 제안한 모델을 검증했으며, 그 결과, 제안하는 방법이 5분 이후의 고장을 F1-score 0.67로 예측할 수 있는 것을 확인하였다. 하지만 실제로 발생시킬 수 있는 고장 데이터가 많지 않기 때문에 향후 연구로서 더 많은 데이터를 생성하여 연구에 활용할 예정이다.