Cross-Modality Knowledge Distillation and Ensemble Fusion in Foggy Weather

Abstract

본 연구에서는 안개 날씨 조건에서의 3D 객체 감지 성능을 향상시키기 위해 교차 모달리티 지식 증류(CMKD) 및 앙상블 퓨전을 제안합니다. 3D 객체 감지 딥러닝 네트워크는 자율 주행 및 로봇 공학과 같은 다양한 분야에서 활발히 활용되고 있습니다. 기존의 LiDAR 기반 3D 객체 감지 모델은 이상적인 조건에서 우수한 성능을 보이지만, 안개 환경에서는 정확도가 감소하는 경향이 있습니다. 따라서 본 연구 에서는 CMKD에 앙상블 접근법을 도입하여 날씨 조건과 관계없이 가장 신뢰할 수 있는 예측을 결정함으로써 안개 날씨에서의 정확도를 향상시키는 것을 목표로 합니다. 또한, 앙상블 접근법을 적용할 때 맑은 날씨에서 정확도가 감소하는 도전 에 대응하기 위해 앙상블 가중치를 도입합니다. 실험 결과는 제안된 방법이 안개 환경에서의 객체 감지 정확도를 유의적으로 향상시키는 데 효과적임을 입증하며, 이러한 결과는 안개로 인한 환경 변화에 강한 모델의 중요성을 강조합니다.

In this study, we propose cross-modality knowledge distillation (CMKD) and ensemble fusion to enhance the 3D object detection performance in foggy weather conditions. 3D object detection deep learning networks are extensively utilized in various fields such as autonomous driving and robotics. While existing LiDAR-based 3D object detection models demonstrate excellent performance in ideal conditions, their accuracy tends to decrease in foggy environments. Therefore, we introduce an ensemble approach to CMKD, enabling the determination of the most reliable predictions irrespective of weather conditions, thereby improving accuracy in foggy weather. Additionally, we address the challenge of accuracy reduction in clear weather when applying the ensemble approach by incorporating ensemble weighting. Experimental results substantiate the effectiveness of the proposed method in significantly enhancing object detection accuracy in foggy environments. These findings contribute a novel solution for foggy conditions in the field of 3D object detection, emphasizing the importance of robust models in the face of environmental changes induced by fog.