요추 0.25T MRI 영상의 향상을 위한 딥러닝 기반의 변형가능한 정합과 1.5T MRI 영상의 생성

Abstract

MRI is an important tool for diagnosing lumbar spine diseases. While the 1.5T MR scanners are the most widely used type in lumbar spine imaging, low-field MR scanners such as the 0.25T MR scanner are also used. The advantages of 0.25T MRI are relatively lower imaging cost and the capability to acquire images in subject's weight-bearing position. However, due to its relatively lower image quality than the 1.5T MRI, its utilization is less frequent. Thus, there is a need for enhancing the quality of 0.25T MRI. Deep learning based image-to-image translation or image synthesis has been researched in medical images as well as general color images. Such approach can be used to train a deep neural network that generates a synthetic 1.5T MRI from 0.25T MRI, thus enhancing the image quality of 0.25T MRI. Although there are unsupervised methods, for medical images, the correct correspondence of tissues is also important, so a supervised method is desirable. To perform supervised learning, correct alignment between the 0.25T and 1.5T MRI is required. However, lumbar spine images can have different spine postures due to the deformation of the spine, making the alignment (or registration) difficult. To solve this, a deformable registration method using CNN-based segmentation is proposed in this thesis. The method models the deformation of the spine as relative movements of vertebral bodies, and therefore it can locally deform the MR images to register images with different spine postures. The proposed registration method was applied to a dataset of 10 subjects, and it was compared with rigid registration. Improvement in alignment using the proposed registration method was validated by visual comparison of images, absolute difference maps, and the mutual information metric. Using the deformably registered images, a generative adversarial network was trained to generate synthetic 1.5T MRI from 0.25T MRI. The GAN was trained on a dataset of 12 subjects, and validated on another dataset of 6 subjects. Compared to 0.25T MRI, the synthetic 1.5T MRI had reduced noise, more clear boundaries, and increased magnitude of high frequency components in Fourier transform, indicating a sharper image. It also showed higher peak signal-to-noise ratio (PSNR) and structural similarity (SSIM) with real 1.5T MRI.

MRI 영상은 요추 질환의 진단에 중요한 도구이다. 요추 이미징에서는 1.5T MRI가 가장 널리 사용되는 기기이지만, 0.25T MRI와 같은 저자장 MRI 기기도 사용되기도 한다. 0.25T MRI의 장점은 촬영 비용이 상대적으로 낮으며 대상이 선 자세, 즉 무게를 지탱하는 자세에서 촬영이 가능하다는 것이다. 하지만, 이러한 장점에도 불구하고, 1.5T MRI에 비해 낮은 이미지의 질로 인하여 적게 사용이 된다. 이를 해결하기 위하여 0.25T MRI의 영상의 질을 향상시킬 필요가 있다. 딥러닝을 활용한 이미지에서 이미지로의 변환이나 이미지 생성 (합성)은 일반적인 컬러 이미지와 의료 이미지에서 모두 연구되어 왔다. 이러한 접근법을 활용하면 0.25T MRI로부터 1.5T MRI를 생성하는 심층인공신경망을 학습시킴으로써 0.25T MRI의 질을 향상시킬 수 있다. 비지도학습을 이용하여 인공신경망을 학습시키는 방법들도 있지만, 의료 이미지에서는 조직 간의 올바른 대응도 중요하므로 지도학습을 하는 것이 가치가 있다. 지도학습을 적용하기 위해선 이미지처리를 통해 0.25T 이미지와 1.5T 이미지가 같은 자세가 되도록 올바르게 대응시키는 것이 중요하다. 하지만, 척추는 굽혀지고 변형할 수 있으므로 서로 다른 두 MRI에서 척추의 자세가 다르기도 하게 되며, 이는 두 이미지를 대응시키는 작업 (정합)을 어렵게 한다. 이를 해결하기 위하여, 이 학위논문에서는 합성곱인공신경망 기반의 영상분할을 이용한 변형가능한 (deformable) 정합 방법을 제안한다. 제안된 이미지 정합 방법은 척추의 변형을 척추체의 상대적 움직임으로 모델링하여, 척추 MRI가 국부적으로 변형되게 하여 결과적으로 척추의 자세가 다른 두 MRI 영상을 정합하도록 한다. 해당 방법을 10명의 MRI에 적용한 후 강체 정합 방법과 비교하였다. 이미지를 시각적으로 비교하는 것, 이미지 사이의 절대 차이 이미지를 비교하는 것, 그리고 상호 정보량을 비교하는 것을 통해 제안된 방법이 더 나음을 확인하였다. 이렇게 변형가능하게 정합된 이미지를 이용하여 0.25T MRI를 입력 받아서 1.5T MRI를 생성하는 생성적적대신경망을 학습시켰다. 해당 네크워크는 12명의 MRI를 이용하여 학습하였으며, 또 다른 6명의 MRI에 적용하여 그 성능을 평가하였다. 0.25T와 비교하여, 생성된 1.5T MRI는 이미지 상의 노이즈가 줄어들었고 경계가 더 명확해졌다. 또한 푸리에 변환에서 고주파 성분의 크기가 증가하였음을 확인하였는데, 이를 통해서도 이미지가 더 뚜렷해 졌음을 확인할 수 있었다. 마지막으로, 실제 1.5T MRI와의 PSNR과 SSIM 지표를 평가하여 이 또한 생성된 1.5T MRI가 0.25T MRI보다 높음을 확인하였다.