Photoacoustic Image Processing: From Conventional to Deep Learning Approach

Abstract

Photoacoustic (PA) effect is a phenomenon where light energy is converted into ultrasound (US) energy. In the PA effect, a sample irradiated by a short-pulsed light thermally expands and generates US waves instantaneously. Based on this PA effect, a biomedical imaging technique called photoacoustic imaging (PAI) reconstructs PA images with optical contrast and US resolution. Thus, at the location where the light is well absorbed and the temperature is high, the PA images exhibit the highest signal-to-noise ratio (SNR). Since the PAI is based on the PA effect, it provides both structural and functional information (e.g., hemoglobin oxygen saturation (sO2), hemodynamics, metabolism) of blood vessels without any external contrast agent. These features are very important in the biomedical studies since the morphological and functional abnormalities of the vessels may be the early indicators of various diseases. The PAI is also capable of performing molecular imaging, such as in cancer targeting using light-absorbing exogenous contrast agents. More importantly, PAI has the advantage of being safe since there is no ionizing radiation involved in most of the cases. Depending on the system configuration and the imaging depth, the resolution of PAI can range from nanometer to millimeter. In photoacoustic microscopy (PAM), which inherits the characteristics of PAI, micron-scale spatial resolution can be achieved by using a high numerical aperture (NA) optical objective lens and a focused transducer with a high center frequency. PAM has several advantages over conventional optical microscopy such as confocal, two-photon microscopy, or optical coherence tomography (OCT). First, PAM has a deeper imaging depth beyond the optical diffusion limit of 1 mm since it uses the US to form the image that is less scattered in biological tissue than light. Second, PAM can provide the structural and functional information of each microvessel with high sensitivity. Third, PAM does not need optical sectioning to obtain a 3D volume image. The PAM systems have been developed in several forms for many years and are used in many preclinical applications. For clinical applications, PAI requires wider field-of-view (FOV), deeper penetration depth, and faster imaging speed than PAM. Thus, the clinical PAI systems are commonly equipped with a high power laser, an array-type transducer with a low center frequency, and a multi-channel data acquisition system. Unlike the transducers in PAM systems, the array transducer’s elements in the clinical PAI system detect acoustic signals at a relatively wide angle. The signals from the array transducers are converted into a PA image typically through a reconstruction algorithm, called beamforming. Technically, the clinical PAI has high compatibility with the medical US imaging, allowing comprehensive information of PA vascular images and US anatomical images on one screen. In Chapter II, we introduce detection and quantification techniques for PA images. Firstly, we demonstrate metal crack detection and quantification in optical-resolution PAM (OR-PAM) images. The detection of metal surface defects is a critical issue in the steel industry, but identifying small defects remains a challenge. To deal with this problem, we demonstrated a PA non-destructive test for metal crack detection. Using an OR-PAM system, we successfully visualized two types of cracks (i.e., unclassified and seam cracks) in metal plate samples. From the PA images, we extracted the edges of the cracks using the Laplacian of the Gaussian filtering method and then statistically analyzed the quantified results. Secondly, we introduce the random sample consensus (RANSAC)-based algorithm to detect neovascularization in in vivo OR-PAM images of mouse eyes. Visualizing ocular vasculature is important in clinical ophthalmology because ocular circulation abnormalities are early signs of ocular diseases. However, the complex structure of the multi-layered vessels hinders the evaluation of the ocular vasculature. In this study, we developed a method to evaluate the blood circulation in in vivo OR-PAM ocular images by using a machine learning algorithm, called RANSAC. With this method, we were able to visualize the PA ocular vasculature images, enabling intuitive layer-by-layer analysis of the injured vessels. Chapter III of this dissertation is focused on PA image improvement techniques. Firstly, we introduce a novel 2D synthetic aperture focusing technique (SAFT) for acoustic resolution-PAM (AR-PAM). AR-PAM has deeper imaging depth than OR-PAM but its lateral resolution is significantly degraded in the out-of-focus region. SAFT has been introduced to overcome this out-of-focus degradation by synthesizing the correlated signals. Several 2D SAFTs have been also reported to improve degraded resolution in all directions, but their resolution enhancement performance is suboptimal and poor compared to that of 1D SAFT under the ideal condition. The newly proposed 2D SAFT, called 2D directional SAFT (2D-D-SAFT), can isotropically improve the lateral resolution as much as 1D SAFT under ideal conditions. With this method, we showed significant improvement in the quality of phantom and in vivo AR-PAM images. Secondly, we introduce a nonlinear beamforming method to reconstruct clinical PA images with improved spatial resolution and SNR. In the clinical PAI, the delay-and-sum (DAS) beamforming algorithm is the most commonly used but it suffers from low image resolution and low contrast drawbacks. In this study, we present a real-time delay-multiply-and-sum (DMAS) algorithm with a modified coherence factor (CF), called DMAS-CF, to reconstruct clinical PA images with the improved lateral resolution and SNR. We also optimized the computations of DMAS-CF to achieve real-time imaging frame rate using GPU acceleration. Lastly, we introduce a deep learning-based method to correct the speed of sound (SoS) aberration and streak artifacts in clinical PA images. In the clinical PA image beamforming, many factors hinder image reconstruction. Here, we developed a deep learning-based PA image correction method that reduces the artifacts from the heterogeneous media and sparse data. Using the trained deep neural network, we successfully improved structural and functional in vivo PA images of healthy human limbs and a melanoma patient’s foot. The presented method produces high-contrast PA images with reduced distortion, even in adverse conditions where the medium is heterogeneous and/or the data sampling is sparse.

광음향 효과는 물체가 짧은 펄스 빛에 의해 열팽창되어 초음파를 발생 시키는 현상이다. 광음향 영상 기술은 이 광음향 효과를 이용한 영상 기술로서, 조사된 빛의 흡수가 많이 일어난 곳은 신호대잡음비가 높은 영상을 만든다. 이러한 특징을 덕분에 방사선이나 외부 조영제를 사용하지 않아도 생체내 혈관의 구조적/기능적 (산소포화도, 혈류역학, 물질대사 등) 정보를 안전하게 제공하는 것이 가능하다. 혈관의 비정상적인 구조적 및 기능적 변화는 다양한 질병들의 초기 지표로 많이 활용되기때문에 광음향 영상의 이러한 특징은 매우 유용하게 사용될 수 있으며, 외부 조영제를 추가적으로 사용하면 암 타겟팅과 같은 분자 영상도 가능하다는 장점이 있다. 광음향 영상 장치의 구성에 따라 광음향 영상의 공간 분해능은 수 나노미터에서 수 밀리미터까지 다양해 질 수 있다. 광음향 영상의 일종인 광음향 현미경은 마이크론 스케일의 공간 분해능을 가지는 기술이다. 이를 위해 대게 높은 개구수의 광학 렌즈와 초점이 있고 중심주파수가 높은 초음파 트랜스듀서를 사용된다. 공초점 현미경, 이광자 현미경, 광간섭 단층촬영 기술과 같은 일반 광학 현미경 영상과 비교했을 때, 광음향 영상은 다음과 같은 장점들을 가진다. 첫째, 광음향 현미경은 생체내 조직에서 빛보다 산란이 적은 초음파를 사용하기 때문에 광회절 한계인 1mm 보다 깊은 영상 깊이를 얻을 수 있다. 둘째, 광음향 현미경은 혈관의 구조적 기능적 정보를 동시에 제공할 수 있다. 셋째, 광음향 현미경은 깊이 방향 섹셔닝 없이도 한번에 3차원 영상을 획득할 수 있다. 이러한 장점을 토대로, 그동안 다양한 형태의 광음향 현미경이 개발되었고 여러 전임상 연구 활용을 위해 활용되어왔다. 임상연구에서는, 광음향 현미경보다 더 넓은 시야와 깊은 영상 깊이, 그리고 빠른 영상 속도가 요구된다. 이 때문에, 임상용 광음향 영상 장비는 보통 고출력 레이저와 중심주파수가 낮은 어레이 타입의 트랜스듀서, 그리고 멀티채널 데이터 획득 시스템을 사용한다. 광음향 현미경과 달리, 임상용 광음향 영상 장치는 넓은 각도에서 신호를 검출할 수 있는 트랜스듀서를 사용하기 때문에 빔포밍이라는 추가적인 영상 복원기법으로 그 신호들을 광음향 영상으로 변환한다. 기술적으로 이러한 임상용 광음향 영상은 의료 초음파 영상 기술과 높은 호환성을 가지기 때문에 한 화면에 광음향 및 초음파 영상을 동시에 시각화하여 포괄적인 정보를 제공할 수 있는 장점이 있다. 본 연구에서는 이러한 광음향 현미경 및 임상용 광음향 영상에서 신호/영상처리, 빔포밍, 딥러닝을 활용한 영상의 정량화 및 품질향상 방법에 대해서 논의한다. 첫 번째로, 광해상도 광음향 현미경을 활용한 철강의 결함을 검출 및 정량화 방법을 소개하였다. 철강 표면의 결함을 검출하는 것은 차후 불량률을 낮추기 위한 매우 중요 과정이지만 작은 결함은 검출이 어렵다는 문제가 있었다. 이 문제를 해결하기 위해, 광음향 철강 표면 영상에서 Laplacian of the Gaussian (LoG) 필터로 결함의 에지(edge)를 추출하고 그 정량화된 결과를 분석하였다. 다음으로, 생쥐 눈의 광음향 현미경 영상에서 신혈관생성을 검출하기위해 random sample consensus (RANSAC)기반 알고리즘을 소개하였다. 비정상적인 눈 혈관 구조는 안구 질환들의 초기 증상이기 때문에 그 혈관들을 시각화하여 진단할 수 있다. 하지만 복잡한 안구 혈관 구조 때문에 혈관 구조를 평가하기가 어렵다는 문제가 있었다. 이를 위해 RANSAC이라는 기계학습 알고리즘을 이용하여 질환이 있는 눈 혈관 구조를 직관적으로 분석할 수 있는 방법을 제안하였다. 두 번째로, 음향 해상도 광음향 현미경을 위한 새로운 2D synthetic aperture focusing technique (SAFT) 기법을 소개하였다. 음향 해상도 광음향 현미경은 광 해상도 광음향 현미경보다 깊은 영상 깊이를 가졌지만 비초점 구간에서는 공간해상도가 급격하게 나빠지는 문제가 있었다. 그동안 모든 방향의 왜곡을 교정해줄 수 있는 2D SAFT가 제안되어왔지만 그 교정 성능이 이상적인 상황의 1D SAFT의 성능에 미치지못하였다. 하지만 본 연구에서 제안한 2D directional SAFT(2D-D-SAFT)는 영상의 해상도를 모든 방향으로 이상적인 상황의 1D SAFT만큼 향상 시킬 수 있으며, 그 성능을 팬텀 및 생체내 영상에서 확인하였다. 다음으로 임상용 광음향 영상의 공간해상도와 신호대비잡음비를 향상시킬 수 있는 비선형 빔포밍을 소개하였다. 임상용 광음향 영상 복원에 가장 보편적으로 쓰이는 Delay-and-sum (DAS)는 공간해상도와 대비에 낮다는 한계가 있었다. 본 연구에서는 비선형 빔포밍인 delay-multiply-and-sum (DMAS)와 변형된 coherence factor (CF)를 조합한 DMAS-CF를 제안하였고, 그 계산 과정을 최적화하고 그래픽 처리 장치로 가속화하여 실시간 영상이 가능하도록 설계하였다. 마지막으로, 임상용 광음향 영상에서 생기는 음파 속도 수차와 줄무늬 왜곡을 교정하기위한 딥러닝 기법을 소개하였다. 광음향 영상 복원에 악영향을 끼치는 여러 요소가 있는데, 본 연구에서는 그 중에서 불균질 매질과 희소 데이터에 의한 왜곡을 완화시키는 딥러닝 기반 영상 교정 기법을 제안하였다. 제안된 딥러닝 방법을 사용함으로써, 사람 팔뚝/발의 구조적/기능적 광음향 영상에서 음파 속도 수차와 희소 데이터에 의한 왜곡을 완화시키고 영상의 대비 향상시켰다. 본 연구에서는 광음향 현미경 및 임상용 광음향 영사에서 비정상적인 특징을 검출하고 이를 정량화 하는 기법과 영상의 품질을 높일 수 있는 방법들을 소개하였다. 본 연구의 결과를 활용함으로써 영상 기반 질환 진단 등의 다양한 분야에서 광음향 영상의 활용도를 높일 수 있을 것이며, 추가적인 하드웨어 설비없이 소프트웨어 만으로 영상의 품질을 높일 수 있기 때문에 광음향 영상의 보급화에도 기여할 수 있을 것이라 기대된다.