Generalization of diffusion magnetic resonance imaging-based brain age prediction model through transfer learning

---

brain age prediction에서의 domain adaptation 방법을 찾던 도중 2020년에 나온 "Generalization of diffusion magnetic resonance imaging-based brain age prediction model through transfer learning" 논문을 알게 되었다. 해당 논문은 domain adaptation 방법 중 transfer learning을 사용하였는데 오늘은 이 논문을 간략하게 설명해 보겠다.

---

 

Generalization of diffusion magnetic resonance imaging-based brain age prediction model through transfer learning

1.  Abstract

논문에서는 다른 imaging condition들에서 얻은 dMRI dataset에 대한 dMRI-based deep learning model을 일반화하였다. 특히 논문 저자는 domain adaptation을 수행하기 위해 transfer learning방식을 채택하였는데, 먼저 open source data인 large dMRI dataset을 source domain으로 사용하여 brain age prediction model의 baseline을 만든 후 그렇게 만들어진 모델을 3개의 target domain에 transfer 해주었다. 그 결과 Cohort1에서는 MAE가 13.89에서 4.78로, Cohort2에서는 MAE가 8.34에서 5.35로, Cohort3에서는 MAE가 8.74에서 5.64로 줄었다.

 

---

dMRI(diffusion MRI)란?

확산 강조영상은 간단히 얘기하면 MR 기계를 이용하여 인체내 물분자들의 self-diffusion 정도를 영상화 한 것이다(Woo Suk Choi, 2000)

 

2.  Introduction

T1이나 T2 weighted imaging과 같은 regular한 imaging 방법으로부터 얻은 data와는 달리 dMRI data는 더 technical한 challenge를 요구하며 더 큰 intersite variability를 지닌다. 이러한 variability는 head coil type, imaging gradient nonlinearity, magnetic field honogeneity, data reconstruction algorithm, other scanner-related factor 등 다양한 factor들로부터 나온다.(Jovicich et al., 2014; Teipel et al., 2011; Zhu et al., 2011) 이 factor들은 raw image data에서 nonlinear deviation을 일으키며 mean diffusivity(MD) 와 fractional anisotropy(FA)에서의 값의 차이를 만들어내며 이러한 deviation은 general한 모델을 만들 때 방해한다.

 

여기서 중요한 점은 transfer learning 기법을 채택하기 전에 source domain과 target domain에서의 deviation을 확실하게 보이고 연구를 진행했다는 점이다. 따라서 내가 서로 다른 ethnic group에 대한 general model을 만들고 싶을때, 무엇보다 domain adaptation을 적용하려고 할 때 우선적으로 서로 다른 ethnic domain에서의 차이점 (예를 들어 각각의 feature들 간의 서로 다른 distribution이라던지 )를 확인하는 것이 필요하다. 

 

마지막으로 Transfer learning은 다른 imaging modality 및 domain에서 trained model를 linking할 때 많은 data가 필요하다는 한계점을 극복하기 위해 medical image analysis 쪽에서 빈번하게 사용되어 왔다.  (Banerjee et al., 2018; Christopher et al., 2018; Ghafoorian et al., 2017; Shan et al., 2018; Xiao et al., 2018)

 

2.  Material and Methods

Source domaindms opensource data인 CamCAN을, target domain은 서로 다른 dMRI parameter로 얻은 3개의 독립적인 Cohort(NTUH, IXI, Guys)로부터의 data를 사용하였다.

transfer learning 실험은 크게 세 부분으로 나뉜다 : 1. data preprocessing, 2. model validation, 3. model verification. model validation을 위해 brain age model은 source domain에서 학습되었으며, 학습이 완성된 이후 pretrained model을 target domain에 transfer하기 위해 실험이 수행된다. 연구에서의 transfer learning은 크게 두 파트를 보여주고자 하는데 이는 각각 1. brain age model의 fine tuning을 위해 필요한 적절한 tuning sample (target domain에서의)가 몇개인지, 2. transfer learning을 statistical covariate approach와 hybrid approach와의 비교를 말한다. Transfer learning 실험의 전반적인 흐름도는 아래 Fig 1과 같다.

이후 Data를 획득하는 과정이나 image processing해주는 부분이 있는데 이 포스트에서는 생략하도록 하겠다.

 

2.4 Brain age modeling

먼저 CamCAN cohort (우리의 source domain)의 데이터를 나이와 성별의 분포가 균일하도록 conditionally random method를 이용하여 Train : Test = 500: 116의 비율로 나누었다. 모델의 input data는 tract specific analysis로부터 얻은 connectogram(인간 두뇌의 white matter 열결을 매핑하고 해석하는 그래픽적 표현)과 sex factor이다. 이때 이 connectogram data는 고차원이기 때문에 (학습속도가 진짜 느려질테니까..) 데이터의 tract step은 하나의 feature가 되도록 averaged 되었고 그 다음 diffusion index의 차원은 tract의 차원에 concat되었다. 다시말해 model input의 data matrix는 환자수 와 tract feature로 이루어진 2차원의 array로 이루어져 있다. (5 diffusion indices x 76 tracts = 380 tract features)

source domain에서는 cascade neural network를 사용한다 하였는데 이게 뭔지, 그냥 NN하고는 어떤점이 다른지 아래에서 설명해보도록 하겠다.

 

Cascade Forward Neural Network for Time Series Prediction
Cascade-forward neural network is a class of neural network which is similar to feed-forward networks, but include a connection from the input and every previous layer to following layers.

Cascade NN을 사용한 다른 논문에서는 이 network를 다음과 같이 이야기하고 있다. 마치 skip connection과 같은 효과를 주는 건가..? Cascade NN에 대한 자세한 설명은 다음 포스트에서 다루도록 하겠다. 대강 fig2와 같은 모델 구조를 지닌다고 보면 될 듯 하다. 

다시 본 논문으로 돌아가서, 이 논문에선 Cascade NN이 densely connected Convolution network(DenseNet)에서 dense block의 간단한 FC version이랑 유사하다고 말한다. 아마 concat해주는 과정이 있어서 비슷하다고 표현한 듯 하다. ( concat을 하는 이유 : vanishing gradient problem을 해결하며 feature propagation을 강화한다!). training set에 있어서는 10 fold CV를 거쳐주었다고 한다. 

 

2.5 Global Searching of transfer learning approach and refined optimization

transfer learning 실험  단계에서는 두 가지 질문에 대해 답하고자 한다: (1) source domain에서 target domain으로의 transfer를 위해 몇개의 training sample이 필요하는가? (2) transfer learning의 결과가 기존의 다른 approach와 비교했을 때 성능이 더 뛰어나는가? target domain에서의 data cohort들은 tuning-pool과 test set으로 conditional-randomly divided 되었다(대략 2:1 정도). 여기서 tuning prool set이란 tuning sample database를 뜻한다. tuning set으로 retraining이 끝나면 test set으로부터 model performance를 평가한다. 또한 기존의 다른 approach와 비교를 할텐데, 여기서 다른 approach란 statistical covariate approach (=cotrain)을 말한다. 이는 처음부터  tuning set(target domain)과 training set(source domain)을 comvine하여서 new brain age model을 만드는 것을 말한다. 또한 비교를 위해 tuning sample 만을 가지고 training한 것 (=single approach) 또한 baseline으로 쓰기 위해 학습되었다. 너무 많은 tuning parameter가 있기 때문에 빠른 optimization을 위해 SCG (scaled conjugate gradient) algorithm(이것도 우리 모델에 적용시켜볼 것)을 사용하였다. 

 

[1] Chang Le Chen, Yung-Chin Hsu, Li-Ying Yang, "Generalization of diffusion magnetic resonance imaging-based brain age prediction model through transfer learning", Vol 217, 2020.

[2] B. Warsito, R.R. Santoso, S.S. Suparti, H. Yasin,"Cascade forward neural network for time series prediction" J Phys Con Ser, 1025 (1) (2018)

[3] 최우석, " 확산 강조 자기공명영상의 원리", Vol2, 2000