Brain age prediction using fusion deep learning combining pre-engineered and convolution-derived features

2021년에 시작하여 아직 진행 중인 프로젝트는 brain age prediction이다. 3D brain MR image로부터 CNN을 이용하여 brain age(=year)을 예측하는 이 프로젝트는 언뜻 보면 단순해보이지만, 여기에 어떠한 나만의 selling point를 집어넣어 acc를 효율적으로 더 높이는가를 생각하는것은 쉽지 않았다. 수많은 연구진들이 위와 비슷한 주제로 논문을 발표했으며 따라서 웬만한 아이디어는 이미 다 나와있었다. (전반적인 brain age prediction에 대한 연구 동향은 다른 포스트에서 다루도록 하겠다.)

그러던 도중, 우연히 학교 수업을 듣다가 multi-modal learning에 대한 간략한 이야기를 들었고 이를 내 프로젝트에 접목시키면 좋은 결과를 가져다 줄 수 있겠다는 생각을 하였다. 마침 내가 갖고 있는 데이터가 raw image data 및 atlas 기반으로 추출된 feature dataset이므로 이를 combining해보기로 하였다. ( 해당 프로젝트의 간략한 진행상황 및 결과는 2022 ISMRM digital poster로 발표되었다.)

 

1. Introduction

 

먼저 연구배경에 대해 간략하게 설명하도록 하겠다. 위 그래프에서 회색 화살표를 살펴보면, 건강한 사람(A)은 노화가 진행됨에 따라 인지 장애 및 뇌 관련 질환에 걸릴 위험이 증가하며 결국 어떠한 특정 나이에서 증상이 나타나게 되는 threshold에 도달한다. 하지만 개개인은 각각의 brain aging trajectory가 다르기 때문에 예를들어 B는 30살에 발생한 발달환경적 요인에 의해, C는 유전적 요인에 의해 A보다 더 이른 나이에 thresholding에 도달하게 된다. 다시 말하자면, 일부 사람들은 자신의 주민등록상의 나이보다 뇌 노화가 더 빨리 진행되며 따라서 이러한 실제나이와 뇌 나이간의 차이(=brain age gap)을 이용하면 보다 더 잘 질병을 예측할 수 있지 않을까?라는 의문이 학자들 사이에서 생겨났다.

brain age prediction에서 자주 쓰이는 terminology에 대해 간략하게 설명하도록 하겠다. 앞서 간략히 이야기 한것처럼 순전히 brain으로부터 예측한 나이를 brain age라 부르며  brain age와 실제 나이간의 차이를 brain age gap(=delta) 혹은 brain-PAD라고 부른다. brain PAD가 0인 것은 주민등록상의(choronological age)와 predicted age가 같음을 의미하며 0 이상인 경우, brain age가 실제보다 더 많게 예측된 것이기 때문에 뇌가 현재 실제나이보다 더 노화가 빨리 진행중임을 의미한다.

brain-PAD는 실제 질병 예측에 도움이 과연 될까? brain age gap 과 질병 발생의 연관성에 대한 연구는 비교적 최근에도 아주 활발하게 다뤄지고 있다. 2012년에 발표된 연구에 따르면 normal subject에 비해 알츠하이머를 앓고 있는 환자 (AD)의 brain age gap이 더 크게 나타남을 볼 수 있다.

또한 2017년에 발표되었던 연구에 의하면 난치성 뇌전증이 있는 환자는 평균적으로 건강한 사람보다 brain PAD가 4.5년 더 크다고 한다. 이때 healthy control에도 0이 아닌 brain PAD가 나오는 것은 딥러닝 예측모델(2001명의 training dataset을 이용하여 5.01정도의 MAE를 얻음)로부터 brain age를 얻었기 때문이다.

이처럼 많은 연구들이 healthy subject에 대한 brain scan image로부터 딥러닝을 이용해 brain age prediction model을 만들고, 그 모델로부터 질병군에 대한 brain-PAD를 계산하여 특정 질병과 brain age에 관한 상관관계를 알고자 한다. 따라서 정확한 brain-PAD를 얻는 것은 매우 중요하기 때문에 초록색 박스로 표현한 brain age prediction model의 구축이 가장 중요한 단계이다.

물론 medical image에 대해 가장 좋은 예측 정확도를 내는 이상적인 방법은 아주 많은 training sample을 사용하는 것이다. 하지만 natural image와는 다르게 의료영상은 데이터 확보 자체가 어렵기 떄문에 이는 현실적으로 좀 많이 힘들다. 따라서 어떻게 해야 제한적인 데이터를 가지고 최소의 MAE를 내는가? 가 나의 프로젝트에서의 지향점이다.

 

2. Method

dataset은 다음과 같다. 이화여자대학교 뇌인지과학부의 도움으로 5개의 public dataset으로 부터 3d T1 weighted MR Image를 확보하였으며, 실험을 위해 2175개의 건강한 subject의 데이터(size of 101x101x121)를 사용하였다. label은 20-70(avg=40.3) 사이의 year을 의미하며 1750개가 training에, 435개가 validation을 위해 사용되었다. 초기에는 kinetics-400으로 pretrainined된 모델을 사용하여 일반적인 CNN(transfer learning이 들어간..)을 사용하였으며 step-wise learning rate decay를 사용해여 매 50 epoch마다 learning rate가 0.1만큼 줄어들게 하였다.

여러 CNN 모델을 fine tuning 하던 도중 feature extraction 단계에 있어서 컴퓨터가 과연 알아서 추출해주는(convolution을 통하여) feature 값들을 사용하는 것이 가장 이상적인 것인가?에 대한 의문이 생겼다. 왜냐하면 여전히 몇몇 연구들은 2020년에도 atlas 기반으로 유의미하다는 feature 값들을 먼저 추출하여 전통적인 ML을 사용했기 때문이다. 이렇게 추출한 feature을 사용하여도 꽤나 괜찮은 MAE가 나온다는 것인 이 feature값들이 어떤 중요 정보를 갖고 있다는 것을 의미하기 때문에, 모델 예측 과정에서 혹시 pre-engineered feature값을 같이 사용하면 더 MAE가 낮아지지 않을까?라는 추측을 하였다. 따라서 나는 brain age prediction을 위해 pre engineered feature와 convolution derived feature를 모두 사용하기로 하였다.

그렇다면 앞에서 이야기한 pre-engineered feature란 무엇을 말하는 것일까? 이화여대 뇌인지과학부 팀은 뇌의 regional basis에 대해 comprehensive한 해부학적 정보를 제공해주는 530개의 feature들을 채택하였다. 추출된 feature들로는 1) Destrieux atlas로부터 얻어낸 148개의 cortical region들로부터 뽑은 thickness, area, volume 값 2) subcortical region들의 thickness, area, volume값 그리고 전체 여역을 기반으로 추출되어 나오는 general measure이 있다.

나는 두 성격의 feature들을 혼합하는 방식 중 가장 결과가 우수했던 voting ensemble 기법을 최종 예측 모델로 채택하였다. ( fusion 방법으로는 크게 세가지가 존재하는데, 이는 다른 포스트에서 다루도록 하겠다.)

atlas 기반의 feature input을 위해 L1+L2 linear regression과 redial basis kernel SVR, 그리고 multi layer perceptron을 사용하였으며, 그중 가장 결과가 좋았던 MLP를 CNN model과 ensemble 해주었다. 이후 3D CNN과 MLP로부터 나온 각각의 prediction은 적절한 weight 값을 주어 평균값을 취해주었으며 이것이 바로 내 모델의 최종 prediction 나이이다.

 

3. Results & Discussion

예측 모델의 정확도는 mean absolute error, root mean square deviation, 그리고 coefficient of determination을 사용하여 평가되었다. ensemble 모델의 효능을 입증하기 위해 단일 input type만을 사용했을 때와 두 종류의 data를 모두 사용했을 때를 비교해주었으며, 특정 CNN 모델이 아닌 모든 CNN에 대해 ensemble의 효과가 있다는 것을 보여주기 위해 4가지의 CNN backbone model을 사용하였다. atlas based feature만을 사용했을때 MLP가 4.580년으로 MAE가 가장 작았으며, 3D CNN모델에서는 resnet을 사용했을 때가 3.599로 MAE가 가장 낮았다. fusion model을 사용하여 MLP와 CNN의 prediction이 합쳐졌을 때, 모든 타입에 CNN에 대해 prediction accuracy는 더 높아졌다. 가장 작은 MAE는 3.4로 ResNet과 MLP를 사용했을 때 얻어졌다. 또한 mobilenet을 CNN backbone으로 사용했을 때, 단일 CNN과 fusionnet의 정확도 차이가 가장 컸다. 모든 평가는 435명의 validation subject에 대해 이루어졌다.

 

 

[1] Franke, Katja, and Christian Gaser. "Longitudinal changes in individual BrainAGE in healthy aging, mild cognitive impairment, and Alzheimer’s disease." GeroPsych (2012)
[2] Löwe, Luise Christine, et al. "The effect of the APOE genotype on individual BrainAGE in normal aging, mild cognitive impairment, and Alzheimer’s disease." PloS one 11.7 (2016): e0157514.

[3] Schnack, Hugo G., et al. "Accelerated brain aging in schizophrenia: a longitudinal pattern recognition study." American Journal of Psychiatry 173.6 (2016): 607-616
[4] Pardoe, Heath R., et al. "Structural brain changes in medically refractory focal epilepsy resemble premature brain aging." Epilepsy research 133 (2017): 28-32

[5] Corps, Joshua, and Islem Rekik. "Morphological brain age prediction using multi-view brain networks derived from cortical morphology in healthy and disordered participants." Scientific reports 9.1 (2019): 1-10
[6] Cole, James H., et al. "Brain age predicts mortality." Molecular psychiatry 23.5 (2018): 1385-1392 [7] Jónsson, Benedikt Atli, et al. "Brain age prediction using deep learning uncovers associated sequence variants." Nature communications 10.1 (2019): 1-10

[8] Cole, James H., et al. "Predicting brain age with deep learning from raw imaging data results in a reliable and heritable biomarker." NeuroImage 163 (2017): 115-124
[9] Fischl, Bruce. "FreeSurfer." Neuroimage 62.2 (2012): 774-781
[10] Smith, Stephen M. "Fast robust automated brain extraction." Human brain mapping 17.3 (2002): 143-155

[11] He, Kaiming, et al. "Deep residual learning for image recognition." Proceedings of the IEEE conference on computer vision and pattern recognition. 2016
[12] Xie, Saining, et al. "Aggregated residual transformations for deep neural networks." Proceedings of the IEEE conference on computer vision and pattern recognition. 2017

[13] Zhang, Xiangyu, et al. "Shufflenet: An extremely efficient convolutional neural network for mobile devices." Proceedings of the IEEE conference on computer vision and pattern recognition. 2018
[14] Howard, Andrew G., et al. "Mobilenets: Efficient convolutional neural networks for mobile vision applications." arXiv preprint arXiv:1704.04861 (2017)

[15] Huang, Shih-Cheng, et al. "Fusion of medical imaging and electronic health records using deep learning: a systematic review and implementation guidelines." NPJ digital medicine 3.1 (2020): 1-9