2021_Project
-
Delving into Deep Imbalanced Regression2021_Project/generalization 2022. 3. 22. 20:59
데이터 불균형을 해결하는 연구들은 예전부터 많이 존재했다. 하지만 이들 중 대다수는 classification 문제에 focus 되어 있었으며 연속형 데이터를 다루는 regression에서의 데이터 불균형 문제 해결에 대해서는 제대로 다뤄지지 않았다. 그러던 도중 2021년에 소개된 "Delving into Deep Imbalanced Regression"이라는 논문을 접하게 되었고 불균형 연속형 데이터를 해결하는 방법인 label distribution smoothing (LDS)기법에 대해 알게되었다. 따라서 오늘은 위 논문을 리뷰하며 불균형 문제 해결방법에 대해 소개하도록 하겠다. 보다 더 자세한 내용은 논문을 통해서, 혹은 아래 사이트에서 상세하게 알 수 있다. https://towardsdata..
-
Fusion of medical imaging and electronic health records using deep learning: a systematic review and implementation guidelines2021_Project/Multimodal 2022. 1. 21. 16:48
이번 포스트에서는 multi modal network를 구현하는 방법에 대해 이야기하도록 하겠다. 물론 fusion 방법은 연구자의 코딩 방식에 따라 달라지겠지만 대표적으로 사용하는 방법들은 오늘 다룰 논문에 잘 소개되어있다. Fusion of medical imaging and electronic health records using deep learning: a systematic review and implementation guidelines 1. Introduction 실제 사람과 같이 automated detection 및 classification 시스템은 의료 영상 데이터와 EHR(electronic health record)로부터의 clinical한 데이터를 같이 사용했을 때 더 좋은 성..
-
Brain age prediction using fusion deep learning combining pre-engineered and convolution-derived features2021_Project/Multimodal 2022. 1. 17. 18:03
2021년에 시작하여 아직 진행 중인 프로젝트는 brain age prediction이다. 3D brain MR image로부터 CNN을 이용하여 brain age(=year)을 예측하는 이 프로젝트는 언뜻 보면 단순해보이지만, 여기에 어떠한 나만의 selling point를 집어넣어 acc를 효율적으로 더 높이는가를 생각하는것은 쉽지 않았다. 수많은 연구진들이 위와 비슷한 주제로 논문을 발표했으며 따라서 웬만한 아이디어는 이미 다 나와있었다. (전반적인 brain age prediction에 대한 연구 동향은 다른 포스트에서 다루도록 하겠다.) 그러던 도중, 우연히 학교 수업을 듣다가 multi-modal learning에 대한 간략한 이야기를 들었고 이를 내 프로젝트에 접목시키면 좋은 결과를 가져다 ..
-
SAM : Sharpness-Aware Minimization For Efficiently Improving Generalization2021_Project/generalization 2021. 10. 12. 15:12
저번 실험에서 training loss 및 validation loss(=MAE) 가 3 초반으로 낮았음에도 불구하고 다른 domain에서의 external validation dataset에 대해서는 잘 예측하지 못함(MAE=5.xx)을 확인하였다. 이는 나의 모델의 generalization이 부족함을 의미하며, 이를 해결하기 위해 domain adaptation이 필요하다는 생각을 하였다. model generalization에 대한 방법을 찾던 도중, 교수님께서 최근 발표된 optimization 기법인 SAM에 대해 이야기 하셨으며 이를 한번 내 모델에 적용시켜보라고 권유하셨다. 따라서 이번 포스트에서는 SAM이 무엇인지에 대해 소개하고 brain age prediction model에 적용한 ..
-
Synthesizing Tabular Data using Generative Adversarial Network : TGAN2021_Project/Linear Regression 2021. 8. 23. 19:32
medical dataset을 사용하여 딥러닝을 학습할 때 가장 어려운 점은, 데이터셋의 확보가 어렵다는 것이다. 좋은 성능을 위해 다량의 학습 데이터가 필요하다는 면에서 medical domain에서의 인공지능은 challenging하다고 볼 수 있다. 이러한 데이터 부족 문제를 해결하기 위해 최근들어선 GAN을 사용하는 사람들이 늘어나고 있다. 특히 medical image dataset에 대해선 GAN으로 학습하여 만든 synthetic image와 source image를 합하여 data augmentation을 했다는 연구 결과들이 들려오고 있다. 하지만, 만약 내가 갖고 있는 데이터가 영상데이터가 아닌 다른 feature 데이터면 어떻게 할 것인가? 만약 내가 갖고 있는 데이터가 EMR 혹은 ..
-
Decision Tree Regressor2021_Project/Linear Regression 2021. 8. 5. 13:36
Decision Tree Regressor을 설명하기 앞서 우선 Decision Tree 모델이 무엇인지 설명하도록 하겠다. Decision Tree는 일정한 기준을 질문으로 제시했을 때, '예' 혹은 '아니오'로 갈라질 수 있는 결정 모델을 의미한다. 조건식에 따라 여러 노드들이 마치 나무처럼 형성이 되기 때문에 Decision Tree라고 불린다. 그렇다면 이 decision tree와 회귀모델이 만나면 어떻게 될까? Decision tree regressor을 먼저 설명하기 앞서 decision tree classification 모델을 살펴보는 것이 이해하기 더 쉬울 것이다. 1. Decision Tree classification Decision tree classification에서 root ..
-
Generalization of diffusion magnetic resonance imaging-based brain age prediction model through transfer learning2021_Project/generalization 2021. 7. 21. 20:52
brain age prediction에서의 domain adaptation 방법을 찾던 도중 2020년에 나온 "Generalization of diffusion magnetic resonance imaging-based brain age prediction model through transfer learning" 논문을 알게 되었다. 해당 논문은 domain adaptation 방법 중 transfer learning을 사용하였는데 오늘은 이 논문을 간략하게 설명해 보겠다. Generalization of diffusion magnetic resonance imaging-based brain age prediction model through transfer learning 1. Abstract 논문..