HJLim's Deep Learning HJLim's Deep Learning

2021_Project/generalization

• Delving into Deep Imbalanced Regression

  2021_Project/generalization 2022. 3. 22. 20:59

  데이터 불균형을 해결하는 연구들은 예전부터 많이 존재했다. 하지만 이들 중 대다수는 classification 문제에 focus 되어 있었으며 연속형 데이터를 다루는 regression에서의 데이터 불균형 문제 해결에 대해서는 제대로 다뤄지지 않았다. 그러던 도중 2021년에 소개된 "Delving into Deep Imbalanced Regression"이라는 논문을 접하게 되었고 불균형 연속형 데이터를 해결하는 방법인 label distribution smoothing (LDS)기법에 대해 알게되었다. 따라서 오늘은 위 논문을 리뷰하며 불균형 문제 해결방법에 대해 소개하도록 하겠다. 보다 더 자세한 내용은 논문을 통해서, 혹은 아래 사이트에서 상세하게 알 수 있다. https://towardsdata..

  Read More
• SAM : Sharpness-Aware Minimization For Efficiently Improving Generalization

  2021_Project/generalization 2021. 10. 12. 15:12

  저번 실험에서 training loss 및 validation loss(=MAE) 가 3 초반으로 낮았음에도 불구하고 다른 domain에서의 external validation dataset에 대해서는 잘 예측하지 못함(MAE=5.xx)을 확인하였다. 이는 나의 모델의 generalization이 부족함을 의미하며, 이를 해결하기 위해 domain adaptation이 필요하다는 생각을 하였다. model generalization에 대한 방법을 찾던 도중, 교수님께서 최근 발표된 optimization 기법인 SAM에 대해 이야기 하셨으며 이를 한번 내 모델에 적용시켜보라고 권유하셨다. 따라서 이번 포스트에서는 SAM이 무엇인지에 대해 소개하고 brain age prediction model에 적용한 ..

  Read More
• Generalization of diffusion magnetic resonance imaging-based brain age prediction model through transfer learning

  2021_Project/generalization 2021. 7. 21. 20:52

  brain age prediction에서의 domain adaptation 방법을 찾던 도중 2020년에 나온 "Generalization of diffusion magnetic resonance imaging-based brain age prediction model through transfer learning" 논문을 알게 되었다. 해당 논문은 domain adaptation 방법 중 transfer learning을 사용하였는데 오늘은 이 논문을 간략하게 설명해 보겠다. Generalization of diffusion magnetic resonance imaging-based brain age prediction model through transfer learning 1. Abstract 논문..

  Read More