분류 전체보기
-
Delving into Deep Imbalanced Regression2021_Project/generalization 2022. 3. 22. 20:59
데이터 불균형을 해결하는 연구들은 예전부터 많이 존재했다. 하지만 이들 중 대다수는 classification 문제에 focus 되어 있었으며 연속형 데이터를 다루는 regression에서의 데이터 불균형 문제 해결에 대해서는 제대로 다뤄지지 않았다. 그러던 도중 2021년에 소개된 "Delving into Deep Imbalanced Regression"이라는 논문을 접하게 되었고 불균형 연속형 데이터를 해결하는 방법인 label distribution smoothing (LDS)기법에 대해 알게되었다. 따라서 오늘은 위 논문을 리뷰하며 불균형 문제 해결방법에 대해 소개하도록 하겠다. 보다 더 자세한 내용은 논문을 통해서, 혹은 아래 사이트에서 상세하게 알 수 있다. https://towardsdata..
-
1. Introduction to Reinforcement LearningDeep Reinforcement Learning 2022. 2. 28. 14:17
오늘 포스트에서는 강화학습에 대한 특성과 용어정리를 하고 넘어가겠다. 1. Reinforcement Learning(강화학습)의 다른 ML paradigm과 다른 특징 Supervisor없이, 오직 reward signal만이 있다. → 강화학습은 알아서 reward받는 것을 maximize하는, optimal에 도달하는 방법론이다! Feedback(reward)은 즉각적으로 오지 않을 수 있다. (delay될 수 있다.) 각각의 action의 순서가 유의미하다. Agent들의 action은 들어오는 subsequent한 data에 영향을 미친다. 2. 용어정리 ● Rewards Reward는 step t에서 agent가 얼마나 잘 하고 있는지에 대한 feedback signal로, 벡터가 아닌 스칼라 ..
-
BAM : Bottleneck Attention Module2022_Project 2022. 2. 22. 16:19
최근들어 CNN에 attention을 적용시킨 연구들에 흥미가 생겨 Squeeze and Excitation network (SENet)을 비롯해 여러 attention module들에 대해 공부해보았다. (SENet은 다음 포스트에서 상세하게 다루도록 하겠다) 3D image에 대해서는 대부분의 attention이 channel 방향으로 이루어졌는데 (아마도 input data가 거의 비디오기 때문이라 추측) 내 경우에는 channel보단 spatial 방향으로 attention을 해주는 것이 더 의미있을 것 같았다. 따라서 spatial 쪽으로 attention map을 생성한 논문들을 찾아보던 도중 BAM과 CBAM에 대해 알게되었으며 이를 오늘 포스트에서 다루도록 하겠다. BAM : Bottlen..
-
Exponential Moving Average (EMA) in ML카테고리 없음 2022. 2. 21. 16:24
Swin Transfer의 이점을 복사한 ConvNet에 대한 논문을 읽다가 새로운 optimization 기법인 EMA를 처음 접하게 되었다. EMA가 도대체 무엇이길래 기존 basline보다 성능이 더 향상되었는지(단순히 optimization을 EMA로 사용했다는 이유만으로) 궁금하여 공부해보았고, 따라서 이번 포스트에서는 딥러닝적 관점에서 EMA에 대해 설명하도록 하겠다. Exponential Moving Average(EMA) EMA 알고리즘은 시계열 데이터에 대해 많이 사용되는데, 그 이유는 EMA가 효율적으로 시계열 데이터의 noise를 줄여주기 떄문이다. (data를 smoothing하는 효과를 가져온다!) EMA를 구현하는 방법은 단순히 최근 정보에는 높은 가중치를 주고 오래된 과거는 낮..
-
Mixed Precision Training전반적인 딥러닝 기법 2022. 2. 16. 20:08
딥러닝 코드를 돌리다 보면 model capacity가 커짐에 따라 memory error가 빈번하게 일어나는 경우가 종종 있다. 설령 모델이 돌아간다고 해도 연산속도가 매우 오래걸리는 경우가 허다하다. batch size를 작게 설정하거나 input image를 crop하는 등의 어떠한 작업을 해주는 것이 아니라 모델 자체에서 보다 더 빠르고 메모리를 덜 차지하는 방향으로 연산을 하는 방법이 있을까? 오늘 소개할 아이디어는 FP16 비트로 학습을 계산하여 보다 적은 GPU 자원을 사용하는 Mixed Precision Trainining이다. Mixed Precision Training Deep Learning methodology가 발전하면서, NN의 사이즈를 늘리는 것이 더 좋은 퍼포먼스를 가져온다고..
-
Cost function for Segmentationsegmentation 2022. 2. 4. 18:45
이번 포스트에서는 segmentation에서 training 시 사용할 수 있는 cost function에 대해 소개하고자 한다. Segmentation은 결국 모든 pixel에 대해서 per-pixel-classification 문제로 해석 가능하기 때문에 가장 간단한 cost function으로는 Cross-entropy를 생각 할 수 있다. Cross-entropy는 우선 각 pixel에서 시행되며, 이렇게 얻은 독립적인 N개의 cross entropy값은 추후 averaged된다. 하지만 주변의 error값을 고려하지 않기 때문에 별로 좋지 않으며, 특정 class가 training data에서 많이 차지하고 있을때 성능이 현저히 저하된다. Segmentation에서 사용하는 cross entro..
-
MR Image preprocessing (2) : N4 bias field correction전반적인 딥러닝 기법 2022. 2. 3. 20:47
2022.01.26 - [전반적인 딥러닝 기법] - MR Image preprocessing (1) : histogram equalization MR Image preprocessing (1) : histogram equalization 여태까지 나는 단순히 medical image도 natural image의 연장선으로 생각하고 문제를 해결하려고 하였다. 따라서 pixel간의 intensity normalization을 제외하고는 ( memory error을 해결하기 위해 필요시 resizin.. deeplearning-hj.tistory.com MR Image 는 ( 이전 포스트에서 다뤘던 것처럼) natural image와는 다른 전처리 작업을 해줘야 하지만, CT image와도 약간 다른 전처리 ..
-
MR Image preprocessing (1) : histogram equalization전반적인 딥러닝 기법 2022. 1. 26. 17:55
여태까지 나는 단순히 medical image도 natural image의 연장선으로 생각하고 문제를 해결하려고 하였다. 따라서 pixel간의 intensity normalization을 제외하고는 ( memory error을 해결하기 위해 필요시 resizing도 시켜주었다.) 별다른 전처리 작업을 해주지 않았다. 그렇게 계속해서 어떻게 model의 아키텍쳐 부분을 변경할까를 고민하던 도중, 왜 medical image만의 특성을 활용하고 있지 않는지에 대한 의문이 들었다. natural image와는 다르게 MR image는 이미지를 얻어내는 vender별로, 혹은 receive coil의 배치에 따라 signal의 magnitude가 약간씩 달라질 수 있고, 거기에 따른 intensity값이 달라질..