전반적인 딥러닝 기법
-
CutPaste : self-supervised Learning for Anomaly Detection and Localization전반적인 딥러닝 기법 2022. 9. 21. 17:14
한동안 논문 및 학회 준비로 바쁜 삶을 보냈다. 그러던 도중 기업들도 서치를 해보았는데 역시나 대부분의 제조업 회사들은 이상치 탐지 알고리즘 프로젝트를 진행하고 있었다. 이상치 탐지는 언제 한번 깊게 공부해보고 싶은 분야였기 때문에 관련 논문 하나를 공부해보았으며, 이번 포스트에서는 오랜만에 딥러닝 기법에 대한 소개를 하고자 한다. CutPaste : self-supervised Learning for Anomaly Detection and Localization 이 논문은 2021년 비교적 따끈따끈하게 나왔다. CVPR에서 Google Cloud AI Research 팀이 발표한 이 논문은 사실 간단한 아이디어이지만 매우 실용적이며 훌륭한 결과를 갖고 있다. 먼저 논문 제목을 살펴보자면, "Self-S..
-
Warning message 무시하는 방법전반적인 딥러닝 기법 2022. 3. 28. 16:27
1. Ignore Warning message import warnings warnings.filterwarnings(action='ignore') 2. Reset warnings.filterwarnings(action='default') 3. Temporarily suppress stderr import os import sys sys.stderr = open(os.devnull, "w") # silence stderr sys.stderr = sys.__stderr__ # unsilence stderr
-
Mixed Precision Training전반적인 딥러닝 기법 2022. 2. 16. 20:08
딥러닝 코드를 돌리다 보면 model capacity가 커짐에 따라 memory error가 빈번하게 일어나는 경우가 종종 있다. 설령 모델이 돌아간다고 해도 연산속도가 매우 오래걸리는 경우가 허다하다. batch size를 작게 설정하거나 input image를 crop하는 등의 어떠한 작업을 해주는 것이 아니라 모델 자체에서 보다 더 빠르고 메모리를 덜 차지하는 방향으로 연산을 하는 방법이 있을까? 오늘 소개할 아이디어는 FP16 비트로 학습을 계산하여 보다 적은 GPU 자원을 사용하는 Mixed Precision Trainining이다. Mixed Precision Training Deep Learning methodology가 발전하면서, NN의 사이즈를 늘리는 것이 더 좋은 퍼포먼스를 가져온다고..
-
MR Image preprocessing (2) : N4 bias field correction전반적인 딥러닝 기법 2022. 2. 3. 20:47
2022.01.26 - [전반적인 딥러닝 기법] - MR Image preprocessing (1) : histogram equalization MR Image preprocessing (1) : histogram equalization 여태까지 나는 단순히 medical image도 natural image의 연장선으로 생각하고 문제를 해결하려고 하였다. 따라서 pixel간의 intensity normalization을 제외하고는 ( memory error을 해결하기 위해 필요시 resizin.. deeplearning-hj.tistory.com MR Image 는 ( 이전 포스트에서 다뤘던 것처럼) natural image와는 다른 전처리 작업을 해줘야 하지만, CT image와도 약간 다른 전처리 ..
-
MR Image preprocessing (1) : histogram equalization전반적인 딥러닝 기법 2022. 1. 26. 17:55
여태까지 나는 단순히 medical image도 natural image의 연장선으로 생각하고 문제를 해결하려고 하였다. 따라서 pixel간의 intensity normalization을 제외하고는 ( memory error을 해결하기 위해 필요시 resizing도 시켜주었다.) 별다른 전처리 작업을 해주지 않았다. 그렇게 계속해서 어떻게 model의 아키텍쳐 부분을 변경할까를 고민하던 도중, 왜 medical image만의 특성을 활용하고 있지 않는지에 대한 의문이 들었다. natural image와는 다르게 MR image는 이미지를 얻어내는 vender별로, 혹은 receive coil의 배치에 따라 signal의 magnitude가 약간씩 달라질 수 있고, 거기에 따른 intensity값이 달라질..
-
resample이란?전반적인 딥러닝 기법 2021. 11. 3. 20:41
mr, 혹은 ct image와 같은 3d data를 이용하여 딥러닝 알고리즘을 돌리다보면 매우 높은 확률로 memory error가 발생하게 된다. 충분히 작은 배치 사이즈를 사용하고, 모델 layer 개수도 줄이는 등 여러 작업을 해도 memory 에러가 발생한다면, 고려해볼 수 있는 또다른 방법은 바로 resize이다. resample은 crop과 약간 다른 개념을 가지고 있는데, crop은 직접적으로 image matrix를 잘라내기 때문에 FOV가 달라지지만 (일반적으로는 줄어들지만) resample을 하게 되면 pixel 혹은 voxel의 사이즈에 변화를 주는 것이기 때문에 FOV는 유지가 된다. 따라서 만약 나의 데이터가 모두 중요해 crop을 할 수 없는 상황이라면 resample해주는 것도..
-
Style Transfer과 Cycle Gan에 대하여 : "화풍 따라하기"전반적인 딥러닝 기법 2021. 10. 20. 16:57
의료 영상 데이터를 이용해서 deep learing algorithm을 돌릴 때 가장 큰 장애물 중 하나가 데이터 자체 확보의 어려움이다. 높은 ROC curve를 요구하는 의료영상 기반 딥러닝 네트워크는 보다 좋은 양질의 학습 데이터를 필요로 하지만, 개인정보 보안 상 등 여러 이유로 한꺼번에 몇천개의 데이터를 획득하는 것은 쉽지 않다. 물론 현재 여러 open source medical data가 있지만, 아직도 다른 성격의 데이터들에 비해 학습용 데이터가 턱없이 부족한 것은 사실이다. 이러한 단점을 해결하기 위해 최근 GAN을 이용하여 synthetic medical image data를 만드는 새로운 시도들이 이어지고 있다고 한다. GAN이 도대체 무엇이길래 높은 정밀도를 요구하는 의료 데이터까지..
-
[Pytorch] 다른 조합의 Train, Validation set 나누기전반적인 딥러닝 기법 2021. 9. 15. 20:20
보통 feature 기반의 deep learning algorithm의 경우, 좀 더 global한 solution을 위해 cross-validation을 사용한다. 이는 나의 model이 내 특정 test dataset에 overfit하는 것을 방지해주며 모든 데이터를 학습에 사용하므로 data 부족으로 인한 underfitting 문제도 어느 정도 해결해준다. 통상적으로 brain age prediction에 관련해서 대다수의 논문들이 10-fold cross validation을 사용한다. 하지만 이는 비교적 running time이 짧은 모델에서만 쓰일 뿐, 학습시간이 nn일 걸리는 image 기반의 모델에서는 CV를 하지 않는 추세이다. 나 역시 현재 RTX A6000으로 3D ResNet을 돌..