티스토리

HJLim's Deep Learning

검색하기

블로그 홈

HJLim's Deep Learning

deeplearning-hj.tistory.com/m

Lim Hee Joo 님의 블로그입니다.

구독자: 0

방명록 방문하기

주요 글 목록

[Python] 정렬 보호되어 있는 글입니다. 공감수 0 댓글수 0 2022. 10. 6.
[Python] DFS , BFS (1) 보호되어 있는 글입니다. 공감수 0 댓글수 0 2022. 10. 5.
[Python] 구현 - 완전탐색 보호되어 있는 글입니다. 공감수 0 댓글수 0 2022. 10. 5.
[Python] 그리디 알고리즘 보호되어 있는 글입니다. 공감수 0 댓글수 0 2022. 10. 5.
코딩테스트 기초 어쩌다 보니 코테를 준비하게 되었다. 3일이라는 매우매우 짧은 시간이지만 최선을 다해 반타작 이상을 맞추는게 이번 첫 코테의 목표이다. 😈 알고리즘 성능평가 😈 딥러닝과 달리, 일반적으로 알고리즘을 짤때는 코드를 효율적으로 작성하는 것이 가장 중요하다. 이를 측정하기 위해 알고리즘 성능평가를 하는데, 이것이 무엇인지 다시 한번 복습하는 시간을 가지겠다. 1. 복잡도 복잡도는 알고리즘의 성능을 나타내는 척도이다. 크게 시간 복잡도와 공간 복잡도가 있는데, 이는 각각 알고리즘의 수행 시간과 메모리 사용량을 의미한다. 2. 빅오 표기법 가장 빠르게 증가하는 항만을 고려하는 표기법이다. 즉 함수의 상한만을 나타낸다. (극한의 개념으로 생각하면 편하다.) 기본적으로 python의 경우 C언어보다 시간이 더 많이 .. 공감수 3 댓글수 1 2022. 10. 5.
[Python] 순열과 동적계획법 💟 문제 : 입력 길이 n일 때 n 이하의 수에 대해서 모든 순열의 경우를 나열해보시오. def combinations(s): if len(s) < 2: return s res = [] for i,c in enumerate(s): res.append(c) for j in combinations(s[:i]+s[i+1:1]): res.append(c+j) return res 코드 분석 : 순열의 문제를 재귀함수로 풀어낸 코드이다. 재귀함수하니까 떠오른 것이 동적계획법이기 때문에 동적계획법에 대해 공부하도록 하겠다. 동적 계획법 이란 복잡한 문제를 간단한 여러 하위 문제들로 나눠서 푸는 것으로 하위 문제가 서로 종속성을 가질 때 사용된다. (Divide and Conquer과 매우 유사하다) 동적 계획법은 모.. 공감수 4 댓글수 0 2022. 10. 4.
[Python] 튜플과 리스트 튜플 : 괄호 () 안에 값과 쉼표를 사용해 생성한다., 불변 시컨스 타임 튜플의 예 : ('a','b','c') 1.네임드 튜플 파이썬의 표준 모듈 중 collections에는 네임드 튜플이라는 시컨스 데이터 타입이 있다. 네임드 튜플이란? 튜플 항목을 인덱스 위치 뿐만 아니라 이름으로도 참조할 수 있다. >>> import collections >>> Person = collections.namedtuple('Person', ('name','age','gender')) >>> p = Person('hijoo',1,'w') >>> p Person(name='hijoo', age=1, gender='w') >>> p[0] 'hijoo' >>> p.name 'hijoo' ===================.. 공감수 3 댓글수 0 2022. 10. 4.
[Python] 문자열 메소드 1. A.join(B) 리스트 B에 있는 모든 요소를 A를 사용해 하나의 문자열로 결합해준다. >>> test_list = ['a','b','c','d'] >>> " ".join(test_list) 'a b c d' 2. A.format() 문자열 A에 변수를 추가하거나 형식화하는데 사용 (의외로 유용하게 쓰이는 경우가 꽤 있다!!) >>> "이름 : {who}, 특기 : {what}".format(who="heejoo", what="deep learning") '이름 : heejoo 특기 : deep learning' 3. locals() 현재 스코프에 있는 지역 변수를 딕셔너리로 변환 (여기서 ** 연산자의 의미 : 함수로 전달하기에 적절한 키-벨류 딕셔너리가 생성된다 ) >>> name = "hee.. 공감수 0 댓글수 0 2022. 9. 29.
CutPaste : self-supervised Learning for Anomaly Detection and Localization 한동안 논문 및 학회 준비로 바쁜 삶을 보냈다. 그러던 도중 기업들도 서치를 해보았는데 역시나 대부분의 제조업 회사들은 이상치 탐지 알고리즘 프로젝트를 진행하고 있었다. 이상치 탐지는 언제 한번 깊게 공부해보고 싶은 분야였기 때문에 관련 논문 하나를 공부해보았으며, 이번 포스트에서는 오랜만에 딥러닝 기법에 대한 소개를 하고자 한다. CutPaste : self-supervised Learning for Anomaly Detection and Localization 이 논문은 2021년 비교적 따끈따끈하게 나왔다. CVPR에서 Google Cloud AI Research 팀이 발표한 이 논문은 사실 간단한 아이디어이지만 매우 실용적이며 훌륭한 결과를 갖고 있다. 먼저 논문 제목을 살펴보자면, "Self-S.. 공감수 0 댓글수 2 2022. 9. 21.
시스템 품질 변화로 인한 사용자 불편 예지 AI 경진대회 오늘 포스트에는 데이콘에서 주관하고 LG AI Research에서 주최하였던 2021 시스템 품질 변화로 인한 사용자 불편 예지 AI 경진대회에 참가하였던 후기를 다루겠다. 참고로 해당 대회에서는 0.83441의 최종점수로 상위 13%를 차지하였으며 관련 코드는 아래 Github 주소를 보면 된다. https://github.com/JoyceWLee/Dacon-predict_dissatisfaction GitHub - JoyceWLee/Dacon-predict_dissatisfaction Contribute to JoyceWLee/Dacon-predict_dissatisfaction development by creating an account on GitHub. github.com 나는 정형 데이터의 .. 공감수 0 댓글수 0 2022. 8. 18.
KU 매디컬 해커톤 뒤늦게 올리는 포스트 이지만.. 2019년 건국대학교에서 개최한 KU Medical Hackathon에 참가했었다. 해커톤은 더 클래식 500에서 진행되었으며 무박 2일동안 여러 참가자들이 한 공간에 모여 작업을 하였다. 심사 기준은 1. 고객가치 구현 : 30%, 2. 실제 구현 가능성 : 30%, 3. 파급 효과 : 30%, 4. 해커톤 참여도 : 10%였다. 우리는 여기서 AI 심리분석 시스템인 Mental Illnes Customized Analysis MICA를 제시하였다. MICA의 등장 배경은 다음과 같다. 통계청 자료에 따르면 인구 10만명 당 자살사 수는 한국에서 2017년 24.3명으로 줄어들었지만 2018년 26.6명으로 다시 급증하였다. 또한 의료기관 진료만 집계했을 때 2012년에.. 공감수 0 댓글수 0 2022. 8. 18.
Graph attention network (GATs) 우리가 머신러닝 분야에서 주로 사용하는 Convolutional Neural Network (CNNs)는 data representation이 그리드 형 구조를 지닌다는 전제를 갖고 있다. 이러한 네트워크는 모든 input position 별로 같은 로컬 필터를 재사용하여 학습을 시켜준다. (Convolution이 각 stage 별로 input feature들에 대해 어떻게 일어나는지를 상상하면 된다.) 하지만 모든 데이터들이 이러한 grid-like structure을 가지는 것은 아니다. 상당수의 데이터는 불규칙적인 domain에 존재하며 3D meshes, social networks, brain connectomes 등이 바로 그러하다. 이러한 데이터는 주로 graph의 형태로 표현가능하다. 여기.. 공감수 0 댓글수 0 2022. 4. 14.
Multi GPU 사용하기 및 GPU hang 문제 해결 GPU 한개만을 이용해서 deep learning code를 돌릴 수 있지만, 보다 더 나은 성능을 위해 multi GPU를 사용해야하는 상황이 올 수 있다. 사실 multi GPU를 사용하도록 하는 코드는 간단한데 이는 아래와 같다. 1. .py 코드로 돌리는 경우 (1) .py 상에서 모델을 지정해줄 때, 다음과 같이 nn.DataParallel을 사용하여 모델을 랩핑해준다. PyTorch는 기본적으로 하나의 GPU만 사용하기 때문에 DataParallel 을 이용하여 모델을 병렬로 실행해 다수의 GPU 에서 작업을 수행한다. model = torch.nn.DataParallel(net).cuda() (2) Terminal에서 .py 코드를 돌릴때 명령어 앞에 CUDA_VISIBLE_DEVICES를 .. 공감수 0 댓글수 0 2022. 4. 6.
Planning by Dynamic Programming (by Silver) 오늘 포스트에서는 Dynamic Programming 관점에서 Prediction 및 Control 문제에 대해 간략하게 소개하도록 하겠다. Dynamic Programming이란, 쉽게 설명하자면 한번에 풀기 어려운 큰 문제를 작은 여러 문제들로 나눠서 푸는 것을 의미한다. Subproblem으로 나눈 후, 그 작은 문제들에 대한 해답을 찾고 그 해답들을 모아서 큰 문제를 해결한다. Dynamic Programming 방법론이 되기 위해선 아래와 같은 2가지 조건이 필요하다. 1. Optimal Substructure 전체 큰 문제에 대한 obtimal solution이 subproblem들로 나뉠 수 있어야 한다. 2. Overlapping subproblems 한 subproblem을 풀면 그 문제.. 공감수 0 댓글수 0 2022. 3. 29.
Warning message 무시하는 방법 1. Ignore Warning message import warnings warnings.filterwarnings(action='ignore') 2. Reset warnings.filterwarnings(action='default') 3. Temporarily suppress stderr import os import sys sys.stderr = open(os.devnull, "w") # silence stderr sys.stderr = sys.__stderr__ # unsilence stderr 공감수 0 댓글수 0 2022. 3. 28.
Multihead Self Attention 보호되어 있는 글입니다. 공감수 0 댓글수 0 2022. 3. 24.
Delving into Deep Imbalanced Regression 데이터 불균형을 해결하는 연구들은 예전부터 많이 존재했다. 하지만 이들 중 대다수는 classification 문제에 focus 되어 있었으며 연속형 데이터를 다루는 regression에서의 데이터 불균형 문제 해결에 대해서는 제대로 다뤄지지 않았다. 그러던 도중 2021년에 소개된 "Delving into Deep Imbalanced Regression"이라는 논문을 접하게 되었고 불균형 연속형 데이터를 해결하는 방법인 label distribution smoothing (LDS)기법에 대해 알게되었다. 따라서 오늘은 위 논문을 리뷰하며 불균형 문제 해결방법에 대해 소개하도록 하겠다. 보다 더 자세한 내용은 논문을 통해서, 혹은 아래 사이트에서 상세하게 알 수 있다. https://towardsdata.. 공감수 0 댓글수 0 2022. 3. 22.
1. Introduction to Reinforcement Learning 오늘 포스트에서는 강화학습에 대한 특성과 용어정리를 하고 넘어가겠다. 1. Reinforcement Learning(강화학습)의 다른 ML paradigm과 다른 특징 Supervisor없이, 오직 reward signal만이 있다. → 강화학습은 알아서 reward받는 것을 maximize하는, optimal에 도달하는 방법론이다! Feedback(reward)은 즉각적으로 오지 않을 수 있다. (delay될 수 있다.) 각각의 action의 순서가 유의미하다. Agent들의 action은 들어오는 subsequent한 data에 영향을 미친다. 2. 용어정리 ● Rewards Reward는 step t에서 agent가 얼마나 잘 하고 있는지에 대한 feedback signal로, 벡터가 아닌 스칼라 .. 공감수 0 댓글수 0 2022. 2. 28.
BAM : Bottleneck Attention Module 최근들어 CNN에 attention을 적용시킨 연구들에 흥미가 생겨 Squeeze and Excitation network (SENet)을 비롯해 여러 attention module들에 대해 공부해보았다. (SENet은 다음 포스트에서 상세하게 다루도록 하겠다) 3D image에 대해서는 대부분의 attention이 channel 방향으로 이루어졌는데 (아마도 input data가 거의 비디오기 때문이라 추측) 내 경우에는 channel보단 spatial 방향으로 attention을 해주는 것이 더 의미있을 것 같았다. 따라서 spatial 쪽으로 attention map을 생성한 논문들을 찾아보던 도중 BAM과 CBAM에 대해 알게되었으며 이를 오늘 포스트에서 다루도록 하겠다. BAM : Bottlen.. 공감수 0 댓글수 0 2022. 2. 22.
Exponential Moving Average (EMA) in ML Swin Transfer의 이점을 복사한 ConvNet에 대한 논문을 읽다가 새로운 optimization 기법인 EMA를 처음 접하게 되었다. EMA가 도대체 무엇이길래 기존 basline보다 성능이 더 향상되었는지(단순히 optimization을 EMA로 사용했다는 이유만으로) 궁금하여 공부해보았고, 따라서 이번 포스트에서는 딥러닝적 관점에서 EMA에 대해 설명하도록 하겠다. Exponential Moving Average(EMA) EMA 알고리즘은 시계열 데이터에 대해 많이 사용되는데, 그 이유는 EMA가 효율적으로 시계열 데이터의 noise를 줄여주기 떄문이다. (data를 smoothing하는 효과를 가져온다!) EMA를 구현하는 방법은 단순히 최근 정보에는 높은 가중치를 주고 오래된 과거는 낮.. 공감수 0 댓글수 0 2022. 2. 21.
Mixed Precision Training 딥러닝 코드를 돌리다 보면 model capacity가 커짐에 따라 memory error가 빈번하게 일어나는 경우가 종종 있다. 설령 모델이 돌아간다고 해도 연산속도가 매우 오래걸리는 경우가 허다하다. batch size를 작게 설정하거나 input image를 crop하는 등의 어떠한 작업을 해주는 것이 아니라 모델 자체에서 보다 더 빠르고 메모리를 덜 차지하는 방향으로 연산을 하는 방법이 있을까? 오늘 소개할 아이디어는 FP16 비트로 학습을 계산하여 보다 적은 GPU 자원을 사용하는 Mixed Precision Trainining이다. Mixed Precision Training Deep Learning methodology가 발전하면서, NN의 사이즈를 늘리는 것이 더 좋은 퍼포먼스를 가져온다고.. 공감수 0 댓글수 0 2022. 2. 16.
Cost function for Segmentation 이번 포스트에서는 segmentation에서 training 시 사용할 수 있는 cost function에 대해 소개하고자 한다. Segmentation은 결국 모든 pixel에 대해서 per-pixel-classification 문제로 해석 가능하기 때문에 가장 간단한 cost function으로는 Cross-entropy를 생각 할 수 있다. Cross-entropy는 우선 각 pixel에서 시행되며, 이렇게 얻은 독립적인 N개의 cross entropy값은 추후 averaged된다. 하지만 주변의 error값을 고려하지 않기 때문에 별로 좋지 않으며, 특정 class가 training data에서 많이 차지하고 있을때 성능이 현저히 저하된다. Segmentation에서 사용하는 cross entro.. 공감수 0 댓글수 0 2022. 2. 4.
MR Image preprocessing (2) : N4 bias field correction 2022.01.26 - [전반적인 딥러닝 기법] - MR Image preprocessing (1) : histogram equalization MR Image preprocessing (1) : histogram equalization 여태까지 나는 단순히 medical image도 natural image의 연장선으로 생각하고 문제를 해결하려고 하였다. 따라서 pixel간의 intensity normalization을 제외하고는 ( memory error을 해결하기 위해 필요시 resizin.. deeplearning-hj.tistory.com MR Image 는 ( 이전 포스트에서 다뤘던 것처럼) natural image와는 다른 전처리 작업을 해줘야 하지만, CT image와도 약간 다른 전처리 .. 공감수 0 댓글수 0 2022. 2. 3.
MR Image preprocessing (1) : histogram equalization 여태까지 나는 단순히 medical image도 natural image의 연장선으로 생각하고 문제를 해결하려고 하였다. 따라서 pixel간의 intensity normalization을 제외하고는 ( memory error을 해결하기 위해 필요시 resizing도 시켜주었다.) 별다른 전처리 작업을 해주지 않았다. 그렇게 계속해서 어떻게 model의 아키텍쳐 부분을 변경할까를 고민하던 도중, 왜 medical image만의 특성을 활용하고 있지 않는지에 대한 의문이 들었다. natural image와는 다르게 MR image는 이미지를 얻어내는 vender별로, 혹은 receive coil의 배치에 따라 signal의 magnitude가 약간씩 달라질 수 있고, 거기에 따른 intensity값이 달라질.. 공감수 0 댓글수 0 2022. 1. 26.
Fusion of medical imaging and electronic health records using deep learning: a systematic review and implementation guidelines 이번 포스트에서는 multi modal network를 구현하는 방법에 대해 이야기하도록 하겠다. 물론 fusion 방법은 연구자의 코딩 방식에 따라 달라지겠지만 대표적으로 사용하는 방법들은 오늘 다룰 논문에 잘 소개되어있다. Fusion of medical imaging and electronic health records using deep learning: a systematic review and implementation guidelines 1. Introduction 실제 사람과 같이 automated detection 및 classification 시스템은 의료 영상 데이터와 EHR(electronic health record)로부터의 clinical한 데이터를 같이 사용했을 때 더 좋은 성.. 공감수 0 댓글수 0 2022. 1. 21.
Brain age prediction using fusion deep learning combining pre-engineered and convolution-derived features 2021년에 시작하여 아직 진행 중인 프로젝트는 brain age prediction이다. 3D brain MR image로부터 CNN을 이용하여 brain age(=year)을 예측하는 이 프로젝트는 언뜻 보면 단순해보이지만, 여기에 어떠한 나만의 selling point를 집어넣어 acc를 효율적으로 더 높이는가를 생각하는것은 쉽지 않았다. 수많은 연구진들이 위와 비슷한 주제로 논문을 발표했으며 따라서 웬만한 아이디어는 이미 다 나와있었다. (전반적인 brain age prediction에 대한 연구 동향은 다른 포스트에서 다루도록 하겠다.) 그러던 도중, 우연히 학교 수업을 듣다가 multi-modal learning에 대한 간략한 이야기를 들었고 이를 내 프로젝트에 접목시키면 좋은 결과를 가져다 .. 공감수 0 댓글수 0 2022. 1. 17.
Reinforcement learning란? 보호되어 있는 글입니다. 공감수 0 댓글수 0 2021. 12. 23.
사용자계정 추가하기 - 새로운 사용자를 추가하는 방법 (adduser 사용하기) (1) compu 계정으로 로그인 (2) 터미널 접속 (3) sudo cp -v /home/compu/.bashrc /etc/skel/ (4) sudo adduser [사용자명] - 새로운 사용자계정에게 관리자권한 주기 sudo vi /etc/sudoers /etc/sudoers 파일을 열어 user privilege speccification 부분을 아래와 같이 수정해준다. #User privilege specification root ALL=(ALL:ALL) ALL [사용자명] ALL=(ALL:ALL) ALL - 새로운 사용자 계정 내에서 가상환경 만들기 Ubuntu 18.04.5 LTS , GPU a6000을 사용하고 있을 경우, cuda.. 공감수 0 댓글수 0 2021. 12. 8.
Ubuntu(우분투) 재설치 방법(2) 2021.11.29 - [리눅스(Ubuntu)] - Ubuntu(우분투) 재설치 방법(1) Ubuntu(우분투) 재설치 방법(1) 최근 들어 갑자기 cudNN 에러가 다시 한번 발생했다. 저번에 만든 새로운 가상환경 (새로운 cuda, torch 조합이 들어간..) 이후에 별다른 라이브러리를 설치하거나 update를 해준 기억이 없는데 다시 버 deeplearning-hj.tistory.com 이번 포스트에는 본격적으로 우분투 (재)설치 하는 방법에 대해 설명하도록 하겠다. 2-2 우분투 재설치 방법 부팅 usb를 본체에 연결한 후 재부팅해준다. 이때 부팅시 bios 세팅으로 진입하여 부팅 우선순위를 변경해준다. bios 세팅으로 진입하는 방법은 보통 부팅 시 아래와 같이 화면에 나와있다. 나의 경우, .. 공감수 1 댓글수 0 2021. 12. 6.
Ubuntu(우분투) 재설치 방법(1) 최근 들어 갑자기 cudNN 에러가 다시 한번 발생했다. 저번에 만든 새로운 가상환경 (새로운 cuda, torch 조합이 들어간..) 이후에 별다른 라이브러리를 설치하거나 update를 해준 기억이 없는데 다시 버전문제가 발생했다고 해서 '혹시 나도 모르게 컴퓨터가 자동으로 업데이트가 되고 있나?'라는 의구심이 들었다. 확인을 해봤더니 역시나.. 내가 모르는 사이에 Ubuntu가 자동으로 업데이트되도록 설정이 되어 있었고 13일 토요일에 혼자 업데이트가 되어 기존 라이브러리들과 버전 충돌이 일어나게 된 것이다. 현재 상태에 맞는 새로운 버전을 찾는 것보다 linux 버전을 롤백하는 것이 더 빠르다고 생각했지만, 윈도우와는 다르게 리눅스는 롤백이 매우매우 위험하다고 한다. 따라서 이전 버전의 리눅스 환경.. 공감수 1 댓글수 0 2021. 11. 29.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.