2022_Project
-
Graph attention network (GATs)2022_Project 2022. 4. 14. 15:47
우리가 머신러닝 분야에서 주로 사용하는 Convolutional Neural Network (CNNs)는 data representation이 그리드 형 구조를 지닌다는 전제를 갖고 있다. 이러한 네트워크는 모든 input position 별로 같은 로컬 필터를 재사용하여 학습을 시켜준다. (Convolution이 각 stage 별로 input feature들에 대해 어떻게 일어나는지를 상상하면 된다.) 하지만 모든 데이터들이 이러한 grid-like structure을 가지는 것은 아니다. 상당수의 데이터는 불규칙적인 domain에 존재하며 3D meshes, social networks, brain connectomes 등이 바로 그러하다. 이러한 데이터는 주로 graph의 형태로 표현가능하다. 여기..
-
-
BAM : Bottleneck Attention Module2022_Project 2022. 2. 22. 16:19
최근들어 CNN에 attention을 적용시킨 연구들에 흥미가 생겨 Squeeze and Excitation network (SENet)을 비롯해 여러 attention module들에 대해 공부해보았다. (SENet은 다음 포스트에서 상세하게 다루도록 하겠다) 3D image에 대해서는 대부분의 attention이 channel 방향으로 이루어졌는데 (아마도 input data가 거의 비디오기 때문이라 추측) 내 경우에는 channel보단 spatial 방향으로 attention을 해주는 것이 더 의미있을 것 같았다. 따라서 spatial 쪽으로 attention map을 생성한 논문들을 찾아보던 도중 BAM과 CBAM에 대해 알게되었으며 이를 오늘 포스트에서 다루도록 하겠다. BAM : Bottlen..