머신러닝, 딥러닝 공부
-
Neural Ordinary Differential Equations (Neural ODE) [작성 중]머신러닝, 딥러닝 공부 2022. 3. 9. 11:45
https://arxiv.org/abs/1806.07366 Neural Ordinary Differential Equations We introduce a new family of deep neural network models. Instead of specifying a discrete sequence of hidden layers, we parameterize the derivative of the hidden state using a neural network. The output of the network is computed using a black-box differen arxiv.org Neural Ordinary Differential Equations (이하 Neural ODE)는 201..
-
Few-Shot Image Semantic Segmentation머신러닝, 딥러닝 공부 2021. 10. 4. 23:04
1. Few-Shot Learning 인간과 같이 소량의 데이터(few-shot)만으로도 학습하는 것. 대부분 train set은 아래 그림과 같이 support set (training 중 학습에 사용되는 데이터셋), Query set (training 중 평가에 사용되는 데이터셋)으로 나뉜다. Support set의 클래스가 N개 각 클래스별 개수가 K개 이면 이를 흔히 N-way K-shot task라 불린다. 당연한 말이지만 N이 클수록, K가 작을수록 어렵다. Few-show learning을 평가하는 방식은 주로 Meta-Learning을 사용한다. 아래 그림과 같다. 특징은 모델은 수많은 support set, query set으로 학습이 되는데 이때 사용되는 클래스를 base class라고..
-
Salient Object Detection 내용 정리머신러닝, 딥러닝 공부 2021. 8. 21. 20:04
Salient Object Detection (SOD) 간단히 설명하면 이미지에서 가장 salient(두드러진)하고 attention-grabbing 한 object를 찾아내어 해당 객체의 전체 범위를 segment 하는 것이다. 다른 말로 배경(background)에서 중요한 전경(foreground) 물체만을 분할해낸다. 이때 이미지에서 가장 salient 한 물체만을 검출해 내는 것이며 일반적인 Object Detection, Segmentation task와는 다르다. object detection은 이미지 내에서 물체를 찾아서 바운딩 박스로 감싸고 그 물체가 무엇인지 분류해내는 것을 목표로 한다. 반면 semantic segmentation은 이미지 내 물체들을 의미있는 단위로 분할한다. Co-..
-
-
Knowledge Distillation머신러닝, 딥러닝 공부 2021. 2. 1. 18:39
1. Knowledge Distillation Knowledge distillation은 NIPS 2014에 제출된 "Distilling the Knowledge in a Neural Network"라는 논문에서 제시된 개념이다. 간단하게 큰 모델(Teacher Network)로부터 증류한 지식을 작은 모델(Student Network)로 transfer 하는 일련의 과정이다. Knowledge distillation은 작은 네트워크가 큰 네트워크와 비슷한 성능을 낼 수 있도록 하는 것이 목적이다. 2. Knowledge Distillation의 구조 $L=\left(1-\alpha\right)L_{CE}\left(\sigma\left(Z_s\right),\ \hat{y}\right)+2\alpha T^..
-
Feature Pyramid Networks머신러닝, 딥러닝 공부 2021. 1. 5. 13:27
1. Introduction Object detection에서 다양한 스케일의 물체를 감지하는 것은 어려운 일이다. 특히 작은 물체의 경우가 그러한데 이는 아래 그림과 같이 이미지를 서로 다른 스케일로 적용하여 해결할 수 있다. 단순하게 이미지를 다양한 크기로 resize 하고 각 이미지마다 feature를 추출하여 detection을 하는 것이다. 하지만 여러 스케일 이미지를 처리하는 데 시간이 많이 걸리고 메모리 요구량이 커서 이를 End-to-End로 학습하는 것은 어려운 일이다. 다른 방법으로는 단일 이미지에서 convolution 연산을 통해 resolution이 낮은 feature를 추출하고, 이를 이용해 prediction을 수행하는 것이 있다. 이는 연산량 측면에서는 유리하지만 결과적으로 ..
-
Non-local Neural Networks머신러닝, 딥러닝 공부 2020. 7. 4. 14:07
1. Introduction 일반적인 Convolutional neural network의 경우 넓은 receptive field를 확보하기 위해 convolution를 여러 개 쌓거나 pooling layer를 통해 봐야 하는 영상의 크기를 줄인다. 하지만 이러한 방식은 receptive field 측면에서 크게 효율적인 방법은 아니다. 충분한 receptive field를 확보하기 위해선 네트워크 깊이가 상당히 깊어져야 하므로 효율적이지 못하다. 저자는 2000년대 초반에 소개된 상당히 좋은 성능을 보여주는 노이즈 제거 필터인 Non-local Means Filter (NLM Filter)에서 아이디어를 얻어 기존의 convolution의 local 한 특성을 보완해 줄 수 있는, 한 번의 연산이 영..
-
Understanding GRU Networks [번역]머신러닝, 딥러닝 공부 2020. 5. 29. 19:06
이 글에서는 정말 매혹적인 유형의 신경망에 대해 매우 간단하고 이해하기 쉬운 설명을 제공하려고 한다. Cho, et al. 2014 년에 GRU (Gated Recurrent Unit)는 표준 recurrent neural network의 vanishing gradient problem를 해결하는 것을 목표로 한다. GRU는 LSTM의 변형으로 간주될 수 있다. 두 가지 모두 비슷하게 설계되고 경우에 따라 동일한 결과를 제공하기 때문이다. Recurrent Neural Networks에 익숙하지 않은 경우 간단한 소개를 읽는 것이 좋다. LSTM에 대한 이해를 돕기 위해 많은 사람들이 Christopher Olah의 글을 추천한다. 이 글은 GRU와 LSTM을 명확히 구분하기 위함이다. How do GR..