전체 글
-
Taming Transformers for High-Resolution Image Synthesis논문 정리 2023. 12. 16. 20:03
VQ-GAN을 이해하기 위해서는 VAE(Variational Auto-Encoder)와 VQ-VAE에 대한 지식이 필요하다. 1. VAE VAE의 대략적인 구조는 위와 같다. Input image $x$를 인코더에 통과시켜 latent vector $z$를 생성하고, $z$를 다시 디코더에 통과시켜 기존 input $x$와 비슷하지만 새로운 이미지 $x$를 찾아내는 구조이다. 그렇다면 auto-encoder와의 차이점은 무엇인가? 위 그림과 같이 auto-encoder는 특정 입력 이미지를 잘 임베딩 하여 원본 이미지로 복원하는 과정을 학습한다. 즉 feature 추출과 압축을 위한 과정을 학습한다. 반면 VAE는 어떠한 latent space가 원하는 이미지를 만들어 내는지 그 확률 분포를 학습한다. ..
-
DDPM: Denoising Diffusion Probabilistic Model논문 정리 2023. 11. 29. 18:37
DDPM이 무엇인지는 너무 유명하니 패스한다. DDPM에서 설명하는 diffusion 방식은 아래 그림과 같다. 먼저 DDPM은 이미지에 작은 가우시안 노이즈를 더하는 과정의 역과정 (즉 노이즈를 제거하는 과정) 역시 가우시안 분포로 모델링이 가능하다는 가정으로 시작한다. 즉 다시 말하면 normal distribution에 대한 노이즈가 주어졌을 때 이를 어떻게 복원할 것인가에 대한 문제를 모델이 해결하는 것이다. 먼저 $t$ 시간 이미지 $X_t$에 노이즈 $I$를 더하는 과정의 확률분포 $q \left ( X _ { t } \mid X _ { t-1 } \right ) $는 다음과 같다. $q \left ( X _ { t } \mid X _ { t-1 } \right ) = \mathcal{N} \..
-
Object-Centric Learning with Slot Attention논문 정리 2023. 3. 25. 18:29
이 논문에서는 CNN을 사용하여 복잡한 장면의 객체 중심 표현(object-centric representation)을 학습하는 새로운 방법을 소개한다. 이 방법 슬롯이라고 하는 task-dependent abstract representation을 생성하는 slot attention module을 사용한다. 이러한 슬롯은 반복적인 attention 과정을 통해 업데이트가 가능하며 모든 입력 feature와 상호작용한다. 이 논문은 slot attention이 unsupervised object discovery 및 supervised property prediction task에 대해 학습할 때 보이지 않는 구성에 대한 일반화를 가능하게 하는 객체 중심 표현을 추출할 수 있음을 보여준다. 또한 이 논문..
-
SuperPoint: Self-Supervised Interest Point Detection and Description논문 정리 2022. 3. 9. 18:27
SuperPoint를 설명하기 앞서 이미지 특징점 (keypoint)란 무엇인지 알아야 한다. 이미지 keypoint이란 말 그대로 이미지에서 특징이 되는 부분을 의미한다. 이미지 매칭 시, 즉 이미지끼리 서로 매칭이 되는지 확인을 할 때 각 이미지에서의 특징이 되는 부분끼리 비교를 한다. 보통 특징점이 되는 부분은 물체의 모서리나 코너인데, 그래서 대부분의 특징점 검출을 코너 검출을 바탕으로 하고 있다. 이러한 keypoint는 크게 samantic keypoint와 interset point로 나뉘는데, samantic keypoint는 그림과 같이 사람의 골격, 물체의 의미론적인 특정 위치를 기반으로 하기 때문에 정의하기가 쉽지만 interset point의 경우 모서리, 꼭짓점과 같은 low-le..
-
Neural Ordinary Differential Equations (Neural ODE) [작성 중]머신러닝, 딥러닝 공부 2022. 3. 9. 11:45
https://arxiv.org/abs/1806.07366 Neural Ordinary Differential Equations We introduce a new family of deep neural network models. Instead of specifying a discrete sequence of hidden layers, we parameterize the derivative of the hidden state using a neural network. The output of the network is computed using a black-box differen arxiv.org Neural Ordinary Differential Equations (이하 Neural ODE)는 201..
-
LATEX 유용한 코드 모음프로그래밍 2022. 1. 31. 11:06
논문용 LATEX를 사용할때 유용한 코드들을 모아봤다. 1. 그림 삽입 \begin{figure} \setlength{\belowcaptionskip}{-24pt} \begin{center} \includegraphics[width=\linewidth]{이미지 경로} \caption{캡션} \label{label 이름} \end{center} \end{figure} 2. 수식 삽입 \begin{equation} 수식 입력 \end{equation} 3. 글자 색 변경 \usepackage{color} \textcolor{red}{red colored text}
-
WACV 2022 학회 참석기 (하와이 여행기) #4여행기 2022. 1. 30. 00:00
WACV 2022 학회 참석기 (하와이 여행기) #3 WACV 2022 학회 참석기 (하와이 여행기) #3 WACV 2022 학회 참석기 (하와이 여행기) #2 WACV 2022 학회 참석기 (하와이 여행기) #2 WACV 2022 학회 참석기 (하와이 여행기) #1 WACV 2022 학회 참석기 (하와이 여행기) #1 최근에 IEEE/CVF Winter.. hydragon-cv.info 사실 하와이 방문 목적이 WACV 학회 참석이었지만 지금까지 너무 여행 위주로 글을 쓴 것 같다. 이번에는 학회 참석기를 써볼까 한다. https://goo.gl/maps/tQkZ5RiU8gMscqx89 와이콜로아 비치 매리엇 리조트 & 스파 · 69-275 Waikōloa Beach Dr, Waikoloa Beach,..