-
Neural Networks #2머신러닝 기초 2019. 11. 25. 00:00반응형
앞부분 내용은 https://hydragon-cv.info/entry/CS231n-2017-lecture-4-part-1
CS231n 2017 lecture 4 - part 1
1. Optimization Optimization(최적화)는 최저의 loss를 가지는 가중치 $W$를 찾는 과정이다. 이 과정은 마치 넓은 골짜기를 걸어 다니며 고도가 제일 낮은 곳을 찾는 과정과 비슷하다. 물론 임의의 $W$를 계속..
hydragon-cv.info
와 동일하므로 생략한다. 이제 모든 값들이 벡터로 구성되어있다 하자.
이때
라 하면 Jacobian matrix는
와 같다. 이제
라 하자. 이를 그림으로 표현하면 다음과 같다.
q=Wx에서
이므로
이다. 같은 방법으로
에서
이다. 또한
이다. 따라서 아래와 같다.
반응형'머신러닝 기초' 카테고리의 다른 글
Neural Networks #3 (0) 2019.11.29 Neural Networks #1 (0) 2019.11.15 Perceptron Algorithm (0) 2019.11.10 Clustering (0) 2019.11.06 Nearest neighbor regression (0) 2019.11.03