Neural Networks #2

머신러닝 기초

hydragon 2019. 11. 25. 00:00

CS231n 2017 lecture 4 - part 1

1. Optimization Optimization(최적화)는 최저의 loss를 가지는 가중치 $W$를 찾는 과정이다. 이 과정은 마치 넓은 골짜기를 걸어 다니며 고도가 제일 낮은 곳을 찾는 과정과 비슷하다. 물론 임의의 $W$를 계속..

hydragon-cv.info

와 동일하므로 생략한다. 이제 모든 값들이 벡터로 구성되어있다 하자.

이때

라 하면 Jacobian matrix는

와 같다. 이제

라 하자. 이를 그림으로 표현하면 다음과 같다.

q=Wx에서

이므로

이다. 같은 방법으로

에서

이다. 또한

이다. 따라서 아래와 같다.