[D2L] 4.7 Forward, Backward Propagation & Computational Graph

[ 이론 ]

이전 내용에서 이미 forward, backward propagation을 포함해 모델링을 했었다.

이번 장에서는 그 구현을 자세히 살펴본다.

 

Forward Propagation = calculation and storage of intermediate variables for a neural network in order form the input layer to output layer.

 

하나의 hidden layer가 있고 bias는 고려하지 않는다고 가정했을 때의 forward propagation과정이다. L2 norm이 더해지는 과정도 포함한다.

이를 graph형태로, 사각형은 variable을, 원은 operator로 표현하면 다음과 같다.

 

backward propagation은 위 forward 순서를 역순으로 진행한다.

이 때 chain rule을 사용하며 derivate 연산을 통해 진행된다.

objective에 적어두었듯 backward propagation은 J objective function의 weight값에 대한 미분값을 찾는 것을 목표로 하고 위 사진이 그 과정이다. 여기서 prod()는 transposition과 swapping 연산을 마친 후 그 요소를 곱하는 연산이다.