5. 오차역전파법

오차역전파법 backpropagation

수치미분법으로 loss함수의 기울기를 구하는것은 쉽지만 오래 걸린다. 하지만 오차역전파법을 사용하면 빠르게 기울기를 구할 수 있다.

 

계산 그래프 computational graph

역전파법을 쉽게 이해할 수 있다. 전체 연산에서 연산 하나하나를 국소화한다. 전체 연산을 단순화할 수 있고 각 연산의 중간 결과값을 보관하기 쉽다.

 

연쇄법칙 chain rule

합성 함수의 미분에 대한 성질: 합성함수의 미분은 각 함수의 미분의 곱.

 

 

 

5장이 되게 중요한 챕터인것같은데 솔직히 완전히 이해는 못하겠다...

 

출처: 밑바닥부터 시작하는 딥러닝(한빛미디어)