AI_basic ) 역전파(BackPropagation)

. 역전파 1단계(BackPropagation Step 1)

순전파가 입력층에서 출력층으로 향한다면 역전파는 반대로 출력층에서 입력층 방향으로 계산하면서 가중치를 업데이트해갑니다. 출력층 바로 이전의 은닉층을 N층이라고 하였을 때, 출력층과 N층 사이의 가중치를 업데이트하는 단계를 역전파 1단계, 그리고 N층과 N층의 이전층 사이의 가중치를 업데이트 하는 단계를 역전파 2단계라고 해봅시다.

역전파 1단계에서 업데이트 해야 할 가중치는 w5,w6,w7,w8 총 4개입니다. 원리 자체는 동일하므로 우선 w5에 대해서 먼저 업데이트를 진행해보겠습니다. 경사 하강법을 수행하려면 가중치 w5를 업데이트 하기 위해서 ∂Etotal / ∂w5를 계산해야 합니다.

 

∂Etotal/∂w5를 계산하기 위해 미분의 연쇄 법칙(Chain rule)에 따라서 이와 같이 풀어 쓸 수 있습니다.

위의 식에서 우변의 세 개의 각 항에 대해서 순서대로 계산해봅시다. 우선 첫번째 항에 대해서 계산해보겠습니다. 미분을 진행하기 전에 Etotal의 값을 상기해봅시다. Etotal은 앞서 순전파를 진행하고 계산했던 전체 오차값입니다. 식은 다음과 같습니다.

 

이에 ∂Etotal / ∂o1는 다음과 같습니다.

이제 두번째 항을 주목해봅시다. o1이라는 값은 시그모이드 함수의 출력값입니다. 그런데 시그모이드 함수의 미분은 f(x)×(1−f(x))입니다. 앞으로의 계산 과정에서도 계속해서 시그모이드 함수를 미분해야 하는 상황이 생기므로 기억해둡시다. 이에 따라서 두번째 항의 미분 결과는 다음과 같습니다.

 

마지막으로 세번째 항은 h1의 값과 동일합니다.

우변의 모든 항을 계산하였습니다. 이제 이 값을 모두 곱해주면 됩니다.

이제 앞서 배웠던 경사 하강법을 통해 가중치를 업데이트 할 때가 왔습니다! 하이퍼파라미터에 해당되는 학습률(learning rate) α는 0.5라고 가정합니다.

 

이와 같은 원리로 w6+, w7+, w8+을 계산할 수 있습니다.