AI_Basic) 역전파(Backpropagtaion) : 학습부터 역전파가 어디에 사용되는지까지 코드위주

선형식의 경우 이해가 직관적이나 그것만을 가지고 갑자기 CNN 모델에 대입하면 머리가 띵해지는 경험을 한적이 있을것이다. 그래서 오늘은 CNN 기반 학습 과정에서 역전파가 어떻게 동작하는지 알아보기 위해 정리할겸 글을 작성했다.

CNN 기반 머신러닝 시스템의 학습 과정과 역전파의 이해

머신러닝 시스템의 학습 과정은 데이터 준비, 모델 정의, 순전파, 손실 계산, 역전파, 그리고 파라미터 업데이트의 단계로 이루어진다. 이번에는 CNN(Convolutional Neural Network) 모델을 사용하고, Cross Entropy 손실 함수를 적용하여 각 단계를 살펴보도록 하자.

1. 데이터 준비

CNN 모델은 주로 이미지 데이터를 다루므로, 이미지 데이터셋을 준비해야 한다. PyTorch의 torchvision 라이브러리를 사용하면 쉽게 이미지 데이터를 로드하고 전처리할 수 있다.

import torch
from torch.utils.data import DataLoader
from torchvision import datasets, transforms

def prepare_data():
    """
    CIFAR-10 데이터셋을 로드하고 전처리하는 함수

    reference: CIFAR-10 데이터셋을 다운로드하고, 데이터 증강 및 정규화를 적용한다.
    return: train_loader, test_loader - 학습 및 테스트 데이터 로더
    """
    transform = transforms.Compose([
        transforms.RandomHorizontalFlip(),
        transforms.RandomCrop(32, padding=4),
        transforms.ToTensor(),
        transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))
    ])

    train_dataset = datasets.CIFAR10(root='./data', train=True, download=True, transform=transform)
    test_dataset = datasets.CIFAR10(root='./data', train=False, download=True, transform=transform)

    train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True)
    test_loader = DataLoader(test_dataset, batch_size=64, shuffle=False)

    return train_loader, test_loader

train_loader, test_loader = prepare_data()

이 코드에서는 CIFAR-10 데이터셋을 사용한다. 데이터 증강 기법(RandomHorizontalFlip, RandomCrop)과 정규화를 적용하여 모델의 일반화 성능을 향상시킨다.

2. CNN 모델 정의

이제 CNN 모델을 정의해야 한다. PyTorch의 nn.Module 클래스를 상속받아 CNN 모델을 구현할 수 있다.

import torch.nn as nn
import torch.nn.functional as F

class CNN(nn.Module):
    """
    CNN 모델 클래스

    reference: 3개의 컨볼루션 층과 2개의 완전연결층으로 구성된 CNN 모델을 정의한다.
    """
    def __init__(self):
        super(CNN, self).__init__()
        self.conv1 = nn.Conv2d(3, 32, 3, padding=1)
        self.conv2 = nn.Conv2d(32, 64, 3, padding=1)
        self.conv3 = nn.Conv2d(64, 64, 3, padding=1)
        self.pool = nn.MaxPool2d(2, 2)
        self.fc1 = nn.Linear(64 * 4 * 4, 512)
        self.fc2 = nn.Linear(512, 10)

    def forward(self, x):
        x = self.pool(F.relu(self.conv1(x)))
        x = self.pool(F.relu(self.conv2(x)))
        x = self.pool(F.relu(self.conv3(x)))
        x = x.view(-1, 64 * 4 * 4)
        x = F.relu(self.fc1(x))
        x = self.fc2(x)
        return x

model = CNN().to(device)

이 CNN 모델은 3개의 컨볼루션 층과 2개의 완전연결층으로 구성되어 있다. 각 컨볼루션 층 뒤에는 ReLU 활성화 함수와 Max Pooling이 적용된다.

3. 순전파

순전파 과정은 입력 이미지를 모델에 통과시켜 예측값을 얻는 과정이다. CNN 모델에서는 이미지가 컨볼루션 층과 풀링 층을 거쳐 특징을 추출하고, 최종적으로 완전연결층을 통과하여 클래스 예측값을 출력한다.

def forward_pass(model, inputs):
    """
    순전파 수행 함수

    reference: CNN 모델에 입력 이미지를 통과시켜 예측값을 얻는다.
    argument: model - CNN 모델, inputs - 입력 이미지 배치
    return: outputs - 모델의 예측값
    """
    outputs = model(inputs)
    return outputs

# 순전파 수행 예시
inputs, _ = next(iter(train_loader))
inputs = inputs.to(device)
outputs = forward_pass(model, inputs)

이 코드에서는 forward_pass 함수를 정의하여 CNN 모델에 입력 이미지를 통과시키고 예측값을 얻는다. PyTorch는 이 과정에서 자동으로 계산 그래프를 생성한다.

4. Cross Entropy 손실 계산

분류 문제에서는 주로 Cross Entropy 손실 함수를 사용한다. 이 함수는 모델의 예측 확률 분포와 실제 레이블 분포 사이의 차이를 측정한다.

def compute_loss(outputs, targets, criterion):
    """
    Cross Entropy 손실 계산 함수

    reference: 모델의 예측값과 실제 레이블 사이의 Cross Entropy 손실을 계산한다.
    argument: outputs - 모델의 예측값, targets - 실제 레이블, criterion - 손실 함수
    return: loss - 계산된 손실값
    """
    loss = criterion(outputs, targets)
    return loss

# 손실 함수 정의 및 손실 계산 예시
criterion = nn.CrossEntropyLoss()
_, targets = next(iter(train_loader))
targets = targets.to(device)
loss = compute_loss(outputs, targets, criterion)

여기서는 nn.CrossEntropyLoss()를 사용하여 손실 함수를 정의한다. 이 함수는 소프트맥스 함수와 음의 로그 우도 손실을 결합한 형태로, 다중 클래스 분류 문제에 적합하다.

5. 역전파

역전파는 계산된 손실을 기반으로 모델의 파라미터들에 대한 그래디언트를 계산하는 과정이다. CNN 모델에서는 컨볼루션 층, 풀링 층, 완전연결층의 가중치와 편향에 대한 그래디언트가 계산된다.

역전파의 수학적 과정은 다음과 같다:

1. 출력층에서의 오차: $$\delta^L = \nabla_a C \odot \sigma'(z^L)$$
   여기서 $C$는 비용 함수, $a^L$은 출력층의 활성화, $z^L$은 출력층의 가중치 합, $\sigma$는 활성화 함수이다.

2. 이전 층으로의 오차 전파: $$\delta^l = ((w^{l+1})^T \delta^{l+1}) \odot \sigma'(z^l)$$
   여기서 $w^{l+1}$은 $l+1$ 층의 가중치 행렬이다.

3. 가중치와 편향에 대한 그래디언트:
   $$\frac{\partial C}{\partial w^l_{jk}} = a^{l-1}_k \delta^l_j$$
   $$\frac{\partial C}{\partial b^l_j} = \delta^l_j$$

CNN에서는 이 과정이 컨볼루션 연산의 특성을 고려하여 수정된다.

def backward_pass(loss):
    """
    역전파 수행 함수

    reference: 계산된 손실을 기반으로 모델의 모든 파라미터에 대한 그래디언트를 계산한다.
    argument: loss - 계산된 손실값
    """
    loss.backward()

# 역전파 수행 예시
backward_pass(loss)

PyTorch의 autograd 엔진은 loss.backward() 호출을 통해 자동으로 모든 파라미터에 대한 그래디언트를 계산한다. 이 과정에서 컨볼루션 층의 필터와 완전연결층의 가중치, 그리고 각 층의 편향에 대한 그래디언트가 계산된다.

6. 파라미터 업데이트

마지막으로, 계산된 그래디언트를 사용하여 CNN 모델의 파라미터를 업데이트한다. 이 과정은 옵티마이저를 사용하여 수행된다.

import torch.optim as optim

def update_parameters(model, optimizer):
    """
    파라미터 업데이트 함수

    reference: 계산된 그래디언트를 사용하여 CNN 모델의 파라미터를 업데이트한다.
    argument: model - CNN 모델, optimizer - 최적화 알고리즘
    """
    optimizer.step()
    optimizer.zero_grad()

# 옵티마이저 정의 및 파라미터 업데이트 예시
optimizer = optim.Adam(model.parameters(), lr=0.001)
update_parameters(model, optimizer)

여기서는 Adam 옵티마이저를 사용하여 모델의 파라미터를 업데이트한다. optimizer.step()은 계산된 그래디언트를 사용하여 파라미터를 조정하고, optimizer.zero_grad()는 다음 반복을 위해 그래디언트를 초기화한다.

결론

이상으로 CNN 모델과 Cross Entropy 손실 함수를 사용한 머신러닝 시스템의 학습 과정과 역전파에 대해 살펴보았다. CNN은 이미지 처리에 특화된 구조로, 컨볼루션 연산을 통해 효과적으로 특징을 추출할 수 있다. Cross Entropy 손실 함수는 다중 클래스 분류 문제에 적합하며, 모델의 예측과 실제 레이블 사이의 차이를 잘 측정한다. 각 단계를 이해하고 적절히 구현함으로써 효과적인 이미지 분류 모델을 개발할 수 있다.