[DL] Gradient Clipping: 신경망 학습의 안정성 향상 기법

Gradient Clipping 소개

Gradient Clipping은 신경망을 학습할 때 발생할 수 있는 수치적 불안정성, 특히 Gradient Exploding 문제를 방지하기 위해 사용되는 기술입니다. 이 기법은 그래디언트의 크기를 제한하여 네트워크의 파라미터가 극단적인 값으로 발산하는 것을 방지합니다.

Exploding Gradient 문제란?

• 정의: Gradient-based 학습, 특히 순환 신경망(RNNs)과 같은 심층 네트워크에서 그래디언트 값이 과도하게 커져서 학습이 제대로 진행되지 않는 현상입니다.
• 결과: 모델의 성능 저하 및 학습의 불안정성을 초래합니다.

Gradient Clipping의 주요 아이디어

• 목적: Gradient의 크기를 적절한 임계값 이내로 유지합니다.
• 방법: Gradient의 크기가 임계값을 초과할 경우, 크기를 조정합니다.

Gradient Clipping 방법

1. Value Clipping

• 방식: 그래디언트 값을 직접적으로 제한합니다.
• 예시:

for p in model.parameters():
    p.grad.data.clamp_(-1, 1)

 

2. Norm Clipping

• 방식: 전체 그래디언트 벡터의 L2 norm이 특정 임계값을 초과하는 경우, 그래디언트를 해당 임계값으로 스케일링합니다.
• 예시:

torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm)

Gradient Clipping의 효과

• 신경망 학습의 안정성 향상: 수치적 안정성을 높여 학습 과정을 안정화합니다.
• Exploding Gradient 문제 방지: 특히 RNN과 같은 모델에서 유용합니다.
• 주의점: 너무 낮은 clipping 값은 학습에 제약을 줄 수 있으므로 적절한 임계값 선택이 중요합니다.

Gradient Clipping은 모델의 학습과정에서 발생할 수 있는 수치적 불안정성을 관리하는 효과적인 방법입니다. 이를 통해 특히 깊은 신경망이나 복잡한 구조의 신경망에서 발생할 수 있는 exploding gradient 문제를 효과적으로 방지할 수 있습니다.