GELU 함수 계산기 & 그래프

GELU(Gaussian Error Linear Unit) 함수는 최근 딥러닝 모델에서 널리 사용되는 활성화 함수입니다.
Swish 함수와 유사하지만, 확률적 해석을 기반으로 더 부드럽고 효과적인 비선형 변환을 제공합니다.

GELU 함수란?

근사 수식: GELU(x) = 0.5 * x * (1 + tanh(√(2/π) * (x + 0.044715x³)))
- 부드럽고 확률적 특성을 가짐
- BERT, GPT 등 최신 모델에서 사용됨