문서의 임의 삭제는 제재 대상으로, 문서를 삭제하려면 삭제 토론을 진행해야 합니다. 문서 보기문서 삭제토론 인공신경망 (문단 편집) === 전달/활성 함수 === 앞서 언급했듯이 입력 신호의 선형 합을 활성화 함수에 집어넣으면서 최종적으로 신호의 강도를 계산하는데, 그냥 주먹구구식으로 이것저것 함수를 대입해 보면서 가장 결과가 좋은 함수를 사용하는 중이다. 초기에는 실제 노드의 실무율을 잘 모사할 것으로 보이는 [[시그모이드|sigmoid 함수]]를 사용한 logistic 모델이 사용되었고, [[쌍곡선 함수|tanh함수]]나 softmax 함수가 사용되었다. 그러나 해당 함수를 활성 함수로 쓸 경우 은닉 층의 수가 증가하면 연결 강도를 학습시킬 때 활성 함수 미분 값을 곱한 값이 0으로 수렴하여 학습이 잘 되지 않는다는 문제가 있었다. 이에 따라 최근에는 sigmoid, tanh와 같은 squashing function이 아니라, ReLU와 같이 입력 값이 증가할수록 출력 값도 증가하는 함수가 많이 사용되고 있다. ReLU함수는 max(0, x)의 꼴을 가지는데, 입력 값이 0 이하면 항상 0의 출력 값을 가지므로, 음수인 입력 값에 대하여 해당 뉴런(노드)의 학습이 진행되지 않는다는 문제점이 있었다. 이를 해결하기 위하여 음수의 입력 값에서도 0이 아닌 출력 값을 가지는 Leaky ReLU 함수 및 Parametric ReLU 함수가 제안되었으며, 일반적으로 ReLU보다 좋은 성능을 낸다고 알려져있다. 더불어 함수의 미분 값이 연속적인 ELU 함수 또한 활성 함수로 널리 사용되고 있다. 다만 최근 배치 정규화라는 방법이 제안되면서, 입력의 값 분포를 최적화할 수 있게됨에 따라, sigmoid 함수를 활성함수로 쓰더라도 은닉층이 많은 인공 신경망을 잘 학습시킬 수 있게 되었다. 이와 같은 현상은 sigmoid 함수가 [math(x=0)] 근방에서 직선과 같은 형태를 가지고 있으므로 입력을 잘 처리해주면 주로 해당 영역에서 입력 데이터를 처리할 수 있다는 것에서 기인한다.저장 버튼을 클릭하면 당신이 기여한 내용을 CC-BY-NC-SA 2.0 KR으로 배포하고,기여한 문서에 대한 하이퍼링크나 URL을 이용하여 저작자 표시를 하는 것으로 충분하다는 데 동의하는 것입니다.이 동의는 철회할 수 없습니다.캡챠저장미리보기