3주차-Deep Neural Networks

 

• Active Function

1) Sigmoid -> 0~1사이 값 반환

2) Tanh -> 데이터 평균 0이 되도록 함, -1~1사이 값 반환

 

 

보통 tanh가 sigmoid보다 우수/ 예외) 이진분류에서는 sigmoid가 우수

​

3) ReLU -> 기울기 = 1

 

4) Leaky ReLU => 음수 쪽 기울기 = 0.01

 

• Deep neural network

 

• Forward and Backward function

• 캐시(Cache): 순방향 전파 중 계산된 변수를 해당 역방향 전파 단계로 전달하는데 사용. 도함수를 계산하기 위한 역방향 전파에 유용한 값 포함.

​