8주차-Neural Network

• Perception(Logistic regression)

	x	w	b	z	a
name	input	weight	bias	logit	activation
type	vector	vector	scalar	scalar	scalar

- Perception은 기본적으로 Logistic Regression과 유사하며, 이진 분류 문제를 해결하기 위해 사용
- input data를 weight와 결합해 특정 Class에 속하는지 결정

 

• A Layer

신경망의 하나의 Layer 구조와 해당 층에서 일어나는 계산

 

• Neural Network Layers

 

• Neural Network Layers(Forward Path)

 

• Input space

- input vector x가 다차원 공간에서의 점으로 표현

• Hidden Feature space

- Hidden Feature space a[i]는 입력 공간을 non-linear으로 변환해, 새로운 점으로 표현

• Decision Boundary

- 최종 출력층에서 Logistic Regression을 사용해 data class 분류

 

 

• Update Rule(Using L2 loss function)

 

• Computing Gradient Using Chain Rule

 

• Sigmoid의 미분

- Sigmoid의 미분값/ 네모칸만 기억하자

 

• Introducing delta variable δ

- δ변수를 도입하여 기울기를 계산하는 과정

 

• Backpropagation of δ

- Backpropagation과정에서 δ 변수를 이용해 기울기를 계산하고 전파하는 과정

암기!!

- δ 변수를 이용해 오차를 이전 층으로 전파하는 방법

암기!!

- Hidden Neuron j의 δ 값 계산 방법

 

• Update rules with δ

- δ 변수를 활용하여 weight와 bias의 Gradient를 계산하는 방법