donghunkang

Knowledgw Distillation- "지식을 증류한다"라는 의미- 상대적으로 성능이 뛰어나고 용량이 큰 모델(teacher)에서 상대적으로 용량이 작은 모델(student)로 지식을 추출하는 방법 Cross Entropy & Entropyp: 실제 확률 분포 / q: 모델의 예측 확률 분포Cross Entropy> H(p, q)Entropy> H(p)EX) KL Divergence(Kullback-Leibler divergence)(KL div)- 두 확률 분포 p와 q간의 차이를 측정하는 방법성질>1. 비음수성- 두 분포가 같을 때만 0이 된다.2. 비대칭성- KL div는 대칭적이지 않다.KL div Loss> Soft LabelHard Label- 정확한 클래스에만 확률 1을 할당하고 나머지..

Feature Extractor & Classifier1. 입력 벡터 x가 주어진다.2. 네트워크 레이어 W를 통과하며 hidden feature a를 생성한다. => 최종 hidden feature a[L-1]은 Feature Vector(Embedding Vector)로 사용 3. Feature Vector v는 classifier g()를 통해 모델의 예측값 yhat으로 변환 Feature Embedding Space- Embedding Vector v: 각 데이터 포인트가 Embedding space에 매핑된 Vector- yij = 1: 두 샘플이 같은 클래스에 속한다.- yij = 0: 두 샘플이 다른 클래스에 속한다.- Easy Sample: 분리가 잘 된 샘플- Hard Sample: 분리..

Preliminary Comcepts(기본 개념) Filtering- 정의) 가지고 있는 신호에서 특정 주파수 값을 줄이거나 죽이는 것1. Frequency-shaping filters (주파수 성형 필터)스펙트럼(주파수 분포)의 형태를 변경2. Frequency-selective filters (주파수 선택 필터)특정 주파수는 왜곡 없이 통과시키고, 나머지 주파수는 크게 약화하거나 제거- Frequency Response of the system Frequency-shaping filter ExampleDifferentiating Filter>- 입력 신호의 순간적인 변화나 급격한 전이를 강조하는 필터=> W가 클수록 신호를 더 크게 증폭 DT LTI Filter ExampleTwo-Point Aver..

Reflection and TranslationReflection- x 방향으로 반전, y 방향으로 반전Translation- z만큼 translation 시킨 set Set of pixels: object and structuring elements(SEs)Foreground(전경)>- 이미지에서 객체가 차지하는 픽셀Background(배경)>- 전경 외의 모든 픽셀Structuring Element(SE)>- 전경 및 배경 픽셀의 패턴을 정의하는 작은 형태 Reflextion about the originOrigin(원점)>- SE의 기준점- 일반적으로 중앙값으로 설정Don't Care Elements>- 해당 요소는 전경(1)이든 배경(0)이든 상관 없음=> Reflection은 Origin을 기준..

Multi-class Classification- binary classification에 관해서 다뤘었다 => Logistic Regression- Multi-class Classification으로 확장을 해보자 Decision Boundary of Multi-class Classification Softmax Regression(Classification)Softmax>Logistic Regression의 일반화된 형태로 설명된다.- Softmax는 각 클래스의 확률을 계산하며, 계산된 확률의 총합은 항상 1이 된다.- Softmax는 (one-shot) argmax의 smooth approximation으로 사용된다.EX) Hard Max VS Soft MaxLogistic VS Softmax A..

PreliminariesInner Product(내적)1. Euclidean Space - 실수 값으로 정의 2. Unitary Space- 복소수 벡터에 정의3. Integral Inner Product- 연속 함수에 적용 / 적분 내적 공간Orthogonal Basis(직교)1. Vector Norm or Length2. Vector Angle between nonzero vectors z and w3. 직교 조건- = 0일 때 z와 w는 orthogonal- 벡터 w0, w1, ...가 pairwise orthogonal(쌍직교) 하려면4. Orthogonal Basis(직교 기저)- 벡터 공간의 기저가 직교 관계를 만족하면 이를 직교 기저라고 한다.- 기저 벡터가 정규화된 경우, 이를 직교 정규..

Image Restoration- degradation 현상에 대한 사전 지식을 활용하여 손상된 이미지를 복구하려는 시도 Image enhancement VS Image restoration원래 애초에 원본이 있는데 그것을 더 좋게, 기존의 값을 더 좋게 이미지가 원래는 어느 정도 품질로 있었는데, 손상이 되었을 때 어떻게 손상되었는지를 추정하여 그 부분을 보완 Image Degradatian/ Restoration Process- Image는 Operator H에 의해 degradation된다고 모델링되며, 이는 입력 이미지 f(x, y)에 작용하여 degraded image g(x, y)를 생성- 만약 H가 linear, position-invariant operator이라면Noise Models- ..

Choosing Activation Function for Output Layer - Sigmoid: Binary Classification 문제에서 사용- Linear: Regression 문제- ReLU: Hidden Layer층에서 주로 사용, 음수값 제거 - Tanh: 양수와 음수를 모두 고려 Choosing Activation Functions for Hidden Layer- Sigmoid: 출력값이 확률값을 나타낼 때 사용- ReLU: 효율성과 간단함, 음수값 제거- Leaky ReLU: 음수값을 제거하지 않고 작은 기울기를 부여- GELU: Gaussian 분포를 따르는 Activation Funtion Why Nonlinear Activation Function- Linear Functio..

Perception(Logistic regression) xwbzanameinputweightbiaslogitactivationtypevectorvectorscalarscalarscalar- Perception은 기본적으로 Logistic Regression과 유사하며, 이진 분류 문제를 해결하기 위해 사용- input data를 weight와 결합해 특정 Class에 속하는지 결정 A Layer Neural Network Layers Neural Network Layers(Forward Path) Input space- input vector x가 다차원 공간에서의 점으로 표현Hidden Feature space- Hidden Feature space a[i]는 입력 공간을 non-linear으로 변환..

1.1Q) A)  1.2Q) A)  2.1Q) A)  2.2Q) A)  2.3Q) A)  2.4Q) A)  3.Q) A)  4.1Q)A)  4.2Q)A)  5.Q)A)  6.Q)A)  7.Q) A)  8.Q) A)