donghunkang

앞으로 배울 내용의 수학적 수식을 미리 정리한다.Linear System- Ax = b 형태의 선형 방정식에서 해 x를 구하는 것- one solution / No solution / Infinitely many solution Homogeneous linear systems(동차 선형 시스템) Linear independence(선형 독립성) Matrix multiplication Transpose Inverse, determinant Invertible matrix Inner product(내적) Orthogonal vector, matrix(직교 벡터, 행렬) Vector length- vector 크기 1이면 unit vector Least-squares- Ax = b의 해가 없을 때 가장 근사..

Review  Conjugate Prior- Exponential Family의 구조를 따르는 경우 적절한 켤레 사전 분포(Conjugate prior)가 존재한다. EntropyDecomposability(분해 성질) Gibb's Inequality (KL Divergence)=> p,q 다르면 KL Divergence 양수, 같으면 0 Convex FunctionJensen's Inequality Mutual Information

Marginal Probability (주변 확률) Conditional Probability(조건부 확률) Bayes' Theorem (베이즈 이론)  Forward Probability (전향 확률)- 항아리 안에 총 K개의 공이 있다.- B개는 검은색, 나머지 k-B개는 흰색- 이 항아리에서 무작위로 N번 공을 뽑는다.(복원 추출 가정)Q) 검은 공이 nB개 나올 확률은?A)=> 즉, 검은 공이 나올 확률 f을 이용해 전체 시행에서 특정 횟수의 성공(black)을 모델링 Inverse Probability (역확률)- u0, u1, ..., u10 : 서로 다른 11개의 항아리- 항아리 ui는 검은 공이 i개, 나머지는 흰 공- 각 항아리는 10개의 공으로 구성된다. (K=10)Q) 아래 확률은? ..

ReviewBent coins(1): 이항분포(2): 스털링 근사(3), (4): Shannon Entropy 정의Uniqueness of Entropy  Noisy ChannelBinary Symmetric Channel- 비트가 확률 f로 flip(뒤집힌다.) : (0->1), (1->0) # Error 보정 Repetition Code: R3(0->000) , (1->111) 3번 전송 후, 3비트로 Majority Voting을 통해 원래 비트로 복원flip 확률: f / 수신된 비트 중 1의 개수 n1 - R1(단일 비트) Error probability- R3 Error probability=> 2 비트 이상 flip 될때만 오류 발생 Bayes' Rule (7,4) Hamming Code4비..

Example : Bent Coins- 앞면 확률: f, 뒷면 확률: 1-f Binomial Distribution(이항분포) Average- 이항분포 평균값 수식 유도 - statistical independence를 이용한 빠른 평균 계산 Variance Bent Coins 정리 Q) N이 무한대로 간다면?A) “Stirling’s approximation” / “Poisson Distribution” / “Central Limit Theorem”  Poisson Distribution(포아송 분포)- 고정된 시간 또는 공간 구간 내에서 발생하는 무작위 사건의 수를 모델링할 때 사용AverageVariance Connection(이항분포와의 연결) 결론  Central Limit Theorem (중심..

0. Abstract- SNN을 이용한 Object Detection을 수행- 이를 위해 2가지 새로운 기법을 적용1. Channel-wise-normalization2. signed neuron with imbalanced threshold- 결과적으로 최초의 SNN 기반 Object Detection model인 Spiking-YOLO를 제안한다.- PASCAL VOC와 MS COCO 데이터 셋에서 Tiny YOLO와 최대 98%에 달하는 유사한 성능을 보임.- Neuromorphic chip에서 Tiny YOLO 대비 약 280배 적은 에너지 소비 최초의 SNN 기반 Object Detection model인 Spiking-YOLO를 제안 1. Channel-wise-normalization2. s..

01. 인공지능과 방법론인공지능: 일반적으로 인간 지능이 필요한 작업을 커퓨터 시스템이 수행하는 기술강인공지능: 스스로 학습과 인식이 가능, 지능 또는 지성의 수준이 인간과 근사한 수준에 이른 경우ex) 휴머노이드, 안드로이드약인공지능: 인간이 해결할 수 있으나, 기존의 컴퓨터로 처리하기 힘든 작업을 처리하기 위한 일련의 알고리즘1. 규칙 기반 AI: 미리 결정된 일련의 규칙 또는 알고리즘에 따라 문제를 해결하거나 작업을 수행 2. 머신러닝: 데이터를 이용해 모델을 학습하고, 이를 통해 예측이나 분류를 수행 3. 딥러닝: 정보를 처리하고 전송하는 방식을 시뮬레이션하도록 설계된 알고리즘인 인공 신경망을 사용, 머신러닝의 한 유형으로 대규모 데이터를 학습함으로써 성능 향상  머신러닝 시스템Machine Le..

0. Abstract- SNN은 뇌에서 영감을 받은 에너지 효율적인 모델로, 공간-시간적(spatiotemporal) 정보를 활용하여 연산을 수행- 객체 탐지(Object Detection)와 같은 회귀(Regression) 문제에 직접 학습된 SNN을 적용하는 것은 여전히 과제- " EMS-YOLO" 라는 새로운 직접 학습 SNN 프레임워크를 제안- ANN-SNN 변환 없이 surrogate gradient를 활용하여 직접 학습되는 최초의 SNN 기반 객체 탐지 모델1. 깊은 네트워크 학습 가능 (Gradient Vanishing/Exploding 문제 해결)2. 낮은 전력 소비 유지 (Non-Spike 연산 최소화)- 실험 결과, EMS-YOLO는 기존 ANN-SNN 변환 모델(최소 500개의 타임 ..

0. Abstract- 객체의 시간적 모델링(Temporal modeling)은 다중 객체 추적(Multiple-Object Tracking, MOT)에서 중요한 도전 과제이다.- 기존 방법들은 탐지된 객체를 모션 기반 및 외형(appearance) 기반 유사성(heuristics)을 활용하여 연관(association)하는 방식을 사용- 그러나, 이러한 연관 과정이 후처리(post-processing)로 수행되기 때문에, 비디오 시퀀스에서 시간적 변화를 End-to-End 방식으로 활용하는 것이 불가능하다.MOTR>- 이는 기존 DETR (DEtection TRansformer)모델을 확장한 방식이며, "Track Query" 개념을 도입하여 전체 비디오에서 추적된 객체를 모델링한다.- Track Qu..

0. Abstract- Object Detection Domain에서 SNNs(Spiking Neural Networks)는 energy-efficient 특성으로 인해 CNNs를 대체1. 하지만 SNNs based Object Detection은 Event data를 Tensor로 변환하는 과정에서 정보의 손실이 발생2. 인위적인 post-processing module로 인해 불필요한 계산이 추가되는 한계가 존재=> 이러한 문제를 해결하고자 Spiking-Transformer와 DETR Architecture를 도입한 Spiking-DETR 제안- Spiking-DETR은 다음 4가지 module로 구성된다.1. Mixed Time Bin Cube(MTB Cube): Event-tensor Trans..