donghunkang

Vectorization Properties of Transpose Normal Equation Locally weighted regression"Parametic" learning algorithmFit fixed set of parameters(w) to dataEX) linear regression, Neural Network주어진 학습데이터로 파라미터 학습을 완료한 이후에 test를 수행한다."Non-parametic" learning algorithmAmount of data/parameters you need to keep grows(linearly) with size of dataEX) K-nearest neighbors, Locally weighted regressiontest를 수행할 때..

Introduction to MDPs- Markov Decision Process는 RL(강화학습)을 위한 environment(환경)을 공식적으로 설명- 거의 모든 RL문제는 MDP로 형식화할 수 있다.=> environmnet가 완전히 fully observable(관찰 가능)할때. 즉, 현재 상태가 과정을 완전히 설명 Markov Property(속성)"현재가 주어지면 미래는 과거와 독립적이다."상태 St가 Markov임을 의미하려면 다음 조건을 만족해야 함.- State는 과거로부터 얻는 모든 관련 정보를 포함- 현재 State를 알면, 과거의 정보는 무시할 수 있다.=> 즉, State는 미래 예측에 필요한 충분한 통계량이다. State Transition Matrix(상태 전이 행렬)State..

Batch Gradient Descent Stochastic Gradient Descent Linear Regression with Multiple features(input)Model parametersw1~w4: 집 값을 예측하는데 각 feature가 기여하는 정도=> 부호(+/-)는 비례/ 반비례 관계 설명w0: 기본 가격 Loss functionUpdate rule Feature ScalingEx)Feature size and Gradient desentnon-scaled faeatureScaled feature ScalersMinMaxScaler각 feture마다 적용 Mean SclaerStandard Scaler EX) Termination condition(종료 조건)1. #iter을 미리..

- 이 연구는 뉴럴 코딩 기법 중 4가지인 rate coding, TTFS(time-to-first-spike) coding, phase coding, burst coding의 성능을 다양한 관점에서 비교하였다. - TTFS코딩이 높은 계산 성능과 낮은 하드웨어 구현 부담을 제공하는데 있어 가장 유리- phase 코딩은 노이즈 내성이 강함.- burst 코딩은 네트워크 압축과 하드웨어 비이상성에 대한 견고성에서 우수.이 연구는 다양한 neuromorphic system 설계에서 요구되는 성능과 제약을 고려하여 최적의 코딩 방식을 선택할 수 있는 지침을 제공 1.  Introduction- SNN은 에너지 효율성 측면에서 큰 관심을 받고 있으며, 생물학적 신경계를 기반으로 뉴런이 생성한 스파이크를 통해 정..

1. IntroductionANNs의 성공- 딥러닝, 특히 Deep Neural Networks, DNNs 은 최근 몇 년 동안 컴퓨터 비전, 음성 인식 등의 분야에서 뛰어난 성과를 보여줌.- DNN은 연속적인 활성화 함수(continuous activation function)를 사용하고, 이를 통해 많은 데이터를 학습해 뛰어난 분류 정확도를 달성할 수 있었다. 2012년 AlexNet의 성공이 그 예로, 이미지 분류에서 인간을 능가하는 성능을 보여주었다.ANNs와 SNNs의 차이- ANNs는 연속적인 활성화를 사용하는 반면, 생물학적 신경망은 스파이크(불연속적인 신호)를 사용 - SNN은 이러한 생물학적 신경 네트워크를 모방하여 스파이크 타이밍과 스파이크 비율을 기반으로 정보를 처리- 이는 ANNs보..

관계 데이터 모델- 관계 데이터베이스 시스템에 직접 구현될 수 있도록 데이터베이스 구조를 정의하는 방법을 제공- 장점: 수학적 기초를 가짐/ 사용자에게 단순성 제공- 릴레이션 조작을 위한 연산인 관계 대수의 지원을 받음릴레이션(Relation)- 개체를 표현하기 위한 데이터 구조- 2차원 테이블로 표현# 행(Row) = 튜플(Tuple): 개체를 표현, 관련된 데이터 값들의 모임 # 열(Column) = 애트리뷰트(Attribute): 각 행의 값들의 의미를 해석하는데 사용- 튜플들의 집합(Set)데이타베이스는 릴레이션들의 모임 EX) 릴레이션 Movie ⭐ ⭐ ⭐ (용어 중요)릴레이션 스키마- 하나의 릴레이션 스키마는 하나의 개체 또는 관계성 클래스를 표현- 개체들을 표현하는데 사용하는 테이블의 구조 ..

Linear Regression"target" 이 하나가 아닌 경우 학습이 쉽지 않다. 모델 설정Model parameters (weights) ErrorLoss function(Cost function, Objective function)Object Gradient Descent- Loss surface Update RuleLearnable ParametersW, 데이터 고정, model과 loss function도 정의되어 있음.변하는 것 (학습해야 하는 대상)은 W다.  Pseudo Code Learning rate(lr)1. Small Learning rate: 많은 시간이 든다.2. Large Learning rate: 수렴에 실패할 수 있다.=> 적당한 Learning rate 필요 Small..

주제최근 SNN(Spiking Neural Network)에 대해 알게되어 이에 대해 다양한 LLM에게 동일한 질문을 해보도록 하겠습니다.질문 내용은 "SNN(spiking neural network)에 대해 설명해줘."로 통일했습니다. LLM 선택저는 위의 LLM 모델들 중 A.X/ Perplexxity/ GPT 40/ Claude 3 Opus 를 사용해보았습니다. A.X- SNN의 주요 개념을 간단하게 소개합니다.- 기본 구조와 작동 방식에 대해서도 간략하게 전달합니다.- 기본 특징과 응용분야에 대해 언급합니다.=> 대화형 모델의 특징에 맞게 간략하게 SNN에 대해 여러 방면으로 설명하고 있습니다. Perplexity- 이미지와 함께 기본 개념을 하는 역할을 포함하여 더욱 자세하게 전달합니다.- SN..

강화학습 구조 (Reinforcement Learning Structure)- Agent: 강화학습에서 학습을 수행하는 주체- Environment: 에이전트가 상호작용하는 공간이나 시스템- State: 에이전트가 인식하는 환경의 현재 상태- Action: 에이전트가 환경에 대해 취하는 행동- Reward: 에이전트가 행동의 결과로 받는 피드백- Observation: 에이전트는 환경에서 특정 데이터를 관찰하고, 이를 바탕으로 다음 행동을 결정주요 특징1.  No supervisor: 정답 레이블이 제공되지 않고, 에이전트가 보상만을 기반으로 학습.2.  Data-driven: 데이터 기반3. Discrete time space: 이산적인 시간 단계4. Sequential data scream: 데이터가..