donghunkang

Batch Gradient Descent Stochastic Gradient Descent Linear Regression with Multiple features(input)Model parametersw1~w4: 집 값을 예측하는데 각 feature가 기여하는 정도=> 부호(+/-)는 비례/ 반비례 관계 설명w0: 기본 가격 Loss functionUpdate rule Feature ScalingEx)Feature size and Gradient desentnon-scaled faeatureScaled feature ScalersMinMaxScaler각 feture마다 적용 Mean SclaerStandard Scaler EX) Termination condition(종료 조건)1. #iter을 미리..

- 이 연구는 뉴럴 코딩 기법 중 4가지인 rate coding, TTFS(time-to-first-spike) coding, phase coding, burst coding의 성능을 다양한 관점에서 비교하였다. - TTFS코딩이 높은 계산 성능과 낮은 하드웨어 구현 부담을 제공하는데 있어 가장 유리- phase 코딩은 노이즈 내성이 강함.- burst 코딩은 네트워크 압축과 하드웨어 비이상성에 대한 견고성에서 우수.이 연구는 다양한 neuromorphic system 설계에서 요구되는 성능과 제약을 고려하여 최적의 코딩 방식을 선택할 수 있는 지침을 제공 1.  Introduction- SNN은 에너지 효율성 측면에서 큰 관심을 받고 있으며, 생물학적 신경계를 기반으로 뉴런이 생성한 스파이크를 통해 정..

1. IntroductionANNs의 성공- 딥러닝, 특히 Deep Neural Networks, DNNs 은 최근 몇 년 동안 컴퓨터 비전, 음성 인식 등의 분야에서 뛰어난 성과를 보여줌.- DNN은 연속적인 활성화 함수(continuous activation function)를 사용하고, 이를 통해 많은 데이터를 학습해 뛰어난 분류 정확도를 달성할 수 있었다. 2012년 AlexNet의 성공이 그 예로, 이미지 분류에서 인간을 능가하는 성능을 보여주었다.ANNs와 SNNs의 차이- ANNs는 연속적인 활성화를 사용하는 반면, 생물학적 신경망은 스파이크(불연속적인 신호)를 사용 - SNN은 이러한 생물학적 신경 네트워크를 모방하여 스파이크 타이밍과 스파이크 비율을 기반으로 정보를 처리- 이는 ANNs보..

관계 데이터 모델- 관계 데이터베이스 시스템에 직접 구현될 수 있도록 데이터베이스 구조를 정의하는 방법을 제공- 장점: 수학적 기초를 가짐/ 사용자에게 단순성 제공- 릴레이션 조작을 위한 연산인 관계 대수의 지원을 받음릴레이션(Relation)- 개체를 표현하기 위한 데이터 구조- 2차원 테이블로 표현# 행(Row) = 튜플(Tuple): 개체를 표현, 관련된 데이터 값들의 모임 # 열(Column) = 애트리뷰트(Attribute): 각 행의 값들의 의미를 해석하는데 사용- 튜플들의 집합(Set)데이타베이스는 릴레이션들의 모임 EX) 릴레이션 Movie ⭐ ⭐ ⭐ (용어 중요)릴레이션 스키마- 하나의 릴레이션 스키마는 하나의 개체 또는 관계성 클래스를 표현- 개체들을 표현하는데 사용하는 테이블의 구조 ..

Linear Regression"target" 이 하나가 아닌 경우 학습이 쉽지 않다. 모델 설정Model parameters (weights) ErrorLoss function(Cost function, Objective function)Object Gradient Descent- Loss surface Update RuleLearnable ParametersW, 데이터 고정, model과 loss function도 정의되어 있음.변하는 것 (학습해야 하는 대상)은 W다.  Pseudo Code Learning rate(lr)1. Small Learning rate: 많은 시간이 든다.2. Large Learning rate: 수렴에 실패할 수 있다.=> 적당한 Learning rate 필요 Small..

주제최근 SNN(Spiking Neural Network)에 대해 알게되어 이에 대해 다양한 LLM에게 동일한 질문을 해보도록 하겠습니다.질문 내용은 "SNN(spiking neural network)에 대해 설명해줘."로 통일했습니다. LLM 선택저는 위의 LLM 모델들 중 A.X/ Perplexxity/ GPT 40/ Claude 3 Opus 를 사용해보았습니다. A.X- SNN의 주요 개념을 간단하게 소개합니다.- 기본 구조와 작동 방식에 대해서도 간략하게 전달합니다.- 기본 특징과 응용분야에 대해 언급합니다.=> 대화형 모델의 특징에 맞게 간략하게 SNN에 대해 여러 방면으로 설명하고 있습니다. Perplexity- 이미지와 함께 기본 개념을 하는 역할을 포함하여 더욱 자세하게 전달합니다.- SN..

강화학습 구조 (Reinforcement Learning Structure)- Agent: 강화학습에서 학습을 수행하는 주체- Environment: 에이전트가 상호작용하는 공간이나 시스템- State: 에이전트가 인식하는 환경의 현재 상태- Action: 에이전트가 환경에 대해 취하는 행동- Reward: 에이전트가 행동의 결과로 받는 피드백- Observation: 에이전트는 환경에서 특정 데이터를 관찰하고, 이를 바탕으로 다음 행동을 결정주요 특징1.  No supervisor: 정답 레이블이 제공되지 않고, 에이전트가 보상만을 기반으로 학습.2.  Data-driven: 데이터 기반3. Discrete time space: 이산적인 시간 단계4. Sequential data scream: 데이터가..

데이터 (Data)현실 세계로부터 단순한 관찰이나 측정을 통해서 수집된 사실이나 값정보 (Information)- 데이터를 처리해서 얻어진 결과- 어떤 상황에 대한 적절한 결정을 할 수 있게 하는 지식- 데이터의 유효한 해석이나 데이터 상호간의 관계정보 시스템 (Information system) 한 조직체의 활동에 필요한 데이터를 수집, 조직, 저장해 두었다가 필요시에 처리해서 의사 결정에 유효한 정보를 생성하여 분배하는 수단데이터베이스 시스템정보 처리 시스템이 그 기능을 효과적으로 수행할 수 있게 하는 가장 기본이 되는 도구데이터베이스 시스템 구성요소: 데이터베이스와 데이터베이스 DBMS를 합침Q) 데이터베이스 시스템 VS 데이터베이스A) 데이터베이스 시스템: 데이터베이스 + DBMS     데이터베..

연립방정식과 시스템 기계학습과 시스템 기계학습학습: Dataset(input, target)을 가지고 model의 parameters를 찾는 것. EX) Linear regression 기계학습의 모델링(Modeling)- 어떤 모델을 쓸 것인가? / 입력의 형태를 보고 설계한다.- Dataset의 특징에 따라 설계가 달라진다. 데이터의 TypeNumerical data => Regression (내일의 최고 온도 예측/ 나이에 따른 독서량)EX) 나이, 신장(키), 꽃받침 길이Internal data: IQ, 연도, 온도Ratio data: 개수, 길이, 무게 => "0"을 정의할 수 있다.(곱셈, 나눗셈 가능)Categorical data => Classification (내일 강수 여부 예측/ 이미..