donghunkang

-컴퓨팅사고: 문제를 해결하기 위해 논리적이고 창의적으로 생각하는 것.-버퍼(큰바구니): 속도 차이가 많이나는 두 장치에 끼어서 속도차이를 완화해주는 장치.-캐시: 앞으로 사용이 예상되는 것을 미리 가져다 놓은 것.-병렬처리: 작업 2개를 동시에 처리하는 기법-컴퓨팅 사고의 4가지 구성1. 추상화: 문제에서 중요하지 않은 부분은 제거 중요한 특징만으로 문제를 구성EX)지하철 노선도, 픽토그램->일반화: 추상화로 공통의 특성(특징)을 추려 내어 만든 개념 EX)피보나치 수열 2. 분해: 추상화된 문제를 해결하기 쉬운 작은 단위로 나누는 과정->문제 분해: 복잡한 문제를 풀기 쉬운 간단한 문제로 나누는 것분해 정복: 문제를 작은 문제로 분해하여 이를 해결하고, 해결된 작은 문제를 결합하여 큰 문제를 해결하는..

Boosting: AdaBoostAdaBoost idea- strong model VS weak model무작위 추측보다 성능이 약간 더 나은 Weak model을 임의로 정확한 Strong model로 향상 - 각 라운드마다 새로운 모델을 훈련하여 순차적으로(병렬적X) 모델을 훈련- 각 라운드가 끝나면 잘못 분류된 예제가 식별되고 새 훈련세트에서 강도가 증가되어 다음 라운드로 피드백된다.- 이전 모델에서 발생한 오류는 후속 모델에서 보완 가능=> 병렬처리가 X (동시에 진행 X) EX) Stump Tree: 노드 하나에 두개의 리프를 지닌 트리 => 하나의 질문으로 데이터를 분류(weak model) EX)1. Round 1, First Stump Tree틀린 데이터를 강조 2. Round 2, Sec..

Bayes optimal error모델의 이론상 가능한 최저의 오차값. overfitting이 되지 않는 이상 이 값을 뛰어 넘을 수 없다.이론적으로 가능한 최고의 정확도 값알고리즘의 성능(보라색 선)은 시간이 흐르더라도 bayes optimal error에는 도달할 수 없다. Q) human level performance에 인접하면 성능이 떨어지는 이유는?A) 1. human level perfermance와 bayes optimal error의 차이가 크게 안나는 경우    2. human level perfermance가 나오지 않을때 사용하는 성능향상 기법을 쓸 수 없기 때문 avoidable bias: bayes error와 training error간의 오차(error)차이variance: ..

Convolution Neural NetworksVertical(세로) edgePadding: 가장자리 정보는 덜 이용되고, 가운데 정보는 많이 사용이미지에 경계선을 덧대는 방법-Valid: padding을 진행하지 않음(p=0) (n-f+1) X (n-f+1) -same: padding을 진행(n+2p-f+1) X (n+2p-f+1)p=f-1/2​Strided(보폭) convolution: 종과 횡으로 이동하는 거리-Max/Average pooling-> 신경망이 깊어질수록 nh,nw는 줄어들지만, nc는 커진다.=> max pooling layer에는 parameter가 없다.convolution layer는 parameter가 상대적으로 적고, FC layer가 많다.activation size는 ..

Hyper parameters중요도 순: alpha(학습률) > beta β, hidden units, mini-batch size > layer, learning rate decay*Adam Optimization의 하이퍼 파라미터인 beta_1, beta_2, epsilonϵ은 값을 변경할 필요 없이, 대부분 기본값을 사용하기 때문에 수치를 변경할 필요가 적다. 어떤 하이퍼 파라미터가 더 중요한지 미리 알아내기 어렵기 때문에, 격자판 형식(grid)으로 샘플링하는 것보다는 무작위로(random) 샘플링하는 방법이 더 많은 하이퍼 파라미터 값을 탐색, 더 광범위하게 학습을 진행 -Coarse to find: 다음 공간에 대해 밀도를 높여서 샘플링 진행Exponentially weighted averag..

Batch vs mini-batch gradient descentBatchMini-batchmini-batch size:1. small training set(m2. Typical mini-batch size: 64, 128, 256, 512, 10243. mini-batch가 cpu, gpu 메모리에 들어가도록 하는 것이 중요 Exponentially weighted averages (지수 가동 이동 평균법)베타 높이면 (초록색 그래프) 선이 약간 오른쪽으로 이동베타 줄이면 (노란색 그래프) 선 내에서 더 많은 진동이 발생Bias correction Gradient descentMomentumRMSpropAdom optimization algorithmMomentum과 RMSprop를 더해서 만든다.L..

Train/ dev(development)/ test setsdev set과 test set의 분포를 동일하게 하는 것이 좋다.test set없이 dev set만 있어도 상관X​Bias/ Variance1) Bias(편향)예측값과 실제 정답과의 차이의 평균예측값이 실제 정답과 얼만큼 떨어져 있는지 나타냄클수록 예측값과 정답 값 간의 차이가 크다. 2) Variance(분산)다양한 데이터 셋에 대하여 예측값이 얼만큼 변화할 수 있는지에 대한 양, 얼만큼 예측값이 퍼져서 다양하게 출력될 수 있는 정도 Regularizationoverfitting을 방지(variance를 줄이는)방법으로 데이터를 늘리는 방법도 있지만, 대용량의 데이터 수준이 어려울 경우 regularization으로 해결 가능 1) Logi..

Active Function1) Sigmoid -> 0~1사이 값 반환2) Tanh -> 데이터 평균 0이 되도록 함, -1~1사이 값 반환  보통 tanh가 sigmoid보다 우수/ 예외) 이진분류에서는 sigmoid가 우수​3) ReLU -> 기울기 = 1  4) Leaky ReLU => 음수 쪽 기울기 = 0.01 Deep neural network Forward and Backward function캐시(Cache): 순방향 전파 중 계산된 변수를 해당 역방향 전파 단계로 전달하는데 사용. 도함수를 계산하기 위한 역방향 전파에 유용한 값 포함.​

Logistic Regression(로지스틱 회귀)ŷ (P(y=1|X): 입력 값인 X에 대해서, y(주어진 입력 특성 X에 해당되는 실제 값)가 1일 때의 예측값예측값 ŷ은 X일 때 y가 1인 확률(0 ≤ ŷ ŷ = wX + b (w, b = 파라미터, w = 입력 값, b = 잔차)에서 0과 1 사이의 확률 범위를 벗어날 수 있기에, 이때 시그모이드 함수(sigmoid function) 등을 활용해 0과 1 사이의 값으로 변환 Logistic Regression cost function(로지스틱 회귀 비용 함수)1) Loss(error) function(손실함수):하나의 입력에 대해 실제값(y)와 예측값(ŷ)의 차이인 오차를 계산하는 함수2) Cost function(비용함수): 모든 입력에 대한 오..

​