donghunkang

MAP(Maximun a posterior): 사후확률주어진 데이터와 사전 정보(prior information)를 모두 고려하여 사후 확률(posterior probability)을 최대화하는 파라미터 값을 찾는 방법.데이터 D가 주어졌을 때 가설 h의 사후 확률.MLE(Maximun Likelihood Estimate): 우도예측주어진 데이터가 관찰될 확률을 최대화하는 파라미터 값을 찾는 방법.likelihood 항은 데이터의 양 N에 따라 지수적으로 증가하고, 사전 확률은 일정하게 유지된다.=> 데이터가 많아질수록 MAP추정은 MLE추정에 수렴하게 된다. 즉, 충분한 데이터가 있는 경우, 데이터는 사전 확률(prior)의 영향을 압도하게 된다.  정리MAP 사전 확률을 고려하여 최대화MLE사전 확률..

def divide(x, y): try: result = x / y except ZeroDivisionError as e: print("0으로 나눌 수 없음.",e) raise else: return resultdef main(): try: x = int(input("x: ")) y = int(input("y: ")) try: result = divide(x, y) except ZeroDivisionError as e: print("함수 안에서 예외 발생",e) else: print(result) except..

import matplotlib.pyplot as pltimport numpy as npdef meanFilter(img, filter_size): if filter_size % 2 == 0: raise ValueError("Filter size must be an odd number.") pad_size = filter_size // 2 padded_img = np.pad(img, ((pad_size, pad_size), (pad_size, pad_size)), mode='constant', constant_values=0) filtered_img = np.zeros_like(img) for i in range(img.shape[0])..

오류(error)프로그램이 정상적으로 동작하지 않는 현상구문오류(syntax error): '파싱에러'라고도 함.런타임 오류(run-time error): exception논리오류(logic error): exception구문오류(syntax error)- 프로그램 규칙(문법)이 잘못된 것- 동작도 못해보고 바로 error가 나서 실행이 안됨 EX)while True print("Hello") 예외(Exception)- 프로그램 언어 규칙(문법)은 맞음 => 실행 O- 실행 도중에 잘못된 입력값이 들어오거나 비정상 종료 EX)a = 5/0예외처리- try 안 코드가 실행되다가 예외가 발생하면 except에서 처리하는 것.- 예외가 발생안하면? 그냥 통과 EX)try: x = int(input(..

Greedy algorithm지역 최적화를 위한 탐욕적인 접근 방식으, 전체적으로 최적의 해답을 찾는 것이 목표이다.항상 최적의 해답을 보장하지는 않지만, 많은 상황에서 효과적으로 작동한다. Feasible(실현가능성)문제의 제약 조건을 만족해야 한다.Locally optimal(지역최적성)각 단계에서 가능한 모든 선택 중 가장 좋은 선택을 해야한다.이러한 지역적인 선택이 전체적으로 최적의 해답을 제공하는 경우 문제는 최적의 부분 구조를 갖는다. Irrevocable(돌이킬 수 없음)한 번 선택한 것은 알고리즘의 이후 단계에서 되돌리 수 없다.단순하고 매력적이지만 최적의 해답을 제공하지는 않는다.  EX)0-1 배낭 문제- 도둑이 n개의 아이템이 있는 상점을 털려고 합니다.- 각 아이템은 v[i] 달러의..

확률변수(Random Variable)랜덤변수 X를 확률공간 (S,P)을 실수선 R로 매핑하는 함수. 이산확률변수(Discrete Random Variable(RV))- X라는 유한하거나 셀 수 있는 무한집합을 고려한다.- 이산확률변수 X의 경우, 사건 X=x의 확률은 P(X=x) or P(x)로 나타내며, x는 X의 원소이다.- 여기서 P()는 확률 질량 함수(PMF, Probability Mass Function)라고 한다.확률질량함수(PMF): 확률 변수가 특정 값을 가질 확률을 나타내는 함수.EX) 주사위, 동전 던지기 => X = {1,2,3,4,5,6}, X = {0,1} 연속확률변수(Continuous RV)- X가 어떤 불확실한 연속량이라고 가정.- X가 구간 a- A = (X- P(B) ..

Word Embedding단어를 밀집 벡터의 형태로 표현하는 방법Embedding vector이 밀집벡터를 word embedding 과정을 통해 나온 결과Neural language model Context/ Target Skip-grams하나의 단어에서 여러 단어를 예측하는 방법. 즉, 중심단어에서 주변 단어를 예측하는 방식 Negative sampling-학습 과정에서 전체 단어 집합이 아니라 일부 단어 집합에만 집중할 수 있도록 하는 방법.-주변 단어들을 긍정(positive), 랜덤으로 샘플링된 단어들을 부정(negative)으로 레이블링-context와 word의 관계에 있어서, 1개의 양성(positive) target을 제외한 나머지 text에 대해서는 음성(negative)으로 설정  S..

모듈(Module)필요한 함수나 변수, 클래스를 모아 놓은 스크립트 파일(.py)  EX) factorial 구하기def factorial(n): result = 1 for i in range(1,n+1): result *= i return result print('5! =',factorial(5))import mathprint('5! =', math.factorial(5)) 모듈 안에서 특정 함수만 불러오기EX)from math import factorialprint('5! =',factorial(5)) * "모듈이름"까지 사용하면 ERRORfrom math import factorial print('5! = ',math.factorial(5)) -동시에 여러 함수 불..

Eigenvalue(고유값) & Eigenvector(고유벡터)정방행렬 A에 대하여 Ax = λx  (상수 λ) 가 성립하는 0이 아닌 벡터 x가 존재할 때 상수 λ 를 행렬 A의 고유값 (eigenvalue), x 를 이에 대응하는 고유벡터 (eigenvector) 라고 합니다.   EX) Non-trivial solution(비자명해) EX)  Eigendecomposition(고유값 분해) Q) 모든 eigenvectors가 서로 orthogonal한가?A) A가 서로 symmetric(대칭)한 경우 yes! EX) Usecase of Eigendecomposition  Eigendecomposition for Symmetric matrix(대각행렬) EX) A는 3X3 symmetric matir..

Sequence data EX) NotataionSeqence data(), Tx, Ty(x와 y에 대한 시퀸스 데이터 길이) Q) standard network(일반적인 신경망)으로는 텍스트 훈련이 잘 되진 않는다. 이유는?A) 1. 입력과 출력의 길이가 training data마다 다르다.     2. 텍스트의 서로 다른 위치에서 학습된 feature가 공유되지 않는다. RNN(Recurrent Neural Network)입력과 출력을 시퀸스 단위로 처리하는 시퀸스 모델은닉층의 노드에서  활성화 함수를 통해 나온 결과값을 출력층 방향으로 보내면서, 다시 은닉층 노드의 다음 계산의 입력으로 보냄. 각 시점 단계에서 파라미터를 공유한다. (Wax, Waa, Wya)Notation: W는 가중치, a는 산..