전체 글
Exploration 13 인간보다 퀴즈를 잘푸는 인공지능 KorQuAD Task KorQuAD 데이터셋 KorQuAD(The Korean Question Answering Dartaset, 한국어 질의응답 데이터셋) 이 데이터셋은 미국 스탠퍼드 대학에서 구축한 대용량 데이터셋인 SQuAD를 벤치마킹한 것이다. 자연어처리 분야에서 기꼐독해 태스크는 머신이 자연어의 의미를 정확하세 이해하고 사람의 질문에 정확하게 답변할 수 있는지를 측정하는 아주 중요한 분야이다. # imports from __future__ import absolute_import, division, print_function, unicode_literals import tensorflow as tf import tensorflow.ke..
Fundamental 27 Likelihood(MLE와 MAP) 확률 변수로서의 모델 파라미터 간단한 예시의 일차함수 모델 위 식에서 실수 a,b는 f라는 함수로 표현되는 모델의 형태를 결정하는 파라미터이다. 파라미터 공간(Parameter space) (a, b)가 위치하는 R공간 위 그림에서 파라미터 공간에 주어진 확률 분포는 평균이 (1,0)인 정규분포이므로 y = ax + b에서 a와b의 값이 각각 1과 0에 가까울 확률, 그러니까 모델이 y = x에 가까울 확률이 크다고 보는 것이다. posterior와 prior, likelihood 사이의 관계 베이지안 머신러닝의 학심 아이디어는 모델 파라미터를 고정된 값이 아닌 불확실성(uncertaionty)을 가진 확률 변수로 보는 것, 데이터를 관찰하..
Lecture 9 | CNN Architectures CNN Architectures AlexNet VGG GoogLeNet ResNet AlexNet 최초의 large scale CNN이다. 기존의 LeNet과 상당히 유사하고 레이어만 많아졌다. AlexNet의 구조 AlexNet의 구조는 다음과 같다. Details/Restrospective 활성화함수로 ReLU를 사용하였다. local response normalization layer를 사용하여 정규화 작업을 수행하였다. data augmentation을 사용하였다. dropout: 0.5 batchsize: 128 SGD Momentum: 0.9 Learning rate: 1e-2, reduced by 10 L2 weight decay: 5e-..
Defining a plane in R3 with a point and normal vector Defining a plane in R3 with a point and normal vector example 정리 3차원공간에서 평면 위에 한 점과 그 평면에 수직인 법선 벡터만 있으면 평면을 정의 할 수 있다. 자료: https://www.khanacademy.org/math/linear-algebra Linear Algebra | Khan Academy Learn linear algebra for free—vectors, matrices, transformations, and more. www.khanacademy.org
Exploration 12 트랜스포머로 만드는 대화형 챗봇 트랜스포머와 인코더 디코더 인코더: 입력문장 디코더: 이에 상응하는 출력문장을 생성 이를 훈련한다는 것은 결국 입력 문장과 출력문장두 가지 병렬 구조로 구성된 데이터셋을 훈련한다는 의미이다. 트랜스포머의 인코더와 디코더 트랜스포머는 기본적으로 인코더와 디코더 구성을 가지고 있다. 초록색 도형: 인코더 층, 입력문장의 정보를 뽑아냄 분홍색 도형: 디코더 층, 출력문장의 단어를 하나씩 만들어가는 구조 트랜스포머의 입력 이해하기 import tensorflow as tf import tensorflow_datasets as tfds import os import re import numpy as np import matplotlib.pyplot as ..
Defining the angle between vectors Defining the angle between vectors 자료: https://www.khanacademy.org/math/linear-algebra Linear Algebra | Khan Academy Learn linear algebra for free—vectors, matrices, transformations, and more. www.khanacademy.org
Fundamental 26 활성화 함수의 이해 활성화 함수 우리가 지금까지 써왔던 신경망 속의 퍼셉트론 혹은 노드도 특정 조건이 만족하면 활성화 되도록 디자인 되어 있다. 노드에 입역으로 들어오는 값이 어떤 임계치를 넘어가면 활성화되고 넘어가지 않으면 비활성화 되게끔코딩되어있다. ReLU는 입력 값이 음수라면, 즉 0 미만이라는 조건을 만족한다면 0을 출력하고, 입력값이 0이상이면 입력값 그대로 출력한다. 따라서 ReLU함수한 0 미만인 경우는 비활성화가 되고 0 이상인 경우는 활성화되는 함수라고 말할 수 있다. 시그모이드는 ReLU처럼 명확하고 간단하게 글로 표현하긴 힘들지만, 입려값이 -inf로 갈수록 0을 출력하고 +inf로 갈수록 1을 출력하며, 0일때는 1/2을 출력하는 함수이다. 딥러닝에서 활..
Vector triangle inequality Remind: Cauchy-Schwarz inequality Vector triangle inequality Graph 자료: https://www.khanacademy.org/math/linear-algebra Linear Algebra | Khan Academy Learn linear algebra for free—vectors, matrices, transformations, and more. www.khanacademy.org
