전체 글
딥러닝은 y = Wx + by=Wx+b 에서 최적의 WW(Weight)과 b를 찾는 과정이다. 이러한 과정을 딥러닝의 미싱 링크라고 한다. 데이터에서 원하는 특징을 효과적으로 추출하기 위해선 올바른 Weight를 정의하는 과정이 중요하다. 데이터의 형태 딥러닝을 이해하는 방법 중 가장 쉬운 방법은 데이터의 형태 변화를 쫓는 것이다. 이미지 데이터는 보통 채널(Channel)이라는 것을 가진다. 우리가 일상적으로 사용하는 것은 대부분 RGB 이미지이다. 레이어는 어렵다? 레이어(layer)란? 하나의 물체가 여러 개의 논리적인 객체들로 구성되어 있는 경우, 이러한 각각의 객체를 하나의 레이어라고 한다. 딥러닝의 근본! Linear 레이어 Fully Connected Layer, Feedforward Neu..
More on linear independence Span and linear independence More on linear independence 위에 집합 S는 선형 독립의 정의이다. 이 때 다음 항(오른쪽 항)과 필요충분조건을 성립한다. 예를 들어 벡터 v1은 다른 벡터들의 선형결합으로 만들어 진다. 다시 말해 선형 종속을 이룬다. 이를 증명하기위해 다음 식에서 v1을 양변에 빼주면 아래와 같은 식을 얻을 수 있는데 이때 v1의 계수가 -1이므로 적어도 하나는 0이 아니라는 조건을 성립한다. 반대의 경우도 마찬가지이다. 만약 c1이 0이 아니라면 양변을 c1으로 나누고 v1을 제외한 항들을 이동시켜주면 최종적으로 v1이 선형결합으로 이루어 졌다는것을 확인할 수 있다. 이러한 과정은 선형독립인지 ..
Lecture 6 | Training Neural Networks I Training Neural Networks 목차 Activation Functions Data Preprocessing Weight Initialization Batch Normalization Babysitting the Learning Process Hyperparameter Optimization Activation Functions 활성화함수란? 활성화 함수는 다음과 같이 선형 결합 이후 나온 값들을 더한 후 비선형적인 변환을 하기위해 사용된다. 더보기 비선형변환?선형변환과 비선형 변환의 예시는 다음과 같다. 위와 같이 선형변환을 통해 좌표계는 일정한 규칙을 가지고 변환을 하기때문에 모든 점들이 똑같이 변화한다. 이와 다르게 ..
ImageNet Challenge 이미지넷은 2010년 ILSVRC2010을 시작으로 대량의 이미지 데이터를 포함하는 데이터셋이다. 이미지넷은 1만 개가 넘는 카테고리에 대해 100만 장 규모의 이미지를 가지고 있고 이미지 데이터를 수집할 당시 10억 장의 이미지에서 167개국에서 모인 5만 명의 작업자가 라벨링에 참여하였다. ImageNet Pretrained Model의 Accurancy Top-1 Accuracy: 자신이 예측한 클래스중 확률이 가장 높은 클래스가 정답일 확률 Top-5 Accuracy: 자신이 예측한 클래스중 확률이 상위 5개 클래스에서 정답일 확률 딥네트워크의 시작 AlexNet ReLU활성화 함수 드롭아웃 오버래핑 풀링 7개의 CNN (Pre-training) 2개의 FCN C..
Introdution to linear independent Introdution to linear independent 다음과 같이 벡터 (2, 3), 벡터 (4, 6)이 주어졌을 때 두 벡터의 Span을 구하면 다음과 같다. 두 벡터는 Linearly dependent(선형 종속)하다. 두 벡터의 Span은 직선이다. 위와 같이 어느 벡터로 Span을 이루었을 때 다른 벡터가 그 Span에 속해 있으면 Linearly dependent(선형 종속)하다고 한다. 그럼 3차원 실좌표게의 경우를 보자. 위에 두 개의 벡터(보라, 초록)의 Span은 2차원 실좌표계이다. 이 때 Linearly independent를 유지하면서 하나의 벡터를 추가 하기위해서는 어떻게 해야할까? 두 백의 벡터(보라, 초록)가 ..
의료영상에 대해 의료 영상 종류 X-RAY: 전자를 물체에 충돌시킬 때 발생하는 투과혁이 강한 복사선(전자기파), X-RAY는 방사선의 일종으로 지방, 근육, 천, 종이같이 밀도가 낮은 것은 수월하게 통과하지만, 밀도가 높은 뼈, 금속 같은 물질은 잘 통과하지 못한다. CT: Computed Tomography의 줄임말로, 환자를 중심으로 X-RAY를 빠르게 회전하여 3D 이미지를 만들어내는 영상, 환자의 3 차원 이미지를 형성하여 기본 구조는 물론 가능한 종양 또는 이상을 쉽게 식별하고 위치를 파악할 수 있다. MRI: Magnetic Resonance Imaging(자기 공명 영상)의 줄임말로 신체의 해부학적 과정과 생리적 과정을 보기 위해 사용하는 의료 영상 기술, MRI 스캐너는 강한 자기장를 사..
Unit vector intro Parametric representations of lines Linear combinations and span Unit vector intro (2, 3)인 벡터 v가 있을 때 다음과 같이 표기한다. 또한 벡터 v는 unit vector로도 표기할 수 있다. 💡 Unit vector란? 길이가 1인 벡터이다. (열벡터와 행벡터가 존재) 또한 이러한 단위 벡터(Unit vector)를 이용해서 벡터의 덧셈을 할 수 있다. 단위 벡터를 활용한 덧셈은 다음과 같이 대응하는 성분끼리 더하면된다. Parametric representations of lines 다음과 같이 벡터 v(2, 3)이 주어 질 때 좌표평면에서는 위와 같이 주어진다. 또한 벡터 v에 실수 스칼라(c) ..
Lecture 5 | Convolutional Neural Networks Convolutional Neural Networks AI history Frank Rosenblatt (~1957): Perceptron을 처음 만듬 Widrow and Hoff (~1960): Multilayer Perceptron Network Rumelhart (1986): First time back-propagation became popular (처음으로 학습을 시킨다는 개념을 도입) Abdel-rahman Mohamed, George Dahl, Geoffrey Hinton (2010): Acoustic Modeling using Deep Belief Networks (음향 모델링) George Dahl, Dong Y..
TensorFlow2 API로 모델 구성하기 TensorFlow2에서 딥러닝 모델을 작성하는 방법 Sequential Functional Model Subclassing TensorFlow2 Sequential Model import tensorflow as tf from tensorflow import keras model = keras.Sequential() model.add(__넣고싶은 레이어__) model.add(__넣고싶은 레이어__) model.add(__넣고싶은 레이어__) model.fit(x, y, epochs=10, batch_size=32) 특징 입력부터 출력까지 레이어를 그야말로 sequential하게 차고차고 add해서 쌓아나가기만 하면 된다. 모델의 입력과 출력이 여러 개인 경..
