Deep Learning/deep learning from scratch
8-0. Intro 이번장의 목표는 딥러닝의 특징과 과제, 그리고 가능성을 알아 가는 것이다. 8-1. 더 깊게 우리는 그 동안 신경망에 대해 많은 것을 배웠다. 이제 그 동안 배운 기술들을 활용해 MNIST 데이터셋의 손글씨 숫자 인식에 도전해보자. 신경망 구현 손글씨 숫자 인시모델을 만들기 위해 VGG 신경망을 참고해 다음과 같은 신경망을 구현하였다. 위 신경망의 구현 내용은 다음과 같다. 3x3의 작은 필터를 사용한 합성곱 계층 활성화 함수는 ReLU 완전연결 계층 뒤에 드롭아웃 계층 사용 Adam을 사용해 최적화 가중치의 초기값은 He초기값 사용 이와 같은 깊은 신경망의 특징은 층이 깊어지면서 채널 수가 더 늘어난다는 것이다. 또한 풀링 계층에서 중간 데이터의 공간 크기를 점차 줄여나간다. 이 신..
7-0. Intro 이번장의 목표는 합성곱 신경망(CNN)의 매커니즘을 자세히 설명하고 이를 파이썬으로 직접 구현하는 것이다. 자 그럼 시작해보자! 7-1. 전체구조 합성곱 신경망의 전체 구조는 합성곱 계층과 풀링 계층 그리고 앞에서 배운 완전연결 계층(Affine 계층)을 연결한 구조이다. 먼저 지금까지 사용해왔던 Affine 계층을 다시 그림으로 살펴보자. 그림에서는 Affine 계층과 ReLU 계층을 4개를 연결하였고 마지막에는 Affine 계층과 Softmax 함수를 이용해 최종결과를 출력한다. 이 그림은 합성곱 신경망을 표현한 그림이다. CNN의 특징은 합성곱 계층과 ReLU 그리고 Pooling 계층을 앞에 구현하였고 뒤에는 Affine, ReLU조합을 그대로 구현하였다는 것이다. 7-2. 합..
6-0. Intro 이번 장의 주제 가중치 매개변수의 최적값을 탐색하는 최적화 방법 가중치 매개변수 초깃값 하이퍼파라미터 설정방법 오버피팅의 대응 책 (가중치 감소, 드롭아웃) ✔️ 이번장의 목표 : 신경망 학습의 효율과 정확도를 높이기! 6-1. 매개변수 갱신 신경망 학습의 목적은 손실 함수의 값을 최소화 하기위한 매개변수 찾기이다. 이러한 문제를 해결하는 방법을 최적화(optimization)이라고 한다. 우리는 지금가지 매개변수의 기울기를 이용해 손실함수의 값을 최소화 시키는 확률적경사하강법(SGD)방법을 살펴보았다. 이제 SGD의 단점들을 살펴보고 다른 최적화방법들을 살펴보자. 확률적 경사 하강법(SGD) 확률적 경사 하강법이 무엇인지 잊어버렸을 수 도 있으니 복습해보자. class SGD: ""..
5-1. Intro 이전장 4장에서 가중치 매개변수에 대한 손실 함수의 기울기를 수치미분을 통해 구하였다. 수치 미분은 단순하고 구현도 간단하서 유용하지만 시간이 오래 걸린다는 단점을 가지고 있다. 이번장에서는 개선방안인 오차역전파법을 배워보자. 5-1. 계산 그래프 오차역전파법을 이해하는 방법으로는 크게 수식을 통한 이해, 계산 그래프를 통한 이해가 있다. 여기서 우리는 두 번째 방법인 계산 그래프를 통해 오차역전파 법을 이해해보자. 💡 계산 그래프란? 계산 과정을 그래프로 나타낸 것이다. 여기서 그래프는 복수의 노드와 에지로 표현된다. 자 그럼 계산 그래프를 활용해 문제를 풀어보자. 문제 -> 현빈 군은 슈퍼에서 사과를 2개, 귤 3개 샀습니다. 사과는 1개의 100원, 귤은 1개 150원입니다. 소..
4-0. Intro 💡 학습이란? 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 획득하는 것 이번 장에서는 신경망이 학습할 수 있도록 해주는 지표인 손실 함수를 소개한다. 4-1. 데이터 학습 기계학습의 중심에는 데이터가 존재한다. 기계학습에서는 이러한 데이터들을 분석하고 특징들을 추출하여 예측을 한다. 신경망에서는 이런한 특징을 선정하는 것을 자동적으로 해준다. 위에 그림은 사람, 기계학습, 신경망의 차이를 직관적으로 보여준다. 사람은 직접 눈으로 보며 특징을 찾아내고 검출하지만 기계락습은 사람이 생각한 특징을 토대로 기계학습을 한다. 반면에 신경망에서는 데이터의 특징을 자동으로 선정하며 결과를 추출한다. 이러한 과정의 딥러닝을 종단간 기계학습이라고 한다. 훈련 데이터와 시험 데이터 보통 기계학..
3-0. Intro 우리는 앞 장에서 아무리 복잡한 처리도 다층 퍼셉트론을 활용한다면 구현할 수 있다고 배웠다. 하지만 우리는 그 동안 퍼셉트론을 구현할 때 가중치, 편향 값을 임의로 우리가 정해주었다. 이번장에서 배울 신경망은 적절한 가중치, 편향을 알아서 정해준다. 이러한 자동으로 학습하는 능력을 가진 신경망의 성질은 앞으로 매우 중요하다. 그러니 후딱 시작하자!! 3-1. 퍼셉트론에서 신경망 먼저 신경망이 어떻게 생겼는지 살펴 보자. 신경망은 입력층, 은닉층, 출력층으로 구성되며 은닉층은 입력층, 출력층과 달리 사람에게 보이지 않는 층을 말한다. 단순히 그림만 봤을 때는 기존 퍼셉트론과 다를 것이 없어보인다. 퍼셉트론 네트워크에서 편향 표현 기존 퍼셉트론 그림에서는 편향을 표현하지 않았지만 위의 그..
2-1. 퍼셉트론이란? 💡 퍼셉트론이란? 다수의 신호를 입력으로 받아 하나의 신호를 출력하는 인공 뉴런 그림의 원은 뉴런 혹은 노드라고 불른다. x1,x2는 입력값, w1,w2는 가중치를 나타낸다. 💡 여기서 가중치란? 각 신호가 결과에 주는 영향력을 조절하는 역할을 하며 전류에서 말하는 저항과 비슷한 역할을 한다. 위에 퍼셉트론 이미지를 수식화 하면 아래와 같다. 수식을 보면 각각의 입력값 (x1, x2)는 가중치 (w1, w2)를 곱해 최종적으로 y에 전달된다. 이후 y에서는 전달받은 값들을 더하고 그 값이 임계값 보다 작으면 0을 출력하고 크면 1을 출력하게 된다. 💡 여기서 임계값이란? 뉴런들로 부터 전달받은 신호의 총합을 비교할 때 쓰는 값 2-2. 단순한 논리 회로 AND, NAND, OR게이..
저번 학기 방학 때 친구들과 딥러닝 스터디를 하면서 읽었던 책인데 그때 어렵다고 느껴 대충봤던거 같아 다시 천천히 보면서 블로그에 정리해 보려고 한다. 사실 지금 chapter 5까지 읽은 상태지만 정리를 해야지해야지 하다가 이제 정리를 시작한다... ^^ 나는 파이썬에 대한 지식이 어느정도 있기 때문에 chapter 1. 헬로파이썬은 생략하고 chapter 2. 퍼셉트론 부터 시작할 계획이다. 이해한 내용을 위주로 정리를 하고 마크다운형식으로 poting을 할 계획이다. (계획이 변경 될 수 도 있음) (첫 포스팅부터 계획변경 ㅋㅋ:D) 그럼 시작!!!! 출처: 사이토 고키, 『밑바닥부터 시작하는 딥러닝』, 한빛미디어(2017)
