목록역전파 (3)

컴공돌이의 스터디 블로그

[시즌1].Lecture 10_1 - Neural Network 2: ReLU and 초기값 정하기_Sigmoid 보다 ReLU가 더 좋아

* 이 글은 홍콩과기대 김성훈 교수님의 무료 동영상 강좌 "모두를 위한 머신러닝과 딥러닝 강의"를 보고 요점을 정리한 글 입니다. ReLU(Rectified Linear Unit) 복잡한 문제를 해결하기 위해서는 많은 Layer를 가지고 있는 Neural Network(신경망)를 사용해야합니다. 각각의 Layer에서는 Weight(가중치)와 Bias를 적용시켜서 계산해 주어야 하고 계산한 값을 Activation Function(활성화 함수)을 통해서 한번 바꾸어준 뒤 다음 Layer로 넘겨주어야합니다. 모든 Layer를 계산하고 도출된 마지막 결과값은 0과 1사이의 값이 나와야하기 때문에 Activation Function으로 Sigmoid Function(시그모이드 함수)을 사용해야합니다. 하지만 이..
강의 Study/모두를 위한 머신러닝과 딥러닝 강의 2018. 2. 21. 12:00
[시즌1].Lecture 09_2 - Neural Network 1: XOR 문제와 학습방법, Backpropagation_Deep Network 학습 시키기(BackPropagation)

* 이 글은 홍콩과기대 김성훈 교수님의 무료 동영상 강좌 "모두를 위한 머신러닝과 딥러닝 강의"를 보고 요점을 정리한 글 입니다. BackPropagation(Chain Rule) 수많은 복잡하고 어려운 문제를 해결하기 위해서는 왼쪽의 그림과 같이 많은 Layer를 가지고 있는 Neural Network를 사용해야만 합니다. 과거에는 이런 많은 수의 Layer에 적용해야 하는 각각의 Weight(가중치)와 Bias 값을 학습시킬수 있는 방법이 없을 것이라고 생각했지만 결국 BackPropagation(역전파)을 사용한다면 충분히 학습이 가능하다는 결론을 얻게 되었습니다. 학습의 궁극적인 목표는 Gradient Descent Algorithm(기울기 감소 알고리즘)과 같은 알고리즘을 사용하여 Cost Fu..
강의 Study/모두를 위한 머신러닝과 딥러닝 강의 2018. 2. 20. 12:00
[시즌1].Lecture 08_1 - 딥러닝의 기본 개념과, 문제, 그리고 해결_딥러닝의 기본 개념: 시작과 XOR 문제

* 이 글은 홍콩과기대 김성훈 교수님의 무료 동영상 강좌 "모두를 위한 머신러닝과 딥러닝 강의"를 보고 요점을 정리한 글 입니다. Deep Learning(딥 러닝)의 시작 인류의 궁극적 목표 중 하나는 우리를 대신해서 골치 아픈 일을 생각해 주는 기계를 만드는 것 일것입니다. 이러한 목표를 이루기 위해서 사람들은 인간의 뇌에 대하여 연구를 하게 되었고 연구해본 결과 인간의 뇌가 굉장히 복잡하게 연결되어 있다는 사실에 놀랐고 이것과 반대로 뇌에서의 가장 작은 단위인 뉴런이 굉장히 단순하게 동작된다는 것에 놀라게 되었습니다. 뉴런은 어떠한 입력 신호를 받아서 다른 뉴런으로 보내주거나 어떠한 반응을 일으킵니다. 뉴런은 달려있는 여러개의 돌기로부터 신호를 받아들이는데 이 돌기들의 길이에 따라 입력받는 신호의 ..
강의 Study/모두를 위한 머신러닝과 딥러닝 강의 2018. 2. 13. 12:00
Prev 1 Next