[시즌1].Lecture 08_2 - 딥러닝의 기본 개념과, 문제, 그리고 해결_딥러닝의 기본 개념2: Back-propagation 과 2006/2007 '딥'의 출현

* 이 글은 홍콩과기대 김성훈 교수님의 무료 동영상 강좌 "모두를 위한 머신러닝과 딥러닝 강의"를 보고 요점을 정리한 글 입니다.

Deep Learning(딥 러닝)의 발전

---

  CIFAR(Canadian Institute for Advanced Research)에서 발표된 2개의 논문에 의해서 우리들이 알고있는 Deep Learning 혹은 Deep Network가 발전했다고 할 수 있습니다. 이 2개의 논문들은 2006년 Hinton과 2007년에 Bengio에 의해서 발표되었습니다.

  2006년에 Hinton이 발표한 논문에는 Labeled Data의 수가 부족하고, 컴퓨터가 느리고, 잘못된 비선형을 사용하였고, 초기 Weight값을 잘못 설정하여서 많은 Layer를 가지고 있는 Neural Network가 잘 학습하지 못하였다고 하였습니다. 특히 초기 Weight값을 잘 설정한다면 Layer가 많더라고 충분히 학습이 가능하다고 논문을 통해 발표했습니다. 2007년에 Bengio가 발표한 논문은 어려운 문제를 해결하는데 Layer가 많은 Neural Network를 사용하는 것이 효과적이라는 것을 입증한 논문이었습니다.

  이 2개의 논문의 영향으로 사람들의 관심이 Layer가 많은 Neural Network에 모여졌고 이때부터 이것을 Deep Learning(딥 러닝) 혹은 Deep Network(딥 네트워크)이라고 부르게 되었습니다.

ImageNet(이미지넷)

---

  Deep Learning(딥 러닝)이 많은 관심을 받게된 이유들 중 하나는 바로 ImageNet(이미지넷)입니다. ImageNet이란 어떠한 사진을 보여주었을 때 이 사진이 무엇인지 맞출수 있는 컴퓨터를 만드는 프로젝트 입니다. 

  처음 ImageNet을 구현하였을 때는 오차율이 약 30%정도 나올 정도로 그렇게 좋은 성능을 발휘하지는 못하였습니다. 하지만 매년 조금씩 발전하면서 오차율을 줄이던 중 2012년에 Alex라는 사람이 개발한 Convolutional Neural Network의 일종인 AlexNet에 의해서 26%의 오차율이 15%정도로 확연히 줄어들게되었습니다. 이후에도 ImageNet은 지속적으로 발전하였고 2015년에는 오차율이 3%정도 밖에 보이지 않는 매우 정확한 모델이 만들어지게 되었습니다.

Deep Learning이 사용되는 분야

---

- 사진을 보고 사진을 설명하는 기술

- 알파고 같이 게임을 자동적으로 플레이하는 기술

- 손님이 잘 살만한 상품들을 배치하여 판매 이득을 늘리는 기술

- (바이두)개발한 소음이 많은 곳에서 사람이 하는 말을 정확하게 알아듣는 기술

- (유튜브)소리를 듣고 자동적으로 자막을 생성해주는 기술

- (페이스북)자신이 관심이 있을만한 게시물 위주로 보여주는 기술

- (구글)검색을하면 사용자가 관심이 있을만한 웹 사이트를 보여주는 기술

- (넷플릭스)영화를 추천해주는 기술

- (아마존)사용자가 살 만한 상품들을 추천해주는 기술

  이 밖에도 수많은 다양한 분야에서 Deep Learning을 사용하고 있습니다.

* Summary *

1. 많은 Layer를 갖는 Neural Network도 초기 Weight값을 잘 설정한다면 Layer가 많더라고 충분히 학습이 가능하다.

2. 어려운 문제를 해결하는데는 Layer가 많은 Neural Network를 사용하는 것이 효과적이다.

3. ImageNet(이미지넷)은 어떠한 사진을 보여주었을 때 이 사진이 무엇인지 맞출수 있는 컴퓨터를 만드는 프로젝트이다. 

4. 수많은 다양한 분야에서 Deep Learning(딥 러닝)을 사용하고 있다.