[Deep Learning] 딥러닝의 기초 - 1. 3 왜 딥러닝일까?

1.3 왜 딥러닝일까? 왜 지금일까?

세 가지 기술적인 힘이 머신러닝의 진보를 이끌었다.

 

• 하드웨어

• 데이터셋과 벤치마크

• 알고리즘 향상

 

 

1.3.1 하드웨어

 

시중에 판매되는 CPU는 1990년과 2010년 사이에 거의 5000배가 빨라졌다.

 

또한, 2000년대에 NVDIA와 AMD 같은 회사들이 GPU 개발을 통해 많은 발전을 했다.이것들이 CPU를 대체하게 되었고 높은 수준의 계산능력을 가지게 되었다.

 

 

1.3.2 데이터

 

데이터에 관해서는 저장 장칭의 급격한 발전과 더불어 인터넷 시장의 성장이 있다.

 

 

1.3.3 알고리즘

 

2009~2010년경에 몇 가지 간단하지만 중요한 알고리즘이 개선되면서 그래디언트를 더 잘 전파되게 만들어 주었다.

 

• 신경망의 층에 더 잘맞는 활성화 함수

• 층별 사전 훈련을 불필요하게 만든 가중치 초기화 방법

• RMSProp과 Adam 같은 더 좋은 최적화 방법

 

이런 기술의 향상으로 딥러닝이 빛을 발하기 시작했다.

 

2014~2016년 사이에 그래디언트를 더욱 잘 전파할 수 있는 배치 정규화, 잔차 연결, 깊이별 분리 합성곱 같은 고급 기술들이 개발되었다.

 

 

 

1.3.4 새로운 투자의 바람

 

2011년에는 투자금액이 1900만 달라였고 2014년에는 3억 9,400만 달러로 늘었다. 또한 구글,페이스북, 바이두, 마이크로소프트 같은 테크 기업들도 많은 연구 부문에 투자하고있다.

 

 

1.3.5 딥러닝의 대중화

 

초창기에는 C++와 CUDA의 전문가가 되어야 했다. 아지만 요즘에는 기본 파이썬 스크립트 기술만 있으면 딥러닝이 가능하다. 씨아노와 텐서플로가 개발된 덕분이다.

 

또한 케라스가 등장하여 딥러닝 모델을 더욱 편하게 만들수 있게 되었다.

 

 

1.3.6 지속될까?

 

AI의 혁명이라고 정의할 수 있는 몇가지 특징이 있다.

 

• 단순함 : 딥러닝은 특성공학이 필요하지 않아 복잡하고 불안정한 많은 엔지니어링 과정을 엔드-투-엔드로 훈련시킬 수 있는 모델로 바꿔어 준다.

• 확정성 : 딥러닝은 GPU 또는 TPU에서 쉽게 병렬화할 수 있기 때문에 무어의 법칙 혜택을 크게 볼 수 있다. 또 딥러닝 모델은 작은 배치 데이터에서 반복적으로 훈련되기 때문에 어떤 크기의 데이터 셋에서도 훈련할 수 있다.

• 다용도와 재사용성 : 딥러닝 모델은 처음부터 다시 시작하지 않고 추가되는 데이터로도 훈련할 수 있다. 즉 연속적인 온라인 학습을 가능하게 한다. 더불어 룬련된 딥러닝 모델은 다른 용도로 쓰일 수 있어 재사용이 가능하다.