[ML] 인공지능 기초, 개요

인공지능 AI (Artificial Intelligence)

사람처럼 생각하고 행동하는 기계를 만드는 연구로 Computational Rationality라고도 불림 이는 인공지능이 성능평가가 최대가 되는 결과를 선택하기 때문이다.

---

ML(Machine Learning)

컴퓨터 프로그램이 알고리즘을 사용하여 데이터 feature의 패턴을 찾는 인공지능의 세부 분야이며 경험적 데이터(Case, 사례)를 학습하여 지능적으로 동작을 할 수 있다.

지도학습, 비지도학습, 강화 학습 등 다양한 학습 유형이 있다.

• 지도학습(Supervised Learning)
  • label이 주어진 데이터를 학습시키는 방법으로 회귀, 분류에 주로 사용된다.
• 비지도학습(Unsupervised Learning)
  • label이 없는 데이터를 학습시키는 방법으로 규칙을 모델이 스스로 찾는 학습방법이다.
• 강화학습(Reinforcement Learning)
  • 실패와 성공을 반복하여 학습하는 방법으로 지속적인 시행착오를 통해 보상을 극대화하는 방법으로 알파고의 학습 방법이 이와 같다.

---

표현 학습(Representation Learning)

주어진 데이터의 feature들을 자동으로 적절한 형태로 표현하여 Task의 성능을 높이는 방법으로 입력 데이터를 기댓값에 가깝게 만드는 유용한 표현을 학습하는 것이다.

이는 데이터들의 표현을 특징 task에 잘 맞게 하여 해당 task를 잘 풀 수 있는 확률을 높인다.

XOR 문제에서 input값들을 Linear classifier가 바르게 분류할 수 있도록 learned space로 표현하여 문제를 해결함

---

DL(Deep Learning)

딥러닝은 ML의 한 분야로 Neural Network를 통해 학습하고 이 구조는 Neron을 본 따 사람의 사고방식을 모방한다.

레이어를 쌓아서 Feature Representation를 학습하며 Big Data와 GPU의 발달로 사람보다 더 나은 성능을 보이는 DL 모델이 개발되고 있다.

---

Big Data

DL이 유명해진 이유는 기술이 발전함에 따라 많은 data가 생겨났기 때문이다.

아래는 데이터 양에 따라 모델의 성능이 달라지기 때문이며 데이터가 충분하지 않았을 때는 Traditional ML으로 해결했던 문제를 Big Data를 통해 더 좋은 성능을 낼 수 있다.

보편적으로 성능을 올리기 위해서는 큰 신경망을 사용하거나 많은 데이터로 훈련을 시켜야 한다.

큰 신경망을 사용할수록 많은 Unit과 Parameter를 가지며 훈련 시간이 올래 걸리거나 overfitting이 발생할 수 있다.

---

GPU

많은 데이터를 학습시키기 위해서는 빠른 Computation 이 필요하고 이는 GPU를 통해 해결할 수 있다.

CPU는 다수의 코어를 통해 단순 계산에 특화되어 있으며 병렬 처리가 가능하다.

많은 ALU와 코어를 통해 여러 명령을 동시에 처리하는 병렬 연산에 특화됐다.

---

CPU

내부 면적 절반이 캐시로 구성되어 있어 ALU와 코어의 수가 적고 명령어가 입력된 순서대로 데이터를 처리하는 직렬 처리 방식을 사용한다.

GPU 발전 이전에는 CPU를 통한 분산처리/ 클라우드 컴퓨팅을 통해 대량의 데이터를 병렬 처리 하여 모델의 처리 속도 성능을 극대화하였다

---

DL은 Structured big data를 가지고 있는 task나 object detection과 같은 몇 개의 예측 task에서는 인간보다 월등한 성능을 보여주며 STT, TTS 등 visual, speech recognitoin에서는 인간과 비슷한 성능을 보여준다. 그리고 적은 데이터를 가지고 있거나 전문 지식이 필요한 task는 사람보다 못한 성능을 보여준다.

위와 같은 분류 문제도 DL이 해결할 수 없는데 이는 여러 레이어를 통해 질감과 색감 등을 학습하지만 두 class의 feature가 비슷할 경우 분류를 잘 못한다.