1. 신경망, Forward Propagation 개념

딥러닝 목적

분류와 회귀가 있다.

- 분류 classification : 이미지 상의 객체를 종류(class)별로 구분하는 것. ex) 표지판, 자전거, 자동차, 행인

- 회귀 regression : 어떤 확률값을 예측하는 것. ex) 객체까지의 거리(M) 추정

 

활성화 함수

- 시그모이드 함수 sigmoid

    - 출력값의 분포를 부드럽게 바꿔주는 효과 (아날로그 신호처럼).

    - 0~1 사이의 출력값을 가진다.

- 소프트맥스 함수 softmax

    - σ시그마로 표기

    - 코드로 구현할때 오버플로 주의 (중간값들이 굉장히 크기 때문)

    - 상수(C)를 분자, 분모에 곱해서 오버플로 방지 (C=입력값중 최대값)

    - 출력값이 0~1 사이이고 모든 출력값의 합이 1이 되기 때문에 출력값을 확률로 해석할 수 있다.

    - 분류를 할때는 일반적으로 출력층의 소프트맥스 함수 생략(입출력의 대소값에 영향이 없기 때문에)

 

출처: 밑바닥부터 시작하는 딥러닝 (한빛미디어)