dev-logs

수치 미분 - limit(무제한) 개념을 실제 코드로 구현하기는 어렵기 때문에 근사치를 사용. - 편미분 - 여러 변수가 있다면 목표변수 하나만 미분하고, 나머지 변수는 값을 고정한다.(대입) - 기울기 - 모든 변수의 편미분을 벡터로 정리한것. (따로따로 계산하지 않고) - 기울기가 가리키는 쪽은 각 장소에서 함수의 출력 값을 가장 크게 줄이는 방향이다. 경사하강법 gradient descent method - 기울어진 방향이 꼭 최소값은 아님 (극소값 != 최소값) - 학습률 (learning rate) : 한번의 학습으로 얼마만큼 학습해야 하는지. 매개변수 값을 얼마나 갱신하는지. (η) - 학습률이 너무 크면 매개변수가 너무 큰 값으로 발산함. - 학습률이 너무 작으면 매개변수가 거의 갱신되지 않..

학습 - 훈련 데이터로부터 가중치 매개변수의 최적값을 획득하는 것. - 손실 함수(Loss function)를 지표로 해서 loss함수의 결과값을 가장 작게 만드는 가중치 매개변수를 찾아야 한다. - 기울기 경사법 이용. - 훈련데이터 training data와 시험데이터 test data를 섞으면 안됨! - 어떤 데이터셋에 지나치게 최적화된 상태 overfitting 을 피하는 것 중요 특징 추출 - 컴퓨터 비전 분야에서는 SIFR, SURF, HOG 등이 있음. - 딥러닝인 특징 추출도 사람이 개입하지 않아도 됨. 손실함수 Loss function - 신경망 성능의 '나쁨'을 나타내는지표 -> 결과값이 작을수록 좋음. 결과값에 -1을 곱하면 '좋음'을 나타내게 됨. - 평균 제곱 오차, 교차 엔트로피..

Dateset MNIST (28x28 gray) 1. http://yann.lecun.com/exdb/mnist/ 에서 직접 다운받기 2. python 스크립트 사용 원-핫 인코딩 one-hot encoding - 결과중 정답을 뜻하는 원소만 1이고 나머지는 0인 배열 입력층 뉴런: 784개 출력층 뉴런: 10개 은닉층: 2개(50, 100) 이미지 픽셀값 정규화 예측 함수 1. MNIST 데이터셋을 읽고 네트워크 생성. 2. 이미지 그룹을 돌면서(for문) 분류함수 호출 3. 분류함수의 최대 출력값을 갖는 인덱스 구함. 데이터백색화 data whitening - 학습속도와 성능을 개선하기 위해서 데이터 전처리 과정을 거치게 된다. 데이터백색화는 전체 데이터를 균일하게 분포시키는 전처리 과정이다. - 연..