dev-logs

매개변수 갱신 최적화: 손실 함수의 값을 가능한 낮추는 최적의 매개변수를 찾는 문제 확률적 경사 하강법 SGD 탐색 경로가 비효율적임. 그때그때 작은 범위의 기울기에 따라 경로가 결정되어서? 모멘텀 Momentum 속도 개념을 적용. AdaGrad 학습에서 중요한 요소인 학습률을 적응적으로 조정하면서 학습 진행. 과거의 기울기 제곱을 계속 더함. 매개변수의 원소 중 크게 갱신된 원소는 학습률이 낮아짐. 가중치의 초기값 가중치 값을 작게 하여 오버피팅 억제. 0.01 * np.random.randn(10,100) if 초기값을 0으로 하면? 순전파 때 모두 같은 값이 전파된다. 그러면 역전파때도 가중치가 똑같이 갱신됨 -> 의미 없는 행동 -> 초기값은 무작위로 설정하는게 좋음 (활성화값의 분포가 고르게 ..

오차역전파법 backpropagation 수치미분법으로 loss함수의 기울기를 구하는것은 쉽지만 오래 걸린다. 하지만 오차역전파법을 사용하면 빠르게 기울기를 구할 수 있다. 계산 그래프 computational graph 역전파법을 쉽게 이해할 수 있다. 전체 연산에서 연산 하나하나를 국소화한다. 전체 연산을 단순화할 수 있고 각 연산의 중간 결과값을 보관하기 쉽다. 연쇄법칙 chain rule 합성 함수의 미분에 대한 성질: 합성함수의 미분은 각 함수의 미분의 곱. 5장이 되게 중요한 챕터인것같은데 솔직히 완전히 이해는 못하겠다... 출처: 밑바닥부터 시작하는 딥러닝(한빛미디어)

Repository 저장소 Commit 버전을 만든다. Discard 되돌린다. Conflict 두개의 branch가 같은 부분의 코드를 수정하고 merge되었을때 생김. Pull 원격저장소내용을 로컬저장소로 merge (두 저장소의 버전을 동기화함.) Push 로컬->원격 Checkout 원하는 branch로 전환 Rebase branch가 생긴 시점부터의 이력들이 함께 merge된다. (merge commit 생기지 않음) HEAD 표시방법 ~ HEAD로 부터 몇번째 전 버전인지 나타냄. ^ 브랜치가 여러개일 경우 몇번째 원본인지 나타냄. - 생활코딩 git 강의를 보고 정리하였습니다.