1. Back Propagation Algorithm
- 2개의 노드가 들어오는 건 계산이 쉬우나, 3개의 노드가 들어오는 건 연산이 꽤 복잡함
-> 노트 꼭 확인하자!
2. Implementation Note : Unrolling Parameters
- unrolling : 주어진 벡터를 작은 벡터들로 잘게 쪼개는 방식
3. Gradient Checking
- 의의 : Back Propagation의 경우, 가끔씩 버그가 발생
-> 이 알고리즘이 잘 작동하고 있는지 확인해야 함 : Gradient Checking 방식 활용!
- 방법 :
1) Gradient Checking 을 구한 다음에, Back Propagation의 값과 비교
2) 두 값이 비슷하다면, Back Propagation 방식으로 계속 진행하기
4. Random Initialization
- Zero Initialization 의 문제점 : 학습 효과가 없다
- Initialization의 조건 : Symmetry를 없애줘야 한다!
5. 정리
- Training Neural Network 순서
1) weight(가중치) 를 랜덤하게 뽑는다
2) Forward Propagation 을 설계한다
3) Cost Function (또는, 손실함수) 의 코드를 설계한다
4) Back Propagation 을 설계한다
-> 위의 과정을 계속 반복한다 ( n개의 test case들을 일일이 넣어줌)
5) Gradient Checking 을 해준다
6) Back Propagation 을 이용해서 최적의 Cost Function을 찾는다