(개념별 정리) Regularization

- Small value of Parameter(가중치) 의 효과?

       1) Simpler Hypothesis (사실상, 변수가 하나 줄어든 것과 마찬가지이므로)

       2) Overfitting 이 잘 일어나지 않음 (이유 : 1)과 동일)

-> 그렇다면, 어떤 변수의 가중치를 작게 해야 할까? (=어떤 변수를 무력화 할까?)

-> 방법 : Regularization

- Regularization의 식 

       -> Cost Function 뒷부분에 따로 Regularization을 위한 값을 더한다

       - 람다값 뜻 : Regularization Parameter

-> 역할 : Trade Off 를 담당한다

즉, Cost Function 값을 최소화 할 것인가라는 목표와 Parameter값들의 합을

최소화 할 것인지의 목표를 서로 Trade Off 할 수 있도록 설정하는 상수다

- 람다값이 크면 클수록 : 매개변수 값들을 Simpler하게 만드는 것이므로, Underfitting을 

       유발한다

       - Regularization을 위한 값의 의미 : 전체 Variance를 줄이기 위해서, 얼만큼 "모든"변수들의 크기를 줄일 것인지를 알려주는 

   값이다. Simpler Hypothesis를 위한 값임.

# Regularization을 Cost Function 최적화에 사용하기

-> Linear Regression의 Cost Function 최적화에는 크게 Gradient, Normal Equation

    두 가지의 방식이 있다

- Regularization을 Gradient에 적용

       - Θ_0 에 대해서는 Regularization을 하지 않는다 (다른 Θ값들은 해준다)

       - 그 외는 일반적인 Gradient Descent 값 구하는것과 똑같다

       - 전체 Gradient를 수행한 다음엔, Θ값이 약간 줄어든다 (Regularization때문)

- Regularization을 Normal Equation에 적용

       - 최적화를 하기 위해, 역함수를 적절히 이용해주면 식이 나온다

-> 그걸 계산해주기만 하면 된다