(개념별 정리) Gradient Descent, Cost Function, Classification

<Gradient Descent>

- Gradient Descent 의 목적?

      - Cost Function 값을 최소로 만드는 x 값을 구하기 위함

- 최소 지점의 x를 구하는 방법?

      - 매 턴마다, 어디로 이동해야할지에 대한 기울기값을 얻는다

      - 그 기울기값만큼의 x값을 옮긴다.

-> 위의 과정을 계속 반복하면서, 결국에 기울기값이 0과 같거나 근사한 지점을 찾는다

- Linear Regression, Logistic Regression에서의 Graditent Descent 적용하는 방식

      - 매개변수를 x 라고 생각하는게 아니라, Θ (세타) 값이라고 생각하자

      - 매 턴마다, 기울기값을 구한 다음에, 그만큼 Θ 값을 변형시킨다

    - 이때, 기울기값이라 함은, Cost Function의 미분값을 의미한다

-> 위의 과정을 반복하다가, 그때의 기울기값(Cost Function의 미분값)이 0에 근사하면

    반복을 멈춘다

<Cost Function>

- Cost Function의 종류

      1) Linear Regression : (1/2) * ( h(x) - y )**2

      2) Logistic Regression : log( h(x) )  [y=1일때] ,   log( 1 - h(x) )  [y=0일때]

      3) SVM Machine : cost( Θ_0 + Θ_1 * f1 + Θ_2 * f2 + Θ_3 * f3 ...... )

<Classification>

Classification

     - Binary Classification : 두 개의 분류로 나눈다 - Yes/No 

     - Multi Classification :  n 개의 분류 각각에 대해, Binary Classification 하듯이 한다

-> n 개의 분류 각각에 대해, Yes/No 인지를 구분한다