---------------------------------------------------------------------------------------------------------------------------------------------------
- 하이퍼 파라미터 : 사용자가 직접 값을 선택하며 성능에 영향을 주는 매개변수를 말함
https://en.wikipedia.org/wiki/Hyperparameter_(machine_learning)
- 매개 변수 : 가중치와 편향과 같은 학습을 통해 바뀌어져가는 변수 >> 하이퍼파라미터는, 학습 이전에 사용자가 직접 선택한 값이다.
- fitting : 모델을 데이터의 값에 맞춰서 훈련하는 과정. 매개변수 값을 변화시켜주는 과정이다.
https://wikidocs.net/32012 - 머신러닝 훑어보기
---------------------------------------------------------------------------------------------------------------------------------------------------
- 특이값 분해
https://ko.wikipedia.org/wiki/%ED%8A%B9%EC%9D%B4%EA%B0%92_%EB%B6%84%ED%95%B4
- 직교 행렬
https://ko.wikipedia.org/wiki/%EC%A7%81%EA%B5%90%ED%96%89%EB%A0%AC
---------------------------------------------------------------------------------------------------------------------------------------------------
- iterative approach : 한 번에 최적점을 찾기 힘들때, 여러 번의 과정을 거쳐서 최적점을 찾는 경우를 의미. gradient descent 이 가장 대표적이다.
- epoch : 딥러닝에서, propagation + back propagation 두 과정을 한꺼번에 할 때를 의미. 한 번의 과정을 epoch 라고 한다.
- iteration : 1 epoch 를 완수하기 위해 필요한 단계 수. 즉, 1 epoch 를 여러 조각으로 자른 경우를 의미한다.
- batch size : 한 번의 batch 마다 주는 샘플의 size. 즉, 1 iteration 에서 처리해야 하는 샘플의 size 를 의미한다.
---------------------------------------------------------------------------------------------------------------------------------------------------
- 목적 함수 : 함수의 값을 최대화 하거나, 최소화 하려는 목적을 가진 함수
https://wikidocs.net/21670 - 선형 회귀
- 비용함수 = 손실함수 ( Cost = Loss Function ) : 예측값(=가설함수의 값)과 실제 값에 대한 오차의 식 -> 오차를 줄이는 데에 최적화가 된 식이어야 함. 문제별로 다른 비용함수를 가진다.
https://wikidocs.net/21670 - 선형 회귀
- Optimizer : 비용함수를 최소화 하는 매개변수를 찾는 알고리즘 ex) Gradient Descent
https://wikidocs.net/21670 - 선형 회귀
- Gradient Descent vs 바로 최적값 찾기 : Gradient Descent 는 바로 최적값을 찾는게 아니다. 해당 지점에서의 기울기값을 이용해서, W 값을 계속 조정하는 것일 뿐. 바로 최적값을 찾을 수 있으면 가장 좋지만, 비용적으로 힘들어서 그러는 것 같다.
https://wikidocs.net/21670 - 선형 회귀
---------------------------------------------------------------------------------------------------------------------------------------------------
- 매핑 (Mapping) : x 값에 대해 y 값이 대응 되듯, "사상"된다고 보면 된다. 즉, "대응"이 된다는 정도로 이해하자.
http://wiki.hash.kr/index.php/%EB%A7%A4%ED%95%91
---------------------------------------------------------------------------------------------------------------------------------------------------
- 배치 (batch) : 데이터 (X, y) 를 여러 개 모아서 한꺼번에 처리하는 방식 -> 이를 위해, 행렬의 개념 도입 필요.
- 미니 배치 (batch) : 데이터 (X, y) 의 크기가 너무 커서, 조금씩 분할해서 계산하는 방식. ex) 1000 개의 데이터를 16개씩 미니배치 해서 계산한다
- 텐서 (Tensor) : 3차원 이상의 배열을 텐서라고 한ㄴ다
---------------------------------------------------------------------------------------------------------------------------------------------------
- 소프트 맥스 : 다중 로지스틱 회귀를 위해 처리하는 과정. 각각의 class 에 배정받을 확률의 합이 1이 된다.
입력값으로, 로지스틱 회귀의 output 값을 받는다 -> 해당 값을 e 거듭제곱을 취해줘서 확률을 구한다.
- 원 핫 벡터의 관계의 무작위성 : 소프트 맥스를 통해 클래스로 분류를 한다고 할때, 각각의 클래스의 실제 값이 모두 원핫 벡터로 표현될 경우. 각각의 원핫 벡터들끼리 유클리드 거리를 측정했을때, 같은 값을 갖는다. 단점은, 단어간의 유사성을 측정하기 힘들다는 점.
---------------------------------------------------------------------------------------------------------------------------------------------------
- 노름 (Norm) : 거리 개념과 유사하다. 밑에 있는 링크들을 확인해보자. 공식들은 반드시 익혀야 한다. 주로 L2 Norm 을 사용한다.(=유클리드 거리)
https://namu.wiki/w/%EB%85%B8%EB%A6%84(%EC%88%98%ED%95%99)
https://ko.wikipedia.org/wiki/%EB%85%B8%EB%A6%84
---------------------------------------------------------------------------------------------------------------------------------------------------------
- 샘플 : 데이터 set 각각을 의미한다
- 특성, feature : 각각의 데이터 set 에 있는 변수 각각을 의미한다
----------------------------------------------------------------------------------------------------------------------------------------------------------
'기계학습 > 자연어 처리 머신러닝' 카테고리의 다른 글
| 어텐션 매커니즘 - 딥러닝을 이용한 자연어처리 입문 (0) | 2020.01.28 |
|---|---|
| 딥 러닝 개념 모음 - 딥러닝을 이용한 자연어처리 입문 (0) | 2020.01.03 |
| 문서 표현 방법 - 딥러닝을 이용한 자연어 처리 입문 (0) | 2019.12.28 |
| 단어 표현 방법 - 딥러닝을 이용한 자연어처리 입문 (0) | 2019.12.28 |
| 텍스트 전처리 - 딥 러닝을 이용한 자연어처리 입문 (0) | 2019.12.27 |