파라미터(Parameter)와 하이퍼파라미터(Hyperparameter)는 일견 비슷한 이름으로 헷갈리게 느껴질 수 있다.

파라미터와 하이퍼파라미터 모두 매개변수(parameter)이지만, 커다란 차이가 있다.

파라미터 (Parameter) ​

파라미터는 모델 내부에 존재하는 매개변수이다. 파라미터는 학습의 대상으로, 학습 알고리즘을 통해 자동적으로 학습하게 된다. "파라미터 최적화(Paramater Optimization)"의 파라미터가 바로 이 파라미터이다.

파라미터의 예 ​

학생들의 성적 데이터가 주어졌다고 했을 때, 성적의 평균, 표준편차는 파라미터이다. 이 값들은 사용자가 설정하는 것이 아니고, 데이터로부터 자동적으로 결정되는 값이기 때문이다.

회귀 모델에서의 계수, 딥러닝 모델에서의 가중치 등이 파라미터의 예이다.

하이퍼파라미터 (Hyperparameter) ​

하이퍼파라미터는 경험, 데이터의 특성 등에 근거해 사용자가 설정하는 값이다.

하이퍼파라미터의 예 ​

경사 하강법에서의 학습률(learning rate), k-NN 모델에서의 k값 등이 하이퍼파라미터의 예이다.