선형회귀 모델 - 단순 선형회귀, 다중 선형회귀

회귀란?

회귀는 여러 개의 독립변수와 한 개의 종속변수 간의 상관관계를 모델링하는 기법을 말한다.

 

회귀의 종류

 

회귀모델은 위의 사진과 같이 구분 가능하다.

독립변수가 1개이면 단순 선형회귀(Simple Regression),

독립변수가 2개 이상이면 다중 선형회귀(Multiple Regression)로 분류할 수 있다.

 

단순회귀, 다중회귀 각각을 두 가지로 한번 더 분류할 수 있다.

회귀계수(기울기=x의 상수값)가 선형이면 선형 회귀,

비선형이면 비선형 회귀모델로 구분할 수 있다.

 

단순 선형회귀 (Simple Regression)

선형회귀의 장단점

장점 : 다른 ML(Machine Learning) 모델에 비해 상대적으로 학습이 빠르며 설명하는 능력이 뛰어나다.

단점 : 선형 모델의 특성상 과소적합(underfitting)이 일어나기 쉽다.

 

회귀분석을 하는 목적

회귀분석은 독립변수로 종속변수를 찾고자 할 때 사용한다.

선형회귀는 주어져 있지 않은 부분의 함수값을 보간하여 예측하는데 도움을 주며,

또한 기존 데이터의 범위를 넘어서는 예측값을 제공한다.

 

기준모델(Baseline Model)

어떠한 예측 모델을 구체적으로 만들기 전에,

가장 간단하면서도 직관적이면서 최소한의 성능을 나타내는 기준이 되는 모델을 기준모델이라고 한다.

회귀모델에서는 타겟이 되는 값의 평균값을 기준모델로 사용한다.

 

 

그외, 분류문제에서는 타겟의 최다빈도 클래스를 기준모델로 사용하며,

시계열 회귀문제에서는 이전 타임스탬프의 값을 기준모델로 사용한다.

 

 

다중 선형회귀 (Multiple Regression)

독립변수가 2개 이상일 때를 다중 선형회귀라고 부른다.

 

다중 선형회귀의 경우 1개의 독립변수를 사용했을 때, 단순 선형회귀보다 더 좋은 성능을 낼 수 있다.

디테일한 학습에 있어서는 릿지, 나쏘회귀 등의 다중 선형회귀 방식이 단순 선형회귀보다 더욱 뛰어나다.

 

하지만 각각의 장단점이 존재하기에 상황에 따라 단순 선형회귀 또한 쓰인다.