[5] 회귀

1. 회귀 소개

 - 회귀 : 여러 개의 독립변수와 한 개의 종속변수 간의 상관관계를 모델링하는 기법을 통칭

 - (중요!) 회귀 계수 : 독립변수의 값에 영향을 미침.

회귀 유형 구분

 - 지도학습 : 분류(이산형 클래스 값) & 회귀(연속형 숫자 값)

 - 선형 회귀 : 실제값과 예측값의 차이를 최소화하는 직선형 회귀선을 최적화하는 방식.

    ㄴ 규제(일반적인 선형 회귀의 과적합 문제를 해결하기 위해 회귀 계수에 페널티 값을 적용하는 것을 말함.)에 따라 유형 나뉨.

 - 대표적인 선형 회귀 모델
   ㄴ 일반 선형 회귀 : 예측값과 실제값의 RSS를 최소화할 수 있도록 회귀 계수를 최적화하며, 규제를 적용하지 않은 모델.
   ㄴ Ridge : 선형 회귀에 L2규제를 추가한 회귀 모델
   ㄴ Lasso : 선형 회귀에 L1규제를 적용한 방식
   ㄴ ElasticNet : L2, L1규제를 함께 결합한 모델. (피처 많은 데이터셋에서 사용)
   ㄴ Logistic Regression : 분류에 사용되는 선형 모델. (ex. 이진 분류, 희소 영역 분류)

 

2. 단순한 선형 회귀를 통한 회귀 이해

 - 단순 선형 회귀 : 독립변수, 종속변수가 각각 하나인 선형 회귀.

 - 잔차(남은 오류) : 실제 값과 회귀 모델의 차이에 따른 오류 값
   ㄴ 잔차 합이 최소 = 최적의 회귀 모델

 - RSS(Residual Sum of Square) : 오류 값의 제곱을 구해서 더하는 방식

 - 머신러닝 회귀 알고리즘 => 데이터를 계속 학습하며 이 비용 함수가 반환하는 값을 지속해서 감소시키고 최종적으로는 더 이상 감소하지 않는 최소의 오류 값을 구하는 것. (비용 함수 = 손실 함수)

 

3. 비용 최소화하기 - 경사 하강법(Gradient Descent) 소개

4. 사이킷런 LinearRegression을 이용한 보스턴 주택 가격 예측

5. 다항 회귀와 과(대)적합/과소적합 이해

6. 규제 선형 모델 - 릿지, 라쏘, 엘라스틱넷

- https://github.com/CinnaPie/ECC_1/blob/main/Chapter5/ECC_5_GradientDescent~RegularizedModel.ipynb

7. 로지스틱 회귀

8. 회귀 트리

- https://github.com/CinnaPie/ECC_1/blob/main/Chapter5/ECC_5_Logistic~RegressionTree.ipynb

9. 회귀 실습 - 자전거 대여 수요 예측

- https://github.com/CinnaPie/ECC_1/blob/main/Chapter5/ECC_5_Regression_BikeSharingDemand.ipynb

10. 회귀 실습 - 캐글 주택 가격: 고급 회귀 기법

- https://github.com/CinnaPie/ECC_1/blob/main/Chapter5/ECC_5_Regression_KaggleHousePrice.ipynb

 

 

[사용 교재]

•  < 파이썬 머신러닝 완벽 가이드 > // https://www.yes24.com/Product/Goods/108824557