[머신러닝] 규제(regulariztion)와 릿지 회귀(ridge), 라쏘 회귀(lasso)
규제(regulariztion)와 릿지(ridge), 라쏘(lasso) 규제란? 규제는 머신러닝 모델이 훈련 세트에 과대적합 되지 않도록 만드는 것이다. 즉, 모델이 훈련 세트를 과도하게 훈련하지 못하도록 훼방을 놓는 것이다. 과대적합(Over Fitting) 훈련세트 의 점수가 굉장히 좋은데, 테스트 세트 에서 점수가 심하게 나쁘다면 과대적합 (overfitting)되었다고 말한다. 과대적합 예제 과대적합 예제를 토대로 규제를 적용하는 방법에 알아보자. 1. 예제를 보면 PolynomialFeatures클래스의 dgree 속성을 5 를 설정하여 5제곱 까지 특성을 만들었다. 2. train_poly.shpae 로 배열의 크기를 확인하니 55개 의 속성이 만들어졌다. 3. 훈련 세트와 테스트 세트를 평가 해보니 점수가 엄청 차이 나는 과대적합 이 발생했다. 과대 적합 이 일어난 이유는 특성의 개수 가 너무 많기 때문이다. 특성 개수를 늘리면 모델은 거의 완벽하게 훈련이 가능하지만 너무 많으면 과대 적합 이 발생한다. import pandas as pd # 특성 가져오기 df = pd.read_csv( 'https://bit.ly/perch_csv_data' ) perch_full = df.to_numpy() #print(perch_full) # 타깃 데이터 import numpy as np perch_weight = np.array([ 5.9 , 32.0 , 40.0 , 51.5 , 70.0 , 100.0 , 78.0 , 80.0 , 85.0 , 85.0 , 110.0 , 115.0 , 125.0 , 130.0 , 120.0 , 120.0 , 130.0 , 135.0 , 110.0 , 130.0 , 150.0 , 145.0 , 150.0 , 170.0 , 225.0 , 145.0 , 188.0 , 180.0 , 1...