[머신러닝] K-최근접 이웃 회귀 개념과 예제

-

K-최근접 이웃 회귀 개념과 예제


K-최근접 이웃 알고리즘


지도 학습 알고리즘은 분류와 회귀로 나뉜다.




K-최근접 이웃 분류(K-NN Classification)


K-최근접 이웃 분류는 새로운 샘플(초록색 원)이 주어졌을 때 가장 가까운 K개의 샘플들을 보고 샘플이 속하는 클래스를 판단하는 알고리즘이다.







K-최근접 이웃 회귀(K-NN Regression)


K-최근접 이웃 회귀는 새로운 데이터를 클래스 중 하나로 분류하는 것이 아닌 임의의 수치를 예측하는 알고리즘이다.

회귀 : 두 변수 사이의 상관관계를 분석하는 방법


아래 그래프를 보자.
분류와 같이 예측 하려는 샘플에 가장 가까운 K개의 샘플을 선택한다. 하지만 회귀 이므로 주변의 샘플들은 어떤 클래스(그룹)가 아닌 임의의 수치다. 따라서 새로운 샘플(주황색 별)을 예측 할 때는 주변의 수치들의 평균을 구하면 된다. 
주황색 별 = (30 + 30 + 2) / 3 
계산에 따라 새로운 샘플의 예측 타깃값은 26.6666  이 된다.






데이터 준비하기


이제부터 파이썬에서 K-최근접 이웃 회귀 알고리즘을 사용해 모델을 훈련 시켜 보자. 우선 데이터를 준비 하자.

height를 보고 weight를 예측 하도록 해야 하므로 height가 특성이 되고 weight가 타깃이 된다.

import numpy as np

height = np.array([10.0,11.0,12.0,13.0,14.0,15.0,16.0,17.0,18.0,19.0,
                   20.5,21.0,22.0,23.0,24.0,25.0,26.0,27.5,28.0,29.0,
                   30.0,31.0,32.0,33.0,34.0,35.0,36.0,37.0,37.5,38.0,
                   39.0,40.0,41.0,42.0,43.0,44.0,45.0,46.0,47.0,48.0,
                   49.0,50.0,51.3,52.0,53.0,54.0,55.0,56.0,57.0,58.0
                    ])

weight = np.array([100.0,101.9,102.0,103.0,104.0,105.0,106.0,107.0,108.0,109.0,
                   110.0,110.0,111.0,120.0,121.0,122.0,124.0,126.0,127.0,128.0,
                   130.0,135.0,137.0,138.0,140.0,150.0,151.0,155.0,160.0,162.0,
                   170.0,180.0,190.0,200.0,300.0,400.0,500.0,600.0,700.0,800.0,
                   850.0,850.0,860.5,870.7,880.0,890.0,900.0,920.0,930.0,950.0
                    ])



산점도 그려보기


산점도를 그려보자. 아래 예제를 실행 시키보면

import matplotlib.pyplot as plt #그래프 그리는 패키지 import

plt.scatter(height, weight, color='red')

plt.xlabel('height')
plt.ylabel('weight')
plt.show()


다음과 같은 그래프가 나온다.
height가 커짐에  따라 weight도 늘어나는 것을 확인 할 수있다.







훈련 세트와 테스트 세트 나누기


train_test_split 메서드를 사용하여 훈련세트와 테스트 세트를 나눠 주자.
random_state를 42로 지정해주면 프로그램을 껐다 켜도 훈련세트와 테스트 세트의 샘플 순서가 유지된다.

from sklearn.model_selection import train_test_split
train_input, test_input, train_target, test_target = train_test_split(
    height, weight, random_state=42)


reshape()


사이킷런에서 모델 훈련을 하기 위해서는 훈련 세트를 2차원 배열로 바꿔줘야 한다.
일단 훈련 세트를 2차원 배열로 바꾸기 전에 reshape() 메서드에 대해 알아보자.
넘파이에서 배열의 크기를 바꿀 수 있는 reshape() 메서드를 제공한다.

아래 예제를 읽어보면 이해가 될거다.
reshape() 메서드를 사용하여  1차원 배열을 2차원 배열로 바꾸는 방법이다.
shape() 메서드는 배열의 크기를 반환해 준다.
array = np.array([1,2,3,4])
print(array.shape)  #원소 개수 확인

array = array.reshape(2,2)
print(array.shape) #2차원으로 바꾸기
결과 : 
(4,)
(2, 2)



훈련 세트 2차원 배열로 바꾸기


총 샘플의 개수는 50개이며 훈련 세트는 37개, 테스트 세트는 13개다.
이때 reshape(37,1) 대신 reshape(-1,1) 로 -1로 지정하면 배열의 크기를 나머지 원소 개수로 자동으로 채울 수 있다.

결과를 보니 2차원 배열로 잘 바뀌었다.
train_input = train_input.reshape(-1,1)
test_input = test_input.reshape(-1,1)
print(train_input.shape, test_input.shape)
결과 : (37, 1) (13, 1)



모델 훈련 시키기


사이킷런의 KNeighborsRegressor 클래스를 import 한다.
K-최근접 이웃 분류와 마찬가지로 fit()메서드로 모델을 훈련을 시킨다.
from sklearn.neighbors import KNeighborsRegressor

knr = KNeighborsRegressor()
knr.fit(train_input, train_target)


모델 평가하기


score() 메서드를 사용하여 모델을 평가해보자.
print(knr.score(test_input, test_target))
결과 : 0.9931400780315257


점수가 0.9931400780315257이 나왔다.
회귀에서는 임의의 수치를 맞춘다고 했다. 이때 정확한 수치를 맞추는 것은 거의 불가능에 가깝다. 예측하는 값이나 타깃 모두 임의의 수치이기 때문이다.
이 점수는 결정계수(coefficient determination) 또는 R² 이라고 부른다.

점수 계산식은 다음과 같다.
R² = 1 - (타깃 - 예측)²의 합 / (타깃 - 평균)²의 합

만약 타깃의 평균을 예측한다면 R²는 0에 가까워지고 예측이 타깃에 가까워지면 1에 가까운 값이 된다.


평균 절댓값 오차 구하기


결정계수 값이 0.99가 나왔다. 이 정도면 좋은 값이다.
이번에는 타깃과 예측의 평균 절댓값 오차를 구해보자.
from sklearn.metrics import mean_absolute_error

test_prediction = knr.predict(test_input)

#평균 절댓값 오차 계산
mae = mean_absolute_error(test_target, test_prediction)
print(mae)
결과 : 15.303076923076922

결과를 보니 15.3 정도 타깃 값과 다르다는 것을 확인 할 수 있다.



훈련 세트 평가하기


테스트 세트가 아닌 훈련세트의 결정계수 점수를 확인해 보자.
print(knr.score(train_input, train_target))
결과 : 0.9931061310417463


이전 테스트 세트의 점수는 0.9931400780315257 이다.
훈련 세트와 비교 하면 테스트 세트의 점수가 더 높다.
이 상황은 좋지 못한 현상이다. 모델은 훈련 세트에서 훈련하고 테스트 세트로 평가 하기 때문에, 훈련 세트가 더 좋은 점수가 나와야 하는 것이 정상이다.


과소적합


이 처럼 훈련 세트보다 테스트 세트의 점수가 높거나 두 점수가 모두 너무 낮은 경우에 과소적합(underfitting)되었다고 말한다. 모델이 너무 단순하거나 훈련세트에서 올바른 훈련이 되지 않아서 발생하는 문제다.



과대적합


과소적합과 반대로 훈련세트의 점수가 굉장히 좋은데, 테스트 세트에서 점수가 심하게 나쁘다면 과대적합(overfitting)되었다고 말한다.



과소적합 해결하기


우리는 지금 과소적합 문제가 발생했다. 이를 해결하기 위해서는 모델을 좀 더 복잡하게 만들거나 훈련세트와 테스트 세트의 크기를 키워야한다.
우리는 현재 훈련세트와 테스트 세트의 크기를  키울순 없으니 모델을 더 복잡하게 만들어야한다.

모델을 더 복잡하게 만들기 위한 방법으로는 이웃의 개수 K개수를 줄이면 된다.
사이킷런의 K개수의 디폴트 값이 5다. 이 값을 3으로 낮춰보자.
knr.n_neighbors=3


K개수도 줄였겠다. 다시 한번 훈련 시켜보자.
knr.fit(train_input, train_target)
print(knr.score(train_input, train_target))
결과 : 0.9961022961438378

오, K개수 줄이기 전인  0.9931400780315257 보다 0.003 정도 결정계수 점수가 잘나온다.



다시 테스트 세트의 점수를 확인해 보자.
print(knr.score(test_input, test_target))
결과 : 0.9953881527291476

결과를 보니 테스트 세트가 훈련 세트보다 낮아져 과소적합 문제를 해결 했다.
어? 테스트 세트가 훈련 세트보다 낮으면 과대적합 아닌가요? 그렇지 않다. 테스트 세트와 훈련 세트가 심하게 차이가 나는 것을 과대적합이라고 본다. 현재 차이는 아주 정상적인 점수다.



전체 소스코드

import numpy as np

height = np.array([10.0,11.0,12.0,13.0,14.0,15.0,16.0,17.0,18.0,19.0,
                   20.5,21.0,22.0,23.0,24.0,25.0,26.0,27.5,28.0,29.0,
                   30.0,31.0,32.0,33.0,34.0,35.0,36.0,37.0,37.5,38.0,
                   39.0,40.0,41.0,42.0,43.0,44.0,45.0,46.0,47.0,48.0,
                   49.0,50.0,51.3,52.0,53.0,54.0,55.0,56.0,57.0,58.0
                    ])

weight = np.array([100.0,101.9,102.0,103.0,104.0,105.0,106.0,107.0,108.0,109.0,
                   110.0,110.0,111.0,120.0,121.0,122.0,124.0,126.0,127.0,128.0,
                   130.0,135.0,137.0,138.0,140.0,150.0,151.0,155.0,160.0,162.0,
                   170.0,180.0,190.0,200.0,300.0,400.0,500.0,600.0,700.0,800.0,
                   850.0,850.0,860.5,870.7,880.0,890.0,900.0,920.0,930.0,950.0
                    ])


# import matplotlib.pyplot as plt #그래프 그리는 패키지 import
#
# plt.scatter(height, weight, color='red')
#
# plt.xlabel('height')
# plt.ylabel('weight')
# plt.show()

#훈련세트,테스트 세트 나누기. random_stata를 42로 하면 프로그램을 껐다켜도 훈련세트와 테스트 세트의 샘플이 유지된다.
from sklearn.model_selection import train_test_split
train_input, test_input, train_target, test_target = train_test_split(
    height, weight, random_state=42)

# 2차원으로 바꾸기
train_input = train_input.reshape(-1,1)
test_input = test_input.reshape(-1,1)
print(train_input.shape, test_input.shape)

#모델 훈련 시키기
from sklearn.neighbors import KNeighborsRegressor

knr = KNeighborsRegressor()
knr.fit(train_input, train_target)

#모델 평가하기
print(knr.score(test_input, test_target))

#절댓값 오차 평균 구하기
from sklearn.metrics import mean_absolute_error

test_prediction = knr.predict(test_input)

#평균 절댓값 오차 계산
mae = mean_absolute_error(test_target, test_prediction)
print(mae)

#훈련 세트 평가하기
print(knr.score(train_input, train_target))

#과소적합 해결하기
knr.n_neighbors=3

#K개수 줄이고 훈련 시키기
knr.fit(train_input, train_target)
print(knr.score(train_input, train_target))

#K개수 줄이고 테스트 세트 평가하기
print(knr.score(test_input, test_target))



참조



혼자 공부하는 머신러닝 + 딥러닝(깃 허브) : https://github.com/rickiepark/hg-mldl

댓글

댓글 쓰기

이 블로그의 인기 게시물

[Python] 파이썬 if문 사용법과 예제

-
이미지
파이썬 if문 사용법과 예제 if문 이란? if문은 조건을 충족한다면 수행 하라는 조건문이다. 아래 그림처럼 조건문이 참이면 실행하고 거짓이면 다음 조건문으로 넘어간다. 사실 그림을 본다고 이해 안되므로 대충 보고 글을 차례대로 읽으면 이해가 될 것이다. if문의 기본 형태 아래 예제가 if문의 가장 간단한 형태로 if, else 두 개를 사용한다. if는 조건문으로 조건을 만족하면 실행한다. else는 조건을 만족하지 않으면 실행된다. 코드를 설명하자면 if 에서 점수(score)가 90점 이상이면 A등급을 출력한다. else 에서 90점 미만은 낙제를 출력한다. 첫 출부터 아래로 내려가면서 조건을 만족하면 실행한다. if 90<= score: 를 만났을 때 현재 score가 90이기 때문에 A등급을 출력 후 조건문이 종료 된다. 즉 else문은 실행되지 않는다. Tip) if문을 사용할 때 콜론( : )을 꼭 뒤에 붙여야 한다. 처음 하다 보면 콜론을 까먹는 경우가 있다.  score = 90 if 90 <= score: # '<=' 기호는 "같거나 크다." 로 사용된다. print ( "A 등급 " ) else : print ( " 낙제 " ) 결과 : A등급 elif 활용하기 바로 위에 예제는 하나의 조건 밖에 걸지 못한다. 하지만 elif를 사용한다면 여러 개의 조건을 걸 수 있다. 아래 예제를 보자. score는 현재 80점이다. 첫 줄 부터 코드가 진행된다. if 90<= score: 를 만났을 때 score는 90보다 작기 때문에 는 무시된다. if 80<= score: 를 만났을 때 score는 80과 같거나 크기 때문에 B등급이 출력된다. score = 80 if 90 <= score: print ( "A 등급 " ) el
다른 게시물 보기

[네트워크] 오류 제어 방식 이란?(FEC, BEC, ARQ)

-
오류 제어 방식 이란?(FEC, BEC, ARQ) 오류 제어 방식에 대해 알아보자.  통신에서 오류란? 송신한 데이터가 제대로 수신 측까지 가지 않았을 때 오류라고 한다. 오류의 원인에는 잡음(noise), 전송 기술, 채널 상태, 장비의 차이가 있다. 오류 제어 방식의 의미 데이터를 전송하는 과정에서 발생할 수 있는 오류를 감지하고 수정 또는 복구하는 방법. 오류 제어 방식의 종류 1. 오류 무시 2. 전진 오류 수정(FEC)     - 해밍 부호 검사 3. 후진 오류 수정(BEC)      - 패리티 검사     - 블록 합 검사     - 순환 중복 검사(CRC) 4. 검출 후 재전송(ARQ)      - 정지 대기(stop and wait) 방식      - go-back-N 방식      - selective-request 방식 5. 반항 검사 - 링크 계층에서 가장 많이 사용하는 오류제어 방식은 검출 후 재전송(ARQ) 다. - 반항 검사는 잘 사용하지 않으므로 다루지 않는다. 1. 오류 무시 - 오류 무시 정의 오류 무시란 오류가 발생한 프레임을 수신 측에서 버리거나 상위 계층에게 떠넘겨서 상위 계층에서 알아서 처리하게 하는 것. - 사용 예시 1. 100만큼 데이터를 보냈다고 했을 때, 20만큼 오류가 나더라도 상관 없을 때 사용. 2. 오류가 발생했던 데이터를 재전송 했을 때 시간이 지나 더 이상  수신 측에서 필요 없는 데이터일 때. 3. 음성 통신 같은 경우 내용 파악의 문제가 없으면 사용. 2. 전진 오류 수정(forward error correction) - 전진 오류 수정(FEC) 정의 전진 오류 수정이란 일정 한 비트 수 이하로 오류가 발생하면 수신 측에서 스스로 정정할 수 있도록 하는 것. 일정 한 비트 수의 의미는 오류가 100비트 발생하면 수정하기 힘들지만 한 두 개 정도는
다른 게시물 보기

[Virtual Box] 가상머신 에러 E_FAIL (0x80004005), (VERR_SUPLIB_PATH_NOT_CLEAN) 해결 방법

-
이미지
Failed to load R0 module D:\/VMMR0.r0: The path is not clean of leading double slashes: 'D:\/VMMR0.r0' (VERR_SUPLIB_PATH_NOT_CLEAN). E_FAIL (0x80004005) 인터페이스: IConsole {6ac83d89-6ee7-4e33-8ae6-b257b2e81be8} 해결 방법 에러 이유 ( VERR_SUPLIB_PATH_NOT_CLEAN) 결론 부터 말하자면 Virtual Box 경로가 C 드라이브가 아닌 D드라이브 같은 다른 위치에 설치되면 발생한다. VirtualboxVM.exe는 Virtualbox의 설치 폴더에 있어야 한다. virtualization support 설정, windows 보안 꺼도 에러가  해결 안되고 혹시 가상머신을 다른 경로에 저장했다면  이 방법을 써볼것. Vitual Box  재설치 후 경로 C드라이브로 설정 1. Vitual Box 제어판 가서 삭제한 후 재 설치한다. 2. 설치 하면서 가상 머신을 C드라이브로 설치한다. 괜히 D드라이브로 바꾸지 말 것.(그냥 경로 건들지 말자.) 에러 때문에 2시간 허비 했다. 에러 해결 방법에 대해 한국어 글이 없어서 누군가는 보라고 올림. 출처 :  https://forums.virtualbox.org/viewtopic.php?t=96445
다른 게시물 보기