Data Science
-
[Data Science] Winequality(white wine) 데이터 회귀 분석 - 와인 품질 예측Data Science/Data Science in R 2018. 12. 18. 01:53
목표 : winequaliry-white 데이터를 통해 와인 품질을 예측하는 회귀 분석을 해보자.* 데이터 설명 : http://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/winequality.names* 데이터 다운로드 : http://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/winequality-white.csv 1. 함수 작성 및 환경 설정 rmse =0.2875 682 292.62320 5.277126 * 5) volatile.acidity=0.2075 761 4..
-
[Data Science] Boston 데이터 회귀 분석 - 부동산 가격 예측 문제Data Science/Data Science in R 2018. 12. 17. 21:27
목표 : Boston 데이터를 활용하여 Boston 지역의 부동산 가격 예측 회귀분석을 해보자. 1. 함수 작성 및 환경 준비 rmse yhat_gbm rmse(y_obs, yhat_gbm)[1] 3.598836 예측력이 RF보다 떨어지는 것이 보인다. 12. 최종 모형 선택과 테스트세트 오차 계산 > data.frame(lm = rmse(y_obs, yhat_step),+ glmnet = rmse(y_obs, yhat_glmnet),+ rf = rmse(y_obs, yhat_rf),+ gbm = rmse(y_obs, yhat_gbm)) %>%+ reshape2::melt(value.name = 'rmse', variable.name = 'method')No id variables; using all a..
-
[Data Science] 회귀 분석의 RMSE 기본 개념Data Science/Data Science in R 2018. 12. 17. 07:07
목표 : 연속형(이산형)과 수치형 반응변수를 예측하는 회귀분석 기법을 살펴보자. 개념 설명 회귀분석에서는 분류분석에서 익힌 대부분의 개념(모형의 복잡도, 과적합, 변수 선택, 모형 평가, 교차검증, 데이터세트 분할 등)이 그대로 사용된다.회귀분석과 분류분석의 차이는 정확도 지표로 분류분석은 이항편차, 혼동행렬, ROC곡선, AUC 등을 사용하며, 회귀분석은 RMSE가 흔히 사용된다. 관측값이 y이고, 예측값이 y_hat 일 때, RMSE는 다음과 같이 주어진다. RMSE 예측오차 값이 작을수록 더 정확한 모형이다.R에서는 함수를 다음과 같이 정의하여 사용한다. rmse
-
[Data Science] spambase 데이터 분류 분석 - 스펨 메일 예측 문제Data Science/Data Science in R 2018. 12. 17. 05:23
목표 : 스펨베이스 데이터를 활용하여 스펨 메일 분류 분석을 해보자.* 데이터 설명 : https://archive.ics.uci.edu/ml/machine-learning-databases/spambase/spambase.names* 데이터 다운로드 : https://archive.ics.uci.edu/ml/machine-learning-databases/spambase/spambase.data 데이터 기본 구성 word_freq_make: continuous.word_freq_address: continuous.word_freq_all: continuous.word_freq_3d: continuous.word_freq_our: continuous.word_freq_over: continuous.wor..
-
[R language] gbm(부스팅 모형) package 함수 에러 해결 방법Data Science/Data Science in R 2018. 12. 17. 04:09
gbm을 사용하다 보면 에러가 종종 발생된다. 다음 사항들을 보고 해결하도록 하자. Error ① gbm() 사용 중, R Session Aborted 라는 메세지와 함께 New Session으로 변경되는 경우 - 원인 : 컴퓨터 내 프로그램에서 버그 충돌이 일어나는 것- 해결 방법 : 기존의 gbm package 제거 후, 개발 버전 gbm package 설치- 소스코드 remove.packages("gbm") #기존 gbm 패키지 제거install.packages("devtools", dependencies=TRUE)library(devtools)install_github("gbm-developers/gbm") #개발자 버전 gbm 패키지 설치library(gbm) #패키지 로드 Error ② 다음과..