데이터 표준화 및 정규화는 머신러닝에 있어서, 매우 중요한 사항이다. 서로 데이터의 크기가 맞지 않을 경우 정확 한 계산을 할 수 없다. 아래는 유방암 데이터 세트이다. 이 데이터는 머신러닝으로 모델 만들기 전에 반드시, 표준화 및 정규화 작업을 해야 하다.
 |
| 데이터 스케일 |
위의 그림을 보면 데이터의 크기 차이가 많이 난다. 이럴 경우에는 전부 스케일 하여, 훈련셋과 테스트 셋을 만들어야 한다.
R 기초 데이터 표준화 (Standardization) 및 데이터 정규화(Normalization) 방법, 유방암 데이터 셋 머신러닝
위의 그림을 보면 데이터의 크기 차이가 많이 난다. 이럴 경우에는 전부 스케일 하여, 훈련셋과 테스트 셋을 만들어야 한다.
피드 구독하기:
글 (Atom)
-
windows에서 linux 기반의 R 을 설치 해도 일반 linux 기반의 R의 잘 돌아 간다. 특히 요새 윈도우 버전에 업그레이드 되면서, 계정이름이 한글로 된 학교 사용자들이Windows R을 사용할때 아래와 같은 문제가 발생 된다. ...
-
보안이 매우 중요한 회사에서는 웹사이트가 접속이 제한이 된다. 그래서, R CRAN Mirror 사이트를 선택해서 설치 해야 한다. 앞으로의 보안 정책은 전부다 막고, 일부만 풀어 주는 방식으로 될 것이며, 물론 보안 신청 한... -
1. devtools 가 필요한 이유
-
과대적합을 해결 하는 대표적인 방법 중 하나인 가중치 규제(regularization) 이다. 가중치 규제란 말 그대로 가중치의 값이 커지지 않도록 제한 하는 기법이다. 가중치를 규제하면 모델의 일반화 성능이 올라간다. 아래 경사가 급... -
Rstudio는 2009년에 개발 되었고, 처음 안 것은 2017년도 되었다. 어찌 되었던 학부에서 통계학을 배우고 있을 때는 2000년대 였으니, 콘솔을 사용한 R을 사용하였는데, 데이터 읽어 오는데, 많이 고생한 기억이 난다. ...
-
Mysql을 R에서 사용하는 것은 흔한 케이스가 아니다. 하지만, Mysql에서 R을 사용하게 되면 여러가지 이점이 있다. 첫번째, 예전에 사용하는 SQL 쿼리를 사용하게 되므로써, 기존 개발 인력과 협업이 가능하다. 두번째, ...
-
현업에 있으면, 직면하는 데이터는 항상 범주형(카테고리) 데이터 셋이다. 다른 모델로 하였을 경우 범주형 데이터는 항상 원-핫 인코딩을 하여 계산 하여야 만 했다. 하지만, 원-핫 인코딩을 하지 않고, 범주형 데이터를 이용하는 것에 대...
-
통계학에서 베이블 분포(Weibull distribution)는 연속확률 분포로써 고장 확률에 대한 예측에 대하여 많이 쓰인다. 신뢰도를 측정하는데 많이 쓰이는데, 시스템 혹은 부품이 작동을 시작하여 그 시점까지 고장 나지 않고 여전히... -
R과 Python 공부에는 분명 계절성이 있다. Python은 주로 겨울철에 많이 한다. 이유는 아주 간단한데, GPU를 돌리게 되면, 전력 소비량도 많고, 여름철에는 더워지기 때문이다. 겨울철에는 GPU에서 나오는 열을 ... -
지난번 주제인 New York Taxi cabs 그래프 그리기 2번째 파트이다. 이번에도 저번 시간 시간에 했던 것을 이어서 하는 것이지만, 맨 처음 전처리 하는 과정을 오늘도 같이 가겠다. 지난번하고 방법론은 크게 바뀐 것이 없지...
