데이터 표준화 및 정규화는 머신러닝에 있어서, 매우 중요한 사항이다. 서로 데이터의 크기가 맞지 않을 경우 정확 한 계산을 할 수 없다. 아래는 유방암 데이터 세트이다. 이 데이터는 머신러닝으로 모델 만들기 전에 반드시, 표준화 및 정규화 작업을 해야 하다.
 |
| 데이터 스케일 |
위의 그림을 보면 데이터의 크기 차이가 많이 난다. 이럴 경우에는 전부 스케일 하여, 훈련셋과 테스트 셋을 만들어야 한다.
R 기초 데이터 표준화 (Standardization) 및 데이터 정규화(Normalization) 방법, 유방암 데이터 셋 머신러닝
위의 그림을 보면 데이터의 크기 차이가 많이 난다. 이럴 경우에는 전부 스케일 하여, 훈련셋과 테스트 셋을 만들어야 한다.
피드 구독하기:
글 (Atom)
-
요새 들어 Windows R이 안정성이 많이 높아 졌다. 예전 버전에서는 한글 인코딩 문제로, 코딩 후에 알 수 없는 문제를 겪었다. 하지만, 지금은 그러한 문제가 많이 해결 되었다. 한글 인코딩 문제도 풀리고, Windows R에서 ... -
R 환경 설정 파일에서 반드시 쓸 일이 있다. 오라클 한글 인코딩 설정 할 때 꼭 필요 한데, 이 부분을 잘 몰라서, 우리 회사 서버 팀과 같이 서로 고생들만 하였다. 어찌 되었든 이 부분에 대한 개념은 매우 중요 하니, 아래와 같이 이...
-
통계학에서 베이블 분포(Weibull distribution)는 연속확률 분포로써 고장 확률에 대한 예측에 대하여 많이 쓰인다. 신뢰도를 측정하는데 많이 쓰이는데, 시스템 혹은 부품이 작동을 시작하여 그 시점까지 고장 나지 않고 여전히... -
텍스트 마이닝은 현업에서 은근히 많이 사용하는 기능이다. 즉, 텍스트 데이터를 처리를 엑셀로 하기 어렵고, 응용 해야 할 문제 들이 많이 있다. 아래의 내용은 " 쉽게 배우는 R 텍스트 마이닝"을 Base로 분...
-
아래 그림과 같이 기초가 튼튼해야 성공 할 수 있다. 아래에는 네이버 지식인에서 자주 나오는 질문이다.
-
나는 누구인가 보전(설비 정비) 조직에서 25년을 일했고, 지금은 용접기 담당자다. 코딩은 업무의 일부가 아니었지만, RStudio로 데이터를 다루는 게 주특기가 됐다. 어느 시점부터 "이 도구로 내 개인 투자 판단도 데이터 기반으로 해...
-
보안이 매우 중요한 회사에서는 웹사이트가 접속이 제한이 된다. 그래서, R CRAN Mirror 사이트를 선택해서 설치 해야 한다. 앞으로의 보안 정책은 전부다 막고, 일부만 풀어 주는 방식으로 될 것이며, 물론 보안 신청 한... -
통계 패키지 R에는 우리가 필요하다고 판단 되는 것들은 모두 있는 것 같다. 이번에는 주식 패키지 설치와 관련된 것인데, 주식패키지는 야후 웹페이지에서 크롤링 해서 가져오는 것이라, 속도가 매우 늦다. 차라리 직접 크롤링 하는것이 속도가 ...
-
지난번 주제인 New York Taxi cabs 그래프 그리기 2번째 파트이다. 이번에도 저번 시간 시간에 했던 것을 이어서 하는 것이지만, 맨 처음 전처리 하는 과정을 오늘도 같이 가겠다. 지난번하고 방법론은 크게 바뀐 것이 없지...
