Pandas는 DataFrame을 아주 쉽게 파이썬에서 사용할 수 있도록 만든것이다. 서적에는 원리나, 기본적인 방법을 설명하는 것이 매우 많이 적혀 있지만, 실무에서 거의 쓰지 않는 것까지 포함되어 있다. 이 부분은 다른 언어(R)로 주로 일을 하였지만, 실제 실무에서 많이 사용하는 것만 정리 하겠다. 쓰지 않는 것 까지 익히려고 애를 쓰게 되면 될 수록 학습의 피로감만 높아 진다.
matplotlib 그래프 그리기 scatterplot 산점도 소득과 행복간의 관계
matplotlib 는 통계적으로 분석 할 수 있는 그래프가 있다. 대표적인 것이 scatterplot 산점도이다. 산점도는 변수간의 관계성이 있는지에 관한 이야기이다. 아래는 소득과 행복간의 관계를 따지는 산점도를 그릴 것이다.
R & Python 문자열 인덱싱 및 슬라이싱
R과 Python의 가장 큰 차이가 나는 것이, 문자열 인덱싱과 슬라이싱 일 것이다. 즉,
인덱싱은 문자에도 각 순번이 있어, 순번대로 가져오는 것이다. 그런데 R 과 파이썬 둘의 차이가 매우 크다, 어떻게 보면, 문자열을 초기에 핸들링 하기에는 Python이 더욱 쉬워 보인다.
아래의 주어진 문자의 예를 들어 설명해 보자.
text = "나는 고요한 아침의 나라 대한민국에서 살고 있습니다."
피드 구독하기:
글 (Atom)
공무 스케줄 AI Agem에 대한 생각
지금 상황이 아비 규환이다. 어느 부서든 회사가 인수 합병되고 나서 투자를 기획하는 경영기획이 특히 않이 정신이 없고, 우리부서도 전부 미국 필리 조선소로 인원이 나가 있어, 사실상 10년 이상 고기량자는 거의 없다. 우리부서에 남아...
-
Rstudio는 2009년에 개발 되었고, 처음 안 것은 2017년도 되었다. 어찌 되었던 학부에서 통계학을 배우고 있을 때는 2000년대 였으니, 콘솔을 사용한 R을 사용하였는데, 데이터 읽어 오는데, 많이 고생한 기억이 난다. ...
-
통계학에서 베이블 분포(Weibull distribution)는 연속확률 분포로써 고장 확률에 대한 예측에 대하여 많이 쓰인다. 신뢰도를 측정하는데 많이 쓰이는데, 시스템 혹은 부품이 작동을 시작하여 그 시점까지 고장 나지 않고 여전히...
-
R에서 변수, 정수, 요인(범주형) 변수를 안다는 것은 회귀분석이나, 머신러닝 실행 할때, 어떻게 구성 해야 하는지 아는 것과 같다. 실무에서는 예측셋(Predictive value :Categorical variable)인 경우가 많이 있으...
-
주식에서 일정 주기로 시세가 변동 하는 주식은 박스를 그려서 분석 할 수 있다. 하지만, 박스를 그려서 분석 할 수 있는 주식이 그다지 많지 않다. 시작에서 충격(Ex 코로나 팬더믹) 받지 않은 이상은 박스를 그려서 분석 할 수 있...
-
현업에 있으면, 직면하는 데이터는 항상 범주형(카테고리) 데이터 셋이다. 다른 모델로 하였을 경우 범주형 데이터는 항상 원-핫 인코딩을 하여 계산 하여야 만 했다. 하지만, 원-핫 인코딩을 하지 않고, 범주형 데이터를 이용하는 것에 대...
-
아래 그림과 같이 기초가 튼튼해야 성공 할 수 있다. 아래에는 네이버 지식인에서 자주 나오는 질문이다.
-
Windows R은 관리자 권한으로 실행하지 않으면 패키지도 로딩이 안되고, 제대로 패키지를 설치 할 수 없다. 따라서 제대로 설치 하고 실행 하려면, 아래와 같이 관리자 권한으로 실행 하여야 한다. 1.아이콘에서 관리자 권한 실행 법 ...
-
IOT 데이터는 일반적으로, 초당 데이터베이스를 받는다. 하지만, 아래와 같은 케이스는 분단위로 데이터 셋을 받아도 연간 한개 포인트에 52만개의 데이터 이다. 이것과 관련 해서 7일 단위 30일 단위 평균을 구할 때, 속도의 문제가 발생 한다. 속...
-
교차 검증(cross validation)은 샘플의 갯수가 적을 때, 하는 알고리즘이다. 샘플이 많은 경우 굳이 교차 검증을 수행할 필요가 없다. 보수적으로 보았을때, 약 2,000개의 샘플 데이터가 있으면, 교차 검증을 할 이유가 없다....
-
과대적합을 해결 하는 대표적인 방법 중 하나인 가중치 규제(regularization) 이다. 가중치 규제란 말 그대로 가중치의 값이 커지지 않도록 제한 하는 기법이다. 가중치를 규제하면 모델의 일반화 성능이 올라간다. 아래 경사가 급...