레이블이 인코딩 셋인 게시물을 표시합니다. 모든 게시물 표시
레이블이 인코딩 셋인 게시물을 표시합니다. 모든 게시물 표시

R 중급 한글 인코딩 셋 에러 난 것 ????? 문자열 검색 정규화 표현식

     Linux R에서 사용하는 기본적인 인코딩 셋은 UTF-8 이다.  하지만, 엑셀은 CP949 이다.     DB 엔진은 EUC-KR이다.  이런 경우는 매우 특수한 경우인데,  데이터 마이그레션 과정중에서   CP949인코딩 셋 데이터를  변환하지 않고,  EUC-KR에 잘못 넣으면,    내역이 아래 그림과 같은 오류가 발생 한다. 


> # 한글 인글 인코딩 깨진것 검색
>   library(stringr)
>   library(dbplyr)
>   Search <- data.frame(text = c("한글 인코딩 깨진것 검색","??????/COMP ????[??]", "equi" ))
>   Search %>% 
     filter(str_detect(text, "한글"))
                     text
1 한글 인코딩 깨진것 검색  

# 오류 내용
>   Search %>% 
     filter(str_detect(text, "?"))
에러: Problem with `filter()` input `..1`.
ℹ Input `..1` is `str_detect(text, "?")`.
x Syntax error in regexp pattern. (U_REGEX_RULE_SYNTAX, context=`?`)
Run `rlang::last_error()` to see where the error occurred.
>   Search %>% 
     filter(str_detect(text, '\\?'))
                  text
1 ??????/COMP ????[??]
>   localeToCharset()
[1] "UTF-8"  "EUC-KR"



  위의 녹색과 같이 정규화 표현식을 찾아서 걸러 내는 방법이 있다. 일반적으로 많이 쓰이는 기능이니,  이것을 활용 하면 매우 좋다. 

[주식 클로드 자동매매 프로젝트] 제2편. 데이터 인프라 구축 — 모델보다 데이터가 먼저다

 머신러닝 모델을 이야기하기 전에, 그 모델이 먹는 데이터가 어디서 어떻게 왔는지부터 정직하게 밝혀야 한다. 이 프로젝트에서 가장 많은 시간이 들어간 부분은 화려한 모델 튜닝이 아니라, "내가 정말 그 데이터를 갖고 있는가"를 확인하...