Per ardua ad astra.

데이터 전처리 할 때 결측값 제거 방법 (Pandas)들어가며데이터를 전처리할 때 판다스(Pandas)를 이용하여 결측값을 제거하는 방법을 정리해본다. 방법보통 다음과 같이 @df.dropna()@를 이용할 수도 있으나, 데이터에 공백(@' '@)이 있을 경우 제거하지 못한다는 단점이 있다.df['column'] = df['column'].dropna() 그래서 다음과 같이 @pd.to_numeric()@을 먼저 써서 공백(@' '@), @NaN@ 등 결측값을 전부 @NaN@으로 바꿔준 후, @dropna()@를 적용시켜주면 모든 결측치들을 제거할 수 있다.df['column'] = pd.to_numeric(df['column']) # 공백, NaN 등 모든 결측치들을 NaN으로 바꾸기df['colu..

데이터 비식별화(Data De-Identification) 개념 특정 개인을 식별할 수 없도록 개인정보의 일부 또는 전부를 변환하는 일련의 방법 데이터를 안전하게 활용하기 위해서는 수집된 데이터의 개인정보 일부 또는 전부를 삭제하거나 다른 정보로 대체함으로써 다른 정보와 결합하여도 특정 개인을 식별하기 어렵게 데이터 비식별화 조치를 해야 한다. 데이터 비식별화 기법 ① 가명 처리(Pseudony Misation) 개인 식별이 가능한 데이터에 대하여 직접 식별할 수 없는 다른 값으로 대체하는 기법 그 자체로는 완전 비식별화가 가능하며 데이터의 변형, 변질 수준이 낮음. 일반화된 대체 값으로 가명 처리함으로써 성명을 기준으로 하는 분석에 한계가 존재함. 처리 대상 식별 정보 성명 기타 고유 특징 (출신 학교..

데이터의 유형 정형 데이터 형태(고정된 필드)가 있으며, 연산이 가능하다. 주로 관계형 데이터베이스(RDBMS)에 저장된다. 데이터 수집 난이도가 낮다. 형식이 정해져 있어 처리가 쉬운 편이다. 예) 관계형 데이터베이스, 스프레드시트, CSV 등 반정형 데이터 형태(스키마, 메타 데이터)가 있으며, 연산이 불가능하다. 주로 파일로 저장된다. 데이터 수집 난이도가 중간이다. 보통 API 형태로 제공되기 때문에 데이터 처리 기술(파싱)이 요구된다. 예) XML, HTML, JSON, 로그 형태(웹 로그, 센서 데이터) 등 비정형 데이터 형태가 없으며 연산이 불가능하다. 주로 NoSQL에 저장된다. 데이터 수집 난이도가 높다. 텍스트 마이닝 혹은 파일일 경우 파일을 데이터 형태로 파싱해야 하기 때문에 수집 데..