Data-Processing-Note (with Pandas)

기본 사용법

• 데이터 로딩

• 데이터 확인

• 데이터 타입 정보+변환

  • Numeric 데이터 타입 최적화

• 컬럼 다루기 (추가, 삭제, ...)

• 데이터 Slicing ( loc, at, xs )

• 데이터 Filtering ( Query )

• 데이터 정렬 (순위)

• 데이터 합치기 concat & merge

• 일반적인 함수를 통한 전처리 ( apply, map, ... )

• groupby 함수를 통한 전처리 (+ WINDOW FUNCTION 기능 )

• pivot_table - 두 개의 그룹 기준(Index와 Column)으로 계산 (+ crosstab)

데이터 처리

코드 최적화

• 최적화 Tip 간단 정리

• 단순 연산 처리 최적화

• 유용한 numpy 함수 정리

일반 데이터

• 데이터 중복 다루기 Unique & duplicated

• 데이터 결측치(NA) 값 처리 방법

• 데이터 mapping ( 치환 ) 방법

• 두 데이터프레임의 차이 비교 ( 데이터 검증에 활용 )

문자열 데이터

• 문자열(object) 전처리

• 정규식(Regular Expression) 처리

시계열 데이터

• 시계열 기본 타입과 함수 (datetime, timedelta, pd.date_range, ...)

• 시계열 데이터 컬럼 활용 ( + shift)

• 누락된 날짜 확인하는 방법(추가하는 법) - 날짜가 중복되지 않는 경우

시각화

• 명목(범주형) 변수 Count 시각화

• Boxplot

모델 데이터 만들기

• One-Hot-Encoding & dummy variable
  • Categorical -> Numerical : binning(bucketing) 추가 예정