메타정보 (source)를 데이터셋에 추가 + prediction까지 고려한 커스텀 EDA 툴

[papari1123]

요약

1. dataset.py에 메타정보인 source를 활용할 수 있게 수정.
2. validation 과정에서 예측값을 얻을 때, 이를 hook해서 EDA할 수 있도록 train.py 코드 수정,

개선 필요점

1. 문장 데이터를 테이블 형태로 보기 좋게 만드는 기능 추가 필요함.
2. wandb에서 시각화 자료를 볼 수 있게 수정

1. source 메타정보 이용

• 먼저, 메타 데이터인 source는 총 6개의 category로 구성되어 있습니다.

  • nsmc-rtt, nsmc-sampled
  • slack-rtt, slack-sampled
  • petition-rtt, petition-sampled

• 이를 6차원의 one-hot encoding할 수 있으나, rtt/sampled 여부에 따라 label의 분포 차이가 있음을 발견하였습니다.
  

• source의 경우는 rtt/sampled 보다는 적은 차이를 보입니다.
  

• 따라서 source를 다시 2개의 카테고리 (rtt : rtt/sampled, source : nsmc/slack/pertition)으로 나누었고,
  바뀐 source 데이터에 대해 one-hot encoding을 한 후, rtt 여부를 concat한 4차원 벡터를 만들었습니다.

  • nsmc-rtt : [1, 0, 0, 1]
  • nsmc-sampled : [1, 0, 0, 0]
  • slack-rtt : [0, 0, 1, 1]
  • slack-sampled : [0, 0, 1, 0]
  • petition-rtt : [0, 1, 0, 1]
  • petition-sampled : [0, 1, 0, 0]

이를 aux (auxiliary)라고 dataset class에 정의하고, 학습에 사용할 수 있도록 코드를 변경하였습니다.

2. EDA 툴

2.1 분석용 데이터 생성 방법

• 입력 데이터에 대해서만 분석하는 EDA와 달리, 이 EDA 툴은 모델의 예측값도 EDA 분석에 활용합니다.
• Eda 툴과 연관된 파일들은 다음과 같습니다.

- EDA
     └  output/*csv
     └  output_analysis.py
     └  outputEDA.ipynb
- Train.py
- sbert_config.yaml

• sbert_config.yaml에서 설정한 base_model, log_name이 EDA 툴에 사용됩니다.
  • base_model : AutoTokenizer 모듈에서 로드할 토크나이저를 정의합니다.
  • log_name: output폴더에 저장할 csv 파일의 이름 구분자로 사용됩니다.
• Train.py에서 다음과 같은 설정을 해주어야 합니다.
  • EDA 폴더의 output_analysis.py에 있는 OutputEDA class를 임포트합니다.

from EDA import OutputEDA

• 인스턴스를 생성합니다. config는 sbert_config.yaml에서 정의됩니다.

outputEDA = OutputEDA(config['base_model'], config['log_name'])

• 모델의 예측 결과를 hook 할 수 있도록 적절한 위치에 아래 코드를 넣습니다. s2가 없는 모델은 s2를 None으로 넣습니다.

outputEDA.appendf(label, pred, aux, s1, s2)

• 결과를 파일로 저장하기 적절한 경우, outputEDA.save를 호출합니다.
• 매 epoch가 끝날 때 outputEDA에 append된 label, pred, aux, s1, s2.. 를 비우기 위해 outputEDA.reset()를 호출합니다.

# example
if val_pearson > best_pearson:
    outputEDA.save(epoch, val_pearson)
    torch.save(model.state_dict(), config["model_save_path"])
    best_pearson = val_pearson
outputEDA.reset()

2.2 EDA 실행 방법

• training 과정에서 적절한 csv 파일이 생성된 경우, outputEDA.ipynb를 실행합니다.

2.2.1. feature들의 mean, std, 4분위 통계량 확인

• 2.1에서 얻은 결과를 읽고 feature engineering한 dataframe인 fd를 얻습니다. feature_engineering 함수로 몇 가지 features들이 fd의 columns에 추가됨을 알 수 있습니다.

data = pd.read_csv(f'output/BERT_e0_0.821.csv')
print(data.columns)
fd = feature_engineering(data, tokenizer)
print(fd.columns)
print(fd.describe())

2.2.2. 표본 집단들의 mean, std, 4분위 통계량 확인

-표본집단에 대한 통계값도 데이터값으로 사용할 수 있습니다. 예를 들어 피어슨 상관계수의 경우 샘플 하나에 대해서 계산할 수 없고 여러 개의 샘플(표본집단)에 대해서 계산이 가능하기 때문에 2.2.1의 방법이 아닌 이 방법을 사용해 분포를 구할 수 있습니다.

• 표본 집단을 나누는 기준은 reference col이며, 이 기준을 원하는 대로 범주화할 수 있습니다.
• 예를 들어 아래는 prediction값과 label 값의 차이인 diff를 기준으로 사용하며, -0.5, 0.5-1, 1-1.5, 2- 의 5가지 카테고리로 표본집단을 구성합니다.

refer_cols = 'diff'
check_cols = ['pred', 'label', ('pred', 'label')]
# th_list가 None일 경우 사분위 수를 기준으로 자동으로 카테고리화 함
th_list = [0.5, 1, 1.5, 2]
sfd = sample_feature_engineering(fd, refer_cols, check_cols, th_list)
print(sfd)
print(sfd.describe()

2.2.3. scatter plot

분석할 두 지표를 vs_col에 넣고, 추가적으로 알고싶은 정보를 color_col에 넣습니다.

# fd 데이터프레임에 대해 scatter plot
# 관심있는 col 정보 입력 
color_col = 'diff'
vs_col = ['pred', 'label']
# dot에 마우스를 가져다 될 때 뜨는 정보 확인
hover_col = ['s1', 's2', 's1_token', 's1_stop', 's1_space', 's1_rfreq', 'rtt', 'source']
label_scatter_plot(fd, color_col, vs_col, hover_col)

표본집단에 대한 데이터프레임인 sfd에 대해서도 수행이 가능합니다.

2.2.4. scatter matrix plot

여러 지표에 대해 2개씩 묶어 상관관계를 분석하고 싶은 경우 scatter matrix를 사용합니다.

# pair plot 열 정보 입력
index_col = 'diff'
matrix_check_col = ['pred', 'label', 's1_len', index_col]
# ※matrix_check_col에 index_col이 포함되어야 함.
fig = create_scatterplotmatrix(fd[matrix_check_col], 
                               diag = 'histogram',
                               width = 500, 
                               height = 500,
                               index= index_col,
                               colormap_type = 'cat'                         
                               )
fig.show()

2.2.5. box, violin plot

2.2.2.처럼 reference column을 정해서 구해진 표본 집단들 각각의 bot plot 또는 violin plot을 그립니다.

• TH_LIST는 표본집단을 나눌 때 설정하는 referenece column의 threshold값을 가지는 리스트입니다.
  TH_LIST를 설정하지 않을 경우, 데이터 백분위수를 구해 자동으로 threshold를 계산합니다.

# 실수형 데이터를 백분위별로 나누어 Reference하는 예시

REFER_COL = "diff" 
CHECK_COL = ['label', 'pred', 's1_rfreq', 's1_len', 's1_token', 's1_space', 's1_stop'] 

TH_LIST =  None
# box plot으로 할 경우 False
SHOW_VIOLIN = False

for c in CHECK_COL:
    show_violin_plot(fd, REFER_COL, c, SHOW_VIOLIN, TH_LIST)

범주형 데이터, 예를 들면 rtt를 reference로 잡을 경우, 0/1 값만을 가지기 때문에 TH_LIST를 [0.5]로 설정하면 됩니다.

# 범주형 데이터를 Reference하는 예시

REFER_COL = "rtt" 
CHECK_COL = ['label', 'pred', 's1_rfreq', 's1_len', 's1_token', 's1_space', 's1_stop'] 

TH_LIST =  [0.5]
# box plot으로 할 경우 False
SHOW_VIOLIN = True
sub = ['sampled', 'rtt']
for c in CHECK_COL:
    show_violin_plot(fd, REFER_COL, c, SHOW_VIOLIN, TH_LIST, subtitle=sub)

[intrandom5]

100점이요...!