테스트용 데이터 생성

[junha-ahn]

Description

ERD를 중심으로 테스트용 데이터 생성 node.js 스크립트 작성

To do

• 약 천만건의 데이터 생성
• 다양한 조건을 위해 faker npm 모듈 사용
• SQL문 생성

Test Checklist

• 10건 생성 후 Insert 확인
• EVENT 테이블 천만건 데이터 생성
• USER 테이블 백만건 데이터 생성

[junha-ahn]

데이터 천만건 Insert 속도

INSERT ONE RAW

아래와 같은 하나의 SQL 파일로 천만건의 데이터 생성은 너무 오래걸린다.

INSERT INTO 1 raw...
INSERT INTO 1 raw...

INSERT MULTI RAW

Bulk Insert 를 사용하여 10,000건당 하나의 Insert문으로 구성

백만건 인서트에 (네트워크 환경에 따라 다르겠지만) 약 30~40분 소요

군대 사지방 네트워크 환경 + Codespace shell sql 실행

중간에 끊기기도 하는 상황

Load Data From CSV

• https://getchan.github.io/data/mysql_load_data/

1. dummydata script를 통해 CSV 생성
2. Load data from CSV

백만건 인서트 15분

사실 CSV File upload 네트워크 속도가 더 큰 비중을 차지 하는 것 같다.

스토리지 이슈

• 변경: 5G => 20G

[junha-ahn]

RDS 스펙

• db.t3.micro
• mysql 8.0
• GP2 20G storage

Event 테이블 현재 구조

-- show create table event;

CREATE TABLE `event` (
  `id` int NOT NULL AUTO_INCREMENT,
  `title` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL,
  `max_attendees` int NOT NULL,
  `total_attendees` int NOT NULL,
  `start_date` datetime NOT NULL,
  `end_date` datetime DEFAULT NULL,
  `reservation_start_time` datetime NOT NULL,
  `reservation_end_time` datetime NOT NULL,
  `created_at` datetime NOT NULL,
  `updated_at` datetime NOT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=10000001 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci

Event 테이블 용량 계산 (1천만건)

> select count(*) from event;
10,000,000

analyze table event; -- 통계정보 업데이트


select table_schema, table_name, table_rows,
    round(data_length/(1024*1024),2) as 'data_size(mb)',
    round(index_length/(1024*1024),2) as 'index_size(mb)'
from   information_schema.tables
where TABLE_SCHEMA="ticketingdb" and TABLE_NAME = "event"
group by table_name
order by data_length desc;

[
  {
    "TABLE_SCHEMA": "ticketingdb",
    "TABLE_NAME": "event",
    "TABLE_ROWS": 9693561,
    "data_size(mb)": 815.00,
    "index_size(mb)": 0.00
  }
]

For InnoDB tables, the row count is only a rough estimate used in SQL optimization. - from