Merge branch 'master' of https://github.com/jiminAn/Kpop_NLP_Project

jiminAn · Dec 2, 2020 · 61322ca · 61322ca
2 parents 2a3ecb3 + 39f5bd8
commit 61322ca
Show file tree

Hide file tree

Showing 20 changed files with 5,762 additions and 63 deletions.
diff --git a/README.md b/README.md
@@ -1,24 +1,31 @@
-
-
-
-
 # Introduction
 
 ## 2020-Fall-Semester NLP : Team Project
 
 - 1992~2020년도 K-pop 아이돌 발매곡 데이터 셋을 이용한 NLP
 - 팀 주제 : 특정 시대의 노래를 타깃으로 비슷한 분위기의 다른 세대 노래를 추천해주는 프로그램
 
+## LDA 모델을 적용한 UI
+1. 년도별 노래 선택 -> 곡 상세정보 확인 가능
+
+<img src='img/1.gif' align="right" width=1000>
+<img src='img/2.gif' align="right" width=1000>  
+
+2. 비슷한 분위기의 곡 추천 가능 : 추천 년도 선택 -> 비슷한 분위기의 노래 리스트 생성  
+
+<img src='img/3.gif' align="right" width=1000>  
+
+
 # Team Member
 
 ## 팀 뉴트로
 
 | 팀원                                                | 역할              | 책임 |
 | --------------------------------------------------- | ----------------- | ---- |
-| [jiminAn(안지민)](https://github.com/jiminAn)       | 팀장 |LDA 모델 설계|
-| [201810794(이은후)](https://github.com/201810794)   |      |K-means 모델 설계|
-| [kky0426(김준영)](https://github.com/kky0426)       |     |LDA 모델 설계|
-| [lee1996-ui(이선우)](https://github.com/lee1996-ui) |      |문서|
+| [jiminAn(안지민)](https://github.com/jiminAn)       | 팀장, 모델 설계, UI 개발 |LDA 모델 초기 설계 및 pyqt5을 이용한 UI디자인|
+| [201810794(이은후)](https://github.com/201810794)   | 모델 설계 |K-means&LDA 모델 최종 설계|
+| [kky0426(김준영)](https://github.com/kky0426)       | 데이터 전처리, 모델 설계 |가사 전처리 및 LDA 모델 최종 설계|
+| [lee1996-ui(이선우)](https://github.com/lee1996-ui) | 문서관리 |프로젝트 최종 발표 및 ppt제작|
 
 
 
@@ -36,18 +43,15 @@
 
 [![팀뉴트로 : 프로젝트 제안 발표](https://img.youtube.com/vi/28hdOUgEhpc/0.jpg)](https://www.youtube.com/watch?v=28hdOUgEhpc&t=733s)
 
+## 핵심 코드
 
 
-## 코드
+## 폴더
 
 - folder [김준영], [안지민], [이선우], [이은후]
 
   : 팀원들의 개인 코드 수정 및 초안 버전 코드 저장 공간, 자세한 내용은 각 폴더의 README 파일(LOG.md)을 참고할 것
 
-- folder [Final_Data_Crawling]
-
-  : 각 팀원 별 데이터 수집 코드와 최종 제출 본 .tsv 파일이 담긴 폴더, 자세한 내용은 폴더의 README.md 파일 참고
-
 ## 회의록
 
 : 온/오프라인으로 진행한 회의록을 yyyy_mm_dd.docx 파일로 정리하여 기록
diff --git a/김준영/README.md b/김준영/README.md
@@ -0,0 +1,19 @@
+# 데이터전처리
+#### kpop_전처리.ipynb - 불용어처리,단어 토큰화
+#### LDA_preprocessing.tsv - 최종 tsv
+
+
+# LDA
+#### kpop_LDA.ipynb - 명사만 추출 후 LDA 모델 적용
+#### kpop_LDA_2.ipynb - 동사 형용사 추가
+
+
+# prototype_ver2
+#### LDA_thema.tsv - 최종 tsv에 분위기 추가한 버전
+#### prototype_ver2.py - 프로토타입
+#### lda_dict - 가사 dictionary 변환 
+#### ----모델 학습 저장한 파일---
+#### model.h5                
+#### model.h5.expElogbeta.npy 
+#### model.h5.id2word          
+#### model.h5.state          
diff --git a/김준영/데이터전처리/LDA_preprocessing.tsv b/김준영/데이터전처리/LDA_preprocessing.tsv
diff --git a/김준영/92-93_rank.ipynb → 김준영/크롤링/92-93_rank.ipynb b/김준영/92-93_rank.ipynb → 김준영/크롤링/92-93_rank.ipynb
diff --git a/김준영/k-pop_1.tsv → 김준영/크롤링/k-pop_1.tsv b/김준영/k-pop_1.tsv → 김준영/크롤링/k-pop_1.tsv
diff --git a/김준영/k-pop_2.tsv → 김준영/크롤링/k-pop_2.tsv b/김준영/k-pop_2.tsv → 김준영/크롤링/k-pop_2.tsv
diff --git a/김준영/k-pop_92-93.tsv → 김준영/크롤링/k-pop_92-93.tsv b/김준영/k-pop_92-93.tsv → 김준영/크롤링/k-pop_92-93.tsv
diff --git a/김준영/k-pop_92-93_r.tsv → 김준영/크롤링/k-pop_92-93_r.tsv b/김준영/k-pop_92-93_r.tsv → 김준영/크롤링/k-pop_92-93_r.tsv
diff --git a/김준영/melon_crawling_92-93.ipynb → 김준영/크롤링/melon_crawling_92-93.ipynb b/김준영/melon_crawling_92-93.ipynb → 김준영/크롤링/melon_crawling_92-93.ipynb
diff --git a/김준영/멜론 크롤링.ipynb → 김준영/크롤링/멜론 크롤링.ipynb b/김준영/멜론 크롤링.ipynb → 김준영/크롤링/멜론 크롤링.ipynb
diff --git a/김준영/웹크롤링.ipynb → 김준영/크롤링/웹크롤링.ipynb b/김준영/웹크롤링.ipynb → 김준영/크롤링/웹크롤링.ipynb
@@ -11199,4 +11199,4 @@
       ]
     }
   ]
-}
+}
diff --git a/이은후/92to99_idol_list.csv b/이은후/92to99_idol_list.csv
diff --git a/이은후/README.md b/이은후/README.md
@@ -0,0 +1,23 @@
+# LOG
+-----------------
+## 1. [song crawling](https://github.com/jiminAn/Kpop_NLP_Project/tree/master/%EC%9D%B4%EC%9D%80%ED%9B%84/song%20crawling) 파일: 멜론 사이트에서 아이돌 노래정보 크롤링
+  * `try2_create_idol_id(.ipynb)` 90년대 가수들 대상 멜론에서 부여된 id 크롤링
+  * `idol_list_with_id(.csv)` 위 파일 실행 후 csv형태로 저장한 파일 (각 아이돌별 id열 추가된 형태)
+  * `94to95_idol_list(.csv)` 위 파일 중 담당년도(94,95)에 해당하는 가수들만 따로 저장한 파일
+  * `melon_crawling20(.ipynb)` 담당년도 가수당 곡 인기순 정렬 후 20개씩 곡정보 크롤링
+  * `94_95_kpop_final(.tsv)` 위 파일 실행 후 tsv형태로 저장한 파일 (최종파일)
+
+
+## 2. [modeling](https://github.com/jiminAn/Kpop_NLP_Project/tree/master/%EC%9D%B4%EC%9D%80%ED%9B%84/modeling) 파일: 노래가사 대상으로 LDA모델, K-means 적용
+  * `preprocess(.ipynb)` 알고리즘 적용 위해 필요한 형태로 데이터 전처리  
+  * **[LDA] 파일**
+    * `LDA modeling_(.ipynb)` (추가 전처리 후) 노래가사(한글+영어) LDA모델 적용하여 테마별 시각화
+  * **[K-means] 파일**
+    * `k-means(.ipynb)` 노래가사(한글+영어) k-means알고리즘 적용하여 군집별로 클러스터링
+
+
+## 3. [Model training](https://github.com/jiminAn/Kpop_NLP_Project/tree/master/%EC%9D%B4%EC%9D%80%ED%9B%84/Model%20training) 파일: 노래 테마분류 정확도 위해 모델 학습
+  * `Model_training_try13(.ipynb)` hyper-parameter 13개로 조정 후 테마 지정
+  * `num=13(.tsv)` 위 파일 실행 후 tsv형태로 저장한 파일 (곡별로 테마 열 추가된 형태)
+  * **[trained data] 파일**
+    * `model_13(.h5)` 위에서 학습시킨 모델 저장한 파일
diff --git a/이은후/modeling/K-means/LOG.md b/이은후/modeling/K-means/LOG.md
diff --git a/이은후/modeling/LDA/k-means.ipynb → 이은후/modeling/K-means/k-means.ipynb b/이은후/modeling/LDA/k-means.ipynb → 이은후/modeling/K-means/k-means.ipynb
diff --git a/이은후/94_95_kpop_final.tsv → 이은후/song crawling/94_95_kpop_final.tsv b/이은후/94_95_kpop_final.tsv → 이은후/song crawling/94_95_kpop_final.tsv
@@ -49,3 +49,4 @@
 1997	R.ef	후애	male	댄스	30	하해룡	이용민	팀 엔터테인먼트	얼마나 소중했는지 그때는 몰랐던거야 지난날 너의 사랑이 내게 남아 상처가 될줄 모랐어 사랑이라는 감정을 너 떠난 후에야 알게됐으니 나 전화했지만 그냥 끊어버린건 단지 너의 목소릴 들으려 한거야 날 이기적이라 생각 하지 말아줘 이제 나의 잘못을 알았어 미안해 너또한 힘들겠지만 나를 용서해 줄순 없니 너에게 단 한번만 내 사랑을 줄 수 있다면 정말 이렇게 아프지 않아  나 전화했지만 그냥 끊어버린건 단지 너의 목소릴 들으려 한거야 날 이기적이라 생각 하지 말아줘 이제 나의 잘못을 알았어 미안해 돌이킬수는 없지만 나를 이해해 줄 순 없니 너에게 단한번만 내 사랑을 줄 수 있다면 정말 이렇게 아프지 않아 단한번 만이라도 내 사랑을 줄 수 있다면 제발 돌아와 내게 부탁해
 19960901	R.ef	마음속을 걸어가 (Jungle Ver.)	male	댄스	0	홍재선	홍재선	팀 엔터테인먼트	넌 지금 어딨는지 난 중요치 않아 누구와 함께 있는것이 중요해 나 아닌 다른 사람을 알고 만나고 있는 것은 아닐까 이렇게 헤어진 우리 지금 모습이 먼 훗날 빛바랜 흔적속에서 천천히 살아날 추억을 벌써 느끼고 있는거야 널 잊어가는 방법까지는 나를 울리지 않아 다만 자꾸 떠오르는 너의 얼굴은 지울수가 없어 한다발 추억 속에 너는 오랫동안 나를 뭉클하게 하지만 어울리지 않는 헤어짐이 나를 슬픔속에 머물게 했어 되돌아가고 싶은 길목에서 너의 마음속을 모두 걸어가네 너 하나만을 위한다면서  떠나버린 나의 반쪽 찾아가고파 어디에서 무슨 생각을 하고 살고 있을까 알 수 없는 너의 맘 속 산책한다면 난 할 수 있어 니가 원하는건 무엇이든지 널 잊어가는 방법까지는 나를 울리지 않아 다만 자꾸 떠오르는 너의 얼굴은 지울수가 없어 한다발 추억 속에 너는 오랫동안 나를 뭉클하게 하지만 어울리지 않는 헤어짐이 나를 슬픔속에 머물게 했어 되돌아 가고 싶은 길목에서 너의 마음 속을 모두 걸어가네 너 하나만을 위한다면서 되돌아 가고 싶은 길목에서 너의 마음 속을 모두 걸어가네 너 하나만을 위한다면서 너 하나만을 위한다면서 너 하나만을 위한다면서
 19980501	R.ef	하늘을 걸고	male	댄스	0	강은경	Papertonic	팀 엔터테인먼트	Hey now come on to me baby Why can't you hold me baby Now feel my heartbreak baby missing you that's all  Please come(hoo hoo) come back I don't check(yeh) come back Just now(hoo hoo) come back baby love come back  오-아마 영원히 너에게 용서받을 수가 없을 거야 내가 이제와 너에게 무슨말을 하겠니 워 진정 나만을 사랑해준건 너라는걸 깨달았어 지금 내게 필요한건 너뿐이야   널  부서지게 안고서 무릎꿇어 난 감사하고파 하늘에 세상에 살아있는 모두에 그리고 돌아온 너에게  잊지마 지금 넌 내게 그냥 온게 아니야 수많은 날 흘린 나의 눈물과 끝없는 내 그리움이 널 데려온거야  이제 하늘을 걸고 우리 약속해 다시는 슬픈 이별이란 없는거라고 삶이 다해 떠나기전엔 언제까지나  Please come(hoo hoo) come back I don't check(yeh) come back Just now(hoo hoo) come back baby love come back   다신 떠나지 말아줘 이젠 내곁에 있어줘 널 위해 살겠어 my love 이제는 나에게 기대줘 welcome welcome welcome 끝없이 너를 사랑할꺼야 come back come back come back 내곁의 빈자리로 all right  내가 그동안 사랑한 것은 단지 환상뿐이었어 왠지 너와는 다르단 느낌 때문이었지 워 나는 이제야 나만의 사랑 너라는 걸 알게 됐어 너를 떠나 살 수 없는 나인거야  날 떠난 너의 뒤에서 오히려 난 용서를 빌었어 더 많이 더 깊이 더 가까이 곁에서  널 사랑해주지 못한걸  잊지마 지금 넌 내게 그냥 온게 아니야 수많은 날 흘린 나의 눈물과 끝없는 내 그리움이 널 데려온거야  이제 하늘을 걸고 우리 약속해 다시는 슬픈 이별이란 없는거라고 삶이 다해 떠나기전엔 언제까지나  내 곁엔 너의 자리가 항상 준비되었어 지금처럼너는 그냥오면돼 언제라도 너만을 위해 비워둘꺼야  이제 하늘을 걸고 우리 약속해 다시는 슬픈 이별이란 없는거라고 삶이 다해 떠나기전에 언제까지나 - 
+
diff --git a/이은후/94to95_idol_list.csv → 이은후/song crawling/94to95_idol_list.csv b/이은후/94to95_idol_list.csv → 이은후/song crawling/94to95_idol_list.csv
diff --git a/이은후/idol_list_with_id.csv → 이은후/song crawling/idol_list_with_id.csv b/이은후/idol_list_with_id.csv → 이은후/song crawling/idol_list_with_id.csv
@@ -46,3 +46,4 @@
 44,,클레오,Cleo,3,김하나,여,호 엔터테인먼트,101397
 45,,티티마,T.T.Ma,5,소이,여,뮤직 팩토리,100017
 46,,오투포,O-24,3,이가혜,여,은성 기획,100121
+
diff --git a/이은후/melon_crawling20.ipynb → 이은후/song crawling/melon_crawling20.ipynb b/이은후/melon_crawling20.ipynb → 이은후/song crawling/melon_crawling20.ipynb
diff --git a/이은후/try2_create_idol_id.ipynb → 이은후/song crawling/try2_create_idol_id.ipynb b/이은후/try2_create_idol_id.ipynb → 이은후/song crawling/try2_create_idol_id.ipynb