웹 크롤링 기반 채용 공고 분석 시스템 개발

written by sohyeon 💡

1. 기획 및 구현 기간

2019.09-2020.02

2. 프로젝트 소개

• 구직 사이트 중 인크루트를 크롤링하여 공고 정보를 추출 및 정제한다.
• 크롤링한 공고 데이터 중, IT, 인터넷 직무의 취업 정보를 한눈에 볼 수 있는 웹 서비스를 구축한다.
• 회사 규모 및 지역별로 회사 분포도를 지도 위에 시각화한다.

3. 개발 기술

• 웹 서비스
  • Spring Framework, JAVA, JSP
• 시각화
  • Elasticsearch
  • Logstash
  • Kibana
• 인프라
  • centOS
  • AWS EC2
  • MySQL
• 크롤링
  • Python
  • flask
• 협업 관리
  • Gitlab, Github

4. 담당 역할

• 웹 서비스 화면 설계와 구현 (회원가입 & 로그인)
• Spring Framework를 이용하여 서버를 구축
• 회사 규모 및 지역별 회사 분포도를 지도 위에 시각화하여 사용자가 편리하게 볼 수 있도록 구현

5. 결과물

https://youtu.be/9Dqfb1T3mjc