미디엄 HTML 수집기 및 파서 구현

[goinhacker]

요구사항:
미디엄에서 업데이트 되는 링크의 HTML을 수집하는 방법을 연구하고 설계 합니다.

미디엄의 모든 글을 대상으로 HTML을 수집할 수는 없기때문에 미디엄의 모니터링 대상이되는 (예를들면, 유투브의 채널) 것이 어떤것이 있는지를 먼저 파악해야 합니다.

1. HTML 수집기에서는 새로운 글이 올라오면 이를 인지해야합니다.
2. 새로 올라온 글에서 oz 태그 등을 추출할 수 있는 HTML을 얻습니다.(oz 태그가 없을수도 있음)
3. HTML을 미디엄 파서에 넘깁니다.

[insford]

아키텍쳐 설계 (간단히)

• 참고 : http://foat.me/articles/crawling-with-akka/#project-design

• Application : 어플리케이션 Start-Point

• Supervisor

  • 각 사이트별 크롤링액터 등록 (Medium, Youtube ...)
  • db에서 사이트별로 크롤링할 리스트 가져온다. (사이트별로 n개)
  • 크롤링할 리스트 스케쥴러 등록

• [Domain]Crawler (MediumCrawler)

  • Actor 시작시 akka-http-system 등록 (크롤러별로? or 전역..?)
  • [Domain]을 받아서 사이트 크롤링 (callback self)
    • 성공 -> parsing to article -> send to processor
    • 실패 -> retry(max) -> error message

• ArticleProcessor

  • duplication check
  • insert to db
  • incremental indexing to search engine