项目使用WebMagic爬虫框架，能够分析微博动态，评论和用户数据。
实现功能
- 根据用户uid爬取用户所有微博动态信息
- 爬取每条动态下面的评论信息和评论用户信息
- 实现多线程
- 实现配置化
- 实现爬虫停止后重新启动继续上次任务
- 与elasticsearch集成
- 扩展downloader和scheduler，支持对每个Request设置请求头
@author kangbiao@kangbiao.org
-
Notifications
You must be signed in to change notification settings - Fork 0
kangbiao/weiboReporter
Folders and files
| Name | Name | Last commit message | Last commit date | |
|---|---|---|---|---|
Repository files navigation
About
微博数据分析（动态，评论，用户）
Topics
Resources
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published