1. 从hive中读取数据到spark中,对数据进行离线统计,将统计 结果写入到mysql中进行保存。2. 模拟实时生产数据,写入文件,使用flume实时监控文件将数据传输到kafka中保存,再对接kafka-streaming进行实时的数据统计
-
Updated
Jan 22, 2021 - JavaScript
1. 从hive中读取数据到spark中,对数据进行离线统计,将统计 结果写入到mysql中进行保存。2. 模拟实时生产数据,写入文件,使用flume实时监控文件将数据传输到kafka中保存,再对接kafka-streaming进行实时的数据统计
Add a description, image, and links to the sparkcore topic page so that developers can more easily learn about it.
To associate your repository with the sparkcore topic, visit your repo's landing page and select "manage topics."