本项目分别电商数据统计模块及业务采集及数仓搭建模块，利用hive统计每个区域热门商品进行统计；依据业务数据实现离线业务数仓搭建。
项目详解链接：https://blog.csdn.net/qq_36816848/article/details/113865910
一、电商热门商品统计项目
项目描述：模拟常规电商
数仓分析流程，利用hive、spark统计对用户行为日志及区域热门商品进行统计，支持用户决策。依据业务数据实现离线业务数仓导入及分层实现离线数仓搭建，实时数仓部分后续更新。
本项目总共分为三个模块，分别是：
一、电商热门商品统计模块
二、业务采集导入模块
三、离线数仓搭建模块
（一）项目介绍
针对常规电商网站进行大数据分析，对每个区域热门商品进行统计，支持用户决策。
项目流程及框架：Python-->Flume-->HDFS-->Mapreduce/Spark ETL-->HDFS-->Hive-->Sqoop-->Mysql
1.数据采集（ETL）
电商日志一般存储在日志服务器，通过 Flume 拉取到 HDFS 上，本文通过编写python程序模拟日志数据。
业务数据通过 Sqoop 从关系型数据库mysql中读取数据,然后导入到HDFS。
因为要访问数据库，所以会对数据库造成很大的压力，而且在真实的生产环境中，一般没有权限直接访问数据库。可以把数据导出成csv文件，放到日志服务器上，再通过Flume采集到HDFS上。假如有权限访问数据库，数据库也需要设置成读写分离的模式，来缓解压力。
2.数据清洗
使用 MapReduce 进行数据清洗。
使用 Spark Core 进行数据清洗。
3.各区域热门商品计算
使用 Hive 进行数据的分析和处理。
使用 Spark SQL 进行数据的分析和处理
4.数仓搭建