做大数据应用需要学习什么编程语言,一定要学 java 吗,不,python 也是一个很好的选择
所以,一起用 python 来玩转大数据吧
pip install -r requirements.txt
pip install --no-deps thrift-sasl==0.2.1
大数据组件 | python 操作示例 | 文档 |
---|---|---|
hadoop | ctrl_hdfs.py | hdfs |
hadoop-mapreduce | mapreduce | mapreduce.md |
hive | ctrl_hive.py 一进一出 udf 多进一出 udaf 一进多出 udtf |
impyla |
impala | ctrl_impala.py | impyla |
hbase | ctrl_hbase.py | happybase |
kafka | demo_producer.py demo_consumer.py |
kafka |
elasticsearch | ctrl_elasticsearch.py | elasticsearch |
spark | demo_spark.py | pyspark |
flink | flink-sql | flink 实践系列2-flinksql |
doris | ctrl_doris | DorisClient |