t2othick / simple-mapreduce Public

Notifications You must be signed in to change notification settings
Fork 0
Star 0

为了给团队介绍 mapreduce 写的简化版框架

0 stars 0 forks Branches Tags Activity

Notifications

Name		Name	Last commit message	Last commit date
Latest commit History 6 Commits
main		main
pkg		pkg
.gitignore		.gitignore
LICENSE		LICENSE
Makefile		Makefile
README.md		README.md
glide.yaml		glide.yaml

Repository files navigation

simple-mapreduce

为了给团队介绍 mapreduce 写的简化版框架

相对于完整版的分布式框架，还需要完善：

可以跨进程调用的 RPC 框架 - thrift、grpc 等
能够注册、管理和发现 worker，帮助记录临时文件位置的设施 - Zookeeper
能够跨机器访问的文件系统 NFS - GFS、HDFS、Moose-FS 等
worker 的执行超时管理，以及 worker 执行失败后的重试
master 的执行进度保存，以及失败后重新恢复

About

为了给团队介绍 mapreduce 写的简化版框架

golang mapreduce mapreduce-demo

Report repository

Releases

No releases published

Packages

No packages published

Languages