SHadoop:一个针对短作业性能优化的Hadoop版本

SHadoop
简介:

SHadoop是一个在标准Hadoop上进行性能优化的版本,它的目标在于提升作业执行的性能,尤其是减少短作业执行的时间。

  • 分析并定位了Hadoop MapReduce中两个影响作业(尤其是短作业)性能的问题
  • 针对第一个问题,提出作业启动和结束机制的优化
  • 针对第二个问题,对于作业执行过程中的信息,采用一种紧凑、基于事件处理的通信模型而不是心跳模型来传递
  • 保证了对应用程序接口的兼容性,已有的Hadoop MapReduce程序无需任何修改就可以得到性能提升

了解更详细的信息和动态,请点击:https://github.com/RongGu/SHadoop.