DFS-Perf:针对分布式文件系统的基准测试系统

Perf
背景:

分布式文件系统是大数据生态环境中不可或缺的一部分,是上层计算框架和应用的基石。随着数据量的爆炸式增长,分布式文件系统得到了越来越广泛地使用,同时也出现了一批又一批新的分布式文件系统。

意义:
对分布式文件系统进行性能评测,能够:
  • 帮助用户为自己的应用选择最合适的分布式文件系统(在不同分布式文件系统上针对某一应用进行测试)
  • 指导开发者对分布式文件系统本身进行优化和改进(在一个分布式文件系统上进行多项测试)
  • 发掘出分布式文件系统研究和发展的方向和趋势(对不同分布式文件系统的测试进行比较)
DFS-Perf是能够对各种分布式文件系统进行性能测试的统一的基准测试框架(并且也是第一个针对分布式文件系统的性能测试框架)。它有着良好的可扩展性,具体表现在:
  • 能够支持多节点、多进程、多线程,不同粒度的并发测试模式
  • 能够方便的添加新的测试用例或支持新的分布式文件系统

目前,我们已经实现了DFS-Perf的系统原型,包含了若干种典型的测试用例,支持了一部分现有的被广泛使用的分布式文件系统,如Tachyon、HDFS、GlusterFS、GPFS等。

了解更详细的信息和动态,请点击:http://pasa-bigdata.nju.edu.cn/dfs-perf.