Marlin:基于Spark的大规模分布式矩阵运算库
背景:
在许多数据密集型的科学应用,例如数值计算、数据挖掘、计算物理中,矩阵运算都是一项非常核心的部分,大量应用问题的本质都可以转换成矩阵计算。然而在大数据时代,尚没有很好的对于大规模分布式矩阵运算的解决方案。
意义:
基于Spark平台完成的Marlin矩阵运算库,为用户提供了大量矩阵运算的高层抽象原语,在性能方面远胜MapReduce相关的实现,在某些情况下甚至优于传统数据并行处理时代的MPI实现,Malin无论是在易用性还是性能方面都达到了一个很好的高度。
了解更详细的信息和动态,请点击:https://github.com/PasaLab/marlin .
系统框架: