YARM:基于MapReduce的高效可扩展的RDFS语义推理引擎
主要目标:
- 针对MapReduce分布式并行计算框架对推理算法进行优化
- 克服现有语义推理引擎在可扩展性方面的不足
- 改善推理系统的执行效率
YARM的几点优化:
- 采用合理的数据划分模型和并行化算法,降低处理器间的通信开销
- 优化推理规则的执行次序,提升了推理计算速度
- 设计了简洁的去重策略,避免新增作业处理重复数据
- 设计实现了一种新的基于MapReduce的并行化推理算法
实验结果表明,在真实数据集和大规模合成数据集上,YARM的执行速度比当前最新的基于MapReduce的RDFS推理引擎快10倍左右,同时YARM还表现出更好的数据和系统可扩展性