祝贺顾荣、齐扬、吴侗雨的论文被JPDC(CCF B类期刊)录用!
顾荣、齐扬、吴侗雨的论文被JPDC(CCF B类期刊)录用!
祝贺我组的研究论文SparkDQ: Efficient Generic Big Data Quality Management on Distributed Data-Parallel Computation被分布式并行计算期刊Journal of Parallel and Distributed Computing(JPDC,CCF B类)录用! 该工作针对大数据场景下的数据质量管理,提出了一种通用的、分布式的模型框架SparkDQ。SparkDQ包含一系列数据质量检测与修复接口、一组经过并行优化的分布式数据质量管理算法、以及诸如多任务调度优化和数据缓存的系统级优化策略。实验结果表明,SparkDQ的并行化算法相较于传统的单机算法有明显的速度优势,系统级优化策略有效提高了多任务数据质量管理的效率;同时,SparkDQ具有近线性的可扩展性。 我组参与该项研究工作的人员有:顾荣老师、齐扬同学、吴侗雨同学、袁春风老师、黄宜华老师,其中黄宜华老师是通讯作者。