南京大数据技术Meetup第七次活动
2017年1月14日,南京大数据技术Meetup第七次活动在南京大学仙林校区成功举行。此次活动由南京大学PASA大数据实验室主办,并受到江苏省计算机学会大数据专家委员会、江苏省软件新技术与产业化协同创新中心的支持。本次活动邀请了来自星环信息科技(上海)有限公司、深圳纳实大数据技术有限公司、南京大学计算机系、北京瀚思安信科技有限公司的四位技术专家进行了技术报告分享。除了技术分享外,还吸引了南京商数、星环科技、杰世欣、深圳纳实大数据、南京大学PASA大数据实验室等单位前来布置海报交流。参与人员方面,这次活动吸引了200多位大数据技术资深从业者、高校研究者和技术爱好者参加。他们分别来自烽火通信、华为、中兴通讯、苏宁云商、华泰证券、南京银行、途牛网、南京普天、畅途网、南瑞、金陵科技、中电28所、瑞中数据、星环科技、杰世欣、孩子王、软通动力、深圳纳实大数据技术有限公司、南京天数科技有限公司、帮投网、中山证券、江苏瑞华投资控股集团有限公司、南京新城科技园管委会、嘉谷科技、精创物联网、南京绿库信息技术有限公司、南京科融数据系统股份有限公司、江苏智享信息科技有限公司、南京魔盒信息科技有限公司、南京万和有限公司、江苏宝贝金融服务有限公司、江苏零浩网络科技有限公司、国网电力、南京华盾电力信息安全测评有限公司、紫光智控科技有限公司、南京华苏科技有限公司、merkle、上海凌科软件信息科技有限公司、南京甄视智能科技有限公司、EarlyData、苏州同思软件有限公司、南京红山信息科技、江苏省星宇芯联、南京商数,以及南京大学、南京理工大学、河海大学、南京师范大学、南京农业大学、南京邮电大学、南京信息工程大学、南京晓庄学院等50多家企事业单位。
首先,星环科技的资深工程师杨俊给大家作了题目为“流处理和机器学习近期发展与实践探究”的技术演讲。杨俊首先介绍了大数据流处理近期的一些动态,包括Saprk Spark structured streaming 2.1发布、Twitter推出Storm的增强版Heron、Google Beam成为Apache顶级项目等,并进一步分析提出了流处理的一些趋势判断,例如:基于SQL的流处理已经成为趋势、流式数据挖掘应用开始普及等。在此基础之上杨俊介绍了Transwarp StreamSQL基本原理和框架。在介绍完流式处理之后,杨俊分析了当前大数据机器学习技术的近期发展状况,重点提到了深度学习的火热及其开源框架层出不穷。进一步地,分析填列了大数据及其学习的工具、应用于开发人员的关系与发展趋势。最后,他详细介绍了星环Discover产品的框架组件,和其中Midas系统的基本原理。该报告宏观视野和技术深度兼具,受到了现场观众的一致好评。
随后,深圳纳实大数据技术有限公司总经理吕骏介绍了大数据技术下的供给侧库存优化的一些思考。随着大数据技术的普及,众多传统产业链的供给链也开始使用大数据分析技术优化整个流程。吕总的报告深入浅出,并配以分析多个实际传统行业的案例。吕总让人耳目一新的报告令参加活动的众多大数据技术人员和科研人员都感觉受益匪浅。
之后的茶歇环节中本次活动设置了技术海报的展览和交流,一共有来自大数据应用服务、基础平台、教育科研等领域的5个单位带来了他们的优秀成果,大家一边享用精美茶歇,一边交流技术。
活动的下半场,来自南京大学计算机系助理研究员,Alluxio项目PMC member顾荣给大家带来了一场题为“基于Alluxio的Spark DataFrame/RDD性能调优技术”的报告分享。他的报告首先介绍了大数据开源存储项目Alluxio的发展历程以及基本原理,然后顾荣重点介绍了在活动当天发布的Alluxio 1.4版本的重要特性,最后他深入介绍了如何基于Alluxio对Spark DataFrame/RDD进行性能调优。
最后,由北京瀚思安信科技有限公司工程师陈奎给大家做了题为“大数据安全分析引擎的设计与实现”的技术分享。陈奎的报告详细介绍了大数据安全分析引擎中的复杂事件处理的设计与处理流程。引起了现场很多专家的广泛兴趣。最后,现场研讨的时间总是过得飞快,为期半天的南京大数据技术Meetup第七次活动在大家的热烈交流中圆满结束。
本次活动加强了江苏省及周边地区大数据从业者的技术交流,在线上的大数据社区中也收到了良好的反响。技术在分享中进步,创新在交流中迸发。Meetup活动希望能为大数据技术的迭代创新贡献力量。感谢参加活动和为活动作出贡献的同仁,我们下次活动再Meet up!
活动主页:
http://www.huodongxing.com/event/7369510734800