祝贺我组牵头发起的Fluid开源项目进入 CNCF Sandbox!
祝贺我组牵头发起的Fluid开源项目进入 CNCF Sandbox!
2021年4月27日,云原生计算基金会(CNCF)宣布通过全球TOC投票接纳Fluid成为CNCF官方沙箱项目(详情见CNCF官方报道)。Fluid是一个开源的云原生数据编排和加速系统,也是国内首个高校牵头进入CNCF的开源项目。CNCF是极具盛名的开源基金会,旗下有Kubernetes、gRPC等知名项目。
该项目开源于2020年9月,短短半年多时间内发展迅速,吸引了众多领域专家和工程师的关注与贡献,本实验室顾荣老师担任Fluid开源社区主席,阿里、腾讯、奇虎360、微博等大厂已在相关产品/项目中使用Fluid。南京大学、阿里云和Alluxio开源社区是Fluid开源项目的联合单位,并且来自腾讯云、中国电信、微博、Boss直聘、第四范式、云知声等企业的工程师都贡献了大量的开发工作。
Fluid项目地址:https://github.com/fluid-cloudnative/fluid
项目介绍
云原生环境下,计算存储分离架构提升系统弹性的同时,给大数据/AI等数据密集型应用带来了计算性能和管理效率方面的挑战。现有云原生编排框架运行此类应用时,存在数据访问延时高、多数据源联合分析难、应用使用数据过程复杂等痛点。Fluid正是为解决这些问题而生的。
Fluid 系统架构图
Fluid运行在Kubernetes上,是一个可扩展的分布式数据编排和加速系统,其目标为构建云原生环境下数据密集型应用的高效支撑平台。
核心功能
Fluid在云原生应用与数据的协同编排、调度优化、数据缓存等几方面提出一系列技术创新,其核心功能包括:
- 提供存储无感知的数据抽象:通过自定义资源对象(Custom Resource Definition)实现多个不同存储系统的统一高层抽象定义与管理,并且支持可观测性和弹性伸缩;
- 基于容器调度的智能数据编排:基于 Kubernetes 容器调度和扩缩容能力,实现数据缓存的智能化编排;
- 面向云上数据本地化的应用调度:通过Kubernetes 调度器自动感知缓存引擎节点信息,实现相关应用的数据缓存本地化调度,发挥缓存本地化的性能优势;
- 简化云原生应用数据访问:将数据集抽象访问方式转换成Kubernetes标准存储接口Persistent Volume Claim,实现无缝兼容云原生应用;
- 支持可插拔数据缓存引擎:定义并管理分布式数据缓存引擎,并提供抽象可插拔接入框架,支持低成本集成新引擎。目前已原生支持Alluxio和JindoFS等缓存引擎;
展望未来
Fluid开源项目致力于通过结合学术界的原创研究和工业界的落地实践能力,加速云原生基础设施拥抱数据密集型应用。与开源社区一同构建Kubernetes平台应用使用和管理数据的统一界面。作为对原生 Kubernetes 生态完全兼容的数据密集型应用运行支撑平台,Fluid将向更灵活、智能、可扩展的架构方向发展,不断提升开发者和用户使用体验。未来,Fluid将继续与社区并肩、与生态同行,致力于推进云原生技术在大数据/AI系统领域的生态建设与普及,与全球开发者一起拓展云原生的边界。
欢迎大家关注Fluid开源项目微信公众号参与该项目的共建,有问题可以钉钉扫码进群交流!