FFA2025的新加坡分享已经结束了,好像暂时没有看到社区有激烈的讨论。
这跟以前可不太一样。难道是因为材料都是英文的?
我把会议中一些感兴趣的话题列出来,供大家参考。
这也是一个系列的个人学习笔记,如果你感兴趣可以根据我文内的思路自己多搜索一些材料来看。
类似FFA这样的线上会议也是大家向业界优秀前辈学习经验最好的机会。感谢各位的分享。
分主题
本次会议有4个大的主题,每个主题都代表一个巨大的未来的方向。
Flink生态全面拥抱AI:Flink Agents
Apache Flink社区正式发起全新的子项目 Flink Agents。Flink Agents是专为事件驱动型的 AI 智能体(System-Triggered Agent)打造的 Agent 编程框架。
我们在之前的分享中也提到过关于大模型的一些分享,其中Agent的发展是大模型落地应用最快的方向。Flink Agents提供了开发Agentic AI系统所必需的LLM、Memory、Tool、Prompt等关键概念的封装,以及动态执行计划、循环执行、共享状态、可观测性等能力。
在此之前,各业务对于大模型的应用更多的是通过服务端和模型进行接口间的调用,其中类似MCP这样的能力在服务端早已经非常成熟。
可以这么说服务端开发在大模型的落地应用上远远走在了数据行业前列。
而数据侧开发和大模型将交互非常困难,各种各样的奇技淫巧层出不穷,最经典的是通过UDF封装RPC接口,然后在实现和大模型的调用,这种工作方式及其低效,无论是开发还是运维都非常不便。
Flink社区的这种前瞻性考量也是非常值得称道,如果类似Flink、Spark这样的框架支持通过SQL和大模型进行交互,通过内置函数调用大模型服务,进而实现基于Flink/Spark SQL完成数据清洗、分析处理到AI推理的全链路实时计算。
那么在生产效率上会得到质的提升。
关于大模型和Agent的一些分享:
存算分离架构下的Flink2.0
「Flink 2.0 从架构上根本解决了长久以来快照消耗大、状态恢复慢、状态和计算捆绑造成成本高的问题,标志着 Flink 在分布式流处理系统状态管理架构上的重大突破,也代表着 Flink 向云原生架构演进的重要里程碑。
Flink 2.0 创新性地中提出了一种全新的"解耦式状态管理架构(Disaggregated State Management)",将状态存储与计算任务分离,利用廉价的对象存储来共享数据,从而实现更灵活的资源调度、更高的可扩展性和更轻量稳定的容错能力。」
上面两句话是直接摘抄的的社区的分享。其实早在去年的FFA2024会议上,就已经提到了基于ForSt DB的远端存储。
这中间的技术细节非常多,我们用简单的大家都能听懂的话描述一下。
早在Flink1.x时期,Flink整体的架构是「存算一体」。
这里我们要解释一下「存」是什么?「算」又是什么?
Flink本身是基于状态的计算,这个「存」指的就是状态存储。「算」就是各substask执行业务逻辑的部分了。
在最初这样的设计解决了实时计算里面最重要「延迟」问题。
但是成也State,败也State。
State缺点同样明显:1. 不可观测; 2.资源消耗大,恢复速度慢以及由此带来的各种性能瓶颈。
因此社区带来了为存算分离设计的新内核「ForSt DB」。
主要解决的问题即:支持状态存储到远端而非本地,访问性能优化,快速检查点与恢复。
Flink在State的优化上,思路上类似Spark的Remote Shuffle Service优化。
面向AI时代的多模态统一湖存储Paimon
到这里我想我们不必过多解释了。
数据湖领域Hudi、Iceberg、Paimon在各大公司都有成熟的落地实践。这里附上一些历史上文章分享:
Flink+Paimon/Hudi+Doris湖仓架构在各大公司落地的一些总结
面向实时数据分析与AI负载的流表存储系统Fluss
直接参考这里:
总结
2025年开始,数据开发领域各大框架纷纷迎来的里程碑发布。基本上标志着整个数据开发领域进入了一个新的阶段。年初大模型的风靡给原本死气沉沉的数据开发领域带来了一些新的变化。这也给从业者带来不小的挑战,时代发展太快太快,已经有相当多的同学跟不上掉队了,然后更有渊源不断的新鲜血液补充进来。
很高兴能跟大家共处在一个这样的时代。
最后,欢迎加入我们的知识星球小圈子:
《300万字!全网最全大数据学习面试社区等你来》。

