大数跨境

Flink 面向 Agent 的自我重构!

Flink 面向 Agent 的自我重构! DataFunSummit
2026-10-23
4
导读:编者按 2026年6月26-27日,DataFun创始人王大川应邀,出席了Flink Forward Asi

编者按 2026年6月26-27日,DataFun创始人王大川应邀,出席了Flink Forward Asia 2026深圳站大会。两天的议程下来,一个感受愈发强烈:实时计算正在经历一场深刻的身份重构——它不再是数据处理管道中的某个环节,而是AI Agent从“玩具”走向“工具”的关键基础设施。以下内容,为他现场参会的体会与心得整理:

Flink Forward Asia 的第八个年头,第一次落地南方科创重镇——深圳。本次会场的氛围和往年有些不同:台上分享的架构图里,Agent、多模态、实时上下文取代了传统的流批一体架构演进;台下的提问从“作业稳定性怎么调”变成了“实时数据怎么喂给Agent做决策”。

这不是一届单纯讲流计算的大会。当AI Agent从Demo走向生产,Flink社区给出了自己的回答——实时计算正在成为AI Native时代的基础设施层。我们梳理了大会上的五个关键判断,试图勾勒出这一技术转向的轮廓。

01

判断一:Data Gravity——Agent 的智能上限由上下文决定

阿里云首席技术官、国际业务总裁李飞飞在开场致辞中提出了一个概念:

“AI 进入智能体大爆发的阶段,有一个关键词一定会成为主流——Data Gravity。AI 要做复杂的工作,更要在企业的实际工作中产生最大价值。”

“数据引力”并非新造的词,但在Agent爆发的2026年,它有了全新的指向:模型能力的差距正在缩小,但数据——尤其是实时的、新鲜的、完整的数据——才是决定Agent在真实业务场景中能否产生价值的决定性因素。

阿里云智能集团研究员、阿里云开源大数据平台负责人、阿里巴巴开源委员会副主席王峰在随后的演讲中进一步明确了这个判断:

“AI 时代,模型和数据共同决定了 Agent 的质量和效率。Apache Flink 升级为 Agentic Streaming for AI,携手Agentic Lake,共筑 AI Native 数据平台。”

这一表述的核心在于“共同决定”。模型决定了Agent能力的下限,而上下文决定了Agent能力的上限。如果上下文是过期的、割裂的、不可信的,再强的模型也无法做出正确决策。阿里云流存储Fluss负责人伍翀在分享中给出了更量化的表述:

“Agent 的智能由模型决定下限,由上下文决定上限。新鲜度、完整度、速度、可信度,缺一不可。”

这四者构成了Agent对实时数据基础设施的完整诉求:上下文必须持续更新(新鲜度),实时与历史数据必须统一(完整度),单轮查询必须低延迟(速度),数据的口径、权限、血缘必须可治理(可信度)。

02

判断二:Flink的演进方向是 Agentic Streaming

王峰系统梳理了Flink在AI时代的演进逻辑。他从数据范式的变化切入:BI时代的数据以结构化数据为核心,AI时代则全面转向多模态数据——语音、图像、视频、传感器信号。与此同时,计算底层从CPU向CPU+GPU混合架构迁移,传统批处理架构在GPU利用率、容错、数据传输等方面暴露出明显的不适配。

Flink的流式处理框架天然契合多模态数据处理的需求:数据全程不落盘、GPU可高速运转、具备系统化的流控和容错机制。但开源Flink目前还没有提供端到端的多模态实时计算解决方案。王峰透露,Flink正在三个层面进行升级:底层将调度能力从CPU延展到GPU;算子层增加对图像、语音、视频等非结构化数据的处理能力;API层完善对Python等AI工程师惯用语言的支持。

更重要的是,Flink正在从“流批一体的计算引擎”向“Agent的分布式开发框架”延伸。王峰区分了两类Agent:对话驱动型(如个人助理,需要人深度参与)和事件驱动型(如智能运维、金融风控、广告投放,7×24小时无人值守)。后者天然适配Flink的事件驱动范式。为此,社区启动了Flink Agents子项目,提供Agent SDK,让开发者可以将Agent算子与Flink的SQL算子结合,构建端到端的事件驱动Agent流水线。

03

判断三:多模态实时流的瓶颈在计算热点,解法是 Flink + GPU 协同

多模态数据处理的核心挑战不是“能不能处理”,而是“能不能实时处理”。一段视频流经切帧、编解码、视觉理解、解说词生成、语音合成、多流对齐——任何一个环节的延迟都会拖垮整条链路。

NVIDIA互联网解决方案架构高级总监陈川的分享直面这一问题。他指出,多模态AI实时流处理面临三个难点:多元输入如何进入统一的实时流水线、时间对齐与上下文如何管理、计算热点如何不拖慢整条链路。解法是分工:

“NVIDIA 与阿里云团队技术合作,CUDA 软件加速 Apache Flink 多模态数据流处理。”

具体而言,NVIDIA提供底层GPU加速库——NVVideo(硬件加速视频编解码)、CV-CUDA(视觉处理链路GPU加速)——对编解码、抽帧、Resize、模型推理等计算热点进行模块级加速。这些能力被封装为Flink的DataStream算子,开发者可以直接调用,无需从底层库开始搭建。

陈川的总结清晰地界定了双方的分工边界:Flink让多模态AI流处理变得可编排、可对齐、可恢复;NVIDIA让热点计算变得更低延迟、高吞吐、可扩展。大会现场演示的皇马对拜仁赛事智能解说Demo,正是这一协同的成果——视频流实时接入,经GPU加速处理后调用VLM、LLM、TTS模型,最终输出带个性化解说词的完整视频。

AI独立研究者李博杰则从Agent的“感知”层面补充了这一视角:传统Agent依赖“截图-思考-操作”的循环,周期长达3-5秒,无法应对视频、实时语音等场景。解决之道是将观测变为事件触发的流处理流程,而这与Flink的批流一体架构同构。他的结论是:

“决定一个 AI 系统表现的不只是模型本身的能力,也在于它的接口和表示。Flink 框架的关键价值,就是把不同模态的数据处理成方便模型处理的方式,让模型在实际业务场景中发挥最大价值。”

04

判断四:护城河是数据,而非模型本身

圆桌环节中,“护城河是什么”成为核心议题。AI独立研究者李博杰从两个维度阐述了护城河的构成:“一是数据的护城河,二是Infra 和硬件的护城河。数据的护城河体现在很多具体场景中。比如我们在海外帮用户处理电话事务,你需要判断对方给出的价格是否合理、是否存在谈判空间——这些判断必须依赖行业数据的支撑。再比如,给银行客服打电话时,银行会验证哪些身份信息,这类业务规则也需要数据来沉淀。未来模型当然有可能学会这些,但模型迭代的周期通常是三个月到半年,而业务规则和信息的变动可能以月为单位。这个时间差,就是应用层公司结合数据基础设施构建护城河的机会。

另外一个维度在于Infra 本身。如何结合阿里云或Flink 这类技术能力,构建出百毫秒级的快速响应,是决定 Agent 用户体验的核心因素。如果只是随意部署一块 GPU,响应延迟可能高达一到两秒,用户直观感受就是系统反应迟缓。而一旦基础设施设计得当、链路优化精细,即便在高并发场景下,也能将响应延迟稳定控制在几百毫秒以内,交互体验流畅自然,接近真人对话。这一层面的技术壁垒,实际上远高于算法本身。”

安克创新软件总经理朱熙文进一步阐述了“数据飞轮”的逻辑:“现在各家模型能力差异在缩小,大家用的基座模型也日趋接近,真正的差距不在模型,而在企业真实业务场景里积累的数据。以安克为例,我们在上百个国家的销售数据、千万条用户反馈、完整的产品生命周期数据——这些数据是通用模型厂商很难获取的,必须在业务中长期深耕才能沉淀下来。

当这些数据能够实时流转起来,价值会成倍放大。过去用户洞察一个月跑一次,出份报告;现在可以做到小时级,持续监测用户反馈,一旦出现异常,系统直接触发产品团队响应。

这个飞轮的逻辑是:Agent 基于业务数据持续做决策,决策在现实世界中产生结果,结果又生成新的反馈数据,反过来迭代优化后续决策。 飞轮每转一圈,决策就更精准一分,企业的运营效率也随之提升一个台阶。”

阿里云智能集团副总裁汪军华则从平台侧回应了这一判断:阿里云正全面向Agent-Native云转型,所有产品都在针对Agent的性能进行提升——高效的推理框架、有状态的任务管理、实时数据处理、记忆存储,“Agent的使用方式和传统非常不一样,非常爆发性,非常多样化”。

05

判断五:统一数据底座是 Agent 落地的先决条件

当朱熙文用“数据散落,时效参差”八个字概括落地挑战时,台下不少听众点头。数据散落在电商系统、ERP、客服系统中,格式不同、更新频率不同。一个库存预测Agent既需要长周期的季节性历史数据,又需要社交媒体突发口碑的小时级响应——底层平台如果不能统一管理,Agent就跑不起来。

阿里云开源湖仓管理平台负责人李劲松指出了问题的根源:

“数据散落在各个地方,连人都搞不清楚数据关系,Agent更搞不懂。”

当前企业数据架构中,仓、湖、流、AI四套系统各自为战,结构化数据、多模态数据、向量数据分散在不同的存储中。Agent要访问数据,需要在多个系统间反复跳转,新鲜度不一、口径不一、权限不一。

即将发布的Apache Paimon 2.0提供了统一的解法。李劲松介绍,Paimon 2.0实现了“实时离线一体”和“多模结构一体”——在同一张表中统一存储结构化数据、多模态Blob数据和向量数据,并提供统一的B-tree索引、向量索引、全文索引。Agent看到的就是一张大宽表,不需要关心数据实际存放在哪个系统。

阿里巴巴高级数据架构专家张子良分享了阿里内部基于Paimon构建的EB级统一多模态数据湖实践,已支撑千问等基础模型的训练。快手数据平台引擎架构师张静则介绍了快手的多模态湖仓架构,特别强调了分支管理、版本管理、多引擎适配(Spark、Flink、Ray、Pandas)等AI训练场景的特殊需求。

在实时上下文层面,伍翀宣布Apache Fluss 1.0正式商业化GA,并即将从Apache孵化器毕业。Fluss提供流湖一体的实时上下文引擎——通过Flink + Fluss实现毫秒级数据流动与列式存储分析,通过Flink + Paimon实现实时与历史的统一视图。淘宝闪购将风控处置从小时级缩短到秒级,链路新增5个百分点召回;小红书将核心索引链路从Kafka迁移到Fluss,网络开销大幅降低,在线服务稳定性显著提升。

06

结语

Flink Forward Asia 2026最核心的信息,并非某个单一的技术发布,而是一个清晰的信号:实时数据正在从BI时代的决策辅助,转变为AI Agent时代的生产力核心。模型决定了智能的上限,但数据决定了智能能不能落地。

从Flink向Agentic Streaming的演进,到Paimon 2.0的统一数据底座,再到Fluss 1.0的实时上下文引擎——这一技术栈的完整拼图正在成形。对于正在将AI从Demo推向生产的技术团队而言,这场大会的价值在于提供了一张“实时智能”的架构路线图。

而路线图的终点,是让Agent真正拥有感知真实世界的实时数据能力。那才是智能从“有趣”走向“有用”的关键一跃。

最后引用主办方的话作为结尾:

"Flink Forward Asia 2026 不仅是一次技术成果的集中呈现,更是 Apache Flink 面向 AI 时代的一次方向校准。FFA 将持续追踪 Apache Flink、Apache Paimon、Apache Fluss、Flink Agents、Flink CDC 等核心项目的最新进展,与全球开发者共同推动Agentic Streaming, Agentic Lake for AI 与 Apache Flink 生态的跨越式发展。"

【声明】内容源于网络
0
0
DataFunSummit
DataFun社区旗下账号,专注于分享大数据、人工智能领域行业峰会信息和嘉宾演讲内容,定期提供资料合集下载。
内容 1436
粉丝 0
DataFunSummit 北京鸿润嘉诚企业管理咨询有限公司 DataFun社区旗下账号,专注于分享大数据、人工智能领域行业峰会信息和嘉宾演讲内容,定期提供资料合集下载。
总阅读59.2k
粉丝0
内容1.4k