大数跨境
0
0

StarRocks 4.0:Real-Time Intelligence on Lakehouse

StarRocks 4.0:Real-Time Intelligence on Lakehouse 外贸队长JOJO
2025-10-24
7
导读:全面解析 4.0 的核心特性,文末还有 1024 特别福利等你来领 🎁

回顾 StarRocks 的进化之路,每一次大版本迭代都紧扣时代对数据分析的核心诉求。

  • StarRocks 1.x,打造极速查询性能,解决 BI 报表、数据探寻慢的痛点问题。

  • StarRocks 2.x,解决‘实时分析’的难题,帮助用户更快的洞察业务。

  • StarRocks 3.x,升级存算分离架构,打造极速统一的湖仓分析能力,让数据分析更加的简单高效。

在新的 AI 时代,模型训练推理与 AI Agent 构建对数据平台提出新挑战;数据新鲜度要求更实时,查询延时与并发要求更高、数据处理效率与性价比要求更高,StarRocks 4.x 大版本将以 Real-Time Intelligence on Lakehouse 为核心,打造 Agent-ready 的数据分析引擎

实时分析更高效

    StarRocks 3.x 在存算分离架构下,基于低成本的对象存储构建实时分析能力,相比存算一体的方案在存储成本上有了数量级的下降。对象存储存储成本低,但有额外的 API 调用成本,尤其是在实时场景,高并发小批量的写入会导致极高的 API 调用成本,为了进一步提升实时分析的效率/性价比,StarRocks 4.0 对实时链路进行了端到端优化:

    • File Bundle:将多个小文件打包合并为大文件,减少写放大,显著降低 API 调用次数;

    • 元数据缓存:元数据优先从 BE 缓存读取,避免频繁访问 S3;

    • Compaction 策略优化:在保持数据整洁的同时,避免过度消耗资源。

    得益于这些改进,StarRocks 4.0 在实时导入与查询场景中表现更为出色。相比 3.3 版本,API 调用减少 70%–90%,导入与查询延迟几乎无变化,部分场景甚至更快。

    极速分析再进化

    StarRocks 一直以卓越的性能表现闻名,StarRocks 4.0 将性能优势进一步扩大,并覆盖更多数据分析场景。

    1

    算子性能持续优化

    StarRocks 4.0 针对 Join、聚合、去重、溢出处理等核心算子进行了深度优化。

    • 性能同比提升约 60%。

    • 优化覆盖内表和外表,无论数据存储在何处,都能获得同样的加速体验。

    2

    半结构化数据性能飞跃

    在实时分析场景中,日志、点击流、埋点、用户画像等数据几乎无处不在。这些数据通常以 JSON 格式存储,结构灵活,却也给查询和分析带来挑战。传统做法往往需要先经过复杂的 ETL,将 JSON 拉平成宽表,不仅耗时、也削弱了 JSON 的灵活性与可扩展性。

    StarRocks 4.0 更进一步:正式将 JSON 升级为一等数据类型,并在执行层面加入了一系列深度优化,如索引、全字典、延迟物化及谓词下推让 JSON 可以享受和结构化列同样的加速手段:相比 3.5 版本,StarRocks 4.0 在 JSON 查询上的性能提升 3–15 倍

    更重要的是,用户无需修改原有数据管道:只需将 JSON 数据直接导入 StarRocks,即可通过原生 SQL 与 JSON 函数进行查询。底层的存储与执行优化将自动生效,带来接近列式存储的查询性能。这意味着你可以在 StarRocks 上直接进行 JSON 的实时分析——无论是日志监控、用户行为分析、点击流还是运营监控,JSON 数据分析不再是性能瓶颈。

    3

    查询性能可预测

    在真实的生产环境中,数据分布会不断变化,集群也可能因为扩缩容或节点重启而波动,这些都会导致优化器生成不同的执行计划,从而引发查询性能的不稳定。

    为此,StarRocks 4.0 引入了 SQL Plan Manager。它能够将查询与执行计划绑定,在相同的 SQL 下尽量保持一致的执行路径。即使底层数据更新,或者集群发生节点故障、升级重启,查询也能维持稳定的性能表现。

    在报表平台、用户画像分析、金融风控等对 SLA 要求极高的场景中,SQL Plan Manager 能有效降低因执行计划变化带来的性能波动,让查询结果更稳定、可预测

    4

    拓展更多严苛场景

    在金融、支付、Web3、IoT 等场景中,数据的精度、一致性与时间序列分析能力往往决定了业务的可靠性和决策的准确度。相比常规分析任务,这些场景对系统提出了更高要求:既要保证数据处理的“快”,又要确保计算的“准”。

    为此,StarRocks 4.0 新增并强化了三项关键能力:

    • Decimal256 高精度计算:提供更大数值范围和更高精度,满足货币结算、交易对账、风控分析等对精确度要求极高的场景。

    • 多语句事务(Multi-Statement Transaction)在一定条件下拓宽事务支持范畴,支持 BEGIN / COMMIT / ROLLBACK 显式控制,允许跨表 INSERT、DELETE、UPDATE,保证原子性和一致性。减少额外数据一致性协调,从而让后续分析更快、更可靠。

    • ASOF JOIN:针对时序和区间型数据的连接场景,支持基于时间戳或序列号的“最近匹配”。无论是金融市场中对齐行情与成交量,还是 IoT 场景下对齐多源传感器数据,都能高效完成。

    借助这三项能力,StarRocks 在金融级精度、事务一致性、时序分析领域实现了体系化增强,为更多关键业务场景提供实时分析的新可能。

    湖仓原生分析

    自 2.0 起,StarRocks 就支持直接查询外部表,并在此后持续进行了大量引擎级优化。但现实是,数据湖往往是“杂乱”未经治理的——文件并非为查询而组织,再强大的引擎也难以在“脏湖”中创造奇迹。

    StarRocks 4.0 大版本将实现湖仓原生分析 ——将 StarRocks 多年来在数仓场景积累的优化经验,应用到开放格式之上,让用户基于 Iceberg 构建湖仓像使用 StarRocks 内表一样简单。在使用内表时,用户无需关注文件布局或统计信息,数据写入即可查询;而如今,这种“写入即查询”的体验,同样适用于 Iceberg 等开放格式。

    1

    文件层面:写入即查询

    StarRocks 4.0 对文件写入与管理进行了全面增强,不仅提升了写入性能,也让写入的数据天然适合高效查询。

    主要优化包括三方面:

    • 能力补全:全面支持 Iceberg Hidden Partition 表的创建与写入,支持建表时设置排序键

    • 写入性能提升

      • 全局 Shuffle 避免产生小文件

      • Spill 写入提升大规模导入的内存效率

      • Local Sort 生成更利于查询的文件

    • 文件主动治理:提供 Compaction API,用户可以根据业务需要随时合并文件,保持数据高效可查

    2

    查询层面:稳定与加速

    数据湖表往往庞大且松散,统计信息难以获取,且一旦数据更新便容易过期。为此,4.0 在查询路径上持续升级:

    • 优化器增强:即使在缺少统计信息的情况下,也能做出合理假设,生成具备成本效益的执行计划

    • 统计信息优化:更快、更轻量地收集统计信息

    • 元数据刷新优化:优化刷新策略,提升元数据新鲜度

    基于这些优化,StarRocks 4.0 为数据湖查询构建了多级加速体系

    在文件层,实现数据 “一次写入,即刻可查”;在查询层,从更新鲜的统计信息到更智能的算子与缓存系统,确保查询更快、更稳定;在需要亚秒级延迟与高并发的场景下,物化视图则提供额外加速能力,同时保持单一数据源,不增加任何额外数据管道。

    3

    企业级安全

    当然,这一切的前提是安全。StarRocks 4.0 在 Iceberg REST Catalog 中引入 JWT Session Catalog,并全面支持 AWS、GCP、Azure 的临时凭证机制

    这意味着用户信息可以完整传递至 Catalog 侧进行统一鉴权,存储凭证也无需反复配置。用户不仅能获得极致的访问速度,更能享有企业级的安全保障

    展望未来

    StarRocks 4.0 是 Real-Time Intelligent on Lakehouse 的新起点,StarRocks 4.x 系列版本将继续深化核心能力,打造 Agent-ready 的数据分析引擎。接下来,StarRocks 社区将重点聚焦:

    • Fast Query极速统一是 StarRocks 持续发展的主线,为多样化的场景提供稳定、可预期的极速查询性能。

    • Fast DeliveryLakehouse 架构是 AI 时代的数据基座,StarRocks 持续优化 Lakehouse 构建、治理与分析的能力,让数据到业务价值的交付变得更加高效。

    • AI Assitant:将 AI 工具融入数据库生态,帮助用户更好的使用 StarRocks。例如提供更智能的建表、分区与查询优化建议简化建模,提供自然语言接口简化分析师的数据洞察。

    • Agent Ready:面向大模型与智能 Agent 的新形态应用,持续优化实时分析、数据处理效率、向量/文本等多维检索的能力等,以满足 AI Agent 对实时性、可扩展性和语义检索的需求。

    StarRocks 4.0 隐藏数字挑战:留言破译三大「性能彩蛋」

    Happy 1024 to all devs!🎉

    在这个属于开发者的节日,StarRocks 4.0 留下了三组神秘数字,等待你来破解。每一个数字,都代表着一次性能提升或成本突破。点击下方图片了解玩法,参与留言抽奖,抽奖链接将在公众号私信送达!

    更详细的 feature 介绍参考:

    Release Notes:https://docs.mirrorship.cn/zh/releasenotes/release-4.0/

    下载:https://www.mirrorship.cn/zh-CN/download/starrocks

    关于 StarRocks 

    StarRocks 是隶属于 Linux Foundation 的开源 Lakehouse 引擎 ,采用 Apache License v2.0 许可证。StarRocks 全球社区蓬勃发展,聚集数万活跃用户,GitHub 星标数已突破 11,000,贡献者超过 500 人,并吸引数十家行业领先企业共建开源生态。

    StarRocks Lakehouse 架构让企业能基于一份数据,满足 BI 报表、Ad-hoc 查询、Customer-facing 分析等不同场景的数据分析需求,实现 "One Data,All Analytics" 的业务价值。StarRocks 已被全球超过 500 家市值 70 亿元人民币以上的顶尖企业选择,包括中国民生银行、沃尔玛、携程、腾讯、美的、理想汽车、Pinterest、Shopee 等,覆盖金融、零售、在线旅游、游戏、制造等领域。

    图片
    图片

    行业优秀实践案例



    泛金融:中国民生银行平安银行中信银行四川银行南京银行宁波银行中原银行中信建投|苏商银行微众银行杭银消费金融马上消费金融中信建投申万宏源西南证券中泰证券国泰君安证券广发证券国投证券中欧财富创金合信基金泰康资产人保财险随行付


    互联网:微信|小红书|淘宝闪购滴滴B站携程同程旅行芒果TV得物贝壳汽车之家腾讯大数据腾讯音乐饿了么七猫金山办公Pinterest欢聚集团美团餐饮58同城网易邮箱360腾讯游戏波克城市37手游游族网络|喜马拉雅|ShopeeDemandbase爱奇艺阿里集团Naver首汽约车


    新经济:蔚来汽车|理想汽车|吉利汽车顺丰|京东物流|跨越速运沃尔玛屈臣氏麦当劳大润发|华润集团|TCL |万物新生百草味多点 DMALL酷开科技|vivo聚水潭泸州老窖中免集团蓝月亮立白美的伊利公牛碧桂园

    【声明】内容源于网络
    0
    0
    外贸队长JOJO
    跨境分享地 | 每日分享实用知识
    内容 45795
    粉丝 2
    外贸队长JOJO 跨境分享地 | 每日分享实用知识
    总阅读268.2k
    粉丝2
    内容45.8k