大数据行业消息速递
注:本期周报覆盖期为2025.09.7-2025.09.21
本周点评
01
-
AI 编程的快速发展正驱动应用软件生成成本趋近于零。当前功能复杂的工具型SaaS将被生成式技术逐步替代。另一方面,这种按需生成的应用生态对底层数据管理系统的依赖和要求将持续增强。软件技术栈将向“数据底座+Agent应用”的新范式转移。
技术产品发布微观察
02
数据管理 Infra - 数据库/大数据
2.1
-
Snowflake 产品发布与更新: -
数据库内核版本 v9.27(9月8日 - 9月14日): -
支持通过 INFORMATION_SCHEMA.BIND_VALUES 表函数,或 QUERY_HISTORY 视图 / 函数,获取 SQL 查询中绑定变量(如 Javascript、Snowflake Scripting 代码中的变量)的实际值。 -
应用场景: -
调试含变量的复杂查询(如存储过程、脚本); -
审计变量参数的安全性(如敏感值泄露风险)。 -
数据库内核版本 v9.28(9月15日 - 9月21日): -
此次更新为开发与运维人员新增一个更直观的性能诊断工具,Snowsight 中的查询洞察(Query Insights),有助于快速定位并解决查询瓶颈。该功能旨在提升查询性能分析的效率和深度。 -
新增功能: 在 Snowsight 界面的“查询历史”(Query History)中,现已加入“查询配置文件”(Query Profile)选项卡。 -
功能核心: 该配置文件能够展示影响查询性能的具体情况洞察。系统会针对性地提供说明信息,解释性能受影响的潜在原因,并给出下一步的通用优化建议。 -
版本阶段: Snowsight 中的查询洞察功能目前处于预览(Preview)阶段。(src:Snowflake Release)
-
Databricks 产品发布与更新: -
平台更新 -
Delta Sharing 目录挂载能力升级:接收方现在可将从 Delta Sharing 提供者处获取的共享数据直接挂载到现有共享目录中,无需为每个新共享创建独立目录,大幅简化了多共享场景的目录管理流程,提升数据协作效率。此前该操作需为每个共享单独建立目录,易导致目录结构冗余。 -
Google Analytics 原始数据连接器全面可用: Lakeflow Connect 中的 Google Analytics Raw Data 连接器正式发布,支持通过 BigQuery 摄入 GA4 原始事件数据,实现营销数据分析的端到端集成。用户需先将 GA4 数据导出至 BigQuery,再通过连接器完成 Databricks 的数据同步。 -
SAP Business Data Cloud 连接器正式发布: 该连接器支持 SAP BDC 与启用 Unity Catalog 的 Databricks 工作区之间的安全零拷贝数据共享,既可以在 Databricks 中分析 SAP BDC 数据,也能将 Databricks 资产反向共享至 SAP 系统,实现跨平台统一 analytics 体验。 -
Lakeflow 声明式管道支持 Python 自定义数据源:用户可在管道定义中使用 Python 自定义数据源和接收器,结合 PySpark 自定义数据源框架,灵活对接企业内部系统或特殊格式数据,扩展了 ETL 场景的适配能力。 -
流式管道进度监控预览:Lakeflow Declarative Pipelines 新增流进度指标查询功能(公共预览),支持通过事件日志获取流式处理的关键指标,如数据积压量、处理吞吐量、微批处理时长等,助力实时数据管道的性能调优与问题排查。 -
Databricks Runtime 维护更新:针对受支持的 Runtime 版本推出维护更新,包含安全补丁、bug 修复及性能优化,建议用户及时升级以保障工作负载稳定性。 -
Databricks Apps 集成 Genie 资源:应用中可添加 AI/BI Genie 空间作为资源,支持通过自然语言查询 curated 数据集,降低非技术用户的数据分析门槛,强化业务决策效率。 -
Serverless 作业默认启用性能优化模式:通过 UI 配置的 Serverless 作业和管道 now 默认采用 “性能优化” 模式,与 API、Terraform 及 SDK 的配置默认值保持一致。该模式可加速作业启动速度并优化运行效率,此前 UI 默认使用标准模式。 -
Databricks One 平台进入公开预览 (Public Preview) 阶段。此平台旨在为企业内的非技术背景业务用户提供一个精简、统一的数据与AI互动界面,使其能够直接查阅 AI/BI 仪表板、通过自然语言向 AI/BI Genie 提问,并访问定制化的 Databricks 应用。本版本通过引入“消费者访问权限”简化了大规模用户的开通流程,并利用 Unity Catalog 确保了统一的治理、访问控制和审计能力。此更新将免费提供给所有 Databricks 客户,并覆盖 AWS、Azure 和 GCP 全云平台。核心特性有: - 体验优化与广泛可用性:为所有工作区用户(包括业务使用者、开发者和管理员)提供了一个经 AI 增强的全新主页与统一搜索体验。业务使用者将默认进入此精简界面,而技术人员可通过应用切换器在不同体验间转换。
- 简化用户开通与治理:引入“消费者访问权限” (Consumer access entitlement) 授权模型,使管理员能够快速为大量业务用户配置受控的访问环境。所有操作均受 Unity Catalog 的统一治理策略约束。
- 商业模式与跨云支持:Databricks One 作为数据智能平台的内置部分免费提供,无需额外许可证。公开预览版已覆盖 AWS、Azure 和 GCP 三大主流云平台。
- 早期市场验证:在私有预览阶段,已有超过500家客户启用 Databricks One,初步反馈显示市场对于简化、受治理的分析体验有强劲需求。
-
AI/BI - 文本组件编辑器升级:仪表板文本组件迎来 UI 增强,新增富文本格式化工具,支持直接在编辑器中完成文本样式调整、超链接插入及图片嵌入,提升了仪表板内容创作的灵活性和视觉表现力,无需依赖外部工具即可制作更丰富的说明性内容。
- 性能问题修复:解决了此前存在的性能 regression 问题,包括仪表板页面加载失败、URL 参数应用异常等稳定性问题,显著改善了复杂仪表板的访问流畅度,减少了因系统延迟导致的工作中断。
- 可视化效果优化
-
修复了日期分箱图表中条形过细的显示问题,使时间序列数据的柱状图展示更清晰可读; -
解决了单点地图渲染异常问题,确保仅含单个数据点的地图可视化能正确显示地理位置标记。 - 值字典限制扩容:Genie 空间的值字典支持数量从原有上限提升至 120 个,新创建空间会自动选中 120 列生成字典,现有空间可通过设置扩展,增强了 AI 对业务术语的理解精度;
- 百分比计算优化:针对转化率等百分比类查询,Genie now 能返回更精确的结果,支持自动四舍五入保留两位小数,减少人工校验成本。
- 功能完整性修复
-
解决了未保存指令时警告对话框无法正常关闭的交互问题; -
修复了含 100 条指令的空间克隆失败问题,支持大规模分析场景的模板复用。 - 空间 ID 快速获取:设置页面新增 Space ID 字段,用户可直接复制 ID 用于构建 Genie 空间代理,简化了 AI 代理开发的配置流程;
- 文件上传公共预览:工作区管理员可通过预览页面管理 Genie 文件上传功能,支持将 CSV、Excel 文件直接上传至 Genie 空间进行自然语言分析,实现外部数据与现有数据集的快速融合。(src: Migrate Lakeflow Declarative Pipelines pipelines from legacy publishing mode is generally available ,Announcing Public Preview of Databricks One ,AI/BI release notes 2025 Sep )
-
Amazon OpenSearch Ingestion 现已支持跨账户(cross-account)数据提取。 - 适用数据源:该功能目前支持基于推送(push-based)的数据源,具体协议包括 HTTP 和 OpenTelemetry (OTel)。
- 核心机制:用户现在可以通过配置资源策略(resource policies)来实现跨账户授权。主账户(如中央日志记录账户)创建 Ingestion 管道后,可授权其他指定账户创建该管道的端点,从而向其发送数据。
- 架构影响:此项更新为多账户环境下的数据集中化管理提供了新的实现方式。与此前依赖 VPC 对等连接(VPC peering)或 AWS Transit Gateway 等网络层解决方案相比,该功能在应用层直接解决了跨账户数据共享问题,降低了架构的复杂性和潜在成本。
- 典型应用场景:适用于组织内的中央可观测性(observability)团队或安全团队,用于从多个业务或开发团队的 AWS 账户中集中收集日志、追踪(traces)和指标(metrics)数据,并将其导入到统一的 Amazon OpenSearch Service 域或 Amazon OpenSearch Serverless 集合中进行分析。
-
GCP 平台发布了一系列更新。本次更新周期内(Sept 15 - 19 ),更新主要发布集中在 Vertex AI 平台,包括一项新功能的正式发布以及一个针对特定模型的 MLOps 工作流程。 - Vertex AI 的 Google Maps 接地(Grounding)功能正式发布(GA):此功能现已进入 General Availability 阶段。它允许开发人员构建的生成式 AI 应用与 Google Maps 的数据进行连接。通过该功能,AI 模型可以利用涵盖全球超过 2.5 亿个地点的地理空间数据,以提高生成结果与现实世界信息的关联性和准确性。
- 发布 Vertex AI 上的 YOLO 模型训练与服务工作流程:GCP 提供了一套完整的自动化工作流程指南,用于在 Vertex AI 上训练自定义的 YOLO(You Only Look Once)模型。该流程涵盖了从使用自定义训练作业(custom training job)、将模型封装到自定义预测容器(custom prediction container),到最终将其注册到 Vertex AI 模型注册表(Model Registry)以备部署的全过程。该方法的一个关键点是,其设计可直接兼容 Vertex AI 现有的对象检测托管数据集,允许用户复用已为 AutoML 模型准备的数据。(src: Google Cloud release notes)
-
字节Bytehouse 发布内核版本v 25.7(src: 火山引擎|文档中心):

-
PostgreSQL产品发布与更新: -
pgexporter 正式宣布发布 0.7.0 版本,具体内容如下: -
pgexporter 是一款专为 PostgreSQL 设计的 Prometheus 导出器(用于将 PostgreSQL 的监控数据转换为 Prometheus 可采集的格式) -
核心指标优化:新增了针对 PostgreSQL“自动清理(autovacuum)” 功能的相关指标,进一步完善指标监控覆盖范围。 -
扩展支持升级:新增对多款扩展的支持,具体包括 pgexporter/Extension、pg_stat_statements、PostGIS、pgcrypto、pg_buffercache、timescaledb、pgvector。 -
文档完善:对官方手册内容进行了优化,提升用户查阅与使用的便利性。 -
pgFormatter 发布 v5.8 版本 -
pgFormatter 是针对 PostgreSQL 的最先进 SQL 与 PlPgsql 代码格式化 / 美化工具,提供命令行界面(CLI)和公共网关接口(CGI)两种使用形式。 -
本次更新主要优化了代码格式化效果,并修复了上一版本以来用户反馈的部分问题,重点内容包括: -
修复缩进问题:解决了 “JOIN 后 WHERE 子句缩进异常” 以及 “DO 块中 INSERT 语句缩进错误” 的问题。 -
优化 INSERT 语句格式化:可区分 “单值 INSERT 语句” 与 “多值 INSERT 语句”,并采用不同格式展示 -
修复函数格式错误:修正了 format (src: ) 函数占位符的错误格式化问题。 -
SynchDB 发布 1.2 版本 -
新增olr类型连接器,可直接与 Openlog Replicator 服务通信,摆脱对 Debezium 的依赖,实现 Oracle 数据流式同步; -
支持关键操作:涵盖 INSERT/UPDATE/DELETE 等 DML(数据操纵语言),以及 CREATE TABLE/DROP TABLE/ALTER TABLE/TRUNCATE 等 DDL(数据定义语言); -
技术支撑:基于 libprotobuf-c 实现高效通信,采用 IvorySQL 的 Oracle 解析器处理 DDL 语句; -
快照模式:支持完整快照策略(初始同步、仅初始同步、无数据、始终同步、从不同步),并具备批处理与偏移量管理能力。 -
JMX 集成:提供synchdb_add_jmx_conninfo(添加 JMX 连接信息)与synchdb_del_jmx_conninfo(删除 JMX 连接信息)函数,方便管理 JMX 连接; -
Prometheus 与 Grafana 支持:通过 JMX Exporter 对接监控工具,配套专属连接管理函数; -
预构建仪表盘:提供针对 MySQL、SQL Server、Oracle 连接器的 Grafana 预设模板,满足生产环境监控需求; -
全面指标采集:覆盖同步全链路 metrics,支撑生产级监控场景。 -
一键部署工具:提供ezdeploy.sh脚本,支持快速测试与开发环境搭建; -
多数据库支持:可部署 MySQL、SQL Server、Oracle(19c/23ai 版本)及 Openlog Replicator 1.3.0; -
自动化监控配置:自动完成 Prometheus 与 Grafana 部署,并预加载监控仪表盘; -
预编译二进制:提供 SynchDB v1.2 预编译文件,可直接用于测试,无需手动编译。 -
选择性快照表:在 “始终同步(always)” 模式下,支持指定特定表进行初始快照,减少资源占用; -
事件轮询优化:采用直接缓冲区替代频繁 JNI 调用,提升事件监听性能; -
连接器隔离:每个 SynchDB 扩展独立维护连接器数据,避免相互干扰; -
测试框架强化:基于 HammerDB 的 TPC 测试集成到 pytest 框架,优化 Oracle 同步测试覆盖。 -
pgSCV 0.15.0 版本发布 。pgSCV 作为一款兼容 Prometheus 的 PostgreSQL 环境监控代理,其目标是统一收集 PostgreSQL 及相关服务的性能指标。新版本的核心升级包括: -
提升了对未来版本 PostgreSQL v18 的兼容性支持。 -
增加了对 AWS Aurora for PostgreSQL 的初步支持。 -
新增 pg_is_wal_replay_paused 关键指标的采集能力。 -
为 Patroni 采集器引入了 skip_conn_error_mode 配置选项,增强了连接容错性。 -
Navicat On-Prem Server 3 版本发布。Navicat 本地部署服务器解决方案发布了第三版,其最核心的变更是增加了对 PostgreSQL 的全面管理支持,允许企业在私有云环境中进行数据管理与协作。关键特性如下: -
数据库管理扩展: 新增对 PostgreSQL 数据库的完整管理功能。 -
对象支持增强: 增加了对物化视图(Materialized Views)、索引、序列、触发器及自定义类型(Types)的管理。 -
查询编辑器优化: 集成了代码自动完成、代码折叠及 SQL 格式化功能,提升开发效率。 -
新增维护与权限管理工具: 提供了针对数据库及表的维护功能,并简化了用户与角色的权限管理流程。(src:pgexporter 0.7, pgFormatter v5.8 has been released ,SynchDB 1.2 Released -Native Oracle Connector, Enhanced Monitoring & Quick Deployment Tools)
智能应用 Infra
2.1
-
OpenAI 产品发布与更新: -
市场扩张与产品分层 -
发布 GPT-5-Codex。专为软件工程优化的模型版本,基于 GPT-5 架构,强化了智能体编程(Agentic Coding)能力。创新性地引入动态时间分配系统,根据任务复杂度,其单次编程任务处理时长可从数秒延伸至 7 小时,能像人类专家一样,在执行过程中实时评估,选择快速推进或暂停生成、进行语法核验等操作。 -
ChatGPT Go 方案发布: 于印尼市场推出新的低成本订阅方案 ChatGPT Go,定价为每月 75,000 印尼盾,旨在扩大付费用户基础。 -
核心功能升级: 该方案在免费版之上,提供了更高的信息处理量、更大的文件上传限制、扩展的图像生成能力、高级数据分析权限以及更长的上下文记忆(Memory)。 -
核心模型与功能优化 -
语音模型性能提升: 由 GPT-4o mini 驱动的 Advanced Voice 功能,其响应品质与延迟(latency)均获得改善。 -
GPT-5 推理控制: 针对 Plus、Business 及 Pro 用户新增了“思考时间 (thinking time)”控制功能。用户可根据任务需求,在 Standard(平衡)、Extended(扩展)、Light(轻量快速)和 Heavy(深度推理)等不同模式间选择,实现对响应速度与推理深度的自主权衡。 -
搜索能力强化: 内建搜索功能在三个关键指标上进行了优化:提升了事实准确性以减少内容幻觉、增强了购物意图的识别能力,并改善了搜索结果的格式化,使其更易于阅读。 -
开发者工具更新 -
GPT-5-Codex 模型引入: 发布了专为“代理式编码 (agentic coding)”场景优化的 GPT-5 变体模型——GPT-5-Codex。 -
应用范围限制: 该模型已在 Codex 产品(云端任务、IDE 扩展功能等)中部署,但需注意,目前尚未在 ChatGPT 主产品或其 API 中提供。 -
用户界面 (UI) 调整: 设置流程整合: 将个性化(Personalization)、自定义指令(Custom Instructions)及记忆(Memory)的管理界面,从过去的独立弹出窗口统一整合至主“设置”菜单内,简化了配置流程。(src:ChatGPT- Release Notes Sep 2025 )
-
Anthropic 产品发布与更新: -
Anthropic Claude 开发者平台更新(Claude Apps, System Prompt Updates - NULL): - 开发者工具增强:
平台于9月17日发布了针对 Python 及 TypeScript SDK 的工具辅助功能(Tool Helpers)Beta 版。此举旨在简化工具的创建与执行流程,其核心特性包括类型安全的输入验证(type-safe input validation)以及用于自动化处理对话中工具调用的运行器(tool runner),从而提升开发效率与稳定性。 - 平台品牌统一化:9月16日的更新将所有开发者相关产品统一整合至 Claude 品牌下。具体变更体现在:
- 平台更名:
"Anthropic Console" 已更名为 "Claude Console",域名由 console.anthropic.com 迁移至 platform.claude.com。 - 域名过渡期:旧域名将保持可用状态直至2025年12月16日,之后将自动重定向至新域名。
- 文档与支持中心:相关文档(Docs)与帮助中心(Help Center)的品牌名称也已同步更新为 Claude。
- API 兼容性:此次品牌更新不影响底层技术架构。所有 API 端点(endpoints)、请求头(headers)、环境变量及现有 SDK 均保持不变,确保用户现有的集成服务可无缝运行,无需进行任何代码或配置调整。(src: Claude Developer release platform )
-
阿里云 Quick BI v6.0 更新总结(2025 年 8 月 28 日发布,9 月 10 日更新): - 智能小 Q:多 Agent 协同的「超级数据分析师」
- 全流程 Agent 集成
-
整合问数、报告、解读、搭建、搜索五大 Agent,支持自然语言交互(如 “写大促分析报告”“搭销售趋势报表”),自动规划专家 Agent 执行任务(如数据查询、归因分析、图表生成),实现 “一句话直达洞察”。 -
案例:输入 “分析山东、广东近两年销售月趋势”,10 秒内生成可视化图表 + 归因分析,支持追加追问(如 “山东 Q2 下滑原因”),追问准确率显著提升。 - 智能报告升级
- 一键生成与编辑:基于仪表板、本地 Excel 或自定义提示词(如 “618 促销策略”),20 分钟内自动生成结构化报告(含摘要、归因、建议),支持导出 PDF/Word/ 图片,并可拖拽调整 “执行过程面板” 查看数据溯源逻辑。
- 动态更新:支持周期性数据刷新,适配周报 / 月报场景,报告内数据与分析过程实时联动。
- 问数能力增强
-
小Q问数是指:用户能够通过自然语言交互,直接获取数据结果,实现数据即问即答。 -
支持本地文件上传问数(如 Excel),突破数据源限制;新增归因维度配置(按指标优先归因,如 “销售额下滑优先分析渠道 / 产品”)。 -
资源灵活扩展:支持购买 Token 增值包,避免企业级算力瓶颈。 - 数据构建与分析:企业级效率优化
- 数据源与计算升级
-
新增AWS/Azure Databricks、Google BigQuery(独立部署)数据源,适配云原生数据湖场景。 -
数据集支持多字段组合计算(如跨数据集 “销售额 / 目标值”、高级计算后二次运算),复杂分析效率提升 50%。 -
行业案例:零售企业通过组合计算实现 “渠道累计利润率” 实时监控,无需人工 Excel 处理。 - 可视化与交互体验
- 同步下钻:一键同步联动图表下钻(如地图点击 “华东区”,交叉表、趋势图自动下钻省份),解决 PowerBI 等工具长期缺失的功能痛点。
- 图表优化:瀑布图支持 Y 轴范围自定义,地图关闭轮廓线 / 底图,大屏新增气泡图、桑基图、仪表盘,适配复杂数据展示。
- 查询控件:动态默认值按排序字段生效(如 “按销量降序显示 TOP10”),减少人工配置。
- 协同办公与开放能力
- 多端集成
-
新增Teams/Lark(飞书)集成(独立部署版),支持通讯录同步、端内免登分析,覆盖中企出海及多组织协作场景。 -
开放JS SDK 嵌入,支持在 OA/CRM 等系统中快速集成 BI 页面(如 “销售看板嵌入钉钉”),实现 “数据找人”。 - API 能力扩展:新增 8 个 OpenAPI(如数据源创建、数据集 SQL 生成、组织成员校验),支持低代码自动化(如通过 API 批量创建门店销售数据集)。(src:Quick BI v6.0版本说明)
-
腾讯混元 3D 发布 3.0 版本: -
技术突破:首创 3D-DiT 分级雕刻模型,建模精度较前代提升 3 倍,几何分辨率达 1536³。 -
应用场景:集成于混元 3D AI 创作引擎,支持免费开放 API 调用,覆盖游戏、工业设计等领域。 -
生态扩展:同步启动混元 3D Studio 内测,重构 3D 创作管线,计划开源可控生成模型以推动学术研究。(src:腾讯混元3D Homepage)
-
DeepSeek-V3.1 现已更新至 DeepSeek-V3.1-Terminus 版本。目前,官方 App、网页端、小程序与 DeepSeek API 模型均已同步更新为 DeepSeek-V3.1-Terminus。此次更新在保持模型原有能力的基础上,针对用户反馈的问题进行了改进,包括: -
语言一致性: 缓解了中英文混杂、偶发异常字符等情况; -
Agent 能力: 进一步优化了 Code Agent 与 Search Agent 的表现。DeepSeek-V3.1-Terminus 的输出效果相比前一版本更加稳定,新模型各领域测评结果如下(src: DeepSeek API文档):

-
豆包 (火山方舟大模型服务平台)更新了一些特性(src:火山引擎文档中心):

-
Langchain 进行了一系列特性、bugfix更新。本次产品迭代的核心是为 v1.0.0 正式版的发布进行准备,其中 langchain 主框架与 langchain-core 核心库均发布了多个 Alpha 版本,并伴随着一系列的功能增强、缺陷修复和代码质量提升。整体来看,开发重点聚焦于框架的稳定性、可扩展性以及开发者体验的优化: -
更新版本概览: -
主框架: langchain==1.0.0a7 -
核心库: langchain-core==1.0.0a4 -
测试框架: langchain-tests==1.0.0a1 -
生态集成: langchain-mistralai==0.2.12, langchain-ollama==0.3.8 等 -
核心更新要点: -
迈向 v1.0.0: 所有核心组件均发布了重要的 Alpha 版本,为正式版的发布进行最后冲刺。 -
Agent 中间件支持: langchain 框架为 create_agent 引入了中间件(Middleware)支持,显著提升了 Agent 的定制化与扩展能力。 -
发布标准化测试框架: 全新的 langchain-tests 包旨在为社区和开发者提供统一的组件测试标准。 -
终止旧版 Python 支持: langchain-core 正式放弃对 Python 3.9 的支持,以采用更现代的语言特性并简化维护。 -
核心库 (langchain-core) 演进至 v1.0.0a4: -
功能增强: 增加了对 AWS Bedrock document 内容块的支持,并为 OpenAI 工具列表新增了 web_search 选项,同时强化了对 PDF 内容的处理能力。 -
缺陷修复: 解决了在使用特殊字符时 Mermaid 节点 ID 冲突的问题(#32857),修复了 RunnableRetry 在批处理中的排序问题(#32526),并修正了多个与 Pydantic v1 模型支持和 JSON Schema 引用解析相关的 bug。 -
代码质量与重构: 为 v1.0 版本正式放弃了对 Python 3.9 的支持。通过引入更多 ruff 规则、升级 mypy 版本至 1.18 及清理配置文件等措施,显著提升了代码的规范性和健壮性。 -
主框架 (langchain) 迭代至 v1.0.0a7: -
关键新特性: 引入了在 create_agent 中对中间件(middleware)的支持(#32828),实现了动态系统提示词(dynamic system prompt)中间件(#33006),并优化了人机回圈(Human-in-the-Loop, HITL)的交互模式(#32996)。 -
API 变更: 将 create_react_agent 重命名为 create_agent(#32789),以统一和简化 API 接口。 -
错误修复: 修正了一个导致重复中断的 HITL 错误(#33052),并解决了中间件节点输入模式(input schema)的 bug(#33023)。 -
生态系统与工具链更新: -
测试框架: 发布了全新的 langchain-tests==1.0.0a1,旨在为生态系统内的各类集成(如向量存储、模型等)提供标准化的测试套件。 -
集成库: langchain-mistralai 更新至 0.2.12,langchain-ollama 更新至 0.3.8,主要包含依赖项更新、代码格式化及小范围的 bug 修复,以确保与核心库的兼容性和稳定性。
应用落地微观察
03
-
近日,全球数据库与云计算巨头甲骨文正式宣布,将 OpenAI 最新发布的 GPT-5 人工智能模型深度集成至其数据库和云应用产品组合,此次合作并非简单模型调用,而是系统级深度整合,标志着 AI 与基础设施融合进入关键阶段,将重塑企业级应用智能化格局。 -
深度整合:GPT-5 成系统 “大脑”,覆盖多核心产品 -
GPT-5 已作为核心智能引擎嵌入甲骨文全系列产品线,底层架构被重新设计,而非简单添加 AI 模块。具体应用包括: -
自治数据库:部署 GPT-5 推理能力,支持自然语言查询、自动生成 SQL 语句、优化查询性能及预测潜在数据异常; -
ERP 与 CRM 云应用:实现更智能的业务流程自动化、客户交互分析与决策建议功能; -
核心价值:企业用户无需专业编程技能,可通过自然语言直接与业务数据对话,获取洞察,契合 GPT-5“集成多模态能力、工具调用和高级推理系统” 的定位。 -
战略协同:源于 “星际之门” 项目,算力合作持续深化 -
前期算力合作:2025 年 7 月 22 日,双方达成 4.5GW 数据中心合作协议(容量相当于美国现有数据中心总容量的 1/4),属于 “星际之门”(Project Stargate)项目扩张内容; -
数据中心布局:以得克萨斯州阿比林市为核心基地,首批设施搭载英伟达 GB200 机架,运行早期训练与推理任务,计划将该地电力容量从 1.2GW 扩至 2GW,并在密歇根州、威斯康星州等七州新建设施,构建分布式算力网络; -
伙伴角色:甲骨文成为 OpenAI 最重要的基础设施合作伙伴之一,此前软银虽计划投资 400 亿美元,但在 “星际之门” 项目中作用已愈发边缘化。(src:Oracle Blog)
-
中国移动磐维分布式数据库在新一代BOSS系统的全量应用 -
客户信息 -
内蒙古移动的计费账务系统是其运营支撑体系的核心组成部分,需通过采集用户服务使用记录,依据资费规则计算使用费用并生成账单,涵盖采集、预处理、批价、账务处理、账单入库 / 出账等核心步骤。作为内蒙古移动运营支撑体系的关键环节,该系统需支撑企业全渠道业务,具备集中、实时、融合、灵活的特性,以对客户、产品、营销等环节形成有效支撑。 -
核心问题 -
系统与数据规模庞大:计费账务系统需支撑内蒙古移动超 800 万客户的业务规模,数据处理和系统承载压力极大。 -
适配改造难度高:计费系统需在云化、分布式架构改造过程中,适配采集、预处理、批价等多模块协同,同时保障数据模型、应用架构的兼容性与一致性,改造涉及环节多、复杂度高。 -
解决方案 -
采用分布式架构的新一代 BOSS 系统,构建 “连接管理 + 数据节点 + 应用驱动” 的分层协同架构: -
连接管理层:通过 “协调器 + 多计算节点(CN - 1、CN - 2…CN - m)”,实现多节点间的任务调度与大规模业务并发支撑。 -
数据节点层:以 “高可用组(主 + 备,如 DN - 1 主 / 备、DN - 2 主 / 备…)” 设计,保障数据存储的可靠性与容灾能力。 -
应用驱动层:依托 “全局事务管理器(GTM 主 / 备)”,确保跨节点的计费、出账等业务事务一致性,同时全栈采用自主数据库,实现核心技术自主可控。 -
实施成果 -
自主可控突破:实现100% 自主数据库替代,摆脱对外部数据库的依赖,从底层保障核心系统的数据安全与技术自主可控。 -
效率显著提升:出账效率提升 40%,大幅优化海量计费账务的处理速度,支撑业务高效运转。 -
稳定性达高标准:系统可用性达 99.999%,满足电信级业务连续可靠运行的要求。(src:内蒙古移动新一代BOSS系统 )
-
【Databricks x 毕马威(KPMG)案例分析|审计与数据分析】毕马威(KPMG)采用 Databricks 的 Delta Sharing 协议,对其在审计一家大型英国能源供应商时的海量数据分析流程进行了技术升级。该方案旨在解决传统数据交互方式在处理百亿级交易数据时遇到的性能、成本和协作瓶颈,其核心是建立一个无需数据复制的安全、跨云数据共享通道,以提升审计工作的效率和质量。 -
面临的技术挑战与量化指标: - 查询性能瓶颈:
原有基于 AWS PostgreSQL 的分析环境,在处理单一复杂查询时,因无法有效利用多核CPU资源,导致查询耗时过长。例如,部分关键查询的执行时间长达14.5小时,严重影响了在紧迫审计周期内的工作效率。 - 数据容量与管理开销:
随着审计所需分析的历史数据逐年增长至百亿行级别,已超出单一 PostgreSQL 数据库的处理极限。这迫使团队将数据拆分至两个独立数据库中,显著增加了数据管理的运营开销与复杂度。 - 数据移动导致的时效性与延迟:
传统的审计流程依赖于将数据从客户的生产环境(AWS)复制和转移至毕马威的分析环境。这一过程不仅耗时,导致审计团队无法及时获取最新数据,也增加了数据传输的成本与安全风险。 - 资源协作受限:
由于分析工作必须在受审计方的环境中进行,毕马威在人员调配和新团队成员的快速介入方面面临挑战,限制了其全球人才资源的有效利用。 -
解决方案与可衡量的价值提升: - 提升数据处理效率与响应速度:通过 Delta Sharing 实现数据原地访问,并利用 Databricks 平台的并行计算能力重构查询逻辑(从 PostgreSQL 迁移至 Spark SQL 和 PySpark)。核心目标是将长时间运行的复杂查询性能提升一个数量级。最终,最复杂的查询耗时从14.5小时缩短至2.5小时,执行效率提升超过80%。
- 提升审计分析质量与深度:将分析人员从漫长的“机器等待时间”中解放出来,使其能投入更多精力于数据异常、模式识别和复杂边界情况的甄别。此举使得数据分析程序的质量在某些情况下提升了15个百分点,并降低了对传统抽样审计方法的依赖。
- 降低数据管理与计算成本:Delta Sharing 避免了大规模数据的复制和移动,使审计方仅需为必要的计算付费,无需承担额外的数据存储成本。这直接降低了整个审计项目的数据相关总拥有成本(TCO)。
- 加速项目启动与团队整合:实现了近乎实时的数据供应,审计团队无需等待数据准备就绪即可开展工作。同时,统一的平台支持 SQL 和 PySpark 等多种技能,简化了新成员的加入流程,提高了团队的灵活性。
-
业务影响:此次技术架构的升级,为毕马威的数字化审计业务提供了一个可扩展、高效率的作业范式。通过解决海量数据审计中的核心性能与数据访问瓶颈,毕马威能够在其客户的数据平台上(无论是在AWS、Azure或其他云端)直接、安全地开展工作。这不仅显著提升了单次审计项目的交付速度和分析深度,更重要的是,它形成了一套标准化的解决方案,能够被快速复制到其他拥有大规模数据(如SAP系统)的客户场景中,从而构筑其在技术驱动型审计领域的差异化竞争优势。(src: How KPMG uses Delta Sharing to access and audit tens of billions of transactions)
- 【Databracks x 银行业案例|利率决策与风险管理】
银行业金融机构采用 Databricks 的数据智能平台,旨在对其核心的利率定价与风险管理流程进行现代化升级。该方案旨在解决传统银行在利率变动周期中,因数据孤岛、批处理延迟和分析流程繁琐而导致的决策滞后问题。其核心是构建一个统一、实时的分析与AI平台,使银行能够更快速、更精准地制定和调整利率策略,以在保障利润空间和维持客户存款稳定性之间取得平衡。 - 面临的技术挑战与业务痛点:
(注:原文为解决方案概述,未提供具体的量化指标,以下为基于行业普遍实践归纳的典型挑战) - 数据孤岛与决策口径不一:
关键决策数据分散在核心银行、资金管理、财务报表等多个异构系统中。各部门进行情景分析时,依赖不同的数据副本和统计口径,导致决策基础不一致,跨部门协作效率低下。 - 分析时效性滞后:
依赖于传统的、以天为单位(T+1)的ETL批处理流程,管理层无法及时获取市场动态的即时反馈。例如,在利率调整后,无法在盘中(Intraday)观测到高价值存款的真实流向,导致风险应对滞后。 - 情景模拟效率低下:
利率调整的“What-if”分析高度依赖数据科学或BI团队的专业支持,业务部门无法独立、快速地测试多种利率假设。这使得分析周期冗长,限制了银行在短时间内评估多种策略的能力。 - 缺乏决策后的闭环监控:
利率策略执行后,其市场效果(如实际存款流失率 vs. 预测模型)的追踪多为手动或周期性报告。当市场反应与预期出现偏差时,缺乏自动化的预警机制,难以进行及时的策略微调。 - 解决方案与可衡量的价值提升:
- 构建统一数据源,确保决策一致性:
通过 Lakehouse 架构整合全行相关数据,并利用 Unity Catalog 进行统一治理。其价值在于为资金、财务和零售部门提供一个单一可信的数据源,确保所有利率变动分析都基于相同的基础,显著减少了内部协调成本和决策分歧。 - 实现近实时监控,提升市场反应速度:
应用 Delta Live Tables 和结构化流技术,将数据洞察的延迟从天级缩短至分钟级。这使得银行能够从“事后复盘”转变为“事中监测”,及时识别存款异常波动,旨在将风险识别和响应时间缩短一个数量级。 - 赋能业务自助分析,加速情景模拟:
利用 Databricks SQL 的自然语言查询功能,使存款、财务等团队的业务人员能直接用自然语言进行数据探索和模拟。其核心价值在于将复杂的情景分析周期从数天或数周,压缩至数小时,从而支持更敏捷的迭代式决策。 - 建立自动化监控闭环,实现敏捷调整:
通过 SQL 仪表盘和 MLflow 持续追踪关键业务指标与AI模型表现,并设置自动化警报。当实际业务指标(如客户流失率)偏离预测阈值时,系统能主动告警,支持团队快速介入,实现从“决策-执行-监控-优化”的敏捷闭环。 - 业务影响:
此解决方案为银行的资产负债管理(ALM)和利率风险控制提供了一套标准化的数字化操作范式。通过打通从数据到决策再到监控的全链路,银行能够将利率决策从一种基于经验和滞后数据的“静态艺术”,转变为一种数据驱动、快速迭代的“动态科学”。这不仅提升了单次利率决策的质量与速度,更重要的是,它构建了一个能够持续适应市场变化的基础设施。这使得银行在日益激烈的同业竞争和宏观利率波动环境中,能够更具韧性地保护其核心盈利能力,从而构筑起在风险定价与精细化管理领域的差异化竞争优势。(src: How Databricks Helps Banks Navigate Interest Rate Changes)
招投标微观察
04

宏观消息
05
-
近日,美国总统 Donald J. Trump 与英国首相 Keir Starmer 共同签署《技术繁荣协议》(Technology Prosperity Deal)。该协议作为具有里程碑意义的科技合作文件,旨在推动美英 “特殊关系” 在科技时代迈向新高度,同时为美国民众及美国全球科技创新发展创造有利条件。 -
协议核心目标与意义 -
助力美国输出世界级技术体系,加快科学发现进程,在全球范围内推广支持创新的政策,巩固美国在科技领域的领先地位。 -
加强美英这一亲密盟友间的联系,通过两国顶尖科研与标准制定机构的合作,在关键科技领域实现突破,为两国公民带来变革性福祉,涵盖医疗、能源成本降低及国家安全保障等方面。 -
三大关键合作领域及具体内容 -
人工智能(AI)领域 -
深化合作机制:强化并调整美国人工智能标准与创新中心(CAISI)和英国人工智能安全研究所(AISI)的合作关系,双方将交流人工智能模型计量方法与标准制定的最佳实践,增进对最先进 AI 模型的理解,并开展机构间人才交流。 -
推动科研项目:美国能源部、卫生部、国家科学基金会与英国对应机构联合发起 “人工智能促进科学” 旗舰研究项目,聚焦尖端生物技术研究与精准医疗。合作内容包括共建自动化实验室、开发新科学数据集,重点针对癌症及慢性疾病研究,以改善两国人民生活。 -
民用核能领域 -
简化许可流程:协调美国核管理委员会、英国核监管办公室与英国环境署的工作,优化并加快核能项目许可审批,目标是将反应堆设计审查时间控制在 2 年内,场地许可审查时间缩短至 1 年内。 -
保障能源安全:英国承诺在 2028 年底前实现完全摆脱对俄罗斯核燃料的依赖,与美国相关法定承诺保持一致,确保两国先进核燃料供应链的安全与可靠。 -
促进 fusion 能源研发:推动聚变能源研发合作,包括借助人工智能技术,并加强协作以制定统一、负责任且支持创新的政策,助力聚变技术商业化发展。 -
量子计算领域 -
制定技术标准:推进量子技术可信、可互操作的标准建设,成立联合基准测试工作组,工作范围覆盖量子计算硬件、软件及算法。 -
强化供应链与应用:两国顶尖量子研究机构开展更多合作,旨在构建更安全的量子供应链,提升在国防、金融、能源等领域加速突破量子计算应用的能力。(src:President Trump Signs Technology Prosperity Deal with United Kingdom)
-
美联储联邦公开市场委员会于2025 年 9 月提交经济预测报告 -
实际 GDP 增长率:小幅上调,长期趋稳 -
2025 年:1.6%(6 月预测 1.4%,上调 0.2 个百分点); -
2026 年:1.8%(6 月预测 1.6%,上调 0.2 个百分点); -
2027 年:1.9%(6 月预测 1.8%,上调 0.1 个百分点); -
2028 年:1.8%(无 6 月同期预测); -
长期:1.8%(与 6 月一致)。中心趋势显示,2025 年增长率区间为 1.4%-1.7%,范围为 1.3%-2.0%,反映参与者对短期经济增长的预期略有分歧但整体偏向温和回升。 -
失业率:温和下降,长期接近 “自然水平” -
2025 年:4.5%(与 6 月预测一致); -
2026 年:4.4%(6 月预测 4.5%,下调 0.1 个百分点); -
2027 年:4.3%(6 月预测 4.4%,下调 0.1 个百分点); -
2028 年:4.2%(无 6 月同期预测); -
长期:4.2%(与 6 月一致)。2025 年失业率中心趋势为 4.4%-4.5%,范围 4.2%-4.6%,表明劳动力市场将逐步向更均衡状态过渡,失业率小幅下行但整体保持稳定。 -
通胀率:逐步向 2% 目标靠近,短期略有上调 -
PCE 通胀(整体个人消费支出价格指数) -
2025 年:3.0%(与 6 月预测一致); -
2026 年:2.6%(6 月预测 2.4%,上调 0.2 个百分点); -
2027 年:2.1%(与 6 月预测一致); -
2028 年:2.0%(无 6 月同期预测); -
长期:2.0%(与 6 月一致,即美联储通胀目标)。 -
核心 PCE 通胀(剔除食品与能源的 PCE 通胀,更反映通胀趋势) -
2025 年:3.1%(与 6 月预测一致); -
2026 年:2.6%(6 月预测 2.4%,上调 0.2 个百分点); -
2027 年:2.1%(与 6 月预测一致); -
2028 年:2.0%(无 6 月同期预测); -
长期:不收集核心 PCE 通胀预测。2025 年核心 PCE 通胀中心趋势为 3.0%-3.2%,范围 2.7%-3.4%,显示短期通胀仍高于目标,但 2027 年后将逐步收敛至 2%。 -
联邦基金利率(政策利率):逐步下调,长期回归中性水平 -
2025 年:3.6%(6 月预测 3.9%,下调 0.3 个百分点); -
2026 年:3.4%(6 月预测 3.6%,下调 0.2 个百分点); -
2027 年:3.1%(6 月预测 3.4%,下调 0.3 个百分点); -
2028 年:3.1%(无 6 月同期预测); -
长期:3.0%(与 6 月一致,即中性利率水平)。利率预测反映 FOMC 参与者认为,随着通胀向目标靠近,未来将逐步放松货币政策,但长期仍需维持中性利率以平衡经济增长与物价稳定。(src:Summary of Economic Projections )
行业消息
06
-
近日,总部位于纽约的全球 AI 与数据咨询公司 Indicium 宣布获得 Databricks 的战略投资部门 Databricks Ventures 的投资。双方自 2017 年起便建立合作关系,曾携手为汉堡王、百事可乐、沃尔沃等全球知名企业打造现代化数据平台并交付 AI 解决方案,此次投资标志着双方合作进入新阶段。 -
投资后合作深化方向 -
未来,Indicium 将与 Databricks 在多维度加强整合:一是紧密对接 Databricks 的产品路线图,涵盖 Agent Bricks、Lakebase 等产品,同时整合其工程资源、市场推广及培训资源;二是在高级 AI 功能、Unity Catalog 增强、Lakehouse 升级等核心特性开发上深化协作;三是联合研发 AI 与数据解决方案,进一步拓展业务边界。 -
市场背景与 Indicium 的核心价值 -
当前 AI 与数据现代化市场正处于关键节点,全球企业急于借助生成式 AI 与高级分析技术实现业务突破,而这离不开稳健的数据基础支撑。为此,企业纷纷脱离传统数据仓库,转向 Databricks 数据智能平台这类统一平台以支撑 AI 战略。据 Databricks 最新《数据与 AI 现状报告》显示,AI 模型部署量同比增长 11 倍,约 70% 的企业正在探索生成式 AI 用例,市场对 “衔接愿景与执行” 的可信合作伙伴需求迫切。 -
Indicium 恰好填补这一需求缺口:其一,项目经验丰富,已完成超 1000 个 AI 与数据项目,450 人的交付团队持有 210 项 Databricks 认证,在该平台累计交付超 50 万小时解决方案;其二,技术实力突出,拥有差异化知识产权,其专有迁移加速器可自动化 80% 的传统数据向 Databricks 迁移的流程,IndiMesh 框架则能将解决方案交付标准化并提速超 50%。 -
典型合作案例 -
拉丁美洲最大天然气公司 Copa Energia 曾与 Indicium 合作,将原本分散、依赖人工的信用审批流程,改造为基于 Databricks 的专有 AI 驱动引擎。该方案以 Lakehouse 平台为基础,结合 Mosaic AI 技术,实现内外部数据整合、审批自动化及端到端治理。最终成果显著:达成实时信用决策,实现数据与模型完全自主管控,年风险降低 250 万美元;同时每月为财务团队节省超 270 小时人工审核时间,使其能将精力转向战略分析与业务增长。 -
双方负责人表态 -
Databricks 高级副总裁 Kori O’Brien 表示,Databricks 致力于帮助企业充分释放数据与 AI 的价值,而 Indicium 在 Databricks 平台上主导大规模数据与 AI 项目的专业能力,对企业现代化关键系统至关重要。深化合作将加速创新进程、扩大数据智能平台的应用范围,并为全球客户创造可衡量的业务价值。 -
Indicium CEO Matheus Dellagnelo 指出,与 Databricks 合作 8 年来,深刻见证了其作为全球顶尖数据平台的稳定性、创新性与发展速度。未来,双方计划在生成式 AI、实时分析、高级数据治理等新兴技术领域展开合作,目标是在 Databricks 推动 AI / 数据平台前沿发展的同时,Indicium 在该平台之上突破服务创新边界,实现 “协同增长”。(src:Indicium Receives Investment from Databricks Ventures)
-
近日,NVIDIA(纳斯达克股票代码:NVDA)与英特尔(纳斯达克股票代码:INTC)正式宣布达成合作,计划联合开发多代定制化的数据中心及个人计算产品,旨在加速超大规模计算、企业级与消费级市场各类应用及工作负载的处理,此次合作也标志着两大芯片巨头在技术与生态层面的深度融合。 -
合作核心:技术互补与架构互连 -
双方将以NVIDIA NVLink 技术为核心实现架构无缝互连,充分整合各自优势领域:一方面依托 NVIDIA 在 AI 与加速计算领域的技术积累,另一方面结合英特尔先进的 CPU 技术及庞大的 x86 生态,最终为客户提供面向前沿场景的解决方案,覆盖从芯片到系统的全链路需求。 -
两大应用领域的具体落地计划 -
数据中心领域:定制化 x86 处理器赋能 AI 基础设施 -
英特尔将为 NVIDIA 专属定制 x86 处理器,该处理器后续将直接集成至 NVIDIA 的 AI 基础设施平台中,并面向市场推出。此举将进一步强化 NVIDIA AI 基础设施的算力支撑能力,满足超大规模数据中心对高效处理 AI 工作负载的需求。 -
个人计算领域:集成 RTX GPU 芯粒的 x86 SoC -
在个人计算场景,英特尔计划推出一款集成 NVIDIA RTX GPU 芯粒(Chiplet)的 x86 系统级芯片(SoC) 。这款全新 SoC 将聚焦需要先进 CPU 与 GPU 协同的 PC 产品,可更好适配高性能办公、创意设计、轻度 AI 计算等消费级与专业级需求,推动个人计算设备的算力与功能升级。 -
投资安排:NVIDIA 50 亿美元认购英特尔普通股 -
作为合作的重要组成部分,NVIDIA 将以每股 23.28 美元的价格认购英特尔普通股,投资总额达 50 亿美元。此次投资需满足惯例成交条件,其中包括获得各国必要的监管机构批准,后续将根据审批进度推进资金与股权交割。 -
双方负责人表态:共筑新计算时代生态 - NVIDIA 创始人兼首席执行官黄仁勋:强调 “AI 正推动新的工业革命,重塑从芯片到系统再到软件的每一层计算堆栈,而 CUDA 架构是这场变革的核心”。他认为,此次合作将 NVIDIA 的 AI 与加速计算堆栈,与英特尔的 CPU 及 x86 生态紧密结合,实现两大先进平台的融合,未来将共同扩展生态系统,为新计算时代奠定基础。
- 英特尔首席执行官陈立武:指出 “英特尔 x86 架构几十年来始终是现代计算的基石,公司正持续推动产品组合创新以适配未来工作负载”。他表示,英特尔在数据中心 / 客户端计算平台、制程技术、制造及先进封装领域的实力,将与 NVIDIA 的 AI 及加速计算优势形成互补,有望推动行业突破技术瓶颈;同时感谢 NVIDIA 团队的信任与投资,期待通过合作创造客户价值、推动业务增长。(src:NVIDIA和英特尔将共同开发AI基础设施和个人计算产品)
-
IDC 发布《保障云安全:推动亚太地区安全投资的关键优先事项》报告 -
受混合云应用普及、人工智能驱动的网络威胁加剧,以及各国政府出台新法规的影响,亚太地区企业正加速增加云安全支出。 -
当前,亚太企业不断将工作负载与数据迁移至多云环境,因此云安全投资持续成为重点。企业纷纷布局支持业务连续性与数字韧性战略的解决方案,部署灾难恢复、数据安全、治理及事件响应等安全工具,以减少停机时间,并更快地应对和恢复潜在网络威胁。 -
IDC 亚太地区网络安全产品与服务高级研究经理 Yih Khai Wong 指出,云安全市场复杂且分散,企业需在创新、人工智能工具需求增长与集成安全基础设施建设之间寻求平衡;对于安全提供商而言,零信任(Zero Trust)、云原生应用保护平台(CNAPP)、自动化威胁检测及合规能力,是赢得亚太企业信任、帮助其构建安全韧性的关键。 -
随着亚太地区云技术应用加速推进,技术提供商需精准把握云安全解决方案生态中的机遇。由于该地区不同企业的数字成熟度存在差异,安全提供商还需主动引导企业推进云安全建设:提供定制化解决方案、展示最佳实践与相关案例,并为企业构建云网络安全韧性提供支持与助力。 -
技术提供商未来需优先推进的方向 -
强化云安全产品布局,重点提升零信任、身份访问管理(IAM)、云原生应用保护平台(CNAPP)、云安全态势管理(CSPM)、云工作负载保护平台(CWPP)等解决方案的能力,打造稳健的多云与混合云环境;同时优先保障应用程序接口(API)与容器化工作负载的安全,防范数据泄露。 -
聚焦多云与混合云环境下的数据安全与治理,确保所提供的解决方案能帮助企业符合最新政府法规,例如印度《数字个人数据保护法》、新加坡《网络安全(修订)法案》及澳大利亚《隐私法改革》等。 -
推动云安全工具自动化,并实现云安全 “人性化”—— 降低云安全解决方案在使用与管理过程中的复杂度。 -
在云安全解决方案中集成威胁情报能力,通过提供威胁检测与自动修复功能,保障云平台的可见性。 -
研发人工智能驱动的云安全解决方案,借助人工智能 / 机器学习(AI/ML)算法,增强威胁狩猎、自动查询、预测性威胁建模及实时修复能力。(src:Cloud Security Investments Surge in Asia/Pacific Amid Al Threats and New Cybersecurity Mandates)
-
StarRocks Connect 2025 上镜舟科技 CTO&StarRocks TSC member 张友东的发表演讲,围绕 Agentic AI 时代现代数据分析的变革、Lakehouse 架构趋势及 StarRocks 的实践展开,核心聚焦 StarRocks 如何打造高性价比实时分析方案。 -
现代数据分析的变革与 Lakehouse 趋势 - 数据分析需求与挑战
数智化转型推动数据分析从传统 BI(服务管理者报表)转向运营分析(服务全员实时决策),AI 技术进一步对数据提出三大要求:数据新鲜(支撑模型准确判断)、访问快速(AI Agent 无法长时间等待)、处理高效(为模型准备高质量数据)。传统 Hadoop+MPP 架构因灵活性、性能不足,逐渐被云原生数仓、Lakehouse(湖仓一体)等架构替代。 - Lakehouse 的核心价值与构成
- 定义与优势:Lakehouse 融合数据仓库(高性能、高可靠性)与数据湖(灵活存储非结构化 / 半结构化数据)的优势,以开放数据格式存储、支持 ACID 事务,实现全类型数据统一存储与高效分析,被视为下一代数据分析架构,AWS、微软、Databricks 及国内镜舟科技(StarRocks 商业版提供商)等均在布局。
- 认知与共识:当前用户对 Lakehouse 认知分散(如认为 Hadoop 或 “对象存储 + 分析” 即 Lakehouse),全球共识逐渐倾向 “基于新一代表格式构建,支持增删改查与事务”;其核心由三部分构成:
-
存储:以低成本对象存储为底层,采用 Iceberg(开放性突出)、Paimon(实时性突出)、Hudi、Delta Lake 等开放表格式; -
Catalog:以元数据目录统一管理数据(如 HMS、AWS Glue Catalog,正向 REST Catalog 演进),便于数据访问与治理; -
计算引擎:直接基于湖上数据计算,服务 BI、AI 等场景。 -
StarRocks 的高性价比实时分析实践 -
实时数仓场景:存算分离与性能优化 - 架构升级:2023 年 StarRocks 3.0 从存算一体升级为存算分离,采用低成本对象存储,计算按需弹性扩展,通过 Multi-warehouse 实现业务隔离;即将发布的 4.0 版本将进一步强化性能与稳定性。
- 关键技术:通过全链路 CDC 数据同步、高并发小事务写入优化(降低 API 调用)实现实时写入与低成本存储;依托分布式 MPP 架构,结合智能 CBO 优化、Query Cache、多表 join 等技术打造高性能查询引擎;同时以快速故障转移、多计算副本保障业务连续性。
- 实践案例(Pinterest):北美社交平台 Pinterest(5 亿月活)原用 Apache Druid 面临可扩展性差、成本高、数据新鲜度(需 10s)与查询延时(需 < 1s)不达标问题;升级 StarRocks 后,通过实时更新、多表 join 及原生数据采集简化管道,P90 查询延迟降低 50%,计算与存储成本降低 68%。
-
实时湖仓场景:解决数据湖性能与成本痛点 - 核心挑战:数据湖需远端获取元数据、IO 链路长,查询性能远逊于数据仓,多数企业需将数据导入专有数仓,导致 “烟囱式” 架构(数据分散、运维与建设成本高)。
- StarRocks 优化技术:在湖上查询的 “元数据获取 - 执行计划构建 - 数据读取” 全阶段优化,包括元数据缓存、湖上自动统计信息 CBO 优化、I/O 合并、Data Cache、向量化执行等;支持湖上创建物化视图,结合细粒度分区分桶、丰富索引进一步加速查询,使湖上查询性能接近 Native table。
- 实践案例
-
Fanatics(北美线上体育平台):原数据存储于 Iceberg 数据湖,但需导入多专用数仓,存在数据孤岛与高成本问题;采用 StarRocks 实时湖仓方案后,统一批处理与实时分析,无需额外仓库成本,节省 90% 开支。 -
淘宝闪购:高峰期每日上亿订单,传统离线数仓数据新鲜度不足,实时数仓成本高;通过 “Flink(实时处理)+Paimon(数据湖)+StarRocks(实时分析)” 构建 Streaming Lakehouse,实现 1-5 分钟数据新鲜度,支持上百级高并发复杂分析,Flink 计算成本降低 50%,对象存储成本降低 90%。 -
StarRocks 的发展现状 - 技术与开源进展:StarRocks 是开源高性能分析型数据库,历经 5 年发展:1.0 以高性能获首批用户,2.0 强化实时分析,3.0 实现存算分离与 Lakehouse 能力提升,4.0 将聚焦 AI Agent 突破;2023 年捐赠给 Linux 基金会,GitHub Stars 已超 11000。
- 商业落地:全球超 500 家估值超 10 亿美元企业采用,覆盖亚洲、北美、欧洲等地区,包括国内头部企业(腾讯、阿里、字节跳动等)及国际知名公司(Shopee、Grab、Intuit、Verizon、Coinbase、Pinterest 等),成为全球数据分析领域主流选择。
-
StarRocks 对 AI Agent 的支撑与未来方向 - AI Agent 的痛点与 StarRocks 解决方案:AI Agent 可降低数据建模(分区、分桶等)门槛,但单一大模型存在准确率低、易 “幻觉” 问题;StarRocks 采用 Multi-Agent 协作模式(拆解复杂任务),从四方面构建支撑体系:
-
接口层适配:通过 MCP Server 暴露接口,或构建语义层、Text-to-SQL 技术栈,支持自然语言交互,满足 Agent 接入需求; -
实时性保障:同步维护系统实时状态与最新文档,为 Agent 提供动态上下文,确保决策贴合实际; -
性能层支撑:依托低查询延时、高并发的原生优势,保障多 Agent 多轮交互效率; -
数据质量管控:通过完善数据治理提升底层数据质量,确保 Agent 分析结果可靠。 - 未来方向:StarRocks 将打造 “开源、开放” 平台,构建 AI Agent-Ready 系统,推动底层 Lakehouse 能力与 AI Agent 深度结合,在 Agentic AI 时代的数据分析变革中持续突破。(src:Agentic AI时代,StarRocks如何打造更具性价比的实时分析方案?)
产业上下游企业消息
07
-
Databricks 宣布启动一项邀请制的 AI 加速器项目,面向在 Databricks 平台上进行开发的种子前及种子轮阶段初创公司。 - 项目资源: 入选公司可获得最高25万美元的投资及产品积分组合,同时获取技术支持、工程指导和高管辅导。
- 申请资格: 申请方须为种子前或种子轮阶段的初创公司,核心产品基于 Databricks 构建,并面向 B2B 数据密集型应用场景。
- 首批公司: 公布的首批入选公司包括 Alpha Level、Datalinx AI、Deductive AI、Fleak 和 Ziggiz。
- 投资网络: 项目参与方可接触由 Andreessen Horowitz、Battery Ventures、General Catalyst 等风险投资机构组成的 VC 网络。(src: Announcing Public Preview of Databricks One )
- xAI、美团与Deepseek在AI领域取得新进展
- xAI发布Grok-4-Fast:xAI公司发布了其Grok-4-Fast模型,旨在大幅提升AI推理的经济效率。该模型通过训练优化,将完成任务所需的“思考”令牌(thinking tokens)平均减少了约40%。结合新的定价策略,Grok-4-Fast在达到与旗舰模型Grok-4相当的基准性能时,可将成本降低高达98%。该模型还具备200万令牌的上下文窗口,其API定价约为每百万输入令牌0.20美元和每百万输出令牌0.50美元。
- 美团发布LongCat-Flash-Thinking:美团公司发布了其全新的推理大模型LongCat-Flash-Thinking。该模型采用专家混合(MoE)架构,总参数量为5600亿,但在处理每个令牌时,仅动态激活约270亿个参数(范围在186亿至313亿之间),从而优化了计算效率。该模型构建于美团自研的、名为DORA系统的强化学习基础设施之上,专为稳定和可扩展的训练而设计 。
-
阿里通义/百炼平台上架了一些新模型(src: Grok 4 Fast ,meituan-longcat/LongCat-Flash-Thinking,模型相关公告):

- AI平台运营面临挑战与战略演进
- Anthropic Claude模型遭遇可靠性问题:AI公司Anthropic近期面临一系列运营挑战。其官方事后分析报告披露,在8月至9月期间,发生了三次重大技术故障,包括影响高达16% Sonnet 4请求的上下文窗口路由错误、输出内容损坏以及一个TPU编译器错误 (src: )。同时,大量用户报告称,其旗舰Opus模型的使用限制在无明确解释的情况下突然收紧,加之服务不稳定和上下文遗忘等问题,严重影响了平台的可靠性 。
- OpenAI为ChatGPT增加MCP工具支持: OpenAI宣布在其ChatGPT的开发者模式中,已全面支持模型上下文协议(MCP)。这一升级使模型能够执行“写入操作”,意味着ChatGPT不仅能从外部工具读取数据,还能在其中主动执行任务和修改数据,例如在Jira中创建工单或触发Zapier工作流。该功能旨在将ChatGPT从一个对话界面转变为一个主动的运营平台 。(src: MCP server tools now in ChatGPT , A postmortem of three recent issues )
- 全球半导体行业格局重塑
- 英伟达与英特尔达成历史性合作: 英伟达宣布将以每股23.28美元的价格,向英特尔普通股投资50亿美元 。双方将共同开发用于AI基础设施和个人计算的产品。在数据中心领域,英特尔将为英伟达定制x86 CPU;在个人计算领域,英特尔将构建并向市场提供集成了英伟达RTX GPU芯片的x86系统级芯片(SoC)。此举被视为半导体行业十多年来最重要的战略重组之一,旨在创建一个强大的美国本土半导体轴心 。
- 中国对英伟达展开反垄断调查:中国国家市场监督管理总局(SAMR)宣布,在初步调查后,决定对英伟达公司涉嫌违反反垄断法的行为展开进一步调查。该调查主要针对英伟达是否遵守了其在2020年收购Mellanox Technologies时所做的承诺。此举被视为在北京寻求技术自主的背景下,对关键外国科技公司施加监管压力 。
- 中国对美国模拟芯片发起反倾销调查:中国商务部宣布,将对从美国进口的部分模拟芯片进行反倾销调查。调查范围涵盖采用40纳米及以上工艺制程的通用接口芯片和栅极驱动芯片。申诉方指出,从2022年到2024年,相关产品进口量增长了37%,而价格却下降了52%,对中国国内产业造成了实质性损害 。
- 华为公布昇腾芯片及超节点产品规划:在2025年华为全联接大会上,华为公布了其昇腾(Ascend)AI芯片的多年产品路线图,计划于2026年、2027年和2028年分别推出昇腾950、960和970型号 (src: )。同时,华为宣布将推出两个“超节点”(SuperPoD)产品:Atlas 950将支持8192个昇腾NPU,而Atlas 960将支持15488个,旨在通过系统级集成构建大规模算力集群 。
- 中芯国际测试首台国产DUV光刻机:中国最大的芯片代工厂中芯国际(SMIC)正在测试该国首台国产的DUV(深紫外)浸没式光刻机。该设备由上海初创公司裕量晟制造,原生支持28纳米工艺。通过多重曝光技术,该设备理论上可用于生产7纳米乃至5纳米的芯片,尽管这将面临良率低和成本高的挑战。分析人士预计,在2027年前,该设备尚无法实现稳定的量产 。(src: NVIDIA and Intel to Develop Al Infrastructure and Personal Computing Products,英伟达违反反垄断法市场监管总局依法决定实施进一步调查,商务部新闻发言人就对原产于美国的进口相关模拟芯片发起反倾销调查答记者问,以开创的超节点互联技术,引领AI基础设施新范式,China trials its first advanced tools for AI chipmaking )
- 消费科技市场动态与挑战
- 苹果发布年度系列新品:在9月的年度发布会上,苹果公司推出了一系列新产品,包括iPhone 17、iPhone 17 Pro、全新的超薄iPhone Air、Apple Watch Series 11、Apple Watch SE 3、Apple Watch Ultra 3以及AirPods Pro 3。主要技术升级包括搭载A19 Pro芯片、改进的4800万像素摄像头系统以及新的健康传感器 。
- iPhone Air因eSIM问题在华延迟上市:苹果新款超薄iPhone Air在发布后,其在中国大陆的上市时间被无限期推迟。主要原因是该机型采用纯eSIM设计,取消了实体SIM卡槽,而中国的电信运营商尚未获得监管机构对智能手机eSIM服务的广泛批准。目前,中国三大国有运营商——中国移动、中国联通和中国电信——仍在等待相关政策落地,这使得苹果的全球同步发布计划受到影响 。
- 小米汽车召回近12万辆SU7:小米汽车宣布将召回116,887辆小米SU7标准版电动汽车,生产日期范围为2024年2月至2025年8月。召回原因是车辆的L2级高速领航辅助驾驶功能,在某些极端特殊场景下,对危险的识别、预警或处置能力可能不足。若驾驶员未能及时干预,可能增加碰撞风险,存在安全隐患。小米将通过免费的OTA(空中下载)软件更新来解决此问题 。
- 小米辞退营销高管王腾:根据小米集团廉政委员会发布的内部邮件,公司中国区市场部员工王腾因“泄露公司机密信息、存在利益冲突”等严重违规行为被辞退。王腾随后在社交媒体上回应,承认自己“犯了错误”并感到“羞愧”,但否认了出售公司机密或收受贿赂等违法行为 。(src: Apple Events Apple ,Apple iPhone Air's China release delayed ,小米汽车科技有限公司召回部分SU7标准版电动汽车,雷军挥泪“斩”王腾,小米爱将泄密“失街亭”,大厂正风肃纪“拼牙口” )
初创微观察
08
-
Inkeep 是一家成立于 2023 年的 AI 初创公司,总部位于美国纽约(部分团队在旧金山),专注于为客户体验(CX)团队提供可信赖的 AI 代理平台,帮助企业将内部内容转化为智能搜索和支持 copilots。 公司是 Y Combinator(YC)W24 批次的成员 -
初创团队 -
Nick Gomez:联合创始人兼 CEO,28 岁,MIT 计算机科学专业毕业;前 Microsoft 产品经理,专注身份产品和开发者体验设计。 强调“99% 非开发者对 AI 代理仍感困惑”,Inkeep 旨在桥接这一差距。 -
Robert Tran:联合创始人,前 illumis(被 ComplySci 收购)早期员工及工程主管,MIT 计算机科学与数学双专业;擅长聚合公共数据源,曾服务政府、政治、金融和物流公司。 业余爱好包括电影和写作。 -
核心产品 -
产品定位:Inkeep 是一个混合型 AI 代理平台,支持代码或无代码方式构建代理,用于客户支持、内容生成和数据分析。它连接企业内部数据源(如文档、支持平台),提供 RAG(Retrieval-Augmented Generation)增强的搜索和聊天工具,帮助团队自动化查询响应并识别内容差距。 -
关键功能: -
AI 代理构建器:无代码视觉界面(用英文描述需求即可创建代理),支持代码集成(API、SDK);适用于生成博客、处理客服请求或创建产品演示。 -
AI 内容作家:自动维护知识库,识别并修复内容空白;Ticket to FAQ 工具从关闭票据中生成新内容。 -
CX 情报代理:分析用户交互,识别功能差距并制定产品路线图;支持团队协作代理,用于支持代理的 copilots。 -
集成与 UX:兼容任何文档/支持平台(如 Notion、Intercom),通过 JavaScript 片段快速嵌入;提供可定制 UI 和 API,支持实时搜索准确率高达 95%+。 -
优势:针对非开发者(如营销、销售团队)设计,降低 AI 代理门槛;开源版本允许免费测试;强调隐私(不训练用户数据)和可审计性,解决传统 ChatGPT 式工具的幻觉问题。 -
融资情况 -
2025 年 9 月:宣布 1300 万美元种子轮融资,由 Khosla Ventures 和 GreatPoint Ventures 领投,YC 跟投;参与者包括 Vercel CEO Guillermo Rauch、Fingerprint CEO Dan Pinto 等。(src:Inkeep )
-
Autumn 是一家成立于 2025 年的初创公司,目前团队规模为 2 人,总部位于美国。该公司是 Y Combinator(YC)Summer 2025 批次(S25)的成员,专注于为 AI 初创企业提供开源计费基础设施服务。 -
创始人背景 - Ayush Rodrigues:前 Checkout.com(Stripe 竞争对手)的产品经理,拥有支付行业经验。
- John Yeo:伦敦帝国理工学院计算机工程专业毕业,已有 6 年软件开发经验,曾构建低代码平台加速后端开发。
-
核心业务:Autumn 是基于 Stripe 的开源基础设施层,帮助 AI 初创公司快速构建和管理灵活的定价方案。它充当应用的数据库,处理支付跟踪、使用量监控、客户功能访问控制等功能。 - 关键功能:
-
支持常见定价模型,包括基于使用量、积分制、订阅、滚动等。 -
通过仅 3 个函数集成,无需复杂的 webhook 或维护多个数据库表。 -
实时响应定价查询,支持组织级/集中计费。 -
定价变更简单:只需更新仪表板或配置文件,即可迁移客户并完成调整;还支持为企业客户设置自定义定价。 - 优势:简化了 Stripe 的集成过程,使其“10 倍更容易”,特别适合 AI 公司频繁实验定价的场景。创始人表示,已有数百名开发者在生产环境中使用,并服务于 40 家 YC 初创公司,其中一些处理数百万美元的交易量。
-
融资情况:获得50万美元的种子前融资,相关投资方未披露。(src:Autumn)
开源微观察
09
- OpenAgents
- 项目简介:
OpenAgents是一个开源平台,旨在让用户通过自然语言与智能体互动,完成数据分析、插件调用和网页浏览等任务。 - 项目关注度:
该项目起始于2023年8月,截至2025年9月,其在GitHub上的总星标数为4.6k。 - 开发者:
该项目由香港大学XLANG NLP实验室开发,核心开发者包括Tianbao Xie、Fan Zhou、Zhoujun Cheng、Peng Shi、Luoxuan Weng和Yitao Liu等。Tianbao Xie是香港大学博士生,主要研究兴趣是自然语言处理和人工智能,热衷于构建应用程序的关键问题。 - 系统架构:
OpenAgents的架构以插件为核心,代理通过调度插件来执行任务。它基于OpenAI Function Call协议(JSON Schema),每个Agent暴露“功能说明文档”,Agent间通过工具调用+对话上下文协作。此外,它还包含以下功能组件: -
agenthub:存放标准化Agent实现,如浏览器、SQL查询器、代码执行器等。 -
agent_protocol:定义统一的Agent能力注册与调用协议。 -
agent_server:运行独立Agent服务,暴露REST接口。 - 应用实例:
基于聊天的web UI构建的三个真实世界的智能: - Data Agent
-
功能:Data Agent是一个全面的数据操作工具包,能够执行以下操作: -
搜索(Search):快速定位所需数据。 -
处理(Handle):简化数据获取和处理流程。 -
操作(Manipulate):根据特定需求修改数据。 -
可视化(Visualize):以清晰且富有洞察力的方式呈现数据。 -
应用场景:数据智能体擅长编写和执行代码,能够简化各种以数据为中心的任务,例如数据分析、数据可视化等。用户可以通过它快速对数据进行操作和分析,从而更好地理解和利用数据。 - Plugins Agent
-
功能:插件智能体与200多个第三方插件无缝集成,这些插件涵盖了日常生活的各个方面,使用户能够更高效地处理各种任务和活动。 -
示例插件:
-
购物(Shopping):Klarna Shopping。 -
天气(Weather):XWeather。 -
科学探索(Scientific Exploration):Wolfram Alpha。 -
组合插件使用:支持同时使用多个插件。例如,计划旅行时,可以将Klook、货币转换器和WeatherViz的功能集成在一起。 -
自动插件选择:通过自动插件选择功能,智能体可以根据用户的需求直观地搜索并推荐最适合的插件。 -
应用场景:插件智能体可以用于各种日常任务,如购物、查询天气、科学计算等。它通过丰富的插件库,为用户提供了一站式的解决方案,满足不同场景下的多样化需求。 - Web Agent
-
功能:网页智能体借助Chrome扩展程序,能够自动浏览和探索网站,从而简化网络浏览体验,帮助用户更轻松地找到相关信息和访问所需资源。 -
示例功能:
-
Google地图导航(Google Maps Navigation):规划行程时,只需向网页智能体提供起点和终点,它将为您导航Google地图,并呈现最佳路线。 -
Twitter发布(Twitter Postings):与网页智能体交流时,如果想在Twitter上分享内容,只需提及内容,智能体将为您轻松发布推文。 -
Google表单辅助(Google Form Assistance):需要注册活动或事件时,分享Google表单链接和所需信息,网页智能体将为您填写表单。 -
应用场景:网页智能体适用于需要自动执行网页操作的场景,如自动填写表单、发布社交媒体内容、规划路线等。它可以帮助用户节省时间,提高网络操作的效率。(src:xlang-ai/OpenAgents )
- Ubicloud
- 项目简介:
Ubicloud 是一个开源的云基础设施平台,旨在成为 AWS 的开源替代方案。它提供了弹性计算、块存储、防火墙、负载均衡、托管 PostgreSQL、Kubernetes、AI 推理和 IAM 服务等核心云功能。Ubicloud 的核心理念是开放、经济和掌控,类似于 Linux 对专有操作系统的替代。 - 项目关注度:
该项目起始于2023年1月,截至2025年9月,其在GitHub上的总星标数为10.3k。 - 开发者:
Ubicloud 由 Ozgun Erdogan、Umur Cubukcu 和 Daniel Farina 创立。在此之前,Umur 和 Ozgun 是 Citus Data 的两位联合创始人,他们是分布式 PostgreSQL 数据库的创建者。在 Microsoft 于 2019 年收购 Citus Data 后,他们领导了 Azure 的产品和工程团队。在 Citus Data 工作时,他们与 Daniel 一起工作。Daniel 在 Heroku、Azure 和 Crunchy Bridge 构建了多个核心云服务。 - 系统架构:
Ubicloud 采用控制平面与数据平面分离的设计,其中 Cloud Hypervisor 作为数据平面的核心组件,负责虚拟机生命周期管理。其关键技术实现包括: -
轻量级隔离:每个 Cloud Hypervisor 实例运行在独立的 Linux 命名空间中,实现资源隔离与安全边界。 -
SSH 驱动的生命周期管理:控制平面通过 SSH 协议与宿主机通信,执行虚拟机创建/销毁操作。 -
与 SPDK 存储的集成:通过 vhost-user 协议连接 SPDK 存储后端,实现低延迟块设备访问。 - 特点与功能:
-
成本效益:相比传统云服务商,Ubicloud 可以部署在裸金属服务器上,大幅降低运营成本,其托管服务甚至比 AWS 便宜约 3 倍。 -
简化管理:减少配置选项,降低运维复杂度。 -
安全隔离:结合 Linux 命名空间提供多层安全边界。 -
性能优化:针对云工作负载优化的设备模型,通过 React 19 并发渲染与虚拟列表技术,实现 10 万级资源的流畅管理。 - 适用场景:
-
追求成本效率的开发者和团队:对于有大量的临时性或爆发性工作负载的用户,Ubicloud 能显著降低云账单。 -
需要高度可移植和安全环境的用户:对数据主权、合规性有严格要求的企业或个人,自建 Ubicloud 提供了一个理想的解决方案。 -
拥有裸金属资源的机构:手头有闲置的物理服务器的机构,可以利用 Ubicloud 将其转化为可管理的云资源。(src:Ubicloud )
学术微观察
10
-
rsa 原生写入数据湖,无需额外的连接器层来将数据从 Kafka 转移到数据湖。 - 技术实现:
-
流格式与数据对象: -
WAL 对象:聚合来自多个流的记录,以行基础格式存储,以便高效追加。在将数据持久化到 WAL 后,Ursa 会原子性地提交对应的元数据更新。 -
压缩对象:是特定于主题分区的数据对象,用于以列式格式存储数据。压缩服务将 WAL 对象转换为这些列式对象。 -
流偏移量索引:每个主题分区在元数据服务中维护一个偏移量索引,以引用写入该分区的条目。该索引由一系列位置对象组成,每个位置对象将连续范围的逻辑偏移量映射到物理数据对象。 -
访问协议: -
追加条目:客户端的追加操作首先在内存中缓冲来自不同写入者的条目,直到达到大小或时间阈值。然后将缓冲区刷新到 WAL 存储层,并在元数据服务中原子性地更新偏移量索引。 -
读取条目:从偏移量 x 读取条目时,代理(或 Ursa 读取器)会查询元数据服务以定位最小的索引键,其 OffsetEnd 大于 x。然后从相应的 WAL 或压缩对象中读取数据。 -
分布式压缩服务:Ursa 的压缩服务定期将 WAL 对象重写为更大的、特定于主题分区的 Parquet 文件。这一过程分为三个阶段: -
任务生成:领导者节点检查每个流的偏移量范围,并将其划分为较小的、可独立处理的段。 -
分布式处理:工作节点检索指定的 WAL 对象,可选地过滤或预处理它们,并将行基础数据转换为列式 Parquet 文件。然后将描述新 Parquet 文件的元数据发送回领导者。 -
提交更新:领导者收集工作节点的元数据,批量处理新生成的文件,并更新元数据服务中的偏移量索引。同时,通过 Iceberg 或类似 API 原子性地将这些 Parquet 文件注册到底层数据湖表中。 -
无状态代理与区域感知路由:Ursa 的代理是无状态的,不维护分区特定状态或磁盘基础日志。通过区域感知路由,生产者通常只连接到同一可用区的代理,从而避免了跨区跳转,减少了网络成本。 - 最终结果:
-
性能表现: -
吞吐量:在不同分区数量和消息大小下,Ursa 的消费吞吐量保持在约 5GB/s,显示出其能够水平扩展且性能不受分区数量和消息大小的影响。 -
延迟:在不同的写入到读取比例下,Ursa 的 P99 发布延迟保持在 1 秒以下,即使在较高的扇出比例下也能保持较低的延迟。 -
资源利用:在峰值负载下,Ursa 节点的 CPU 利用率通常在 30% - 60% 之间,网络 I/O 是主要瓶颈。Amazon S3 为摄取提供了足够的吞吐量,尽管在流量高峰期间会发生短暂的内存排队。 -
成本优势:与使用本地磁盘的 Kafka 和使用分层存储的 Kafka 相比,Ursa 在两小时运行期间的总成本分别降低了 92% 和 78%。这些节省来自于最小化跨 AZ 转移、消除磁盘基础复制和避免专用连接器实例。此外,通过将数据存储在 Parquet 中,Ursa 将实时摄取和分析查询整合到一个紧凑的数据集中,从而减少了大规模批处理的开销。 -
生产部署:Ursa 在 StreamNative Cloud 上连续生产运行了两年,现在开始支持从完全托管的单租户集群到自带云(BYOC)安装的每个服务层。StreamNative Cloud 在 AWS、GCP 和 Azure 上运行数百个集群,从小型开发沙箱扩展到每秒摄取多个 GB 的大型管道。现场测量结果与基准测试结果相符:端到端延迟保持在 1 秒以下,而基础设施支出约为同等规模 Kafka 堆栈的 5%。(src:Ursa: ALakehouse-Native Data Streaming Engine for Kafka )
- Data Interpreter: An LLM Agent For Data Science
- 主要作者:
-
Sirui Hong:DeepWisdom高级研究员。同时,她也是MetaGPT的技术负责人,负责技术项目管理和技术领导工作。在学术方面,她曾在香港科技大学担任研究助理,拥有香港科技大学的硕士学位和暨南大学的学士学位。 -
Chenglin Wu :DeepWisdom的创始人兼CEO,同时他也是MetaGPT的创始人兼CEO。他曾在腾讯担任高级研究员,期间获得10多项奖励,并在2018年KDD会议上发表了论文。他还曾在华为技术有限公司担任研究员。他拥有厦门大学计算机科学学士学位。 - 核心问题:
-
数据科学任务的复杂性:数据科学工作流程复杂,涉及多个相互关联的任务,如数据处理、特征工程、模型训练等。这些任务需要迭代细化和实时调整,因为数据和需求是不断变化的。 -
现有方法的局限性:以往的方法主要关注单个任务,缺乏对端到端工作流程的全面评估。此外,这些方法难以处理中间数据的实时变化,也无法动态适应数据科学问题中不断演变的任务依赖关系。 - 解决方案:
-
Data Interpreter:提出了一种基于大型语言模型(LLM)的代理——Data Interpreter,用于自动解决各种数据科学问题。它通过将数据科学工作流程表示为层次化图模型来解决上述问题,其中相互关联的任务被表示为图中的节点,它们的依赖关系被表示为图中的边。 -
两个关键模块:
-
层次化图建模(Hierarchical Graph Modeling):将复杂问题分解为可管理的子问题,实现动态节点生成和图优化。 -
可编程节点生成(Programmable Node Generation):对每个子问题进行细化和验证,迭代改进代码生成结果和鲁棒性。 - 技术实现:
-
层次化图建模: -
任务图(Task Graph):使用LLM进行任务规划,将项目需求分解为任务图,每个任务节点包含任务描述、类型、状态、执行反馈和依赖关系等属性。任务图能够动态地根据任务之间的依赖关系自动构建和获取上下文数据,避免一次性检索整个上下文。 -
动作图(Action Graph):将每个任务进一步分解为多个动作,形成动作图。动作图可以独立执行和验证,是代码的隐式表示。动作图在执行过程中会根据实时执行反馈进行调整,例如通过细化代码或添加验证过程来管理失败情况。 -
迭代图优化:Data Interpreter能够动态调整任务图,以适应不断变化的环境。在执行过程中,如果遇到异常或验证失败,动作图生成器会根据执行结果进行反思,并重新生成代码以解决问题或优化输出。任务图生成器会根据任务的状态和依赖关系动态调整任务图,例如添加、删除或修改任务。 -
可编程节点生成: -
动作节点(Action Node):代表可执行代码片段,封装了任务执行所需的计算逻辑。动作节点可以包含数据转换、函数调用等操作,是动作图的基本执行单元。它将工具操作和库函数集成到一个可执行代码片段中,确保不同任务的统一和灵活执行。 -
工具选择(Tool Selection):在执行每个任务时,Data Interpreter首先根据任务的元数据(如任务描述和类型以及图结构的任务依赖关系)检索合适的工具,然后根据工具的功能模式评估其与任务的语义相关性,从而生成候选工具的排名列表,并从中选择顶部工具来协助任务执行。如果未找到合适的工具,Data Interpreter也可以仅依赖LLM生成适当的代码。 -
可编程节点生成技术:与传统LLM代理框架不同,Data Interpreter生成综合代码片段,将选定的工具无缝集成到任务的更广泛逻辑中。这种方法允许工具像标准库(如NumPy)一样使用,能够根据任务上下文动态调整工具的使用方式,从而提高任务执行的效率和鲁棒性。 - 最终结果:
-
性能提升: -
在InfiAgent-DABench数据集上,Data Interpreter实现了25%的性能提升,将准确率从75.9%提高到94.9%。 -
在机器学习和开放式任务中,性能分别从88%提高到95%和从60%提高到97%。 -
在MATH数据集上,与现有最佳基线相比,性能提高了26%。 -
与其他框架的比较:Data Interpreter在多个基准测试中均优于其他开源框架,如AutoGen、OpenInterpreter、TaskWeaver和OpenDevin等,在机器学习任务、开放式任务和数学问题解决方面均表现出色。 -
实际应用:Data Interpreter通过重新思考数据科学工作流程的结构和管理方式,为复杂现实世界问题提供了一个强大的解决方案,能够显著提高数据科学任务的自动化水平和效率。(src:Data Interpreter: An LLM Agent For Data Science )
- LAMBDA: A Large Model Based Data Agent
- 主要作者:
-
Maojun Sun:香港理工大学博士生。他的研究集中在生成式人工智能领域,包括大型语言模型、上下文学习、人工智能代理、科学人工智能等方向。 -
Yancheng Yuan:香港理工大学应用数学系助理教授,同时担任智能运筹研究中心助理主任以及中信-理大跨学科数学数字人工智能联合实验室(AIJLab)副主任(研发管理)。加入理工大学之前,他是新加坡国立大学计算学院NExT研究中心的研究员。2020年,他在新加坡国立大学数学系获得数学博士学位。在新加坡国立大学之前,他于2015年在中国科学技术大学获得计算数学学士学位。 -
Jian Huang:香港理工大学应用数学系数据科学与分析学讲席教授。他在美国华盛顿大学西雅图分校获得了统计学博士学位。他的研究包括深度生成模型及其推断、深度学习中的统计推断、深度神经网络逼近理论、用于更高效推断的表征学习,以及利用预训练大型模型进行统计分析。2015年至2019年,他被Clarivate的Web of Science集团评为数学领域高被引学者,并入选Elsevier BV和斯坦福大学2021年全球被引次数排名前2%的科学家名单。同时,他也是美国统计协会会士和数理统计学会会士。 - 核心问题:
当前数据驱动的人工智能应用在统计和数据科学领域面临诸多挑战,尤其是在需要专业知识和高级编码技能的领域,如生物学、医疗保健和商业。主要问题包括: -
编码障碍:许多领域专家缺乏统计或计算机科学背景,难以有效利用强大的人工智能工具进行数据分析。 -
人类智能与人工智能的整合:现有数据分析范式缺乏有效连接人类智能与人工智能的中介,导致人工智能模型难以理解特定任务所需的未学习领域知识,而领域专家也难以将其专业知识整合到人工智能模型中以提升性能。 -
数据科学教育的变革需求:现有的数据分析和统计教育模式难以适应快速发展的领域需求,缺乏灵活性和个性化。 - 解决方案:
为了解决上述问题,作者提出了LAMBDA(LArge Model Based Data Agent),这是一个基于大型语言模型的开源、无代码的多智能体数据分析系统。LAMBDA的核心解决方案包括: -
跨越编码障碍:通过自然语言指令与数据智能体交互,实现无代码的数据分析体验,降低数据科学任务的入门门槛,使不同背景的专业人员都能更高效地进行数据分析和数据挖掘。 -
整合人类智能与人工智能:设计了特殊的键值知识库,智能体可以访问外部资源,如算法或模型,从而有效地整合领域特定知识,满足定制化数据分析需求,提升智能体执行复杂任务的准确性和能力。 -
重塑数据科学教育:作为一个交互式平台,LAMBDA能够根据最新研究成果灵活调整教学计划,为教育工作者提供个性化学习体验,与直接应用GPT-4等模型相比,具有独特和创新的教育价值。 - 技术实现:
LAMBDA的技术实现主要基于两个核心智能体角色:程序员和检查员,以及知识整合机制,具体如下:
-
程序员智能体:负责根据用户指令和领域知识生成代码。它接收用户上传的数据集和指令,生成相应的代码,并在Jupyter Notebook环境中执行代码。程序员智能体还能够根据执行结果生成最终响应,并向用户解释结果或建议下一步操作。 -
检查员智能体:当代码执行出现错误时,检查员智能体介入,提供修改建议。程序员智能体根据这些建议修订代码,并重新提交执行。这一过程会持续进行,直到代码无误运行或达到预设的最大尝试次数。这种自校正机制使程序员和检查员能够在出现错误时进行多次尝试,提高了系统的可靠性和稳定性。 -
知识整合机制:为了处理需要领域特定知识的任务,LAMBDA设计了一个特殊的KV知识库,其中存储了用户提供的外部资源,如定制算法和统计模型。当用户发出指令时,系统会通过嵌入模型将指令与知识库中的描述进行匹配,选择最相似的知识代码。LAMBDA提供了两种整合模式:“完整”模式和“核心”模式。“完整”模式将整个知识代码作为上下文注入LLM中,而“核心”模式则将核心功能通过上下文学习处理,其他功能则在后端直接执行。这种机制不仅提高了系统对领域特定任务的适应性,还增强了灵活性,能够更好地处理复杂的分析任务。 -
内核、报告生成和代码导出:LAMBDA使用IPython作为内核来管理顺序数据处理,确保每个操作都能基于前一个操作进行。此外,LAMBDA还能够根据对话历史生成分析报告,包括数据处理步骤、可视化、模型描述和评估结果等。用户可以选择不同的报告模板,系统通过上下文学习生成报告,使用户能够专注于更高价值的任务。同时,用户还可以将实验代码下载为IPython笔记本文件,方便后续研究和应用。 -
用户界面:LAMBDA提供了一个类似于ChatGPT的用户友好界面,用户可以上传数据集并用自然语言描述任务。系统支持多种语言,推荐用户逐步提示LAMBDA,以保持对分析过程的控制并体现“人在循环”的概念。LAMBDA能够生成结果,包括代码、图表和模型,用户可以通过单击轻松复制和保存这些结果。即使是没有统计或数据科学专业知识的用户,也可以通过简单地询问推荐模型(如XGBoost和AdaBoost)来训练高级模型。高级用户还可以通过界面模板自定义LAMBDA的知识,用户也可以导出文本报告和代码,以便进一步学习和研究。 - 最终结果:
-
实验验证:通过在多个标准数据集上进行分类和回归分析,验证了 LAMBDA 在处理各种数据分析任务时的性能。实验结果表明,LAMBDA 的表现与使用 R 语言进行分析的结果相当或更优,证明了其在数据分析中的有效性。 -
知识整合效果:在涉及特定领域任务的实验中,LAMBDA 的知识整合机制表现出色,能够成功地将复杂的算法和模型集成到数据分析过程中,解决了其他数据代理系统在处理类似任务时遇到的困难。 -
教育应用潜力:LAMBDA 在教育领域的应用展示了其作为互动教学工具的潜力。它能够帮助教师设计练习任务,学生则可以利用 LAMBDA 完成作业,从而提高教学和学习的效率。 -
开源与可扩展性:LAMBDA 的开源性质允许用户根据自己的需求进行定制和扩展,同时也为全球研究社区提供了合作和持续改进的机会。(src:LAMBDA: A Large Model Based Data Agent )
- AgenticData: An Agentic Data Analytics System for Heterogeneous Data
- 主要作者:
-
Ji Sun:清华大学研究助理教授,师从李国良教授。他在清华大学获得了博士学位,在北京邮电大学获得了学士学位。他的主要研究方向是用于查询优化的分布式系统、相似性搜索和机器学习。 -
Guoliang Li:清华大学教授,计算机系副主任,IEEE Fellow,openGauss 社区技术委员会主席。在数据库领域顶级会议和期刊上发表论文200余篇。他曾获得VLDB 2017 Early Career Research Contributions Award(VLDB青年贡献奖,亚洲首位获奖者)、IEEE TCDE Early Career Award(IEEE 数据工程领域杰出新人奖,亚洲首位获奖者)等奖项。他曾担任VLDB Journal、IEEE TKDE等编委,SIGMOD 2021大会主席,VLDB 2021 Demo 主席,ICDE 2022 Industry Chair。他获得过SIGMOD23、VLDB23、VLDB20、KDD18、ICDE18最佳论文提名,VLDB23工业界最佳论文亚军,SIGMOD24 研究亮点奖,DASFAA23最佳论文、CIKM’17的最佳论文奖等。 - 核心问题:
-
数据分析的高成本与低效率:现有的非结构化数据分析系统依赖专家编写代码和管理复杂的分析流程,这不仅耗费大量人力成本,还导致分析过程耗时漫长。 -
多源异构数据的分析挑战:在数据分析中,常常需要处理既包含非结构化数据(如文本、图片等),又包含结构化数据(如数据库中的表格数据)的多源异构数据。然而,目前的方法在处理这类数据时存在诸多限制,例如某些方法需要人工编写代码,某些方法只能处理结构化数据而无法应对非结构化数据,还有一些方法需要先从非结构化数据中提取出结构化数据才能进行分析,这使得它们在无法获取结构化模式的场景下无法适用。 - 解决方案:
提出了AgenticData系统,这是一个创新的代理型数据分析系统,允许用户仅通过提出自然语言问题,系统就能自动跨多个领域(包括非结构化和结构化数据)分析数据源。AgenticData采用反馈驱动的规划技术,自动将自然语言查询转化为由关系和语义操作符组成的语义计划。 -
多代理协作策略:提出多代理协作策略,利用数据剖析代理发现相关数据,语义交叉验证代理基于反馈进行迭代优化,以及智能记忆代理维护短期上下文和长期知识。 -
语义优化模型:提出语义优化模型来有效精炼和执行语义计划,以减少大型语言模型的成本,同时保持高准确率。 - 技术实现:
-
系统架构: -
规划器(Planner):这是AgenticData系统的核心组件,负责将用户的自然语言查询转化为数据处理任务。规划器包含以下子组件: -
数据剖析代理(Data Profiling Agent):负责提取结构化和非结构化数据的元数据,使用大型语言模型(LLM)与检索增强生成(RAG)技术来丰富元数据,并在向量数据库中构建语义目录。 -
数据规划代理(Data Planning Agent):根据任务的语义需求和领域知识选择相关数据集,逐步规划解决方案,并创建高级计划。 -
数据操作代理(Data Manipulation Agent):详细规划计划的属性,例如为数据库扫描操作生成SQL语句,为文件扫描操作指定工具名称和参数,以及生成过滤代码。 -
基础架构(Fundamental Infrastructure):提供了系统运行所需的核心服务和资源,包括向量数据库、LLM和记忆组件。这些组件共同支持数据的存储、检索和处理,以及知识的长期和短期存储。 -
优化器(Optimizer):应用一系列优化规则来降低查询延迟和LLM成本。它选择合适的LLM模型以在指定预算内最大化质量,并引入计划级质量模型来最小化成本。优化器的工作是确保在保持查询结果质量的同时,尽可能地降低执行成本。 -
验证器(Validator):该组件负责检查规划器生成的计划的语法和语义准确性,确保计划可执行且结构正确。它使用判别式LLM来评估计划的完整性,如果发现问题,则会记录详细的错误信息,以便在后续的计划生成中参考和修正。 -
执行器(Executor):负责根据优化后的计划执行具体的数据处理任务,它包括以下关键部分: -
执行模型(Execution Model):决定了数据操作的具体执行方式,可能包括基于拉取(Pull-based)或基于推送(Push-based)的执行策略,以及执行器的选择。 -
关系操作符(Relational Operators):包括排序(SORT)、合并(UNION)、投影(PROJECT)、聚合(AGG)、合并(MERGE)、过滤(FILTER)。 -
语义操作符(Semantic Operators):包括提取(EXTRACT)、扫描(SCAN)。 -
定制的MCP服务器(Customized MCP Server):提供了与不同数据源交互的接口,包括数据库服务器(如PG Server、Oracle Server、MySQL Server)、文件服务器(如CSV Server、JSON Server、TXT Server)和网络服务器(如Web Server、Google API、X API、duckduckgo)。这些服务器使得AgenticData能够访问和处理来自多种来源的异构数据。 -
语义任务规划: -
数据剖析(Data Profiling):系统会调查所有数据服务器,剖析数据内容。对于非结构化数据,会进行分段、转换为嵌入向量并存储在向量数据库中,若包含表格细节则提取为新结构化文件;对于结构化数据,则提取其模式和样本数据,从向量数据库中检索模式描述和领域知识,并生成数据集的简洁总结。 -
查询规划(Query Planning):包括五个步骤,即检查数据剖析结果和任务,识别相关数据集并学习访问方法;在向量数据库中寻找相关知识以了解如何计算成本;分解任务并为规划逻辑路径提供指导;根据解决逻辑制定包含预定义操作符的高级逻辑计划;数据操作代理根据每个属性的指令制定详细计划,同时排除无关数据集和操作符。 -
计划验证(Plan Validation):使用两种类型的验证器对逻辑计划进行交叉验证,一种检查计划是否完全解决任务,另一种通过搜索向量数据库中的手册指南来验证计划的逻辑,只有当大多数验证批准时,AgenticData才会接受逻辑计划,否则将不匹配的细节和错误修正建议存储起来。 -
语义目录构建(Semantic Catalog Construction):采用分层分割方法处理非结构化剖析文件,先使用成本较低的LLM将文本分割成片段,再用嵌入模型将片段转换为向量并存储,最后构建密集和稀疏向量的ANN索引以加快语义搜索速度。 -
语义查询优化:提出三步语义查询优化方法: -
第一步是应用等价成本优化规则,在不降低质量的前提下对逻辑计划进行优化,如将语义操作符移到关系过滤操作之后、将不被其他操作符使用的语义操作符移到根部等。 -
第二步是使用动态规划算法重新排序连接操作,以减少中间结果的大小,通过逐步采样评估多列谓词的语义过滤操作的选择性,再计算连接操作的选择性。 -
第三步是采用级联优化方法,先使用嵌入向量进行过滤,再使用较小的LLM进行进一步过滤,最后使用较大的LLM验证每个语义操作符的结果,以在保持高准确率的同时最小化LLM成本。 - 应用实例:
- 最终结果:
-
准确性方面:在DABStep、Spider-2.0-Lite和Wikipedia三个基准测试中,AgenticData均显著优于现有的最先进方法。例如,在DABStep的简单任务上,AgenticData的准确率比竞争对手高出15.2%,在困难任务上高出24.1%;在Spider-2.0-Lite上,准确率比竞争对手高出25%;在Wikipedia上,准确率也高于Palimpzest。这表明AgenticData能够更准确地理解任务和非结构化数据集,通过交叉验证和记忆管理提供更有效的反馈,从而生成更准确的查询计划。 -
成本效益方面:在DABStep和Spider-2.0-Lite的实验中,AgenticData的迭代次数始终稳定,即使对于具有挑战性的问题,也能保持较低的迭代次数,而竞争方法可能需要8次或更多的迭代来解决任务。在Wikipedia基准测试中,AgenticData在不同质量阈值下的成本仅为Palimpzest的一半或更少,并且接近最优成本,这归功于其质量感知成本优化策略。(src:AgenticData: An Agentic Data Analytics System for Heterogeneous Data)
- PAR-AdvGAN: Improving Adversarial Attack Capability with Progressive Auto-Regression AdvGAN (ECML PKDD 2025 Research Track Best Paper)
- 主要作者:
-
Jiayu Zhang:苏州科技大学研究员。本科毕业于常熟理工学院,目前在常熟理工学院担任研究员。 -
Zhiyu Zhu:悉尼科技大学博士生。他的研究重点是可解释的人工智能,特别强调多模态和基础模型的可解释性方法。 -
Xinyi Wang:马来西亚马来亚大学博士生。她的研究重点是技术与组织生活之间的相互作用,特别关注数字工作场所沟通和员工成果。 - 核心问题:
深度神经网络(DNNs)在图像分类、情感分析和项目推荐等多种实际应用中表现出色,但它们对对抗样本非常脆弱,这可能导致错误的预测。现有的基于生成对抗网络(GANs)的对抗样本生成方法(如AdvGAN)虽然能够生成具有较好迁移性的对抗样本,但存在一些问题: -
单次迭代生成扰动:AdvGAN和AdvGAN++等方法在单次迭代中生成扰动,这限制了对扰动的控制能力,可能导致对抗样本在面对对抗防御时效果不佳。 -
扰动范围未受约束:AdvGAN在迭代过程中未对生成样本与初始样本之间的距离进行约束,导致扰动幅度可能过大,影响攻击效果。 - 解决方案:
为了解决上述问题,作者提出了一种名为 Progressive Auto-Regression AdvGAN(PAR-AdvGAN) 的新方法。该方法通过以下方式增强对抗样本的攻击能力: -
引入自回归迭代机制:在生成对抗样本时,PAR-AdvGAN采用逐步迭代的方式,每次迭代都基于前一次的对抗样本和初始样本生成新的扰动,从而逐步生成更具多样性和真实性的对抗样本。 -
约束扰动范围:为了确保对抗样本在视觉上与原始样本保持一致,并且在迭代过程中不会偏离初始样本太远,PAR-AdvGAN引入了 Lp 损失和 Ld 损失。其中,Lp 损失用于限制每次迭代生成的扰动幅度,Ld 损失用于约束最终对抗样本与初始样本之间的距离。 -
独立优化生成器和判别器:在训练过程中,PAR-AdvGAN分别优化生成器和判别器的参数,以生成更有效的对抗样本。 - 技术实现:
-
自回归迭代方法:在每次迭代中,PAR-AdvGAN将前一次迭代生成的对抗样本与初始样本结合,生成新的扰动,从而得到新的对抗样本。这种方法使得生成器能够利用前一次迭代的信息,逐步生成更有效的扰动。 -
损失函数设计: -
Lp 损失:限制每次迭代生成的扰动幅度,防止扰动过大。 -
Ld 损失:约束最终对抗样本与初始样本之间的距离,确保对抗样本在视觉上与原始样本保持一致。 -
对抗损失:使用交叉熵损失来衡量对抗样本是否能够成功欺骗目标模型。 -
训练过程: -
判别器训练:固定生成器参数,训练判别器以区分真实样本和生成的对抗样本。 -
生成器训练:固定判别器参数,训练生成器以生成具有高迁移性和低失真的对抗样本。 - 最终结果:
通过大规模实验,作者验证了PAR-AdvGAN方法的有效性: -
攻击成功率(ASR):PAR-AdvGAN在多种模型上的攻击成功率显著高于现有的GAN基方法(如AdvGAN)和其他最新的黑盒对抗攻击方法。例如,在使用Inception-v3作为源模型时,PAR-AdvGAN的平均攻击成功率比其他基线方法提高了30.3%。 -
攻击速度(FPS):PAR-AdvGAN在生成对抗样本的速度上表现出色,能够达到335.5帧/秒(在Inception-v3模型上),这比传统的基于梯度的迁移攻击算法快得多。 -
扰动范围:PAR-AdvGAN生成的对抗样本在视觉上与原始样本保持高度一致,扰动范围较小,符合人类视觉感知的要求。(src:PAR-AdvGAN: Improving Adversarial Attack Capability with Progressive Auto-Regression AdvGAN)
- Deepseek团队在《自然》发表封面论文:
Deepseek团队的研究成果作为封面文章发表于《自然》杂志。该论文首次通过同行评审验证,证明大型语言模型的先进推理能力可以通过纯强化学习(RL)进行培养,无需依赖人类标记的推理范例(即监督式微调,SFT)。其纯RL模型DeepSeek-R1-Zero在训练中自主涌现出自我反思、验证和动态策略调整等高级行为。为提升可读性并与人类偏好对齐,团队还推出了DeepSeek-R1模型,该模型在RL基础上引入少量SFT数据,实现了与顶级模型相当的性能 (src: DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning)。
产业见解
10
-
Sierra 创始人兼前 Salesforce 联合 CEO Bret Taylor 分享了他对 AI 领域的见解,涵盖了 Sierra 的创立初衷与商业模式、AI Agent 的能力与应用场景、技术路径与模型发展、对 AGI 与超级智能的看法,以及 AI 泡沫下企业级 AI 市场的现状与未来。以下是核心要点: -
Bret Taylor 个人经历与创立 Sierra -
过往成就:Bret Taylor 曾任 Salesforce 联合 CEO、Twitter 董事长,也是 Google Maps 的缔造者之一。 -
创立 Sierra 的契机:2023 年初,他离开 Salesforce,恰逢 ChatGPT 发布。第一次使用 ChatGPT 时,他被震撼,意识到大语言模型会改变世界,于是决定投身其中。之后与老友 Clay Bavor 约午餐,发现彼此都对这项技术痴迷,便决定一起创业,创* 立了 Sierra。 -
Sierra 的商业模式与客户合作 -
商业模式:Sierra 采用与传统软件公司不同的商业模式,只在 Agent 成功解决问题时收费。这种模式强调为“结果”付费,与 Salesforce 当年的云订阅模式类似,有望成为未来智能体的标准商业模式。 -
合作流程与支持: -
产品可用性:Sierra 既有面向技术团队的产品,也有面向运营团队的产品,让客户在没有任何技术知识的情况下也能构建 AI Agent,目标是赋能尽可能多的客户体验专家。 -
合作支持:提供“Agent 开发支持”,在客户需要帮助上线时,会投入大量资源协助部署,这种深度陪伴式的支持是其独特之处。 -
客户选择:专注于大客户,因为大公司有大问题,且只有在数千万、上亿用户规模的公司里,客户体验上的“台阶式变化”才真正有意义。大语言模型能极大地降低客户沟通成本,从而让企业能和更多用户展开对话,这对于竞争激烈的行业来说,能帮助企业通过改善体验夺取市场份额。 -
AI Agent 的能力与应用场景 -
任务完成能力:Sierra 的 AI Agent 已经能够在没有人工参与的情况下,完成一些原本应由人工做且涉及经济价值的任务。例如零售客户可通过上传损坏商品照片,让系统自动裁定保修申请并发出替换产品;用户还能在平台上通过 AI Agent 端到端地完成房屋再融资。 -
技术难点:将 AI 技术用在高度监管的复杂流程里存在困难,如设置可靠的安全护栏、解决多语言转写准确率等问题,但 Sierra 的平台致力于解决这些难题。 -
语音在 Agent 中的应用 -
语音的重要性:在 Sierra 的平台上,语音的使用量已经超过了文本。语音是最自然、最符合人体工学的界面,能让技术的可及性大大提高,尤其在多语言支持和足够耐心的情况下。在电信、医疗保险等行业,大量客户服务依赖电话,AI 的到来将电话这一古老的模拟渠道变成了数字渠道,解决了电话客服成本高、效率低等问题。 -
未来展望:语音可能会比文本在 Agent 里占据更大的比重,未来可能会出现每家公司都有自己的对话式 Agent,通过类似 WhatsApp 窗口或智能音箱来完成服务等全新的用户界面范式转变。 -
模型与技术路径 -
模型训练:Sierra 做大量的微调,但不会预训练模型,因为预训练模型是快速贬值的资产,投入巨大但未必能给股东带来有意义的回报。应用型 AI 的未来是多个不同的模型、不同的供应商、不同的能力组合在一起,针对具体任务动态选择。 -
技术“秘方”:真正的技术“秘方”在于如何在不同模型之间取舍和组合,构建 Agent 的人需要具备这种基于模型构建应用的技能。 -
模型商品化与差异化:Bret 认为模型是否商品化、差异化是否会越来越小取决于具体任务。对于一些复杂任务,如编程代理、新药研发等,模型性能的提升会带来显著的差异。 -
对 AGI(人工通用智能)的理解 -
定义变化:Bret 三年前认为已经达到 AGI 的标准,但随着模型的不断进步,他觉得过去的 AGI 标准已被反复超越。现在他关注的是在数字世界和知识领域里,模型是否已在几乎所有领域都达到或超过人类智能,并且强调“泛化”能力,即模型的能力不是通过专项训练得来的,而是自然副产品。 -
未来展望:他对未来几年模型向其他科学领域泛化并带来真正的科学突破持乐观态度,甚至相信第一批真正由 AGI 推动的科学发现可能在未来几年就会出现。 -
对“超级智能”的看法:与 AGI 的区别:“超级智能”意味着智能远超人类平均水平,甚至在某些方面完全不可比拟。从研究与安全角度,讨论“超级智能”提醒研究人员,当系统推理能力超过人类时,人类无法直接监控它,需要用技术去监控技术。 -
对 AI 泡沫与企业级 AI 市场的看法:Bret 完全同意现在处于 AI 泡沫中,就像互联网泡沫一样,既有会亏掉很多钱的失败者,也会有赚到很多钱的巨大赢家。AI 会像互联网一样重塑经济,创造巨大价值,但目前确实存在泡沫,很多人会亏钱。 -
企业级 AI 市场: -
泡沫风险:担心企业级市场里的泡沫,因为现在软件市场的未来正在发生巨大转变,过去很了不起的事情现在变得理所当然,但同时也带来软件商品化等问题。 -
市场成熟度:不认同 MIT 报告中关于企业在 AI 上投入大量资金却没看到相应回报的结论,认为该报告把企业自己用 AI 搭建系统和购买成熟 AI 解决方案混为一谈。Sierra 的客户在概念验证后几乎都能顺利上线并落地,因为其卖的是客户体验,而不是单纯的 AI 技术。未来应用型 AI 公司会像当年的 SaaS 一样,成为企业应用的新一代标准供应商,等到市场成熟,AI Agent 将成为企业的标配。(src:深度|Salesforce前CEO:Agent按结果付费将取代订阅制;语音交互会超过文本,成为下一代用户界面的核心 )
-
Replit 创始人兼首席执行官 Amjad Masad 探讨了软件开发的未来趋势,分享了他对 Replit 平台的愿景与战略规划、软件工程代理(Agent)的发展历程与技术突破、基础设施建设的重要性、未来工作模式的变革、以及在 AI 驱动时代下企业与个体的发展方向。以下是核心要点: -
Replit愿景与软件开发转型 -
Replit的使命转变:从让任何人都能编程,转变为使编程不再是创建软件的先决条件,借助AI实现无需编码即可生成软件。 -
软件工程代理的快速发展:代理从2022年几乎无法使用,到2024年初能够解决70%-80%的SWEbench问题,展现出巨大的进步潜力。 -
AI对软件开发的影响:AI的出现加速了软件开发的民主化进程,使创建软件变得更加容易,Replit专注于利用AI实现这一目标,并在2023年底和2024年初将所有资源投入到软件工程代理(agents)的开发上。 -
软件工程代理的基础设施与“栖息地” -
基础设施的重要性:创建能够编写代码的代理相对容易,但真正的挑战在于构建支持这些代理的“栖息地”,即基础设施。这包括在云端的沙盒化、可扩展虚拟机,支持多种语言和软件包,代理需要在标准Linux环境中训练,能够访问shell、文件系统和软件包安装等功能。 -
Replit提供的环境:Replit提供了这样的环境,还具备身份验证、部署、数据库、密钥管理、后台作业等功能。未来计划包括实现通用模型访问和支付功能,让代理能够支付服务费用,甚至雇佣人类完成诸如验证码解决等任务,还提出了代理之间相互雇佣的概念。 -
与传统协议的对比:这种愿景与传统的远程过程调用协议(如MCP)形成对比,强调了代理与代理之间的通信需要新的有趣协议来实现。 -
软件工程代理的自主性与Agent V3开发 -
自主性级别:软件工程代理的自主性分为不同级别,从一级的语言服务器,到二级的AI代码补全副驾驶,Replit的Agent V2处于3.5级,能够在10-15分钟内自主工作,但仍需要人类输入。目前重点是开发Agent V3,目标是达到四级自主性,实现完全自主工作,只需极少监督。 -
Agent V3的三大支柱: -
端到端测试:让模型像人类一样使用计算机进行测试。 -
测试时计算:基于更多token带来更高智能的理念,利用计算资源。 -
自动化测试生成:模型为创建的每个功能生成测试,防止回归问题。 -
可逆文件系统:Replit构建了完全事务性、可逆的文件系统,使代理能够分叉自己,并并行测试不同解决方案。 -
软件的未来与工作性质的改变 - 软件成本趋近于零:随着任何人通过单一提示即可生成软件,应用软件的成本将在几年内趋近于零,这将颠覆软件市场,使通用SaaS解决方案大多可被替代。
-
非技术人员的软件创建:非技术人员也能快速创建自己的软件,如一位人力资源同事在三天内创建了定制的组织结构图软件,这将从根本上改变企业和公司的运营方式,从专业角色转向更通用的员工。 -
公司结构的演变:传统的公司层级结构将演变为网络,员工像创业者一样专注于为业务创造价值。 -
主权个体的崛起与未来问题解决 -
主权个体概念:技术与AI代理赋予个体独立创造财富的能力,如比特币的创造者中本聪就是一个例子。人们将能够无缝协作,快速组建和解散公司,随着交易成本的降低,全职员工的需求将减少。 -
Replit的转型:Replit需要从一个构建应用的平台转变为一个用软件解决问题的平台,适应未来代理直接满足用户需求的趋势。 -
Q&A环节的要点: -
多代理系统与领域专业知识:未来将是多代理系统,由独特领域专业知识的价值驱动。具有专业知识的个体将这些知识注入代理中,扩大其专长,然后由其他代理将这些专业代理组装成团队,需要有趣的新协议来促进代理之间的通信。 -
人工智能驱动未来的“人类状况”:尽管人工智能可以自动化大多数物理和认知任务,但人类在某些方面仍然具有独特性,人工智能在泛化分布外的任务上存在基本限制。人类的创造力对于解决真正新颖的问题仍然至关重要,人类将更多地处于创造性位置,快速生成和测试新想法。 -
自由艺术教育与通用型员工:自由艺术教育与STEM教育并非相互排斥,自由艺术将变得更加重要。工程师需要拥有更广泛的视野和技能集,成为更通用型的人才。 -
Replit的技术进展与模型“栖息地”:Replit在技术堆栈中取得最大进展的领域是模型的“栖息地”,为代理的存在提供基础设施。Replit的关键特性之一是其事务性或原子性,计算机环境中的突变与其他系统组件同步发生,这对于使模型更加可靠至关重要。 -
为通用型员工的未来做准备:建议尽早加入初创公司以获得通用型经验。即使在初创公司中,也要寻找通用型机会,并培养一种使公司成功的心态,而不仅仅是完成待办事项清单。 -
自主代理开发的时间范围:在自主代理开发中,需要在可靠性与自主性之间取得平衡。短期时间范围侧重于通过推理和并行代理试错来提高可靠性;长期时间范围则侧重于通过测试和安全护栏去除人类干预,提高自主性。 -
代理领域的过度饱和和领域知识:建议专注于竞争较少且自己拥有领域知识的领域。领域知识是构建代理公司最重要的东西。 -
Replit的长期商业模式:并非所有软件都将成本为零,而是应用软件。Replit需要成为一个通用问题解决者,而不仅仅是一个构建应用的平台。 -
防止代理生成代码中的错误累积:未来将采用类似AlphaZero的训练方式,代理将在强化学习环境中进行训练,生成问题并进行自我对弈,从而避免依赖人类代码进行训练。(src:The Future of Software Creation with Replit CEO AmjadMasad)
Reference
11
-
Snowflake Release - https://docs.snowflake.com/en/release-notes/2025/9_27 -
Migrate Lakeflow Declarative Pipelines pipelines from legacy publishing mode is generally available - https://docs.databricks.com/aws/en/release-notes/product/2025/september -
Announcing Public Preview of Databricks One - https://www.databricks.com/blog/announcing-public-preview-databricks-one -
AI/BI release notes 2025 Sep - https://docs.databricks.com/aws/en/ai-bi/release-notes/2025 -
Announcing Public Preview of Databricks One - https://www.databricks.com/blog/announcing-public-preview-databricks-one -
Grok 4 Fast - https://x.ai/news/grok-4-fast -
meituan-longcat/LongCat-Flash-Thinking - https://huggingface.co/meituan-longcat/LongCat-Flash-Thinking -
Announcing cross-account ingestion for Amazon OpenSearch Service - https://aws.amazon.com/cn/blogs/big-data/announcing-cross-account-ingestion-for-amazon-opensearch-service/ -
Google Cloud release notes - https://cloud.google.com/release-notes -
pgexporter 0.7 - https://www.postgresql.org/about/news/pgexporter-07-3136 -
pgFormatter v5.8 has been released - https://www.postgresql.org/about/news/pgformatter-v58-has-been-released-3137,SynchDB 1.2 Released -Native Oracle Connector -
Enhanced Monitoring & Quick Deployment Tools - https://www.postgresql.org/about/news/synchdb-12-released-native-oracle-connector-enhanced-monitoring-quick-deployment-tools-3132/ -
模型相关公告 - https://help.aliyun.com/zh/model-studio/model-announcements?spm=5176.29597918.J_SEsSjsNv72yRuRFS2VknO.7.52007ca0P73LBC#012dd4d4127f2 -
MCP server tools now in ChatGPT - developer mode - https://community.openai.com/t/mcp-server-tools-now-in-chatgpt-developer-mode/1357233 -
A postmortem of three recent issues - https://www.anthropic.com/engineering/a-postmortem-of-three-recent-issues -
NVIDIA and Intel to Develop Al Infrastructure and Personal Computing Products - https://nvidianews.nvidia.com/news/nvidia-and-intel-to-develop-ai-infrastructure-and-personal-computing-products -
ChatGPT- Release Notes Sep 2025 - https://help.openai.com/en/articles/6825453-chatgpt-release-notes -
Claude Developer release platform - https://docs.claude.com/en/release-notes/api -
Quick BI v6.0版本说明 - https://help.aliyun.com/zh/quick-bi/product-overview/quick-bi-v6-0-release-notes?spm=a2c4g.11186623.help-menu-30343.d_0_0_0_0.751d178en9YvwZ&scm=20140722.H_2978661._.OR_help-T_cn~zh-V_1#c798da6dbaayq -
腾讯混元3D Homepage - https://3d.hunyuan.tencent.com/ -
火山引擎文档中心 - https://www.volcengine.com/docs/82379/1159177 -
Oracle Blog - https://www.oracle.com/cn/news/announcement/oracle-deploys-openai-gpt5-across-oracle-database-and-cloud-applications-portfolio-2025-08-18/,https://www.huxiu.com/ainews/2708.html -
内蒙古移动新一代BOSS系统 - https://open.10086.cn/panweidb/case-view?pageCode=case_1746621822379&pageId=1920097758216962050 -
英伟达违反反垄断法市场监管总局依法决定实施进一步调查 - https://www.samr.gov.cn/xw/zj/art/2025/art_66b8363c3a194ba0a394a843d6cf3fd1.html -
How KPMG uses Delta Sharing to access and audit tens of billions of transactions - https://www.databricks.com/blog/how-kpmg-uses-delta-sharing-access-and-audit-tens-billions-transactions -
How Databricks Helps Banks Navigate Interest Rate Changes - https://www.databricks.com/blog/how-databricks-helps-banks-navigate-interest-rate-changes -
President Trump Signs Technology Prosperity Deal with United Kingdom - https://www.whitehouse.gov/articles/2025/09/president-trump-signs-technology-prosperity-deal-with-united-kingdom/ -
Summary of Economic Projections - https://www.federalreserve.gov/monetarypolicy/files/fomcprojtabl20250917.pdf -
Indicium Receives Investment from Databricks Ventures - https://indicium.ai/knowledge-hub/blog/databricks-ventures-investment/ -
NVIDIA和英特尔将共同开发AI基础设施和个人计算产品 - https://blogs.nvidia.cn/blog/nvidia-and-intel-to-develop-ai-infrastructure-and-personal-computing-products/ -
Cloud Security Investments Surge in Asia/Pacific Amid Al Threats and New Cybersecurity Mandates - https://my.idc.com/getdoc.jsp?containerId=prAP53788425&_gl=1*g65t0q*_ga*OTI3OTEyODg1LjE3NTg1MzczNTg.*_ga_541ENG1F9X*czE3NTg1MzczNTckbzEkZzAkdDE3NTg1MzczNTckajYwJGwwJGgw*_gcl_au*MTMzMjQ4OTUyOS4xNzU4NTM3MzU4 -
Agentic AI时代,StarRocks如何打造更具性价比的实时分析方案? - https://blog.itpub.net/69925873/viewspace-3096491/ -
商务部新闻发言人就对原产于美国的进口相关模拟芯片发起反倾销调查答记者问 - https://www.mofcom.gov.cn/xwfb/xwfyrth/art/2025/art_5efa064f79e54ba8a666d211cf7ebded.html -
以开创的超节点互联技术,引领AI基础设施新范式 - https://www.huawei.com/cn/news/2025/9/hc-xu-keynote-speech -
China trials its first advanced tools for AI chipmaking - https://www.ft.com/content/8fd79522-e34f-4633-bc87-ef0aae2d9159 -
Apple Events Apple - https://www.apple.com/apple-events/ -
Apple iPhone Air's China release delayed - https://www.cnbc.com/2025/09/12/apple-iphone-air-china-release-delay.html -
小米汽车科技有限公司召回部分SU7标准版电动汽车 - https://www.samr.gov.cn/zlfzj/qxcpzh/zhdt/art/2025/art_d10cc5a0940c44e2aed1e528560e8165.html -
雷军挥泪“斩”王腾,小米爱将泄密“失街亭”,大厂正风肃纪“拼牙口” - https://www.36kr.com/p/3458960457422208 -
Inkeep - https://inkeep.com/,https://inkeep.com/blog/inkeep-funding-announcement,https://www.linkedin.com/company/inkeep/ -
Autumn - https://www.linkedin.com/company/useautumn/,https://useautumn.com/ -
xlang-ai/OpenAgents - https://github.com/xlang-ai/OpenAgents -
Ubicloud - https://github.com/ubicloud/ubicloud,https://www.ubicloud.com/about-ubicloud,https://blog.csdn.net/gitblog_00371/article/details/151267508,https://k.tomo.dev/aigc/github-daily-trending-2025-08/github-daily-trending-2025-08-13/ -
Ursa: ALakehouse-Native Data Streaming Engine for Kafka - https://www.vldb.org/pvldb/vol18/p5184-guo.pdf -
Data Interpreter: An LLM Agent For Data Science - https://arxiv.org/abs/2402.18679 -
LAMBDA: A Large Model Based Data Agent - https://arxiv.org/pdf/2407.17535 -
AgenticData: An Agentic Data Analytics System for Heterogeneous Data - https://www.arxiv.org/abs/2508.05002 -
PAR-AdvGAN: Improving Adversarial Attack Capability with Progressive Auto-Regression AdvGAN - https://arxiv.org/abs/2502.12207 -
DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning - https://www.nature.com/articles/s41586-025-09422-z -
深度|Salesforce前CEO:Agent按结果付费将取代订阅制;语音交互会超过文本,成为下一代用户界面的核心 - https://mp.weixin.qq.com/s/KPbAKHGQbwX-loY1Prb1mw -
The Future of Software Creation with Replit CEO AmjadMasad - https://www.ycombinator.com/library/Mu-the-future-of-software-creation-with-replit-ceo-amjad-masad?carousel=The%20Latest
Reference
12
文字

