大数跨境

产品升级|开发更高效、监控更实时、运维更省心,源启数据开发平台构筑一站式数据开发新底座

产品升级|开发更高效、监控更实时、运维更省心,源启数据开发平台构筑一站式数据开发新底座 中电金信研究院
2026-10-21
1

企业的数据资产化建设,是一套贯穿设计、流转、生产的完整业务链。作为源启数据工厂的重要组成部分,源启数据建模平台、源启数据集成平台、源启数据开发平台分别守住数据规范的源头、打通数据流动的通道、把控数据生产的现场。其中,数据开发正是这条链路的现场:它定义数据加工与产出方式,将建模、集成阶段的成果,转化为可直接服务业务的数据资产。
















随着数据开发场景日益复杂、效能诉求不断提升,传统开发方式的短板逐步暴露:数据探查依赖反复改写SQL、优质作业经验难以沉淀、实时开发门槛偏高、运行状态可观测性不足。


数据开发,如何做到既提得了效率,又保得住稳定?源启数据开发平台聚焦实时开发效率、运行监控能力、数据探索体验及更多数据源适配等维度,通过升级查询结果可视化与二次过滤、作业模板保存与引用、FlinkSQL逻辑表注册管理、实时作业运行监控、启停日历、调试运行、离线作业多数据源适配七大核心功能,全方位助力企业实现更高效、更透明、更省心的数据开发。





1


查询结果可视化+二次过滤

从“看见数据”到“洞悉数据”



功能亮点

平台全面升级数据查询结果展示能力。查询结果集可一键切换为多类型图表视图,用可视化方式直观呈现数据结构与分布;支持在结果集上灵活配置过滤条件,完成二次筛选与聚焦。用户无需反复改写、重复执行SQL,在同一界面内,就能完成数据获取、图形呈现、条件过滤的全流程数据探索闭环。




业务价值

在数据探查与口径核验场景中,开发者常常面对还海量查询结果,很难快速识别数据整体特征与质量分布。查询结果支持一键转图表呈现,数据分布规律、异常波动直观可见;开发者还可叠加多维过滤条件,对结果集进行二次筛选,层层下钻、精准定位目标数据。


整个探索过程连贯顺畅,“从数据到洞察”的路径大幅缩短,同步提升数据探索的效率与分析深度。




2


作业模板保存与引用

沉淀最佳实践,让作业创建事半功倍



功能亮点

平台新增作业模板能力,支持将成熟作业及配套配置一键保存为模板,让优质开发经验以资产形式沉淀复用。新建作业时,可直接引用模板作业及全套配置,快速搭建作业骨架;也可单独引用模板中的作业配置,灵活适配个性化开发需求。通过模板复用机制,同步提升作业创建效率与开发规范性。




业务价值

在规模化数据开发场景下,同类作业往往呈现高度相似的结构与配置模式。过去新建作业需要从零开始搭建、重复配置,耗费大量人力,还很难保障团队级开发标准的统一。


现在,团队可以将经过生产验证的作业沉淀为标准模板:新作业一键引用完整模板,实现开箱即用;也可按需引用部分配置,兼顾效率与灵活性。优质开发经验得以在团队内高效流转,作业创建模式从“重复造轮子”进阶为“复用最佳实践”,同步提升开发效率与工程质量。




3


FlinkSQL逻辑表注册管理

屏蔽底层复杂度,让实时开发轻装上阵



功能亮点

平台为实时作业提供FlinkSQL逻辑表统一注册与管理能力,可将物理数据源注册为逻辑表集中纳管,支持逻辑表在开发界面可视化展示、即选即用。开发者编写FlinkSQL时,直接引用逻辑表即可完成表定义,无需在脚本中重复编写冗长的建表语句与连接信息,有效提升实时任务开发效率与脚本可维护性。




业务价值

搭建实时数仓时,源表、维表、结果表的定义与管理是核心基础工作。传统模式下,开发者需要在每一段FlinkSQL脚本中重复声明表结构与连接参数,代码冗余繁琐,还容易引发数据口径不一致的风险。现在,表定义实现“一次注册、处处引用”,搭配开发界面可视化上屏能力,开发者在编码时直接选用逻辑表即可。实时开发如同“搭积木”般简洁高效,有效降低实时任务的开发门槛与后续维护成本。




4


实时作业运行监控

全链路可观测,让运行状态尽在掌握



功能亮点

平台打通Flink Web UI全量监控页面,为实时作业构建一站式运行监控体系。开发者可直接在平台内查看作业运行拓扑、反压、Checkpoint、异常日志等关键运行信息,无需跨系统来回切换,就能全景掌握实时作业运行状态、精准定位故障,全面增强实时链路可观测能力。




业务价值

实时作业保持7×24小时不间断运行,任何细微的异常都可能影响数据时效性与准确性。过去排查实时作业故障呢,需要切换多个系统检索信息,排查链路长、定位效率偏低。现在,各类监控信息一站聚合:查看作业拓扑、研判反压瓶颈,核查Checkpoint执行状况,全部操作均可在平台内一屏完成。任务运行状态尽在掌握,故障定位效率显著提升,为实时数据链路稳定可靠运行筑牢保障。




5


实时作业启停日历

让作业“作息”有度,资源调度精打细算



功能亮点

平台为实时作业提供启停日历能力,支持灵活配置定时启停策略,作业可按照预设时间自动启动、停止。通过日历化可视化编排,作业运行节奏一目了然,实现计算资源的按需调度与精细化管理,让实时作业运维管理更高效便捷。




业务价值

并非所有实时作业都需要7×24小时全天候运转。以交易时段的实时指标加工场景为例,作业仅需在开市期间运行,闭市后持续空转只会造成计算资源浪费。传统模式依赖人工启停,不仅加重运维负担,还容易出现操作疏漏。现在,只需预先配置启停日历,实时作业即可按预设“作息表”自动运转:到点启动、到期释放资源。运维流程化繁为简,实现计算资源精细化管控,有效降低实时作业运行成本。




6


实时作业调试运行

调试生产彻底隔离,任务上线安心稳妥



功能亮点

平台为实时作业提供调试运行能力,支持上传离线数据模拟实时数据流,完成实时加工逻辑的调试验证。开发者可在不影响生产链路的前提下,反复运行、观察作业处理逻辑,待逻辑校验通过后,再切换至生产数据源正式投产,实现调试环境与生产环境的彻底隔离,为实时任务上线的可靠性与安全性提供双重保障。




业务价值

实时作业开发长期面临调试“两难”困境:直接接入实时数据流调试,未经验证的逻辑可能存在污染下游数据的风险;脱离真实数据开展调试,又难以充分校验逻辑准确性。而调试运行能力有效破解这一难题:开发者上传离线数据,通过“回放”方式模拟实时数据流,反复调试、观测加工逻辑,全程不会干扰生产链路。待充分验证后再投产运行,让实时任务发布更加安全可控,同步提升实时开发迭代效率。




7


离线作业多数据源适配

更多数据统一纳管,加工边界持续拓宽



功能亮点

平台离线作业新增OceanBase-MySQL、OceanBase-Oracle、Oscar三类数据源适配,进一步拓宽数据加工处理的覆盖范围。用户可在离线作业中直接完成该类数据源的数据读取、加工与写入操作,实现多类数据源统一纳管与协同处理,构建更加多元、开放的数据处理体系。




业务价值

随着企业数据库选型走向多元化,OceanBase、Oscar等国产数据库在核心系统落地持续增多,异构数据源统一加工成为数据体系建设的重点课题。过去,这类数据源的数据需要借助额外工具、搭建复杂中转链路,才能接入数据加工流程。现在,平台原生支持三类数据源直接加工处理,数据开发无需、额外中转,在统一开发体系内完成异构数据的抽取、转换与加工。数据链路更精简、开发体验更顺畅,为企业多元数据架构下的数据资产化提供有力支撑。




产品介绍

源启数据开发平台是源启数据工厂面向企业级数据湖仓、数据集市建设打造的数据处理任务开发与管理平台,支撑离线数仓、实时数仓、数据湖与数据集市的全场景构建。


平台依托DAG可视化画布,提供低代码、模板化、智能IDE等多种开发模式,兼容多类数据库与计算引擎,支持多编程语言开发。平台搭载大模型智能编码辅助能力,同时覆盖需求、版本、调度、监控、代码规范等全链路开发管控能力,为企业规模化数据开发提供一体化底座。


● 适用行业:银行、保险、证券、能源、制造等

● 应用技术:DAG可视化作业构建技术、多语言代码集成开发技术、代码开发智能辅助技术、大数据批处理和流处理技术等

● 应用场景:离线数据仓库构建、实时数据仓库构建、数据湖构建、数据集市构建


往期推荐

大咖论道|从业务调优到分层缓存:DeepSeek V4 Flash的PPU实践

行业智观|从“固定支柱”到“灵活平衡”:技术选型有了业务坐标系

产品发布|源启数据治理判定台:把数据治理语义判断,变成更聪明的“if语句”

中电金信参编的团体标准《商业银行应用程序接口治理能力要求》正式发布

行业智观|深度解读《“人工智能+软件”专项行动实施方案》

【声明】内容源于网络
0
0
中电金信研究院
中电金信研究院是中电金信的产品技术研发和管理机构,是公司探索金融科技创新的核心力量。
内容 241
粉丝 0
中电金信研究院 中电金信研究院是中电金信的产品技术研发和管理机构,是公司探索金融科技创新的核心力量。
总阅读1.6k
粉丝0
内容241