

隐语1.0正式发布｜MVP部署体验包、资源调度框架Kuscia全新亮相！

蚂蚁技术AntTech

2023-07-07

导读：2023 年 7 月 7 日，在世界人工智能大会组委会办公室指导下，隐语开源社区携手蚂蚁集团和机器之心共同主

2023 年 7 月 7 日，在世界人工智能大会组委会办公室指导下，隐语开源社区携手蚂蚁集团和机器之心共同主办的数据要素与隐私计算论坛在上海世博会议中心举行。论坛上，蚂蚁集团隐私计算部总经理、隐语社区负责人王磊发布了隐语 1.0 版本，并对隐语 1.0 版本框架拓展与升级进行了整体介绍。隐语 1.0 版本不仅进一步扩大了开源范围，还对整体架构进行了调优拓展，核心内容涉及产品层、资源层、互联互通等板块，总体效果涵盖性能优化、易用性跨越式提升、互联互通形态丰富。

图：隐语 1.0 架构图

产品层：平滑学习曲线提升易用性

隐语开放平台已在过去一年内面向 50+ 机构开放体验。此次，隐语 1.0 版本带来全新的 MVP（Minimum Viable Product）部署体验包：一款面向隐私计算初学用户的轻量级功能体验工具，内置节点、数据资源，节点间已相互授权，安装即可体验数据处理、数据分析、模型开发、模型评估等主要常见功能。相较于更侧重于生产场景的隐语开放平台，隐语 MVP 部署体验包通过多种方式降低使用门槛，为业务投产正式使用铺垫入门操作基础。（下载地址：https://www.secretflow.org.cn/docs/quickstart/mvp-platform）

1.MVP 部署体验包能够解决什么问题？

隐语作为工业级高可用的隐私计算框架，其性能和稳定性常收获赞许。然而，对于许多隐私计算潜在用户和初学用户而言，基础需求是快速感知功能、了解完整流程、获得直观效果，以此来进行判断或决策。

隐语 MVP 部署体验包将用户体验反馈转化为成熟的产品能力，站在隐私计算初学者的角度，尽可能将准备步骤嵌入安装部署流程，提高用户与隐私计算功能直接面对面的效率。此外，我们还破除了原有的申请审核和资源支持限制，让创新技术能够无门槛地惠及更广泛的用户体验。

2.隐语 MVP 部署体验包的具体优势

优势一：化繁为简减少准备步骤中的卡点

在原本的体验流程中，用户需要自行配置节点资源和数据资源。为了解决准备链路长、卡点多的问题，隐语 MVP 部署体验包将这些准备步骤封装在包内，并以“一键安装包”的形式提供给用户。其安装过程也涵盖了联合项目的前序准备，因此用户可以更快速地开始体验隐私计算功能。

优势二：模板配置降低复杂组件上手难度

针对初次体验的用户，隐语 MVP 部署体验包提供场景化训练流模板选项，并已对各组件完成了配置。这些模板可以自动化运行直到结果，帮助用户理解组件原理并降低自定义训练流中的配置难度。

优势三：新手训练营功能体验与功能讲解同步进行

隐语 MVP 部署体验包将功能与教程合二为一，增加了交互式新手引导，让用户在学习的同时完成动手实践，进一步平滑隐私计算的学习曲线。

资源层：解决跨机构计算任务中的
多方面难题

隐语 1.0 版本正式开源 Kuscia 隐私计算任务编排框架：Kuscia 可以解决业务在使用隐语时端口合并、API 接入等集成问题，支持通过互联互通或者内置部署第三方系统等不同模式和第三方系统互通。（github地址：https://github.com/secretflow/kuscia）

1.什么是基础设施差异？在跨机构计算任务中将引发哪些难题？

隐私计算涉及很多跨机构场景，联合项目中的各个参与方在数据存储、数据传输、计算资源、安全控制等众多方面都不尽相同，这些都可以统称为基础设施的差异。

不同参与方在运行环境及网络链路两方面存在差异。网络链路指参与方在构建隐私计算应用时节点间的通信地址、通信协议、报文加密、请求鉴权等情况，运行环境又可能分为物理机、虚拟机等。

跨机构的计算任务就涉及多个机构的资源协同。在任务调度过程中，需要协调和管理各个机构的资源分配以确保任务能够按时完成，需要使用安全的通信协议和机制来保护数据的传输过程中不被篡改或窃取。如果无法保障资源的有效管理、科学调度，就会引发计算任务低效、计算资源浪费或冗余、应用不稳定甚至任务失败等一系列问题。

2.Kuscia 是如何解决这些问题的？

在部署中，基础解决轻量化的需求（轻量节点最低支持 2C4G），核心关注业务机构接入时多样化的端口适配需求，支持机构单端口，解决多任务端口问题。此外，业务机构当前重点关心的隐私计算部署问题还包括组网模式，Kuscia 支持去中心化的平等合作 P2P 模式、更便于统一管控的中心化模式以及多方合作带来两者并存的混合模式。

在任务编排中，除了 DAG 任务编排这类基础标配，Kuscia 重点支持多任务并发。由于隐私计算任务通常是计算密集型，多机构同时执行及多任务并发会产生计算资源竞争，Kuscia 通过任务间资源隔离、任务优先级可控等方式保障资源的合理配置。

在外部系统对接中，Kuscia 实现了任务调度层的互联互通，支持银联黑盒互联互通协议。Kuscia 为隐私计算应用提供一个统一的运行接口，用户可以直接调用多种现有的隐私计算引擎如 FATE 等。例如，业务方 A 在其业务平台中使用了某框架的联邦学习能力，但由于业务拓展升级，单一能力已不能满足需求，使用隐语 Kuscia 业务方 A 就可以实现原框架计算能力的集成调用和能力拓展，两者兼得。

算法层和调度层全栈互联互通

2022 年底，由中国信通院隐私计算联盟牵头，蚂蚁集团负责设计的行业首个白盒互联互通开放协议《隐私计算跨平台开放算法协议第一部分：ECDH-PSI》正式发布，标志着隐私计算进入更深层次的互通，进入算法互通的新局面。

隐语 1.0 版本中，SS-LR 协议也得到了标准化。SS-LR 互联互通涉及传输层标准化、密码协议标准化、安全算子接口标准化和应用算法的标准化，几乎涉及隐语算法引擎的方方面面。基于此，隐语密态引擎的互联互通基础设施已初具形态，今后会更快、更多地推出其它互联互通算法协议，形成一套完整的开放算法（白盒）协议簇。

与此同时，Kuscia 在任务调度面也支持北京金产联盟互联互通要求中的最新互联互通协议，使得算法容器能够跨平台、跨生态地调度、执行。目前 Kuscia 已与洞见 Insight 平台调通，不仅洞见的算法容器能够在隐语 Kuscia 平台上运行，隐语的算法容器也能在洞见平台上运行。

通过算法引擎和 Kuscia 调度平台全栈的互联互通，隐语致力于构建一个更加透明开放的世界。隐语愿携手各界一道，为全域互联互通的密态数据要素流通网络赋能，推动隐私计算行业发展。

隐语１.０版本更多亮点

除了上述提到的三点外，隐语 1.0 版本还有在算法层、设备层、密码能力、易用性上，均有能力更新。（您的⭐️就是对隐语开源社区最大的鼓励^_^：https://github.com/secretflow/secretflow）

1.算法层

多方安全计算：

SGB 性能优化

SCQL 能力：

安全协议支持：完善对 Cheetah、Aby3 安全协议支持
算法能力提升：支持 Union 水平操作，优化 Group by 逻辑
数据源支持：支持 CSV 文件，Postgres 作为 Engine 的数据源
审计能力：支持结构化的审计日志

联邦学习：

新增用户自定义 Databuilder 能力
拆分学习新增推荐场景的 DeepFM 模型
拆分学习支持 PyTorch 后端

隐语组件（component spec）：

发布隐语组件标准: 遵从隐语组件标准的应用可以直接接入隐语技术栈。组件是 Kuscia 调度的最小计算单元, 可以在隐语平台中使用组件构建训练流。
首批金融全链路算法通过隐语组件标准透出

2.设备层

SPU：

PSI/PIR

完善 PIR 接口，增加 pir_memory_query 接口
优化 PIR 序列化处理，提升 PIR 序列化性能

HEU：

新增 EC ElGamal 算法

3.密码能力

新增 SOTA Ferret OT extension 算法：https://eprint.iacr.org/2020/924

在低带宽场景下性能更优
已实现后续优化 Correlated GGM Tree：https://eprint.iacr.org/2022/1431.pdf

4.易用性

提供了 SCQL 支持中文文档
提供 Lite 镜像供用户选择，Lite 镜像不包含深度学习相关依赖，大小减小至 1GB+

隐语开源一周年专场 Meetup 来啦

7 月 22 日，「隐语开源社区」一周年专场 Meetup 将在上海进行，将针对本次发布的「隐语 1.0 版本」进行详细解读。同时，「隐语 1.0 版本」发布后，隐语开源社区也将进行同步升级，将在本次活动现场发布隐语开源社区组织架构升级，并开启隐语「OSCP」开源贡献任务活动第二期。更多精彩内容，欢迎现场解锁。

立即扫描下方二维码或点击“阅读原文”，锁定现场席位啦～