大数跨境
首页
>
管住AI，成了一门新生意
>

管住AI，成了一门新生意

管住AI，成了一门新生意 鸟哥笔记
2026-09-29
9
作者：李梦冉
编辑：魏佳
来源：定焦One（ID：dingjiaoone）
随着AI能力的跃升，其引发的安全风险也日益凸显。
近期，OpenAI内部测试模型在降低安全限制后绕过隔离，入侵Hugging Face系统并获取服务器root权限；英国人工智能安全研究所（AISI）测试亦发现，Anthropic和OpenAI的Agent存在创建虚假身份、生成恶意代码等未授权行为。此类失控、瘫痪及劫持事件频发，标志着AI事故正密集进入公众视野。
与Chatbot时代仅涉及“言语错误”不同，Agent时代AI连接邮箱、代码库及数据库，具备自主执行任务能力，“如何管住AI”成为新课题。黄仁勋指出网络安全将是AI重要应用场景。Gartner预测，全球“Securing AI”市场规模将于2027年增至47.83亿美元，IDC预计中国AI安全市场2030年将达340.3亿元人民币。
与此同时，OpenAI推出模型“对齐失效”报告框架，推动安全事件披露制度化。海外已涌现多家AI安全初创公司并获得资本青睐，而国内虽有大模型和Agent创业潮，但以“AI安全”为核心业务的独立创业公司仍较少。风险客观存在，但商业化落地仍面临技术、市场与监管的多重博弈。

AI越能干，越需要“上锁”

AI安全并非新问题，但Agent改变了风险性质。早期大模型风险主要集中在输出端，如幻觉、违规内容、越狱及隐私泄露，核心特征是“只输出不执行”。Agent接入企业内部系统后，风险延伸至“能看、能改、能做”，权限管理成为关键变量。
AI安全初创公司红豆叶科技创始人刘雁指出，数据泄露是企业敏感痛点，Agent权限过高可能导致内部数据被接触或带走。此外，误操作风险同样严峻，Agent工程师蒋工表示，模型偶发删除文件或数据库的情况可通过工程方式兜底，但若涉及支付等高权限系统，后果将不堪设想。
构建AI安全体系通常包含四道关卡：
一是“体检”，通过安全评测和红队测试寻找漏洞；二是“安检”，实时检查输入输出信息，拦截风险；三是“上锁”，明确Agent身份、读取权限、API调用范围及操作边界，关键环节需人工确认；四是“监控”，记录访问数据、工具调用及执行操作，实现异常预警与追溯。
从Chatbot到Agent，AI能力增强伴随损失风险放大，一条新的AI安全链条应运而生。

三类玩家，各有优劣

AI安全赛道已有先行者。美国Obsidian Security完成D轮融资，专注监控企业软件中的Agent访问；HiddenLayer完成B轮融资，年度经常性收入增长超10倍。国内市场竞争格局则呈现三类玩家并存态势。

模型厂商：自建防线，难以外溢

阿里、百度、腾讯等模型厂商出于自身产品底线要求，会进行内容审核和对齐微调。但其安全能力主要服务于自家模型，且加严安全限制可能导致功能退化。由于不同模型间安全能力不互通，这为第三方安全公司留下了市场空间。

传统网安巨头：渠道成熟，技术异构

360、奇安信等传统安全公司拥有政企客户资源和成熟渠道，正将安全能力延伸至AI领域以寻找新增长点。然而，传统网安擅长边界防御，对AI原生风险（如模型诱导、Agent越权）的理解相对薄弱，且在模型层的安全对齐技术上并无显著优势。

AI原生安全公司：轻装上阵，专利卡位

瑞莱智慧、缔零科技等初创公司无历史包袱，可针对AI新问题重新设计产品。面对大厂竞争，它们采取专利布局策略，试图在大厂重视前建立技术壁垒，并通过合作方式进入大厂产品体系。但其资源与渠道劣势明显，商业优势尚待验证。

需求还没变成生意，AI安全在等什么？

目前AI安全变现路径主要包括项目制服务、软件授权及API调用。其中，API模式因具备规模化潜力被看好，未来企业可直接调用第三方安全能力作为执行任务前的检查环节。
尽管商业模式清晰，但国内AI安全仍处于早期阶段。许多企业尚未深度部署AI，更无独立安全预算。AI安全渗透率难以长期跑在AI应用渗透率前面，只有当AI真正获取权限并引发实际风险时，企业付费意愿才会提升。
资本对应用层狂热，但对模型安全持谨慎态度。改变这一局面的变量主要有二：一是严重安全事故的发生，倒逼企业重视；二是监管标准的完善，如强制安全认证，将安全从“可选项”变为“必选项”。
当前，AI安全赛道风险已现、产品已有，但大规模付费需求尚未形成。在市场爆发前，各方玩家需在技术、专利和市场位置上提前卡位。
*题图及文中配图均由AI生成。

【声明】内容源于网络
0
0
鸟哥笔记
学运营推广，上鸟哥笔记!专注营销推广13年，累计助力数白万运营人成长的头部公众号。每天9点一篇热点营销/运营干货文章。
内容 13436
粉丝 0
鸟哥笔记 学运营推广，上鸟哥笔记!专注营销推广13年，累计助力数白万运营人成长的头部公众号。每天9点一篇热点营销/运营干货文章。
总阅读1122.0k
粉丝0
内容13.4k