Protect AI，一家致力于构建工具以加固人工智能系统安全的初创公司，今日宣布完成由 Evolution Equity Partners 领投的 A 轮融资，融资金额为 3500 万美元。Salesforce Ventures、Acrew Capital、boldstart ventures、Knollwood Capital 和 Pelion Ventures 等机构也参与了此次投资。
该轮融资金额是 Protect AI 去年 12 月完成的种子轮融资的两倍多，使其累计融资总额达到 4850 万美元。联合创始人兼首席执行官 Ian Swanson 表示，这笔资金将用于增强 Protect AI 平台的功能、扩大研究力度以及推出新的开源项目。
“现在，我们拥有充足的资本来应对未来几年的风浪，”Swanson 在回复 TechCrunch 的电子邮件采访中表示，并补充说 Protect 计划在今年年底前将员工人数从 25 人增加到 40 人。
Swanson与Daryan Dehghanpisheh于2022年联合创立了Protect AI；在创立Protect之前，两人曾在AWS和Oracle任职，并协助推出了DataScience.com这一AI开发平台，该平台后来被他们的老东家Oracle以 undisclosed 金额收购。
Swanson表示：“我们基于参与全球一些最大规模机器学习和AI部署的经验，在18个月前创立了Protect AI。我们看到了AI所能带来的价值，但也意识到这些系统中固有的风险，我们的使命是帮助客户构建一个更安全的AI驱动世界。”
正如我在先前对Protect AI的报道previous coverage中所指出的，目前没有证据表明AI模型——以及为其提供支持的App——正遭受大规模攻击。（唯一的例外可能是OpenAI的GPT-4，它已成为出售泄露API密钥的黑客们的target。）但Swanson指出，随着AI在金融和医疗等敏感行业的广泛采用，这种情况发生改变只是时间问题。
无论这一预测是否成真，Protect 提供了一系列旨在解决 Swanson 所描述的人工智能安全“弱点”的服务。其旗舰产品 AI Radar 能够揭示构建人工智能模型所使用的各种组件——包括用于训练的数据、测试数据集和代码——然后生成一份“机器学习物料清单”，简称 MLBOM。
“我们正在创建一个专注于实际威胁的新兴机器学习安全类别——即人工智能和机器学习供应链中的威胁，以及这些模型的构建方式中的威胁，”Swanson 说。“AI Radar 能够审视整个供应链，找出实际的威胁和风险，从而与客户一起提供可视化和修复方案……它可以扫描企业内所有机器学习模型的 MLBOM……找出哪些流水线正在使用[存在漏洞的软件]。”
针对Swanson的观点，许多流行的AI开源项目被发现包含可被利用的代码。Endor Labs最近的一项survey显示，在前100个AI开源项目中，有52%存在漏洞。总体而言，供应链网络攻击的数量正在增加；Sonatype去年晚些时候报告称，涉及恶意第三方软件的攻击从2021年到2022年increased了633%。
隐私和安全担忧也deterred包括三星、苹果和Verizon在内的部分公司，使其不允许员工在工作中使用如ChatGPT之类的生成式AI工具。人们担心输入这些工具的机密信息可能会以有意或无意的方式泄露到公共领域。
除了AI Radar之外，Protect还提供用于缓解某些类型AI攻击（如提示注入攻击）的工具。Prompt injection是指通过文本指令（即提示）来完成任务的AI，被恶意的对抗性提示所欺骗，从而执行并非其原始目标一部分的任务。
Protect还可以扫描来自Jupyter Notebook的文件，这是创建AI模型和运行数据科学实验的更流行平台之一，以查找常见问题。（所谓的Jupyter“notebooks”包含了运行AI开发任务（如模型训练和微调）所需的所有代码。）research firms发现，未妥善保护的Jupyter Notebook文件可能容易受到基于Python的勒索软件和加密货币挖矿攻击。
除了其他可能存在问题的代码行外，Protect 还会评估 Jupyter 笔记本中是否包含个人身份信息（例如姓名和电话号码）、内部使用的认证令牌和凭据，以及带有“非许可”许可证的开源代码，后者可能会禁止其在商业系统中使用。
“我们必须从机器学习运营，或 MLOps，这是一家经过时间考验且成熟的做法，公司们已经实践了十多年，并注入安全性，”Swanson 说。“我们需要达到这样一个阶段：在大型企业内部大规模地真正执行 ML 安全运营——‘MLSecOps’。”
在这个新兴的人工智能防御安全工具领域，Protect 有一些竞争对手。Resistant AI 正在开发保护算法免受自动化攻击的系统。还有 HiddenLayer，该公司声称其技术可以在无需访问任何原始数据或供应商模型的情况下保护模型免受攻击。
Robust IntelligenceCalypsoAI 和 Troj.ai 也可被视为 Protect 的竞争对手。但 Protect 声称拥有金融、医疗、生命科学和能源行业的高知名度公私部门客户，这表明它已成功开辟出自己的利基市场。
“科技行业的整体放缓并未发生在 AI 或安全领域，”Swanson 表示。（并非要严厉核实 Swanson 的说法，但值得指出的是，确实存在一种）， 下滑趋势 在网络安全融资方面，实际上，2023 年第一季度标志着十年来安全性风险投资融资的最低点。这将对 Protect 产生何种影响？目前难以判断。）“Protect AI 正处于这一交汇点。就部署及其所创造的价值而言，现在是 AI 发展的关键时刻。我们帮助回答诸如‘我们如何降低 AI 的风险？’这样的问题。”