大数跨境
0
0

【人工智能】重新思考基础 AI 模型时代的开源

【人工智能】重新思考基础 AI 模型时代的开源 七元宇宙
2025-07-29
2
导读:引言 当全球人工智能界努力解决规模和可访问性之间的矛盾时,Lelapa AI 研究人员最近的研究为包容、高效的

引言 当全球人工智能界努力解决规模和可访问性之间的矛盾时,Lelapa AI 研究人员最近的研究为包容、高效的人工智能提供了一个令人信服的例子。

在全球范围内,将海量语言模型精简为可部署的本地化工具已成为一项战略重点,无论其目的是为了降低能源成本、减轻对云的依赖,还是将人工智能带给服务匮乏的人群。然而,很少有努力能像InkubaLM 最近的转型那样,如此清晰地体现这一转变。

01

非洲多语言小语言模型

上个月,七名非洲研究人员将多语言模型缩小了 75%——这一成果并非通过强力计算实现,而是通过战略压缩和开源架构的推动作用实现的。

这一壮举发生在 Lelapa AI 的 Buzuzu-Mavi 挑战赛期间。来自 61 个国家的 490 名参赛者受邀压缩 InkubaLM,这是非洲首个涵盖五种非洲语言的多语言小语言模型 (SLM)。InkubaLM 是根据 Hugging Face 上的模型卡从零构建的,它采用了 LLaMA-7B 开源架构设计的轻量级版本,并针对低带宽环境进行了优化。

通过公开模型架构和权重,Lelapa AI 使参与者能够检查、调整和优化模型,而不受专有限制。

排名前三的团队均来自非洲,他们采用了多种开源技术——提炼、量化、词汇修剪、适配器头和共享嵌入——将模型参数减少到仅 4000 万个,同时保持了斯瓦希里语和豪萨语的翻译质量

在只有三分之一的人拥有可靠互联网、70% 的人依赖入门级智能手机的大陆上,将 InkubaLM 这样的模型压缩为离线运行标志着一个转折点。

这就是被云订阅锁定的人工智能与可以在基苏木或卡诺的低成本智能手机上运行的人工智能之间的区别。由于 InkubaLM 是基于开放许可发布的,并且基于可检查、可适应的架构,非洲的研究人员能够根据自身实际情况进行定制。这种架构和许可层面的开放性对于实现离线部署和现实世界的相关性至关重要。

02

构建人工智能问题

这一事件凸显了人工智能领域一场更广泛的争论:构建和改造人工智能的权力是否应该集中在少数几家公司手中,还是应该分配给任何拥有足够计算能力和开放工具使用权的人?

这种区别具有深远的影响——不仅对于创新而言,而且对于谁能够在自己的环境中塑造人工智能而言。

要回答这个问题,我们首先需要弄清楚“开源人工智能”的真正含义,为什么这个术语突然受到争议,以及战线——风险控制与民主准入——如何影响一切,从出口管制法到基苏木的农民是否可以用斯瓦希里语获得干旱建议。

03

什么是开源人工智能?

“开源人工智能”的定义变得颇具争议,正是因为人工智能系统并不完全适合传统的开源软件类别。

经典的开源定义源于软件,其核心在于使用、研究、修改和共享代码的自由。但人工智能引入了一些新的要素,使这一框架变得复杂:模型权重(训练参数)、训练数据(通常海量且敏感)以及计算需求,这些需求使得大多数用户几乎无法进行“修改”。

  • 一些支持者认为,真正的开源人工智能必须包含所有三个组成部分:源代码、模型权重和训练数据(或训练方法的透明文档)。

  • 其他人则认为,即使训练数据仍然是专有的,发布权重和代码就足够了。

  • 还有一些人质疑开源框架是否适用——毕竟,你不能像读取 Python 函数那样轻松地“读取”数十亿个浮点参数。

实际上,大多数当前的 AI 版本仅提供了其中的部分功能。模型权重公开,但训练数据和方法保密的情况很常见。这种不彻底的做法有时被批评为“公开洗白”,造成了广泛的困惑。我们研究的是一个真正的开源模型,还是仅仅是一个可以公开下载的产物?

开放源代码促进会 (Open Source Initiative) 现已在其官方开源 AI 定义中划定了明确的界限:AI 系统必须包含详细的数据信息、完整的源代码和模型参数,才能被认定为开源。如果无法检查、复制和修改所有这三个组件,则它不属于开源。

按照这个标准,目前大多数被贴上“开源”标签的人工智能系统,包括像LLaMA 2这样的热门模型以及其他许多系统,都达不到这个标准。任何低于这个标准的系统或许仍然有用,但却缺乏“开源”一词所蕴含的透明度和协作潜力。

04

风险控制与民主准入

关于开源人工智能的争论常常被归结为安全权衡:透明度会增加风险,还是通过集体监督降低风险?如今,这条分界线已经分化成两大阵营。

营地1:关闭=更安全

该组织由大多数主要实验室(OpenAIGoogle DeepMind、Anthropic)和一些国家安全专家组成。他们认为,先进的人工智能是一种军民两用技术,类似于核研究或生物工程。他们认为,过早开源强大的模型可能会让任何人,即使是那些没有专业知识的人,都可能造成重大损害。

例如,OpenAI 最初致力于开放,但现在发布的内容远不如以往。这种更为谨慎的立场在整个领域都获得了关注,从 Anthropic 对人工智能生成的生物武器的警告,到前谷歌首席执行官埃里克·施密特呼吁对人工智能模型进行出口管制。这些立场的背后是日益增长的担忧:透明度非但不能防止危害,反而可能加速滥用。

作为回应,这些组织通常倾向于托管访问,通过 API、门控许可证或安全过滤器提供其模型,将使用限制在已批准的环境中。这有助于他们监控部署、执行安全措施并在必要时进行干预。顺便说一句,这也符合他们的商业利益。

营地 2:开放 = 更安全

另一方是像 LAION 这样的开源社区、像 Mistral 这样的人工智能初创公司,以及像 Meta 的 Yann LeCun 这样的顶尖研究人员。他们认为,开放能够增进信任,提高安全性,并实现权力的去中心化。

这一阵营经常从更广泛的开源软件运动中汲取灵感。Transformer 架构、PyTorch,甚至 GPT 的早期版本都已公开发布,激发了一系列创新。从这个角度来看,当更多人能够检查、改进和调整人工智能时,它的发展会更快,也更安全。

例如,Meta 的 LLaMA 2 和 Mistral 的 7B 型号均以宽松的许可证发布,并迅速获得了反响:几周之内,社区就开发出了安全滤镜、插件、微调和其他适配功能。这些改进是任何一家公司,无论资金多么雄厚,都无法独自完成的。

商业动机

商业动机使这一说法变得复杂。

米斯特拉尔积极游说欧盟立法者放弃直接监管基础模型的计划,并主张只有人工智能应用才应该面临“硬性规定”。首席执行官亚瑟·门施 (Arthur Mensch) 将此视为保护欧洲竞争力的举措,并告诉立法者,基础模型“只不过是编程语言的更高抽象”,不应受到不同的监管。

批评人士指出,微软和OpenAI等美国巨头也持有这种立场,这无疑会给Mistral的商业模式带来豁免,同时加重下游竞争对手的负担。在获得欧盟《人工智能法案》的优惠待遇几个月后,Mistral宣布与微软合作,这引发了观察人士的质疑,其倡导开源究竟是出于真正的原则,还是战略定位。

同样,Meta 对开放性的拥抱与他们与 ChatGPT 直接竞争的努力不谋而合;发布 LLaMA 2 帮助他们将竞争对手的优势商品化,同时围绕自己的架构构建生态系统。

然而,无论动机如何,技术优势依然切实存在。开源AI模型能够根据本地语言(例如InkubaLM)、文化和需求进行定制——这是封闭模型无法有效实现的。支持者认为,这是一种挑战垄断、扩大准入、构建更公平的AI未来的手段。

05

利害攸关

这些阵营及其相关观点反映了关于人工智能应该如何治理以及由谁来治理的更深层次的价值观。

  • 信任与透明度:如果人们不了解人工智能系统的训练方式或输入的数据,就很难建立信任。开放模式为透明度和问责制提供了途径。

  • 治理:封闭模式将控制权集中在少数几家公司手中。开放模式则有利于协作监督,这对于强大技术的民主治理至关重要。它们还支持人工智能作为数字公共基础设施 (DPI) 的发展:这些工具可检查、可审计,并根据公共利益进行治理,就像身份或支付领域的开放标准一样。

  • 创新:开放加速进步。开源并非闭门造车,而是为实验和发明构建一个共享的基础。

  • 安全性:这个问题没有简单的答案。开放模式可能会被滥用,但它们也使更多人能够构建防御机制、审计漏洞,并减少对不透明系统的依赖。

  • 公平:开放降低了进入门槛,创造了公平的竞争环境。它还使各国和各社区能够构建和调整人工智能系统,而无需依赖封闭的、受外国控制的平台。这是实现数字主权和包容性数字公共基础设施的关键一步。但是,如果其他层面仍然集中,模型层面的开放并不能保证公平的访问。即使权重开放,组织仍然需要大量的计算资源、专业知识和平台基础设施,从而形成新的瓶颈,权力可能重新集中。真正的公平需要解决这些更深层次的依赖关系,而不仅仅是开源模型本身。

06

灰色地带:开放性是一个范围

当今大多数“开放”人工智能模型都处于一个有问题的灰色地带,使得定义和捍卫真正的开放性变得复杂。

例如,Meta 广受好评的 LLaMA 2 公开了代码和模型权重,但隐藏了关键的训练数据,并附加了限制性许可条款,限制了实际的重复使用。同样,Mistral 7B 采取了更为宽松的立场,但仍然缺乏完全透明,对其数据集和训练方法的了解有限。

即使是经常被誉为开放性里程碑的稳定扩散项目(Stable Diffusion),也使用了未经明确同意从网上抓取的图像中收集的数据集进行训练,引发了严重的隐私和伦理担忧。这种不透明的数据来源方式破坏了开源倡导者所倡导的透明度和问责制的基本原则。

这些模糊性给政策制定者、开发者和最终用户带来了真正的不确定性。当开放的确切界限仍然模糊时,建立清晰的治理标准、准确评估安全隐患并确保负责任的使用将变得极具挑战性。

简而言之,部分开放不仅仅是不完整的——它还可能破坏信任并削弱开源人工智能承诺带来的利益。

07

看法

  • 基础 LLM 功能强大。它们帮助组织快速访问高级语言功能,使团队能够加速开发用于摘要、分类和信息检索等任务的工具。对于许多人来说,这些大型预训练模型为实验生成式人工智能提供了快速的入口。

  • 规模较小的开源模型(通常称为小型语言模型,简称 SLM)提供了另一种机遇。它们使组织能够超越消费范畴,开始塑造 AI,以反映自身需求,并针对特定任务、本地语言、文化背景或特定行业领域进行微调。开源模型解锁了封闭系统很少允许的所有权层面。

  • 对于技术能力和专业需求均无法通过商业 API 满足的组织而言,灵活性至关重要——例如研究机构、具有独特安全需求的政府机构、构建 AI 驱动产品的科技公司,以及使用服务匮乏的语言或领域的组织。对于具备必要专业知识的团队而言,能够从精心构建、可下载的模型入手,能够带来专有 API 无法比拟的可能性:在安全环境中进行实验、深度定制以及对部署的完全控制。

  • 这些决策具有地缘政治意义。正如奥布拉·安东尼 (Aubra Anthony) 在《法律战》(Lawfare)中指出的那样,许多国家,尤其是发展中国家,寻求人工智能主权并非出于自尊,而是为了避免被束缚在不符合其语言、文化或优先事项的系统中。开放模式提供了一条更现实的自主之路,使其能够塑造和管理人工智能工具,而无需拥有整个计算堆栈。

  • 开源 LLM 是一种数字公共基础设施。如同支付或宽带领域的开放标准一样,它们提供了一个共享的、可检查的基础,其他人可以在不放弃控制权的情况下在此基础上进行构建。这种框架不仅对寻求技术自主的国家至关重要,也对美国的非营利组织、民间机构和小型企业至关重要,其中许多组织面临着同样的压力:API 成本上升、供应商锁定以及对其所依赖工具的影响力有限。将开放性重新定义为深度信息基础设施 (DPI) 明确了其中的利害关系:不仅仅是便利性或成本,还有主权、韧性以及在人工智能时代的有效参与。

总结

InkubaLM 的成功表明,当社区按照自己的方式塑造人工智能时,一切皆有可能。但更广泛的教训在于竞争和选择。当少数几家公司控制着人工智能的基础设施——从训练到部署——时,他们实际上就为其他所有人的创新设定了规则。

风险在于市场集中度,这会扼杀促成 InkubaLM 突破的那种实验性尝试。如果基础模型仍然被专有 API 所束缚,如果监管框架偏向现有平台,如果有意义的 AI 开发对计算能力的要求仍然过高,那么我们将把少数几家公司牢牢地钉在永久的守门人位置上。

仅靠开源是不够的

开放模式并不能保证更好的结果,但它们保留了竞争压力。

它们迫使专有供应商在性能上展开竞争,而不是将其锁定。它们使新进入者能够在共享基础上进行构建,而不必从零开始。它们确保创新能够在少数主导企业的战略重点之外进行。

但仅有开放是不够的。正如纳迪亚·安德拉达最近在ICTworks上指出的那样,那些在开发领域中一切建立在开源原则之上,同时仍然依赖拨款的组织,一旦资金消失,即使商业公司将其开源成果货币化,也会发现自己处于弱势。缺乏可行商业模式的纯粹开源方法实际上会随着时间的推移减少获取途径,导致有前景的技术被闲置,而商业替代方案则会蓬勃发展。

我们能否建立可持续的开放生态系统?

考虑到这一点,我们面临的问题是,我们能否围绕开放模式构建可持续的生态系统,在保持竞争压力和民主参与的同时,确保基础设施的可行性和可持续性。如果没有这种竞争动力,我们不仅有可能将工具,甚至整个人工智能发展方向都外包给少数几家实力雄厚的公司的内部路线图。

风险重大,但现实远比在开放与封闭的未来之间做出简单的选择更为复杂。市场竞争、民主意见和企业战略都将塑造人工智能的发展方向,而且这些因素往往同时以相互矛盾的方式发挥作用。

问题不在于替代方案是否仍然可能存在;它们一定会存在。问题在于它们是否仍然实用且具有足够的竞争力,能够提供有意义的选择,并对主流平台进行约束。

InkubaLM 的成功表明,创新仍可能涌现,但要维持替代方案,仅仅依靠技术能力是不够的。它需要可行的生态系统,能够随着时间的推移与根深蒂固的平台竞争,同时应对所有技术市场都面临的经济和政治压力。

免责声明:
本文所发布的内容和图片旨在传播行业信息,版权归原作者所有,非商业用途。如有侵权,请与我们联系删除。所有信息不构成任何投资建议,加密市场具有高度风险,投资者应基于自身判断和谨慎评估做出决策。投资有风险,入市需谨慎。
设为星标 🌟🌟🌟 避免错过
虚拟世界没有旁观者,每个点赞都是创造历史的像素
关注我,一起探索AWM⁺
推荐阅读
告别数字化转型,迎接 AI 优先的业务转型

2025-07-28

图片

AI阅读是什么?揭秘生成引文的隐秘机制

2025-07-25

图片

AI 计算无法创建新的类系统

2025-07-24

图片

商业赞助
点击下方 “目录” 阅读更多

【声明】内容源于网络
0
0
七元宇宙
AI、Web3、Meta聚合型精选内容分享。以前沿视角,探索科技未来;让每一个人,都走在时代的前沿
内容 3217
粉丝 0
七元宇宙 AI、Web3、Meta聚合型精选内容分享。以前沿视角,探索科技未来;让每一个人,都走在时代的前沿
总阅读729
粉丝0
内容3.2k