大数跨境

Meta推出Sphere,一款基于开放网络内容的AI知识工具,最初用于验证维基百科中的引用

Meta推出Sphere,一款基于开放网络内容的AI知识工具,最初用于验证维基百科中的引用 海外洞察
2022-07-11
1
导读:Meta 研究团队已开源 Sphere,该模型目前基于 1.34 亿个公开网页。

Facebook 或许因助长“假新闻”时代而声名狼藉,但它也一直在努力在后续阶段为自己找到一席之地:即那场永无止境的对抗假新闻之战。在这一方面的最新进展中,Facebook 的母公司 Meta 今日宣布推出一个名为 Sphere 的新工具,该工具基于人工智能构建,其理念是利用开放网络上庞大的信息库,为 AI 及其他系统提供知识库。Meta 表示,Sphere 的首个应用场景是维基百科,目前正处于生产阶段(并非实时条目),用于自动扫描条目并识别其中的引用是否得到强有力或微弱的支持。

研究团队已将 Sphere 开源——它目前基于 1.34 亿个公开网页构建。

以下是其实际运作方式:

将 Sphere 用于维基百科背后的想法十分直接:该在线百科全书拥有 650 万条条目,平均每月新增约 17,000 篇文章。这种维基概念意味着内容的添加和编辑本质上是众包完成的,尽管有一支编辑团队负责监督,但这仍是一项艰巨的任务,且日益复杂,不仅因为其规模庞大,还因为其使命重大,考虑到有如此多的人,以及越来越多的教育工作者和其他机构将其作为权威资料库依赖。

与此同时,负责管理维基百科的维基媒体基金会一直在权衡利用这些数据的新方法。上个月,它宣布推出了企业级服务及其首批两名商业客户谷歌和互联网档案馆,这些客户利用基于维基百科的数据来促进自身业务利益,并将在此基础上建立更广泛、更正式的服务协议。

需要明确的是,今天关于 Meta 与维基百科合作的公告并未提及 Wikimedia Enterprise,但总体而言,为维基百科提供更多工具以确保其内容的真实性和准确性,将是潜在用户在考虑是否购买 Enterprise 服务时希望了解的信息。

Meta 向我确认,这笔交易不存在财务安排:无论是维基百科成为 Meta 的付费客户,还是反之,均无金钱往来。但 Meta 指出,为了训练 Sphere 模型,它创建了一个包含 400 万条维基百科引用的“新数据集(WAFER)”,其复杂程度远超以往此类研究所用数据。而且,就在五天前,Meta 宣布维基百科编辑人员也在使用其开发的一款基于 AI 的语言翻译工具,这表明双方显然存在更深层的关系。

就 Meta 而言,该公司仍受困于负面的公众形象,部分原因在于被指控允许错误信息和有害观点自由蔓延——或者,如果你曾经历过“Facebook 监狱”,即你认为自己分享的内容并无不妥,却仍因过于严苛的社交监管而触犯了规则。这确实是个烂摊子,但在这一点上,推出 Sphere 这样的产品感觉更像是一场公关活动,尽管它也可能成为一个有用的工具:如果它奏效,将表明公司内部有人正以善意努力开展工作。

以下是今日新闻的更多细节以及未来可能的发展方向:

— Meta 认为,Sphere 所代表的“白盒”知识库拥有比典型的“黑盒”知识源(例如基于专有搜索引擎发现的知识源)更多的数据(并隐含地意味着有更多的来源可用于验证)。Meta 在博客文章中指出:“由于 Sphere 能够访问比当前标准模型多得多的公开信息,它能够提供这些模型无法提供的有用信息。”Meta 用于构建和训练 Sphere 的 1.34 亿份文档被拆分为 9.06 亿个段落,每个段落包含 100 个 token。

— 通过开源这一工具,Meta 的论点是,它为 AI 训练模型及其他工作提供了比任何专有基础更坚实的基础。尽管如此,Meta 也承认,在早期阶段,这些知识的基础可能并不稳固。如果某种“真相”远不如虚假信息那样被广泛报道呢?这正是 Meta 希望在 Sphere 中聚焦的未来工作方向。“我们的下一步是训练模型来评估检索文档的质量,检测潜在的矛盾,优先选择更可信的来源——并且,如果没有令人信服证据存在,则承认它们和我们一样,仍可能被难住。”Meta 表示。

— 在这方面,这引发了一些有趣的问题:与其他知识库相比,Sphere 的“真理层级”将基于什么?由于它是开源的,用户或许可以调整算法,使其更好地满足自身需求。(例如,一个使用 Sphere 检查法律参考文献的用户可能会赋予法院文件和案例数据库更高的可信度;而另一个用于验证时尚或体育参考文献的用户则可能更侧重其他来源。)

— Meta 确认,它并未在自己的平台(如 Facebook、Instagram 和 Messenger)上使用 Sphere 或其版本,这些平台长期以来一直与不良行为者带来的错误信息和有害内容作斗争。(我们也询问了是否有其他客户正在排队等待使用 Sphere。)它拥有独立的工具来管理和审核自己的内容。

最重要的是,看起来这类技术是为超大规模场景而设计的。维基百科当前的规模可以说已经超出了任何规模的人类团队单独进行准确性核查的能力范围,因此这里的思路是利用 Sphere 同时自动扫描数十万条引用,以发现那些在更广泛网络中缺乏支持的引用:“如果某条引用看似不相关,我们的模型将建议一个更适用的来源,甚至指出支持该主张的具体段落。”它指出。

虽然目前仍处于生产阶段,但听起来编辑们可能正在挑选需要验证的段落。“最终,我们的目标是构建一个平台,帮助维基百科编辑系统性地发现引用问题,并大规模地快速修复引用或更正相应文章的内容。”

已更新 Meta 的进一步评论。

【声明】内容源于网络
0
0
海外洞察
海外资讯洞察,电商,AI
内容 14232
粉丝 0
海外洞察 海外资讯洞察,电商,AI
总阅读3.2k
粉丝0
内容14.2k