大数跨境

Hugging Face 推出ProtoStar,挖掘科研数据宝库

Hugging Face 推出ProtoStar,挖掘科研数据宝库 Ai时代前沿
2026-11-07
5
导读:科研数据存量巨大。大学、政府机构和实验室花了几十年收集这些数据,覆盖范围从气候变化到人体生物学。

科研数据存量巨大。大学、政府机构和实验室花了几十年收集这些数据,覆盖范围从气候变化到人体生物学。其中很大一部分是公开可得的。但公开并不等于其他研究者就能方便地用起来。有时候,仅仅把数据整理成可用的形式,就要耗费大量工作。而随着 AI 越来越多地被用于科研,这构成了新的挑战。

Hugging Face 想在这方面做点事。上周,发布了 ProtoStar (原恒星)项目:一项旨在让公共资金支持的科研数据集、模型和代码更容易被找到、理解和复用的计划。项目合作方包括卡内基梅隆大学、Astera Institute、Open Research Community Accelerator(ORCA)以及其他学术与研究机构。目标是推动各机构以这样一种方式共享研究,让别人能直接拿来用。这包括那些使用 AI 的研究者,他们往往需要把来自多个不同来源的数据整合到一起。

问题之一是,每家机构都有自己的做事方式。数据可能以不同的格式存储,也可能缺少足够的说明信息来解释它到底包含什么。有时数据分散在多个存储库里,研究者得先把所有碎片都找齐,才能开始工作。

AI 也无法真正绕过这些问题。一个模型或许能扫过数百万条记录,但如果数据本身一团糟,或者缺少足够的信息说明其含义,它能做的也就有限。

而数据还在持续涌入。Hugging Face 表示,其平台目前托管了超过 17000 个公开科研数据集。事实上,2026 年前九个月新上传的数据集数量,是去年同期三倍以上。随着可获取的科研数据越来越多,问题变成:研究者实际能真正用起来的比例有多大。

把科研数据整理到可供 AI 使用的状态,需要相当多的工作。要理解这份投入有多大,可以想想气候数据。你可能有成千上万、甚至上百万条气温读数,但大量问题仍无答案:这些数字究竟说明了什么?它们是在哪里记录的?用的是什么单位?测量方式是否一致?

在宣布 ProtoStar 的博客文章中,Hugging Face 写道:“科研结果的公开获取渠道正在扩大,但数据仍然分散……关于‘面向 AI 的科研’存在哪些障碍的研究显示,这些障碍既是制度性的,也是技术性的:数据整备需要更好的工具、支持和激励。”

ProtoStar 希望让其中一部分变得容易些。参与机构将着手以其他研究者可直接使用的方式共享其数据集、模型和代码,而不必让人从零开始摸索。Hugging Face 本身已经提供托管这些材料的平台,所以基础设施已经具备一部分。更繁重的任务,是把研究本身整理成更可用的形态。

该项目还计划举办一系列开放挑战赛,让研究者用这些共享资源动手尝试,看看实际能做出什么。

这些事并不全然是新的。多年来,科学家一直在应对混乱的数据集、缺失的文档和不兼容的系统。ProtoStar不会让这些问题一夜消失,但它可能帮助各机构在这些问题上取得一些进展。

ProtoStar 的首个挑战赛应该能让组织者拿到一些具体的东西去推进。卡内基梅隆大学将于 11 月 2 日至 13 日主办 Climate Risk Intelligence挑战赛,把参与者聚集起来分析美国210 个城市的历史气象记录。

参与者将使用截至 2018 年的数据,尝试预测 2019 年至 2026 年的状况。任务涵盖年度气温、降水量、每年最热一天以及制冷度日。他们的结果将与实际观测值比对,并与基础统计方法(包括历史均值和线性趋势)进行比较。

这个测试有意思的地方在于,被预测的时间段大部分已经有实际真实记录。因此可以对比看出,更复杂的 AI 方法是否真的优于更简单的方法。

不过,预测结果并不能说明全部问题。ProtoStar 同样关心的是:参与者在使用这些公开资源时,会不会撞上那些老问题——文档、格式和数据质量。

项目并不保证能解决这些问题。整理科研数据集需要时间和专业能力,而不同研究领域的要求差异极大。卡内基梅隆大学的这次挑战赛会是一个很好的检验。该校打算记录参与者遇到的具体障碍以及可以改进的地方。对 ProtoStar 而言,这些发现可能成为第一个重要信号,用来判断这套做法能否走出单一的气候挑战、推广到更广的范围。

【声明】内容源于网络
0
0
Ai时代前沿
最新Ai发展动态,新闻、热门应用、未来前瞻。 助力科技企业先进技术商用落地; 协助传统企业数字化转型和智能加速。
内容 97
粉丝 0
Ai时代前沿 最新Ai发展动态,新闻、热门应用、未来前瞻。 助力科技企业先进技术商用落地; 协助传统企业数字化转型和智能加速。
总阅读2.3k
粉丝0
内容97