近日，甜菜欣欣团队在国际计算机视觉顶级会议 ICCV（International Conference on Computer Vision） 上展示了最新的研究成果——一项关于 AI 3D 数据集构建与质量优化的论文。自今年四月发布以来，开源数据集 Objaverse++ 在 Hugging Face 上的下载量超过2500次。
今年的 ICCV 于夏威夷举办，为期五天，汇聚了来自全球的学者与业界专家。团队在临近会议前夕收到口头报告的邀请，因此开启了一场紧凑的“夏威夷两天科研之旅”。
本次研究的起点源于欣欣在最早探索 AI 驱动的 3D 内容生成时的一个发现：科研社区中可供研究与训练使用的高质量 3D 数据极其有限。为此，团队设计了一套系统化的标注规范，并通过人工培训建立起高质量的数据标注流程。随后，团队利用人工标注数据训练了一个分类模型，用以对整个 Objaverse 数据集进行标注。
通过用户研究与定量分析，团队发现：在生成式 AI 模型训练中，较少但更高质量的 3D 数据，往往能够带来更优的模型表现。这项研究不仅展示了高质量 3D 数据在生成式 AI 中的重要性，也为未来 AI 理解与生成三维世界提供了新的视角。
这个数据集有什么用？
无论你是科研人员还是中小企业，如果你想用AI生成3D模型，现有的开源数据集质量参差不齐。即使目前最大的Objaverse，里头很多扫描入库的模型并不适合生成鲜艳的表面纹理和清晰的拓扑结构。你可以使用 Objaverse ++ 的数据标注，筛选出 Objaverse 里质量较高的部分，用更少的算力训练出更好的AI。
Objaverse++ 不同画风的标注
数据集包含了哪些标签？
Objaverse++ 数据集根据对文生3D算法的理解，为每个物体标注了以下信息——
- 模型质量和美观度：从零到四的打分；
- 是否多个物体；
- 是否为场景；
- 是否包含透明的部分；
- 是否为人物；
- 贴图是否为单色。
Objaverse++ 的布尔标注
数据质量验证
团队设置了一个图像到 3D 的生成任务，以使用 OpenLRM 评估该数据集。实验比较了：
从 Objaverse 中随机抽取的 100,000 个对象子集（训练集 A）
经过质量过滤的约 50,000 个高质量对象的数据集（训练集 B）
实验发现——
更高的生成质量：用户研究显示，用户对在 Objaverse++ 上训练的模型有显著的偏好。
更快的收敛速度：Objaverse++ 训练出的模型在精心挑选的数据集上展现出更快的收敛速度。
如何下载这个数据集？
在这里：
huggingface.co/datasets/cindyxl/ObjaversePlusPlus
也可以通过文末的 “查看原文” 跳转到 Huggingface。
写在最后
欣欣在2023年开始筹备这个科研项目，中间一波三折，很幸运得到合作伙伴们的支持：Abaka AI 提供的标注服务，Exascale Labs 的算力和基建，2077AI、Zillow Networks 还有几位艺术家和科研朋友等的帮助。
欣欣看来这个项目很有意思的点，在于部分回答了 AI 是否理解美。团队训练了一个 RNN 的神经网络结构，来进行大规模的 AI 打分。这个分类器也一并开源了出来，供大家自行探索。
在实验过程中，欣欣也多次被 AI 的“自我学习逻辑”所惊艳。例如，当模型尝试判断一个物体是否属于“场景”类别时，它会主动在 3D 网格中寻找类似地面的平面结构。令人惊讶的是，这一判断策略并非人工设定，而是模型在学习过程中自主发现的规律。
这篇论文的顺利收尾，也标志着欣欣的 AI 科研暂时告一段落。目前欣欣在全职创业，希望落地生成式 AI，让大家的生活更加美好和丰富。
本文为粉丝投稿，来自甜菜欣欣。