我们对世界的体验是多模式的——我们看到物体、听到声音、感受质地、闻气味和品尝味道。模态是指某事发生或经历的方式,当一个研究问题包含多个这样的模态时,它就被描述为多模态。
Xtreme1平台支持对多模态的数据进行标注,治理和增强,用于相关的模型训练。
本期视频讲解如何上传数据。
1. 上传图片数据
从Dataset进入数据集,点击Create新建,选择Image分类
PNG和JPG等常用的图片格式是可以直接上传到平台的,也支持通过Zip压缩包来上传,非常简单。
2. 上传3D点云数据
支持PCD格式的点云文件,其中ASCII和Binary都是可以的。
# .PCD v0.7 - Point Cloud Data file formatVERSION 0.7FIELDS x y zSIZE 4 4 4TYPE F F FCOUNT 1 1 1WIDTH 121015HEIGHT 1VIEWPOINT 0 0 0 1 0 0 0POINTS 121015DATA binary
上传方式和图片类似,通过拖拽Zip压缩包来上传到平台上,成功之后就可以预览了。
3. 上传2D&3D融合数据
在此,需要注意的是,2D&3D融合数据需要放在相应的文件夹中,点云数据放在point_cloud文件夹中,图片分别放在image0 ,image1等文件夹里的文件夹中。
如果需要融合,也需要上传相机参数文件在camera_config 文件夹中。
2D & 3D点云融合数据的文件夹结构:
├── point_cloud│ ├── 00.pcd│ ├── 01.pcd│ ├── 02.pcd├── image0│ ├── 00.png│ ├── 01.png│ ├── 02.png├── image1│ ├── 00.png│ ├── 01.png│ ├── 02.png├── image2│ ├── 00.png│ ├── 01.png│ ├── 02.png├── camera_config│ ├── 00.json│ ├── 01.json│ ├── 02.json├── result│ ├── 00.json│ ├── 01.json│ ├── 02.json
最后上传Zip压缩文件到平台,这样就能成功的上传了。点击预览,再检查下映射的位置。
4. URL的方式上传
所有的数据,不管是图片和点云数据的压缩包,也都可以通过外部链接来直接上传。在上传的窗口中,粘贴链接的地址,确保是以.Zip结尾。即可直接上传数据。
5. 之后的规划
在以后几个版本中,我们会支持命令行界面下进行此操作。还会打通常用的数据集,可以实现一键上传。
欢迎您访问Xtreme1在GitHub的仓库,点亮星星是对我们最大的支持!
https://github.com/basicai/xtreme1/
如果您遇到了一些问题,欢迎在交流群讨论或者通过提Issue的方式告诉我们,我们一定会帮助到您!

