大数跨境

训练大模型没数据怎么办,这19个开源数据集你必须知道

训练大模型没数据怎么办,这19个开源数据集你必须知道 AI工程化
2023-12-04
14
导读:大模型时代,数据为王,在哪里寻找开源数据集?是一个比较头疼的问题。

大模型时代,数据为王,在哪里寻找开源数据集?是一个比较头疼的问题。经过调研整理,下面列出目前可以寻找开源大模型数据集网站清单,一网打尽,请您按需使用。如果对您有帮助,希望可以点赞,在看。


开源数据集网站:


1、huggingface.co开源数据集

链接:https://huggingface.co/datasets

镜像:https://hf-mirror.com/datasets



2、opendatalab开源数据集

链接:https://opendatalab.com/


3、aws亚马逊开源数据集

链接:https://registry.opendata.aws/


4、微软开源数据集

链接:https://www.microsoft.com/en-us/research/tools/


5、谷歌开源数据集

链接:https://datasetsearch.research.google.com/

没有FQ工具,暂时打不开。


6、github开源数据集

链接:https://github.com/awesomedata/awesome-public-datasets


7、modelscope开源数据集

链接:https://modelscope.cn/datasets



8、luge千言开源数据集

链接:https://www.luge.ai/


9、tianchi天池开源数据集

链接:https://tianchi.aliyun.com/dataset/


10、kaggle开源数据集

链接:https://www.kaggle.com/datasets


11、uci开源数据集

链接:https://archive.ics.uci.edu/datasets


12、计算机视觉开源数据集

链接:https://visualdata.io/discovery


13、dataju聚数力开源数据集

链接:http://dataju.cn/Dataju/web/home


14、hyper超神经开源数据集

链接:https://hyper.ai/datasets


15、baai开源数据集

链接:https://data.baai.ac.cn/data


16、百度飞桨开源数据集

链接:https://aistudio.baidu.com/datasetoverview


17、payititi帕衣提提开源数据集

链接:https://www.payititi.com/opendatasets/


18、启智开源数据集

链接:https://openi.pcl.ac.cn/explore/datasets


19、和鲸开源数据集

链接:https://www.heywhale.com/home/dataset


希望以上开源数据集网站清单,能对您训练大模型有所帮助,持续关注开源数据集,为持续大模型输送语料。

【声明】内容源于网络
0
0
AI工程化
专注于AI领域(大模型、MLOPS/LLMOPS 、AI应用开发、AI infra)前沿产品技术信息和实践经验分享。
内容 584
粉丝 0
AI工程化 专注于AI领域(大模型、MLOPS/LLMOPS 、AI应用开发、AI infra)前沿产品技术信息和实践经验分享。
总阅读688
粉丝0
内容584