“春来去南水,日月过东流。烟雨初成醉,风吹不知音。”这个无题诗是我最近从0开头做的一个0.05B参数的小模型写的,这个模型有10层神经网络,640个维度,10头注意力,上下文接受256个Token。用了网上下载的莎士比亚和唐诗300首数据集从0开始做了训练。模型实现了用唐诗或者莎士比亚问题对用户的提示词做了补全,虽然也是Transformer架构,但是并没有产生泛化而生成真正的“智能IQ”。 不过这些都是次要的,我想说的是在AI时代,一个我这样的半路出家的非专业都可以在AI的帮助下手搓一个小模型出来,还有多少事是不可能的呢? 以前大家都说专业的事让专业的人来做,恐怕很快要变成让会用AI的人来做呢。借用耐克的口号:Just Do IT!