放弃造车的APPLE,当时宣布入局生成式AI。苹果是手机厂商,那么最大的刚需就是让LLM上手机端。苹果手机的人脸识别解锁也是最早量产的。看样子苹果是在往这块发力了。昨天4月24日苹果发布了自己的大语言模型open ELM。4个尺寸 270M 450M 1.1B和3B参数量。
·论文地址:https://arxiv.org/pdf/2404.14619.pdf·项目地址:https://github.com/apple/corenet·论文标题:OpenELM: An Efficient Language Model Family with Open-source Training and Inference Framework作者列表:Sachin Mehta, Mohammad Hossein Sekhavat, Qingqing Cao, Maxwell Horton, Yanzi Jin, Chenfan Sun, Iman Mirzadeh, Mahyar Najibi, Dmitry Belenko, Peter Zatloukal, Mohammad Rastegari里面不少华人。git地址是corenet。另一个openelm的git是以前其他公司搞的。
几个点:
1、目前他做对比实验主要是去年底全栈开源的OLMo模型。
https://github.com/allenai/OLMo在参数量和训练集都小于OLMo的前提下,效果有所提升。