小型语言模型+硬件
测评
DATE：2024.05.23
19:00--21:00
“
在人工智能的浪潮中，开源大语言模型（LLM）持续引领着技术创新的潮流。
随着Ollama框架的推出，以其简洁性和高效性，为本地运行小型语言模（SLM）型提供了一种全新的解决方案。
本次开放夜，我们将探索ollama框架在边缘设备上部署SLM的可能性。我们选择了包括lattepanda mu、lattepanda 3 delta以及树莓派5在内的多种边缘设备进行一系列测试。通过这些基础测试，我们希望能够更深入地理解SLM的潜力，以及它们在边缘计算环境中的实际应用。
我们相信，这些测试结果将为技术爱好者和开发者提供宝贵的见解，并激发更多创新的应用场景。
加入我们，一起探索ollama框架如何简化小型语言模型的部署，并发现边缘设备在AI领域的新用途。
🛠️ 测试硬件概览：
我们将在活动中展示以下边缘设备上SLM的性能：
Lattepanda Mu N100 16G：高性能边缘设备，搭载16GB内存。
树莓派 5 8G：流行的单板计算机，配备8GB内存。
OrangePi 5 8G RK3588 CPU：基于RK3588 CPU的设备，具备8GB内存。
Lattepanda 3 Delta 8G RAM, 64G EMMC：功能强大的设备，拥有8GB RAM和64GB EMMC存储。
01
探讨话题
• 技术实力： 不同硬件上运行SLM响应效果
• 应用场景： 如何在实际应用中发挥各硬件的潜力。
• 未来发展： 对模型未来发展趋势的预测和展望。
性能评估：
SLM在边缘设备上的实际表现和响应速度如何？
SLM的性能指标：
在边缘设备上运行SLM时，哪些性能指标是关键？
不同硬件配置对SLM性能的具体影响是什么？
硬件选择与配置：
对于希望在自己的项目中使用SLM的爱好者，有哪些硬件选择建议？
如何根据项目需求配置边缘设备以获得最佳性能？
资源消耗与优化：
SLM相比于LLM在资源消耗上有哪些优势？
如何进一步优化SLM以减少内存和处理时间的消耗？
模型的可定制性和灵活性：
用户是否可以根据自己的需求定制SLM？
ollama框架是否支持模型的快速迭代和更新？
技术挑战与解决方案：
在部署和运行SLM时可能会遇到哪些技术挑战？
未来发展趋势：
如何看待SLM未来的发展趋势和潜在影响？
随着技术的进步，SLM可能会带来哪些变革？
成本效益分析：
使用ollama框架和SLM相比于传统的云计算解决方案，成本效益如何？
02
分享嘉宾
李伟斌 漂移菌
蘑菇云创客空间资深会员
“上海市第一届职业技能大赛”网络系统管理项目执裁 专家
2023 Microsoft Build中国黑客松挑战赛优胜者
《树莓派4与人工智能实现项目》作者
03
活动信息
时间：5月23日 周四 19:00-21:00
地点：上海市浦东新区郭守敬路498号
浦东软件园 4号楼1楼 蘑菇云创客空间
扫码报名：
出行建议：
开车出行
园区内不对外开放停车，驾车来访的朋友们请将车辆停在居里路的划线停车位，沿居里路步行至郭守敬园西门进入园区。
公共交通
请从地铁2号线金科路站的3号出口出站（十字路口过两次马路），沿金科路步行10分钟即可抵达郭守敬园的5号门进入园区。
入口识别标志：卷帘门
蘑菇云创客空间大门入口位于4号楼面向8号楼的街道位置，门头是具有创客风格的卷帘门。
— END —