Stability AI正式发布新一代人工智能模型Stable Code 3B。该模型拥有30亿参数，专注于软件开发代码补全，支持在无专用GPU的笔记本电脑上本地运行。凭借卓越性能，其在与Meta CodeLLaMA 7B等更大规模模型的竞争中表现出色。
Stability AI向小型化、高性能模型的转型始于2023年末发布的文本生成模型StableLM Zephyr 3B。而作为面向代码生成的首个版本，Stable Code最初于2023年8月以预览版形式亮相。
Stable Code 3B不仅提供新代码行建议，还具备“填充中间”（Fill-In-the-Middle, FIM）高级功能，能够精准填补现有代码中的较大缺失部分。
模型的训练过程
训练过程中采用了旋转位置嵌入（RoPE）技术优化上下文维度，可将上下文长度扩展至10万token，这也是Meta Llama 2 Long等主流大模型采用的关键技术。
Stable Code 3B基于Stability AI Stable LM 3B自然语言模型构建。通过专注于软件工程数据的高级训练，该模型在保持通用语言任务能力的同时，获得了专业的代码补全技能。
训练数据涵盖代码仓库、开发者论坛及其他技术资源，并覆盖18种编程语言。
模型间比较
据Stability AI称，Stable Code 3B在多语言基准测试中表现卓越。该模型涵盖Python、Java、JavaScript、Go、Ruby和C++等流行语言。初步对比显示，其补全质量可与两倍规模的模型持平，甚至在某些场景下实现超越。
在30亿参数规模赛道中，IBM、HuggingFace和ServiceNow联合开发的StarCoder LLM是主要竞争对手。但数据显示，Stable Code 3B在Python、C++、JavaScript、Java、PHP和Rust等语言上的表现均优于StarCoder。
Stability AI订阅服务
Stable Code 3B作为Stability AI订阅服务的一部分，现已面向商业用户开放。该订阅服务于去年12月首次推出，用户除访问Stable Code 3B外，还可使用SDXL Stable Diffusion（图像生成）、StableLM Zephyr 3B（文本生成）、Stable Audio（音频生成）及Stable Video（视频生成）等全套AI工具。