1月30日，Meta发布名为Code Llama 70B的代码生成AI模型，该模型拥有700亿个参数，是Code Llama系列中规模最大、性能表现最好的一个模型。
Code Llama 70B基于Llama 2开发，利用了大量代码数据进行预训练，可以根据自然语言的描述或示例输入，生成相应的代码输出，从而帮助开发者提高编程效率和质量。
据悉，Code Llama 70B是通过1TB的大量代码和代码相关数据进行训练的。该模型目前托管在代码存储库hug Face上。与最初的Llama 2模型类似，该模型有三个不同版本，可继续免费用于研究目的。
另外两个Code Llama工具，Code Llama - Python和Code Llama - Instruct，专注于特定的编程语言。CodeLlama-70B-Python已经额外在1000亿个Python代码Token上进行了训练，从而在生成Python代码时更加流畅和准确。CodeLlama-70B-Instruct可以处理各种任务，例如排序、搜索、过滤和数据处理等。
Meta表示，Code Llama 70B的性能已经接近GPT-4的水平，甚至在某些方面超越了GPT-4。根据HumanEval测试，Code Llama 70B得分高于Code Llama 34B，分别为65.2分和51.8分；但仍低于GPT-4，后者以85.4分占据主导地位。作为进一步的比较，GPT-3.5得分为72.3。MBPP基准测试也给出了类似的结果。
参考资料：
https://www.forbes.com/sites/janakirammsv/2024/01/30/meta-debuts-code-llama-70b-a-powerful-code-generation-ai-model/”
https://www.infoq.com/news/2024/01/code-llama-70b-released/
