2024年12月19日：本文已更新，以反映Meta发布的Llama 3.3 70B模型现已全面可用，该模型在效率提升和性能优化方面取得了显著进展。
Llama 3.3
科技巨头Meta的最新模型——Llama 3.3 70B——现已在Amazon Bedrock、Amazon SageMaker AI以及通过Amazon Elastic Compute Cloud（Amazon EC2）使用AWS Trainium和Inferentia上提供。这代表了模型效率和性能优化方面的重大进步。新的纯文本模型在推理、数学、通用知识、指令遵循和工具使用方面相比早期版本有所提升。此外，Llama 3.3 70B提供了与Llama 3.1 405B相似的性能，同时仅需消耗其一小部分的计算资源。
该模型经过全面训练，具备强大的理解和生成能力，能够胜任多种任务，包括多语言对话用例、文本摘要与分析以及指令遵循。
2024年9月25日
Llama 3.2
下一代Llama模型来自科技公司Meta，包括其首个多模态模型，今日已在Amazon Web Services (AWS)上的Amazon Bedrock和Amazon SageMaker AI中提供。它们也可通过Amazon Elastic Compute Cloud（Amazon EC2）使用AWS Trainium和Inferentia获得。
Llama 3.2系列在先前Llama模型成功的基础上，推出了全新且高度差异化的模型，包括支持图像推理的小型和中大型视觉大语言模型，以及专为设备端用例优化的轻量级纯文本模型。新模型旨在提升可访问性和效率，并注重负责任创新与安全。此外，针对内容安全分类微调的Llama Guard 3 Vision也已同步发布至Amazon SageMaker JumpStart。以下是亮点：
Meta的首批多模态视觉模型 Llama 3.2 11B Vision 和 Llama 3.2 90B Vision
- Llama 3.2系列中最大的模型。
- 支持图像理解和视觉推理用例。
- 非常适合分析图表和图形等视觉数据，以提供更准确的答案和见解。
- 适用于图像描述、视觉问答、图文检索、文档处理及多模态聊天机器人，同时也适用于长文本生成、多语言翻译、编程、数学和高级推理。
针对边缘设备和移动设备优化的 Llama 3.2 1B 和 Llama 3.2 3B
Llama Guard 3 11B Vision：经过微调，用于内容安全分类
- 仅在Amazon SageMaker JumpStart中提供。
- Llama Guard 3 11B Vision可用于保护LLM输入（提示分类）和LLM输出（响应分类）的内容安全。
- 专为支持图像推理用例而设计，并优化用于检测有害的多模态（文本和图像）提示及其对应的文本响应。
根据Meta评估，Llama 3.2模型已在超过150个基准数据集上进行了测试，展现出与领先基础模型相媲美的性能。与Llama 3.1类似，所有模型均支持128K上下文长度，并支持涵盖英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语的八种语言的多语言对话应用场景。
访问AWS新闻博客以获取有关Llama 3.2的更多信息，并继续阅读下文，了解Meta的Llama模型系列现有能力的详情，以及AWS客户如何已经开始使用Llama模型。
2024年7月23日
Llama 3.1
Llama 3.1模型系列包含经过预训练和指令微调的大型语言模型(LLMs)，参数量分别为8B、70B和405B，支持广泛的应用场景。它们特别适合开发者、研究人员和企业用于文本摘要与分类、情感分析、语言翻译以及代码生成。
据Meta称，Llama 3.1 405B是最佳且规模最大的公开可用基础模型(FMs)之一，为生成式AI能力树立了新标准。它特别适用于合成数据生成和模型蒸馏，从而在后期训练中提升较小规模Llama模型的性能。这些模型还在通用知识、数学、工具使用和多语言翻译方面提供了最先进的能力。
得益于训练数据和规模的显著增加，所有新的Llama 3.1模型相比先前版本都实现了重大改进。这些模型支持128K上下文长度，比Llama 3增加了120K token。这意味着其容量是Llama 3模型的16倍，并在八种语言（英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语）的多语言对话应用场景中提升了推理能力。
Amazon Bedrock中的Llama 3.1模型
其他改进包括对语言细微差别的更深入把握，这意味着Llama 3.1展现出更强的上下文理解能力，并能更有效地处理复杂性。这些模型能够从长篇文本中获取更多信息以做出更明智的决策，同时利用更丰富的上下文数据生成更微妙和精细的响应。
"我们与Meta有着长期的合作关系，很高兴今天能将他们最先进的模型提供给AWS客户，"AWS首席执行官Matt Garman表示。"客户喜欢能够根据各自的具体用例定制和优化Llama模型，随着Llama 3.1现在在AWS上可用，客户可以访问最新的尖端模型，以负责任地构建AI应用。"
在过去十年中，Meta一直致力于将工具交到开发者手中，并促进开发者、研究人员和组织之间的协作与进步。Llama模型提供多种参数规模，使开发者能够选择最适合其需求和推理预算的模型。AWS上的Llama模型开启了无限可能，因为开发者无需担心可扩展性或基础设施管理。AWS提供了一种简单的一站式方式，让开发者轻松上手使用Llama。
“开源是将AI的好处带给每个人的关键，”Meta创始人兼首席执行官Mark Zuckerberg表示。“我们一直与AWS合作，将整个Llama 3.1模型系列集成到Amazon SageMaker JumpStart和Amazon Bedrock中，以便开发者可以利用AWS全面的能力来构建出色的产品，例如能够处理复杂任务的先进智能体。”
Llama 3.1 405B
- 适用于企业应用以及研发（R&D）。
- 用例包括：长文本生成、多语言和机器翻译、编程、工具使用、增强的上下文理解，以及高级推理和决策。
Llama 3.1 70B
- 适用于内容创作、对话式AI、语言理解和研发。
- 用例包括：文本摘要、文本分类、情感分析和细微推理、语言建模、代码生成以及遵循指令。
Llama 3.1 8B
- 适用于计算能力和资源有限的场景，以及移动设备。
- 训练时间更快。
- 用例包括：文本摘要和分类、情感分析以及语言翻译。
Amazon Bedrock为数万客户提供安全、便捷的方式，访问最广泛的高性能、全托管大语言模型（LLM）和其他基础模型（FM），并提供领先的易用性功能，是客户开始使用Llama 3.1的最简便途径。
希望访问Llama 3.1模型并利用AWS所有安全功能和特性的客户，可以通过Amazon Bedrock使用简单的API轻松实现这一目标，而无需管理任何底层基础设施。在发布之初，客户即可利用Llama 3.1提供的负责任AI能力。这些模型将与Amazon Bedrock的数据治理和评估功能协同工作，包括Amazon Bedrock的安全护栏（Guardrails）以及Amazon Bedrock的模型评估（Model Evaluation）。此外，客户还将能够通过即将推出的微调功能对模型进行定制。
Amazon SageMaker是数据科学家和机器学习工程师预训练、评估及微调基础模型（FMs），并针对对准确性、延迟和成本有严格要求的生成式AI应用场景部署具备细粒度控制的基础模型的最佳平台。今天，客户只需通过Amazon SageMaker JumpStart即可轻松发现并部署所有Llama 3.1模型。随着微调功能的即将推出，数据科学家和机器学习工程师将能够更进一步地基于Llama 3.1开展构建工作——例如，在短短数小时内针对其特定数据集对Llama 3.1进行适配。
Garman表示：“Amazon Bedrock是最便捷的快速构建Llama 3.1应用的平台，它提供了行业领先的隐私保护、数据治理、评估功能以及内置的安全护栏。Amazon SageMaker凭借丰富的工具选择和细粒度控制能力，赋能各类规模、各行业的客户轻松训练和调整Llama模型，从而在AWS上推动生成式AI创新。”
对于希望通过自主管理的机器学习工作流在AWS上部署Llama 3.1模型，以获得更大灵活性和对底层资源控制权的客户，亚马逊弹性计算云（Amazon EC2）加速计算提供了广泛的计算选项。AWS Trainium和AWS Inferentia2能够在AWS上为Llama 3.1模型提供高性能、具成本效益的微调与部署支持。客户可以使用Amazon EC2 Trn1和Inf2实例开始基于AWS AI芯片的Llama 3.1开发。
客户已在AWS上使用Llama模型
- 野村证券（Nomura）：一家业务遍及30个国家和地区的全球金融服务集团正在Amazon Bedrock上使用Llama模型，简化对密集行业文档的分析，以提取相关的商业信息，使员工能够将更多时间用于从日志文件、市场评论或原始文档等数据源中提炼洞察和关键情报。
- TaskUs：作为领先的外包数字服务和客户体验提供商，TaskUs在Amazon Bedrock上使用Llama模型来驱动其专有生成式AI平台TaskGPT。TaskUs基于该平台构建智能工具，自动化跨渠道的客户服务流程部分环节，使团队成员能够处理更复杂的问题，从而整体提升客户体验。
开始使用Amazon Bedrock上的Llama并在AWS新闻博客上了解更多。
如需了解有关Amazon SageMaker的更多信息，请访问AWS机器学习博客和AWS网站。
Amazon Bedrock和Amazon SageMaker属于“生成式AI技术栈”的不同层级。了解这意味着什么以及亚马逊为何在所有三个层级都进行深度投资。
如需了解AWS AI芯片如何为Meta Llama 3.1模型在AWS上提供高性能和低成本，请访问AWS机器学习博客并深入了解AWS定制芯片的研发实验室。