面向AI的下一代数据管理
如今，各行各业和现代应用都在加速计算、深度学习和人工智能（AI）的推动下快速转型。它们在进入到转型的下一阶段后，需要一种智能数据基础设施，将AI与计算能力更紧密地结合到企业数据中。
在与客户交流时，他们所面临的挑战主要围绕如何集成数据与企业AI工作流。这个问题的关键在于如何将AI技术应用到他们位于云端和/或本地的数据。
假设一名数据工程师需要部署开源大语言模型（LLM），并基于企业数据对其进行训练，以支持营销团队构建更优质的资产，赋能客服团队提供面向客户的聊天机器人。在这个过程中，由于数据分散在各个存储系统中，数据工程师难以清晰掌握其分布位置。为了进行训练，数据工程师需要导出、移动并将数据集中到一起，但这样做会导致时间和容量效率低下。并且，模型构建完成后，其所使用的数据的历史记录和上下文往往无法留存，导致无法追溯到模型的源头。此外，数据存储在本地环境中，而训练任务需依赖云端的GPU资源进行。
上述挑战对于我们接触过的数据工程师和数据科学家来说非常普遍。NetApp正在解决这些问题。但随着模型训练变得越来越先进，对训练数据的需求也将水涨船高，这些问题将会被放大。
随着下一代AI训练和微调工作负载的兴起，现有基础设施的局限性将有可能减缓创新的速度。关键挑战包括：
可为AI进行扩展和优化的数据基础设施；
可告知AI工作流数据存放位置和使用方式的数据管理；
可帮助数据科学家保护AI工作流，并保持模型洁净的相关数据服务。
AI模型变得日益复杂，其计算需求也随之提高。因此，企业的基础设施需要能够扩展并提供密集型AI任务（如训练和微调大语言模型）所需的高性能。与此同时，为了使AI运营变得经济高效，关键在于优化非存储资源的使用（例如最大程度地提高GPU利用率），因为资源使用不足会导致支出增加。最大程度地提高GPU利用率对于实现经济高效的AI运营至关重要，而要实现这一点，就必须提高读写操作的存储吞吐量。最后，由于训练数据一般存储在本地，而AI模型一般在云端训练，因此AI工作负载常常跨越本地和各种云环境，这意味着基础设施需要实现跨这些系统的无缝数据移动和管理。
AI工作负载常常需要访问大量数据，而这些数据可能分散在企业的不同系统和格式中。当企业要将分散在其数据基础设施中的专有数据用于微调和检索增强生成（RAG）用例时，这个问题就会变得更加严峻。由于存在数据孤岛，AI难以有效地汇总和分析数据。而为了管理从摄取到处理再到存储的整个AI数据生命周期，需要使用先进的数据管理解决方案管理非结构化数据的复杂性和数量。企业要想发挥AI的作用，相关数据就必须易于发现和访问，这就需要强大的元数据管理和数据探索工具。
随着AI的兴起，保护敏感数据并满足法规要求的稳健安全与治理需求日益迫切，尤其是在面对勒索软件等威胁时。若模型基于被污染或篡改的数据构建，可能对依赖AI的业务运营造成重大损害。与所有企业工作负载一样，AI工作负载需要有可用的数据，这些数据在自然灾害和系统中断时必须得到保护，以维持运营并避免高昂的停机成本。
如今，NetApp是AI基础设施领域的公认领导者之一。十多年来，追求创新的客户一直通过NetApp解决方案管理的数据获取AI驱动的洞察。作为NVIDIA的长期合作伙伴，NetApp已推出经过认证的NVIDIA DGX SuperPOD和NetApp®AIPod™架构，并在超大规模云平台的云服务上迅速推动了AI工作流的采用。作为非结构化数据存储领域的领导者，客户将其最宝贵的数据资产托付给NetApp。
那么NetApp是如何取得客户的信任？答案是坚持不懈的创新。客户将其数据托付给NetApp，NetApp则负责进一步帮助他们实现AI和高性能工作负载的操作化。为此，NetApp推出了全新的分离式架构，帮助客户能够突破性能和规模的极限。NetApp的增强型元数据管理引擎可帮助客户了解其企业中的所有数据资产，从而简化模型训练和微调。同时，NetApp提供的全套数据服务可帮助客户管理数据和基础设施，保护其免受自然和人为威胁。这一切都建立在NetApp ONTAP®的基础上，这个领先的统一存储架构提供了一个整合所有数据基础设施的统一架构。基于这一核心产品，NetApp能够在不断发展和采用新技术的同时，保持客户所依赖的强大安全性、企业级功能和易用性。
为了满足并超越AI驱动型企业的需求，NetApp不断提升ONTAP的功能。通过创建统一的数据环境、提高AI工具的集成度、实现智能数据管理的自动化，并且把性能和可扩展性放在第一位，以此巩固NetApp在AI数据存储和管理领域的领先优势。这些战略行动旨在简化AI项目的复杂性、提高数据的可访问性、可用性和安全性，并降低相关成本，从而使AI技术更容易为企业所用。
关注“联想凌拓”微信公众号
了解智能数据管理的更多资讯
想了解更多资讯欢迎拨打
销售热线：400-116-0099
服务热线：400-828-3001
或在官微后台留言，我们会及时回复您
点击阅读原文，了解更多联想凌拓产品与服务
