Building a Data Foundation for Agentic AI | AWS Guide

AWS 是全球较为全面的云，使组织能够加速创新、降低成本并更有效地进行扩展
迁移以实现现代化 → 现代化以释放数据 → 释放数据以运行 AI
从初创企业到大型企业，找到适合您的需求的 AWS 解决方案。访问量身定制的资源、定价模式和支持级别。
大多数组织都在投资人工智能以提高工作效率。许多组织已经实施了一定程度的生成式人工智能，现在正着眼于下一步，即利用智能体人工智能实现复杂工作流程的自动化。
智能体人工智能的成功取决于诸多因素，但其中最重要的莫过于数据基础（使组织中的智能体能够安全高效地处理高质量数据的架构准备、流程和机制）。
智能体与基于查询和响应模式的传统数据工作流程有明显的不同，前者能够独立推理、规划和执行复杂任务，从而在极少人工干预的情况下实现预定目标。为了实现最佳预期结果，智能体需要发现并访问高质量数据。它们需要在合适的上下文、内存和延迟条件下运行，才能快速提供相关结果。由于它们能够自主处理大量数据，因此数据治理至关重要。
为智能体人工智能构建数据基础是一个循序渐进的过程，并不意味着从零开始。您可以从自身现状出发，并在构建过程中评测当前能力的局限性。根据当前状况部署智能体，有助于您确定优先投资的领域。
本指南围绕一些关键问题展开，旨在帮助您了解智能体需要怎样的数据基础。
数据通常分散在各个业务部门、遗留系统和供应商平台。这通常是由于分散的采购决策、各业务部门需求的差异以及业务的快速增长造成的。然而，这会导致数据孤岛的形成，而克服这些数据孤岛的成本可能很高，而且过程也十分繁琐。此外，由于底层系统是为支持特定的、已定义的访问模式而构建的，因此扩展以支持智能体带来的额外负载变得十分困难。基于开放标准构建的数据基础架构使组织能够大规模地让智能体访问其数据，同时在整体架构中规划未来的灵活性。
Apache Iceberg 等开放表格式（OTF）为数据湖带来了类似数据库的功能，包括 ACID 事务和数据结构演进的能力。至关重要的是，OTF 实现了互操作性，这意味着任何兼容的工具、引擎或智能体都可以安全地处理相同的数据，而无需重新格式化或复制数据。这一点尤为重要，因为智能体需要跨多个引擎和工具运行以完成工作流程。
开放表格式（OTF）也是数据湖仓架构的基础，它将基于 OTF 的数据湖与集中式治理层相结合，使其能够像数据仓库一样运行。数据湖仓架构具有可扩展性、灵活性，并提供统一的数据存储和处理系统。它们能够更轻松地将数据集整合为可重复使用的模式（通常称为数据产品），并具有广泛的分析工具兼容性和集中式访问控制。
PostgreSQL（用于事务性数据）、Apache Kafka（用于数据流式传输）、Apache Spark（用于数据处理）和 OpenSearch（用于搜索）等开源技术为组织提供了经过验证且广泛采用的构建模块。由于这些技术基于开放标准构建，并拥有广泛的社区支持，因此智能体可以受益于更广泛的公开代码、文档和其他信息，从而做出更准确的决策。
开放协议为智能体之间以及与周围环境的交互提供了一种标准化的方式。模型上下文协议（MCP）将智能体连接到外部数据来源、工具和 API，以便它们可以检索上下文并采取行动。Agent2Agent 协议（A2A）使基于不同框架构建的智能体能够相互通信。这些协议共同作用，意味着智能体可以从推理链中的多个数据来源获取信息，并将任务移交给其他智能体。
人工智能代理需要能够找到适合其使用案例的数据，并且通常需要在单个工作流程中使用多种数据类型。这些数据包括结构化数据（例如客户记录、交易和库存水平）、存储在 HTML、JSON 或 XML 文件中的半结构化数据，以及非结构化数据（例如文档、支持工单或电子邮件存档）。当数据分散在不同的系统和格式中时，人工智能代理必须能够定位并评估每一种数据。
数据目录在帮助人工智能代理发现可用数据、数据含义以及数据存储位置方面发挥着重要作用。数据目录包含元数据，元数据是对数据的描述性信息，包括模式、数据类型、世系、新鲜度和所有权。这对于帮助人工智能代理理解数据来源中包含哪些数据尤为重要。
当组织出于性能、合规性或业务原因维护多个目录时，目录联合身份验证人工智能代理发现跨系统存储的数据。一些组织更进一步，将结构化、半结构化和非结构化数据整合到单个存储层中。这简化了数据发现过程：减少了人工智能代理需要查找的位置，并提供了一种统一的方法来查找和评估各种类型的数据。
在智能体能够有效利用数据之前，通常需要对数据进行清洗、丰富和转换。原始数据可能包含不一致的格式、缺失值或冗余记录，这些都会降低智能体的推理准确率。尽管智能体可以在运行时执行一些数据准备工作，但数据转换工具和管道能够可靠地大规模处理数据准备工作。用于智能体人工智能的数据转换管道还可以包括向量嵌入生成、用于检索增强生成（RAG）的数据分块、元数据生成与丰富以及数据质量检查。
分层数据架构可用于为人工智能准备高质量、可信的数据。这种方法通常在数据湖仓中实施，其中 OTF 提供维护各层之间一致性所需的事务保证。该方法根据数据使用准备情况将数据组织成不同的区域：原始区域，用于存放来自源系统的原始数据；清洗区域，用于存放经过验证和标准化的数据；以及精选区域，用于存放针对下游使用优化的业务就绪数据集。这提供了一种结构化的方法来清洗和格式化数据，以便其满足预期用途。
许多智能体依赖于能够反映当前状况的高质量数据。直接连接到业务数据库是确保智能体能够获取与应用程序相同的最新信息的一种方法。对于依赖多个数据来源且需要近乎实时响应的使用案例，或者当直接访问业务数据库会带来性能或安全风险时，可以使用流式传输管道持续接收事件和更新。流式传输管道使用变更数据捕获（CDC）流程捕获业务数据库中的变更，并将其发布到事件流中，供其他下游系统使用，整个过程通常只需几毫秒即可完成。
在将流式数据传递给智能体之前，组织应考虑对传入的数据事件应用确定性清洗规则。这些规则可以快速发现较大的质量问题，并与智能体协同工作，后者可以捕获确定性规则未过滤掉的数据中的细微质量问题。
实施数据和人工智能治理是确保智能体能够在高质量数据上安全可靠运行的关键初始步骤。治理对于智能体尤为重要，因为它们会动态发现并访问数据以做出决策——若缺乏适当的控制措施，则会增加泄露敏感数据或访问超出预期范围的资源的风险。
一般来说，尤其是在高度监管的环境中，应审核数据的敏感度并对其进行适当的标记和分类，高度敏感的信息应保留在安全的环境中。访问管理应遵循最低权限原则，这意味着仅应授予完成任务所需的信息访问权限。应密切监控授予的任何角色和访问权限，并确保其可撤销，以确保大规模安全性。
有效的治理实践对于审计和合规性尤为重要，这通常需要记录所采取的操作并能够解释决策的原因。世系跟踪通过记录访问了哪些数据以及如何转换数据来实现问责。这使得审计智能体所遵循的数据路径成为可能。可观测性通过实时监控智能体的行为、跟踪其正在采取的行动、检测异常情况并标记策略违规行为来补充世系跟踪。
稳健的数据治理实践可为持续获得高质量数据奠定基础。治理可确保正确的流程和策略到位，从而有效地管理数据访问，数据质量则指数据本身的准确性、可靠性和实用性。对于在多步骤推理链中自主运行的智能体而言，数据质量差可能会导致级联错误。评测其用于智能体人工智能的数据基础的组织，应考虑实施一个数据质量框架，该框架针对每个使用案例涵盖完整性、一致性、准确性、相关性和及时性等核心维度。
随着智能体承担更多自主决策任务，底层数据基础的安全性变得更加重要。组织应通过加密、网络隔离、访问控制和威胁检测，确保人工智能基础设施、数据和模型免受未经授权的访问和恶意攻击。
同样重要的是确保智能体以负责任的方式运行。信任护栏有助于降低智能体生成有害内容或虚假信息、泄露敏感信息以及产生幻觉的风险。这些保障措施可以帮助组织在部署智能体的同时，满足监管和道德标准。
尽管智能体可以仅基于通用知识运行，但大多数组织通过利用组织特定上下文定制智能体，可以获得更大的价值。这有助于智能体在业务中做出更明智的决策，保持信息的时效性，并减少幻觉。
用于定制智能体的领域特定数据通常存储在知识库中。RAG 是指从这些知识库中检索信息，并增强大语言模型（LLM）提示，从而使智能体能够生成更及时、更相关的响应的流程。RAG 的实施通常依赖于向量嵌入，即捕捉文档、图像和支持文章等内容语义的数值表示。基于嵌入的检索并非精确匹配关键字，而是查找上下文相似的内容，这使得智能体能够处理存储在难以查询的来源中的大量组织知识。
语义层通过帮助智能体理解业务逻辑来补充 RAG。它们定义表关系、业务指标和共用术语，确保智能体能够跨团队一致地解读“收入”或“活跃客户”等术语。语义层可以基于本体和知识图谱、维度模型、表关系以及指标定义构建，这些定义映射了指标、逻辑及其互连联系，并将意图转化为业务定义。
上下文可帮助智能体在当下做出相关的决策，而内存则可帮助其了解过去。LLM 是无状态的，这意味着每个请求到达时都不会记住之前发生的事情。如果没有在其之上叠加内存架构，智能体就无法进行推理、适应或协调，并且会因为反复推导出相同的答案而浪费时间和资源。由于智能体在一个循环（推理、行动、记忆、重复）中运行，内存可以防止重复工作，并在迭代过程中保持进度的连贯性。上下文和内存共同作用，使智能体从一次性的、单回合的响应者转变为能够随着时间积累专业知识的系统。
代理内存存在于一个连续体上。短期内存位于左侧，被频繁、高速访问。中期记忆位于中间，智能体需要时可通过工具检索。长期内存位于右侧，配置频率较低，更像是基础设施。每种类型都有其独特的访问模式、延迟要求和数据管理职责。
这是智能体的工作内存，类似于 RAM。它保存当前对话轮次、最新的工具结果、多阶段工作流中的活动步骤，以及任务完成后重置的瞬态状态。Strands Agents 和 LangGraph 通常会代您管理这一层，但底层存储必须提供微秒级的读取延迟，因为智能体会频繁访问该内存 — 即使在单次交互过程中也是如此。
短期内存还可扩展到智能体之间的共享状态。当多个智能体协作完成一项任务时，共享文件系统允许其交换中间结果并以低延迟访问维护检查点。
这是与现有数据工具和系统（包括数据湖、目录和知识库）关系最密切的层。它涵盖智能体在执行期间通过工具调用检索的事实、关系和经验，也是汇集大部分数据准备工作的位置。它包括以下内容：
语义内存保存关于事实、概念和关系的结构化知识，无论这些知识是在何时、何地获得的。这是一个长效知识库，智能体可以使用它来对全新场景开展推理，无需从头推导答案。数据库、向量存储、知识图谱和数据仓库都可作为语义内存的后端。
用户配置文件内存捕获智能体服务对象的持久身份信息，包括偏好、沟通风格、过往选择，以及用于跨会话个性化行为的累积属性。
情景内存保存特定事件和交互的时间戳记录。语义内存是抽象的，而情景内存是具体的。它使智能体能够回忆起先前系统中某种方法失败的情形，并据此进行调整。这使智能体能够在部署过程中不断改进，而无需持续重新训练。会话日志、交互历史记录和事件存储均可为情景内存提供数据。
中期内存与短期内存的关键区别在于，前者存在于上下文窗口之外，需要通过工具访问。智能体可自主决定何时需要信息并调用相应工具，这意味着数据源必须易于发现且响应足够迅速，以确保推理循环持续运转。
这是变化最少的一层，它从根本上塑造了智能体的自我意识及其做出的决策。长期内存包括系统提示、护栏、智能体角色定义以及程序例程。当创建一个智能体来扮演保险承保代理人的角色时，相关的指令以及它必须遵循的规则、约束和行为边界都会存储在此处。这一层还包含程序性内存，它会对智能体的技能和例程编码，使其无需在每个步骤进行思考即可获得内置的操作知识。长期内存构件可以作为基础设施即代码进行管理，并存储在版本控制的代码库、配置管理系统或键值存储中。
传统应用程序的工作流程遵循固定的、确定性的路径。当用户完成一项任务时，系统会对数据库执行相同顺序的查询。这使得索引调优、结果缓存和容量预测具有可预测性。然而，智能体每次完成同一任务时，都可能采用不同的路径，并根据其对中间结果的推理选择不同的查询。这种可变性使得预测负载和有效优化查询模式更具挑战性。