AI 底层架构 | 菜鸟教程

学习 AI 应用开发时，经常会遇到 LLM、Transformer、Token、Prompt、RAG、MCP、Agent、Skill 等概念。这些技术分别解决什么问题？它们之间又有什么关系？
从基础大模型到能够执行任务的 AI Agent，一个完整的 AI 应用通常涉及模型推理、上下文管理、工具调用、任务编排和业务应用等多个部分。
例如，让 AI 完成"读取 Excel 销售数据，分析增长趋势并生成报告"，背后可能涉及以下过程：
为了便于理解，我们可以将相关技术按照作用划分为五个层级。
说明：下图所示的五层架构是一种教学上的功能划分，并不是所有 AI 系统都必须遵循的统一技术标准。不同层级之间可以相互配合，某些组件也可以按实际需求省略。
这五层可以帮助我们理解 AI 应用从底层能力到实际落地的过程。
基础模型层负责提供推理与生成能力；上下文层为模型补充任务信息；工具层负责与外部系统交互；智能体层组织任务执行；应用层则将这些能力用于具体业务。
基础模型层是 AI 应用的重要组成部分，负责对输入进行计算，并生成文本或其他形式的输出。
在大语言模型应用中，常见的基础概念包括 Token、Transformer 和注意力机制。
Token 是模型处理文本时使用的基本单位。
模型通常不会直接将一整段文本作为不可分割的整体处理，而是先经过 Tokenizer（分词器）转换为 Token 序列，再映射为模型可以计算的数字表示。
一个 Token 可能对应一个字符、一个词的一部分、一个完整单词或者标点符号，具体取决于模型使用的分词器。
以上仅为示意，不代表所有模型的实际分词结果。不同模型的 Tokenizer 可能产生不同的 Token 序列。
Token 数量会影响上下文占用、模型调用成本以及输入输出长度限制。
Transformer 是现代大语言模型中广泛使用的神经网络架构。
它通过注意力机制等结构，对输入序列中的信息进行建模。
例如，在句子"程序员正在使用 Python 编写代码"中，模型需要结合上下文，理解 Python 指的是编程语言，而不是其他含义。
Transformer 的重要特点之一，是能够利用注意力机制处理序列中不同位置之间的信息关系。
注意力机制用于计算序列中不同位置的信息关联程度，使模型能够结合相关上下文进行处理。
自注意力机制（Self-Attention）是 Transformer 的重要组成部分。
需要注意，注意力机制只是模型内部计算的一部分，并不等同于模型已经具有人类式的理解或推理过程。
LLM（Large Language Model）是通过大规模数据训练得到的语言模型。
许多生成式 LLM 在推理时，根据已有输入和已生成的 Token，预测后续 Token 的概率分布，并逐步生成内容。
常见的模型包括 GPT、Claude、DeepSeek、Qwen 等系列模型。
不过，模型本身不一定具备访问实时信息、读取本地文件或者操作外部软件的能力。这些功能通常需要由应用提供相关工具。
上下文层主要解决一个问题：模型在处理当前任务时，应该获得哪些信息？
模型的输出不仅受到自身能力影响，也与输入指令、会话历史和参考资料有关。
常见的上下文相关技术包括 Prompt、Context Window、Memory 和 RAG。
Prompt 是提供给模型的输入内容，通常用于描述任务、指定要求以及提供必要的信息。
Prompt 可以包含任务指令、输入数据、示例和输出要求等内容。
在实际应用中，模型请求还可能包含系统指令、开发者指令以及多轮对话消息，不同消息具有不同的用途和优先级。
上下文窗口是模型一次推理能够处理的上下文范围，通常以 Token 数量衡量。
例如，一个模型支持较长的上下文窗口，可以一次处理更多文档内容，但这并不意味着模型能够永久记住这些信息。
当上下文过长时，应用可能需要进行摘要、截取或检索，以保留与当前任务最相关的内容。
Memory 用于在 AI 应用中保存和使用历史信息。
长期记忆通常由数据库、文件系统或其他外部存储实现，并不是模型天然具备的永久记忆能力。
例如，AI 编程助手可以读取之前保存的项目说明，了解项目使用的编程语言、目录结构和编码规范。
RAG（Retrieval-Augmented Generation）是一种结合外部信息检索与模型生成的技术。
它主要用于让模型在回答问题之前，先查询相关资料，再结合检索结果生成内容。
例如，企业可以建立内部文档知识库。当员工询问公司的报销制度时，系统先检索相关制度文档，再由模型根据文档内容进行回答。