大语言模型推理成本优化：量化、蒸馏与批处理

大模型推理成本主要来自显存占用与算力消耗。量化把权重从高精度压到低比特，蒸馏用小模型学习大模型输出，批处理则提高硬件利用率。三者可以叠加，但要分别评估精度损失，尤其是长文本与多轮对话场景。
RAG 的思路是先检索、再生成：把业务文档切块存入向量库，用户提问时召回相关片段，连同问题一起交给模型。效果好坏取决于切块粒度、召回质量与提示词组织，模型本身反而不是唯一变量。
如果你正在做同类尝试，可以把这套思路直接复用，再按需裁剪。