AI Agent

RAG、微调与智能体选型

2026-08-11 #RAG#微调#Agent

本篇内容主要是弄清以下几个问题:

  • 知道RAG、微调、智能体是什么以及它们分别都在解决什么问题
  • 什么时候继续优化 Prompt,什么时候上 RAG,什么时候考虑微调,什么时候再引入工作流(Workflow)或 Agent

参考文档和资源如下:工具导航与参考资料索引、百度

一、判定问题根因

在真实的项目场景中,当我们发现AI应用,比如:各种私人的问答系统,回答不好时,一上来就说”要不要进行模型微调,要不要上Agent“,但在此之前我们需要对问题进行分析诊断才会稳很多:

诊断问题 常见现象 考虑
模型是不是没有看见资料? 不知道公司产品手册、公告、制度,回答没有依据 RAG
模型是不是行为不稳? 输出格式不统一、分类标签不稳、JSON经常错 Prompt、必要时进行微调
任务需不需要多步分解执行? 需要查资料,调接口、校验、重试 工作流或Agent

如下图,AI应用落地的基本流程:
基本流程

1、先做Prompt:如果只是需求表达不清楚,可以把输入、输出、约束写清楚,必要时在后面再做类型校验
2、做RAG:如果缺少的是企业的资料、文档依据或最新知识,优先建立知识库
3、再微调:如果长期行为不稳,并且有高质量的数据样本和评测标准,考虑微调
4、继续训练(慎重):当模型对特定领域里的知识很陌生时,考虑继续训练(但不如直接在网上找一个在对应领域的预训练模型来做)
5、流程固定先工作流:步骤明确、需要审计时,优先workflow
6、流程开放再Agent:步骤可能变化、需要动态调用工具和根据中间结果调整路线时,上Agent

整套流程并不是都需要做,对应能用轻量级的方案解决的,就不要引入重方案。

二、什么是RAG、模型微调以及智能体?

(1) RAG

RAG 即 Retrieval-Augmented Generation,检索增强生成,是一种把信息检索与大模型生成结合起来的应用架构。它的基本流程并不复杂:用户提问 -》 系统从外部知识库里召回相关资料 -》 结合“问题 + 召回结果”一起发给大模型进行整理 -》 最后按特定格式进行输出生成答案,可以简记为 RAG = 先查找资料,再回答问题。其工作流程如下:

RAG工作流程

  • 第一部分(知识库构建):读取原始文档 -》 进行清洗和切分 -》 用嵌入emdedding模型把文本转为向量 -》 结合文本块、向量和元数据存入数据库,如chroma

  • 第二部分(检索与生成):用户提问 -》 向量化问题 -》 知识库召回相关内容 -》 原问题和召回内容送入prompt -》 给到大模型生成答案并返回

1
input("fsfs")

其RAG的每一个环节(...)都会影响到最终效果,不只是 “向量 + 大模型” !!!

对于效果不理想的情况,需要进行拆解:

问题位置 典型表现 优先排查
文档质量 原文过期、冲突、缺页、扫描件 OCR 错误 更新资料、清洗文档、保留版本和来源
文档解析 表格、标题、层级、图片说明被解析乱 更换解析器,必要时引入人工校验
文本切分 检索片段太碎或太长,答案上下文不完整 调整 chunk size、overlap、按标题层级切分
召回策略 找不到正确片段,或者召回一堆无关内容 调整 Embedding、Top‑K、关键词检索、元数据过滤
重排序 正确片段被排到后面 引入 Reranker 或调整重排模型
Prompt 增强 检索到了资料,但模型没按资料答 明确要求引用资料、缺依据时说明“不确定”
生成模型 资料正确但推理仍错 更换模型、加强约束,必要时再看微调或继续训练

RAG的优势:

  • 更新快:知识库更新后可以重新建索引,不必重新训练模型。
  • 成本低:相比微调和续训,实施门槛和试错成本通常更低。
  • 可追溯:检索结果可以保留来源、页码、文件名,方便核验。

因此RAG在典型的企业知识库问答、智能客服与售后助手(大华的华言)、研发文档问答(华昱欣的专利撰写助手)、运维排障助手、高考试题/合同/制度/政策/课程讲义等文档问答中比较实用

(2)微调 FT

微调(Fine-tuning)是指在已经训练好的基础模型上,继续用特定数据做训练,使模型在某类任务、某种风格或某种输出形式上表现更稳定。可以这么说微调主要是改变模型的“风格”,不会改变模型的“智商”,如 嬛嬛-chat,利用《甄嬛传》剧本中所有关于甄嬛的台词和语句,基于大模型进行LoRA微调得到的模仿甄嬛语气的聊天语言模型。

它最常见的用途包括:

  • 让模型更稳定地遵循指令

  • 让模型输出固定格式,例如 JSON、SQL、标签、分类结果

  • 让模型更符合某种业务风格、品牌口吻或术语习惯

  • 让模型在某类任务上更稳,例如分类、抽取、代码补全、客服回复

所以当出现模型行为不稳定、风格和话术需要长期同一、反复修改提示词/做结构化约束效果仍不理想,可进行微调处理,但同时也要考虑:数据量是否足够、评测标准是否合理、算力和预算是否可接受

目前微调方案分为以下几类(这里就不展开逐个介绍了):

  • (1)全参数微调(Full Fine-tuning):更新模型全部参数,理论上上限更高,但训练资源和显存开销都很大,适合资源充足、目标明确的场景。

  • (2)参数高效微调(PEFT, Parameter-Efficient Fine-Tuning):这类方法的核心思路是:尽量少改参数,用更低成本获得可接受的效果。 最常见的两种是:

    • LoRA:冻结原模型大部分参数,只训练新增的低秩适配参数。
    • QLoRA:在 LoRA 基础上结合低比特量化,进一步降低显存占用。
  • (3)其他高效方法:

    • Adapter Tuning:在模型层间插入小型适配器模块
    • Prefix Tuning:在输入前添加可学习的虚拟前缀
    • P-Tuning v2:在模型每一层添加可训练的提示向量

(3)智能体Agent

在经典的AI语境中,智能体其实就是一个自己能够感知环境、拆解任务、调用工具、拿结果、再决定下一步改证明走的自主系统。你给他一个目标,他自己想办法搞定,不用一步步都盯着。在应用开发里边有更工程化的定义:智能体 = 大模型 + 工具 + 状态 + 执行流程,它的五大核心要素为:大语言模型、记忆系统、工具调用、规划决策、行动执行,如下图:
LLM Agent架构
它与单纯的调用大模型的区别为:

  • 直接调用大模型API就是“一问一答”,发一段 Prompt 过去,模型吐一段文本就回来了,直接完事,不会调整中间结果的策略。
  • Agent有循环执行能力,可以反复走“思考-行动-反馈”,直到任务做完,同时它也能调用外部工具,搜索引擎、数据库等获取当前的最新信息,还具备记忆能力,能够根据之前的历史问题来引导后续的模型决策。

因此如果遇到的问题是 多任务;需要调用外部工具(天气等)、数据库、浏览器;中间结果会影响后续动作,流程不固定;需要状态管理和失败重试、反思机制等,就需要上考虑智能体了。

Comments
赞赏
Share
← 返回