AI Agent

一文教你读懂 RAG 全链路以及各种问题

2026-08-29 #RAG

RAG

1、什么是 RAG ?

今天让我们来聊聊 RAG,即 Retrieval-Augmented Generation,检索增强生成,通俗来讲,就是给大模型挂了一个外部知识库,让它开卷考试。目前大模型有两个硬伤:一是知识的滞后性,训练数据截止到某个时间点,不知道最近新发送的事情; 二是不懂私有数据,它压根没见过公司的内部文档。而 RAG 就是来解决这个问题的,它的基本流程可以概况为三步:找资料、整合内容、生成答案

  • 找资料: 对应用户的提问,先不问大模型,而是将其进行 Embedding 向量化转成向量后在向量数据库里找齐相关的资料片段
  • 整合内容: 把用户的问题和之前找到的资料片段整合在一起,变成一个信息量更大的 Prompt
  • 生成答案: 把这个 Prompt 喂给大模型,这时候大模型就不是瞎编了,而是根据资料生成相对比较准确的答案

在第一步的检索环节,需要把用户问题做 Embedding 文本向量化,接下来我们就具体讲解 Embedding 的概念。

2、RAG 中的 Embedding 是什么?

Embedding 的本质,就是把文本、图像、音频这类人类可读的信息,转化为一组数字向量,以此实现计算机可识别、可运算的表达。这一组向量可以理解为文本的数字指纹,能够捕获语句背后的语义。
向量embedding
举个例子,“猫” 和 “狗” 对应的向量距离很近,因为二者同属动物;而 “开心” 与 “悲伤” 的向量相距较远,因为二者是一组反义词。依托向量空间的距离关系,我们就可以通过数学运算判断两段文本的相关程度,其中最常用的手段便是余弦相似度:计算两个向量夹角的余弦值,数值越趋近于 1,代表文本语义越相似。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
from sentence_transformers import SentenceTransformer

# 加载 embedding 模型
model = SentenceTransformer('all-MiniLM-L6-v2')

# 文本转向量
texts = ["如何煮奶茶", "奶茶制作步骤", "PyTorch入门教程"]
embeddings = model.encode(texts)

# 计算相似度
from sklearn.metrics.pairwise import cosine_similarity
similarity = cosine_similarity([embeddings[0]], [embeddings[1]])

# 输出 0.99,说明"如何煮奶茶"和"奶茶制作步骤"语义很接近
print(f"相似度:{similarity[0][0]:.2f}")

搞懂概念之后,我们进一步思考,为什么 RAG 体系里离不开 Embedding?

传统检索大多依赖关键词匹配:当用户提问 “如何煮奶茶” 时,系统只会召回同时包含 “煮”“奶茶” 的文档。像 “奶茶制作步骤” 这类语义完全对齐,但不包含 “煮” 字的文档,就会被直接过滤。面对同义词、近义词、不同表述方式,关键词匹配往往束手无策。例如 “汽车维护” 和 “汽车保养” 语义等价,“感冒了怎么办” 和 “着凉发烧的处理方法” 描述同一问题,但字面重合度很低。而 Embedding 恰好补齐了这一短板:它不再机械比对字符,而是把文本蕴含的语义编码为向量。即便两段文本用词差异很大,只要表达同一个含义,对应的向量在空间中就会相互靠近。
Embedding 模型本质属于神经网络,输入一段文本,输出固定维度的向量。例如 OpenAI 的 text‑embedding‑3‑small 输出 1536 维,all‑MiniLM‑L6‑v2 输出 384 维。向量维度和语义表达能力直接相关:维度越高,可承载的语义细节越丰富,但计算、存储开销随之上涨;维度越低,语义信息容易损失,存储计算成本下降,检索效果也会打折扣。绝大多数业务场景下 384 维已经够用;如果追求更高精度,可以选用 1024 维、1536 维甚至更高维度的模型。

在实际项目中,Embedding 模型的选型要和业务场景匹配。通用场景可以用 OpenAI 的 embedding 或者 BGE 系列,中文场景用 text2vec-chinese 或 M3E,多语言场景用 multilingual-e5。以下是几个常见的 Embedding 模型:

  • OpenAI 系列: text-embedding-ada-002 是第二代模型,支持多语言,性价比高。text-embedding-3-small 和 text-embedding-3-large 是第三代,性能更强,MIRACL 多语言检索从 31.4% 提升到 44.4%,MTEB 从 61.0% 提升到 62.3%,价格还更便宜
  • Sentence-BERT 系列: 基于 BERT 优化,开源免费。all-mpnet-base-v2 性能最好,all-MiniLM-L6-v2 速度最快,适合本地部署
  • Gemini Embedding: Google 出品,目前在 MTEB 基准测试中排名第一
  • Cohere Embed: embed-english-v3 是最新版本,商用场景用得比较多
  • BGE: 智源研究院出品,专门针对中文优化,bge-large-zh 在中文 MTEB 榜单排名前列
  • M3E: 开源轻量模型,中文场景表现不错,适合资源有限的本地部署

即便借助 Embedding 完成向量检索,也会遇到短板:向量检索擅长语义理解,但针对 iPhone 15 这类专有名词、实体名词,精准召回能力不足。针对该局限,我们引入了混合检索方案。

3、什么是混合检索?

混合检索,也叫多路召回、融合检索,在 RAG 系统中,指将向量检索与关键词检索相结合,取长补短,以此提升召回结果的完备度与准确度。广义上它并不局限于 “向量 + 关键词” 这一组组合:同时调取文档库、业务数据库,或是使用多个 Embedding 模型并行做向量检索,再对结果做融合,都属于混合检索的范畴。

之所以要做多路融合,根源在于两种检索模式各有局限:

  • 向量检索: 语义理解能力强,可以识别 “猫捕猎老鼠” 和 “猫追逐老鼠” 的等价语义;但对专有实体、特定名词的精准匹配能力偏弱。
  • 关键词检索: 实体、专有名词匹配精准可靠,但无法理解深层语义,用户查询 “怎么减肥”,很难召回 “如何瘦身” 这类同义表述。

所以混合检索就是多条路并行召回,常见的是:向量检索走一遍,关键词检索走一遍(例如:BM25 + M3E,这里可以参考一下我之前写过的小项目 基于领克汽车手册的智能问答 如下图 ) ,最后把两边内容整合起来,用加权重或者 RRF 算法进行重排序,取最优结果喂给大模型。
Lynk-Co--QA

RRF 算法详解

RRF(倒数排序融合) 是一种简单而有效的多路排序融合算法。适用于多个检索器(如 BM25、DPR、ColBERT 等)返回结果时,通过融合它们的排名结果得到更稳健的排序。它的基本思想是:

  • 越靠前的文档获得更高的分数;
  • 不需要关心具体的得分,只看排名。
    xx
    其中 R:多个排序器返回的结果集;rankr(d):文档 d 在排序器 r 中的排名(从 1 开始);k:平滑因子,常设为 60;分数越高代表越相关。

常见问题:

  • 1、向量检索和关键词检索的权重一般怎么定?有什么调参技巧?
    根据业务场景调。一般来说,如果你的文档里专有名词多、ID 类查询多,关键词检索权重可以调高到 0.4-0.5;如果主要是自然语言问答,向量检索权重可以给到 0.7-0.8。调参技巧是准备一批有标注的测试集,跑不同权重组合,看召回率和准确率的变化,找到最优点。线上还可以做 A/B 测试持续优化。

  • 2、如果关键词检索和向量检索的结果完全没有交集,怎么处理?
    这种情况说明两路检索的视角差异很大,需要分情况处理。如果用户 Query 明显是搜专有名词或 ID,关键词检索的结果更可信,可以给关键词检索更高权重甚至只用关键词检索的结果。如果用户 Query 是自然语言问题,向量检索的结果更可信。还可以做个简单的 Query 分类器,判断 Query 类型后动态调整两路的权重。

到了这一步,通过混合检索,我们已经可以拿到质量不错的候选文档集合,但新的问题随之而来:一旦检索返回的片段总长度过大,超出大模型上下文窗口,就会触发内容截断,依旧会带来回答失真的风险。针对上下文超限问题,主流解决方案有三类:Rerank 重排序、摘要压缩、拆分子问题分步处理。下面我们先讲解 Rerank。

4、在 RAG 中,什么是 Rerank ?

Rerank 即重排序,指对初步检索产出的候选文档列表,执行二次精细打分排序。我们可以借用招聘流程做通俗类比:

  • 初步检索: 这就像 HR 在筛选简历。HR 手里有很多份简历,她不可能每份都细看,主要看关键词,比如 Java、2年经验,这样虽然速度快,但比较粗糙。有时候关键词匹配了,但其实候选人的能力不行。这其实就是常用的向量检索(Bi-Encoder),它算得快,但是对语义理解没那么深,只能选出 50 ~ 100 个看起来还行的候选人。
  • 重排序: 这就像技术组组长面试。组长把这 100 个人的简历拿过来一份份细读,甚至还要面对面聊(计算 Query 和 Document 的深层交互),因此速度慢,费脑子,但看得准,而这就是 Rerank(通常是 Cross-Encoder),它能精确判断这个文档是不是真的能够回答用户的问题。

所以 Rerank 的核心就是在速度和精度之间做一个平衡。先用向量就是保证速度,再用 Rerank 来保证精度,防止大模型胡说八道,降低大模型幻觉风险。

常见问题:

  • 1、如果 Rerank 模型和 Embedding 模型对用一个文档的打分差异很大,应该信谁?
    信 Rerank。 Embedding 模型用的是 Bi-Encoder 架构,Query 和 Document 没有直接交互,只是各自编码后算相似度,语义理解比较浅。Rerank 的 Cross-Encoder 把 Query 和 Document 拼在一起过 transformer,有厂房的注意力交互,对语义匹配的判定更准。Embedding 负责快速召回,Rerank 负责精确排序,分工明确。

  • 2、Rerank的延迟一般有多少?对整体RAG系统性能影响大吗?
    Cross-Encoder 的Rerank 延迟通常在 50-200ms 左右,具体取决于模型大学和候选文档的数量。如果召回100个文档,每个文档平均 500 tokens,用 bge-reranker-base 在 GPU上大概跑 100ms左右。对整体 RAG 系统来说,向量检索通常只需要 10 -50 ms,Rerank 这一步反而成立瓶颈。所以要控制召回数量,一般 50 - 100 个就够了。

事情到了这一步一般都能够拿到很好的效果了,整条 RAG 链路的输出质量非常可观,不过除了优化检索后候选文档的排序,我们也可以进行先前优化,在用户查询进入检索阶段之前,就对原始 Query 做改写增强,即:自查询(Self‑Query)与 扩展查询(Query Expansion)。

5、什么是扩展查询(Query Expansion)?为什么在RAG应用里需要查询扩展?

查询扩展就是把用户的原始进行“补全”,加上同义词、相关术语、隐含意图这些信息,让检索能够覆盖更多的相关文档。比如:用户输入“减肥”,扩展后可以变成“健康减肥方法、饮食控制、运动减脂、避免反弹”。

expand_query

它主要解决两个痛点:一是词汇不匹配,用户说“新冠”,知识库里存的是“COVID-19”,不扩展就搜不到;二是查询太模糊,用户输入“怎么理财”四个字,扩展后变成“新手理财入门、低风险投资、基金股票区别”,检索方向一下就明确了。

所以总的来说,查询扩展发送在用户输入之后、检索之前,术语查询预处理极端,处理后生成的回答会更全面。

常见的查询扩展(一般3~5个词)的三种方式:

  • 基于规则的扩展: 维护一份同义词词典,“减肥”对应“瘦身”、控制体重等等,简单粗暴,适合垂直领域
  • 基于LLM的扩展: 让大模型改写查询,效果最好但有延迟和成本
  • 基于索引反馈的扩展: 先用原始查询检索一轮,从 top 结果里提取高频词作为扩展词。这种方式交 PRF,不依赖外部模型

看完查询扩展的逻辑方法,我们再来看看自查询(Self‑Query)

6、什么是自查询(Self‑Query)?为什么 RAG 需要自查询?

自查询(Self‑Query)是 RAG 系统自动解析用户查询中隐含条件的机制,把模糊的自然语言转为结构化查询语句。比如:用户提到:“请帮我查询一下2026年华昱欣科技有限公司的财务报告”,自查询分为两部分:

  • 语义匹配: 财务报告
  • 元数据过滤: 时间=2026年,公司=华昱欣科技有限公司

那为什么需要自查询?用户提问往往带着隐含条件,传统的向量检索只管语义相似度,压根不看元数据,结果就是检索出一堆语义相关但时间、标签全不对的文档。自查询通过“解析 + 过滤” 两步走,让检索同时满足语义相关性和元数据条件,直接解决“检索不准”的痛点。

其工作流程为:用户输入一个查询后,系统先判定要不要做自查询。如果用户问得很明确,直接那原始查询去检索就行。如果用户表示模糊、带隐含条件,就进入意图解析环节,让LLM把自然语言拆成语义关键词和元数据过滤条件,生成结构化查询。然后拿着这个结构化查询去向量库做检索,结合元数据过滤筛选文档,最后排序后送给生成模型答案。

self_query

自查询 VS 扩展查询

维度 自查询
核心目标 精准匹配内容+元数据双重条件
技术手段 LLM 解析隐含元数据,生成结构化查询
数据依赖 知识库的元数据标注质量
适用场景 带条件的专业搜索
优点 精准过滤噪声、支持权限控制
缺点 需预定义元数据字段、解析错误会带偏结果

在实际项目里两者可以配合用,比如先通过自查询过滤出"2026年的金融报告",再通过查询扩展补充"风险控制""监管政策"等关键词,既精准又全面。

这里给一份结合语义向量搜索和元数据过来的自查询指令模板

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
{
"vector_search": {
"query_text": "风险控制策略 监管趋严",
"embedding_model": "text-embedding-ada-002"
},
"metadata_filter": {
"must": [
{"field": "author", "operator": "eq", "value": "张三"},
{"field": "date", "operator": "gte", "value": "2023-01-01"}
],
"should": [
{"field": "tags", "operator": "in", "value": ["风控", "金融监管"]}
]
},
"options": {
"limit": 10,
"score_threshold": 0.75
}
}

里面的vector_search 负责语义匹配,metadata_filter 里的 must 是必须满足的硬性条件, should 是加分项。

在完成以上的全链路RAG调优操作后,需要通过标准化、贴合企业落地场景的评估体系校验调优效果,精准定位链路短板。而在真实应用场景中,RAG调优效果评估主要围绕检索质量、生成质量、系统性能三大核心维度分层开展,兼顾效果精准度与业务可用性。

7、如何进行 RAG 调优后的效果评估?

RAG 调优后的效果评估围绕三个维度:检索质量、生成质量、系统性能

(1) 检索质量评估

客观指标主要看这几个:
• Precision@k: 前 k 个结果里相关文档占多少,比如前 5 个结果有 3 个相关,Precision@5 就是 60%
• Recall@k: 前 k 个结果覆盖了多少相关文档,知识库有 10 个相关文档,检索出 4 个,Recall@5 就是 40%
• MRR: 第一个相关结果排第几,排名越靠前越好
• NDCG: 综合考虑相关性等级和排名位置,区分"高度相关"和"沾点边"的文档

主观评测就是让人看检索结果是不是真的满足业务需求。

(2) 生成质量评估

三个核心指标:
• CR 检索相关性: 答案是不是基于检索内容生成的
• AR 答案相关性: 回答有没有解决用户的问题
• F 可信度: 生成的内容有没有幻觉,有没有瞎编

评测方法可以用大模型打分,也可以人工打分。

(3) 系统性能评估

除了功能性指标,非功能性需求也得关注:延迟、吞吐量、错误率。

metric

真实企业场景里的做法是分层测试:先测检索质量确保文档能找得对,再测生成质量确保答案靠谱,最后压测系统性能确保能扛得住流量。上线后还得持续监控用户的满意度和业务指标。

各种评估指标 / 自动化工具的详解

  • Precision@k:前 k 个检索结果中相关文档的比例,反映检索的精准度。法律咨询、金融风控这类对精度敏感的场景特别看重这个指标。

  • MRR(平均倒数排名):首个相关结果的排名倒数均值,反映系统快速定位相关文档的能力。比如两个查询,相关结果分别排第 1、第 3 位,MRR = (1/1 + 1/3) / 2 = 0.67。客服、搜索这类需要快速响应的场景关注这个。

  • NDCG(归一化折扣累积增益):结合文档相关性等级和排名位置,评估排序质量的综合指标。假设前 3 个结果的相关性等级是 3(高)、2(中)、1(低),DCG = 3 + 2/1.58 + 1/2 = 4.58;理想排序是 3、3、2,则 NDCG = 4.58/5.76 ≈ 0.79。电商推荐、新闻排序这类需要区分相关度优先级的场景适合用这个。

  • Recall@k:前 k 个结果覆盖所有相关文档的比例,反映检索的全面性。医疗诊断、科研文献检索这类不能漏检的场景必须关注。注意 k 不能设太大,k=1000 的召回率虚高没意义。

人工标注可以参考 LabelStudio:开源多模态数据标注平台,支持文本、图像、音频、视频等各种类型

自动化评估工具: RAGAS、DeepEval


8、常见问题

1、如果检索出来的文档片段太多,超过了大模型的上下文窗口怎么办?

一般常用的三种。一是做Rerank,用一个排序模型对检索结果进行答复,只保留最相关的 Top-K 条;二是在做摘要压缩,对检索出来的长文档先跑一遍摘要,把信息密度提上去;三是分块处理,把问题拆成多个子问题分别检索回答,最后再做汇总。实际项目里 用 Rerank + Top-K 截断比较多。

2、RAG和模型微调有什么区别?什么场景下该选哪个?

微调其实就是把知识“刻”进模型参数里面,适合与改变模型行文风格或者学习特定任务模型的场景,比如用特定的语气说话。RAG就是把知识放在外部,适合于频繁更新、需要引用来源、或者私有数据量大的场景。而且微调成本高,需要重新训练,RAG只需要更新知识库就行。

3、向量检索找到的内容语义相近,但可能找不到真正相关的,怎么解决?

向量相似不等于真正相关。一般的解决办法。一是混合检索,把向量检索和关键词检索结合起来,用BM25这类传统检索补一刀;二是加Rerank层,用交叉编码器对候选文档做精排,过滤调语义漂移的结果;三是优化分块策略,文档切得太碎容易丢上下文,切得太大又不准确,需要根据业务调整chunk、size和overlap。

4、Rerank的延迟一般有多少?对整体RAG系统性能影响大吗?

Cross-Encoder 的Rerank 延迟通常在 50-200ms 左右,具体取决于模型大学和候选文档的数量。如果召回100个文档,每个文档平均 500 tokens,用 bge-reranker-base 在 GPU上大概跑 100ms左右。对整体 RAG 系统来说,向量检索通常只需要 10 -50 ms,Rerank 这一步反而成立瓶颈。所以要控制召回数量,一般 50 - 100 个就够了。

5、除了 Cross-Encoder,还有什么其他 Rerank 方案?

有几种。一是用 ColBERT 这类延迟交互模型,它把 Document 的 token 级向量提前算好,Query 来了只需要做 token 级别的相似度匹配,比 Cross-Encoder 快很多但精度接近。二是用 LLM 直接做 Rerank,把候选文档和 Query 喂进去让它打分,效果好但成本高。三是基于规则的 Rerank,比如优先最近更新的文档、优先特定来源的文档,简单场景够用。

6、如果 Rerank 模型和 Embedding 模型对用一个文档的打分差异很大,应该信谁?

信 Rerank。 Embedding 模型用的是 Bi-Encoder 架构,Query 和 Document 没有直接交互,只是各自编码后算相似度,语义理解比较浅。Rerank 的 Cross-Encoder 把 Query 和 Document 拼在一起过 transformer,有厂房的注意力交互,对语义匹配的判定更准。Embedding 负责快速召回,Rerank 负责精确排序,分工明确。

7、向量检索和关键词检索的权重一般怎么定?有什么调参技巧?

根据业务场景调。一般来说,如果你的文档里专有名词多、ID 类查询多,关键词检索权重可以调高到 0.4-0.5;如果主要是自然语言问答,向量检索权重可以给到 0.7-0.8。调参技巧是准备一批有标注的测试集,跑不同权重组合,看召回率和准确率的变化,找到最优点。线上还可以做 A/B 测试持续优化。

8、混合检索和 Rerank 是什么关系?能一起用吗?

建议一起用。混合检索解决的是召回阶段的问题,让召回的候选文档更全面;Rerank 解决的是精排阶段的问题,让最终送给大模型的文档更精准。典型流程是:向量检索召回 Top 50,关键词检索召回 Top 50,RRF 融合后取 Top 100,然后用 Rerank 模型精排,最后取 Top 5 喂给大模型。两者是互补关系,不是替代关系。

9、如果关键词检索和向量检索的结果完全没有交集,怎么处理?

这种情况说明两路检索的视角差异很大,需要分情况处理。如果用户 Query 明显是搜专有名词或 ID,关键词检索的结果更可信,可以给关键词检索更高权重甚至只用关键词检索的结果。如果用户 Query 是自然语言问题,向量检索的结果更可信。还可以做个简单的 Query 分类器,判断 Query 类型后动态调整两路的权重。

10、用大模型做查询扩展会增加延迟,有没有办法优化?

1)用小模型扩展

2)扩展结果做缓存,同样的查询不重复调模型

3)异步扩展,原始查询先跑一路检索,扩展查询同时再跑,两路结果合并

4)热门查询预扩展,把高频问题的扩展结果提取算好存起来

11、查询扩展和混合检索有什么关系?能配合使用吗?

完全可以配合。查询扩展解决的是“查询词不准”的问题,混合检索解决的是“检索方式单一”的问题。扩展后的查询既可以跑向量检索抓语义相关的,也可以跑 BM25 抓关键词精确匹配的,两路结果用 RRF 融合。这样既覆盖了同义词,又兼顾了语义和精确匹配,召回效果最好。

12、如果扩展出来的词引入了噪声,怎么处理?

两个层面处理。事前在扩展的时候就控制质量,prompt 里明确要求“只输出高度相关的词”,或者对扩展词做相似度过滤,和原始查询语义距离太远的直接丢掉。事后靠重排序兜底,Reranker 会把不相关的文档排到后面去,即使召回了噪声也不会进入到最终给模型的上下文里。

13、自查询出错了怎么办?比如把“张三”解析成了时间字段

这是LLM解析能力的问题,常用的有几种:

1)在 prompt 里给出清晰的字段定义和示例,让模型知道每个字段长怎么样

2)对解析结果做格式校验,时间字段必须符合时间格式等

3)解析失败时降级为纯语义检索,不让整个查询挂掉

4)累积 bad case 做few-shot,持续优化 prompt

14、如果知识库没有做元数据标注,自查询还能用吗?

用不了,自查询的前提是文档入库时就打好了元数据标签。没有元数据,LLM解析出来的过滤条件也没地方用。这种情况只能退回到纯语义检索,或者先补一轮元数据抽取,用 NER 模型或者LLM从文档内容里自动提取时间、主题等字段。

15、自查询和传统数据库的SQL查询有什么本质区别?

本质区别在于 自查询是 语义检索 + 结构化过滤 的混合体,传统SQL是纯结构化匹配,它只能精确匹配到字段值,而自查询走的是向量相似度,能匹配到其他的语义相关的内容。自查询把向量检索的模糊匹配能力和结构化查询的精确过滤能力结合起来了。

16、提问:Precision 和 Recall 往往是矛盾的,实际项目里怎么权衡?

看业务场景。法律、金融这类错一条代价很大的场景,宁可漏检也不能误检,优先保 Precision。医疗诊断、安全审计这类漏一条可能出大问题的场景,优先保 Recall。大部分场景可以用 F1-score 做折中,或者根据业务设定一个 Recall 下限,在这个基础上尽量提高 Precision。

17、提问:用大模型给 RAG 打分,大模型本身也可能有偏差,怎么保证评估的可靠性?

几个办法:
1)用多个大模型交叉评估,取共识结果
2)定期抽样做人工复核,校准大模型的打分标准
3)针对特定领域微调一个专门的评估模型
4)设计更细粒度的评估维度,把主观判断拆成多个客观子问题

18、提问:线上监控用户满意度,除了让用户点赞点踩,还有什么方法?

隐式信号比显式反馈更真实。可以看用户有没有追问同一个问题、有没有换个说法重新问、会话有没有异常中断、用户停留时间长不长。这些行为数据聚合起来比单纯的点赞点踩更能反映真实满意度。还可以埋点看用户有没有复制答案、有没有点击答案里的链接,这些都是正向信号。

19、提问:评估数据集怎么构建?直接用线上日志行不行?

回答:线上日志是好素材,但直接有用几个坑。第一是分布偏差,线上高频问题会被过度代表,长尾问题覆盖不够。第二是缺乏标注,日志只有问答对,没有“正确答案”做对比。建议的做法是从线上日志采样,覆盖高中低频问题,然后人工标注一批“黄金答案”作为评测基准。还可以让 LLM 生成问题变体,测试系统的鲁棒性。

20、提问:分块时设置重叠有什么好处?重叠比例一般设多少?

回答:重叠是为了防止关键信息刚好卡在分界线上被截断。比如一段话讲的是“方案的优点和缺点”,刚好在“优点”和“缺点”中间被切开了,前一个块只有优点,后一个块只有缺点,检索时可能漏掉完整的对比信息。设置重叠后,边界附近的内容在两个块里都有,检索时更容易命中。重叠比例一般 10% 到 20%,太大浪费存储和计算资源,太小起不到作用。

21、提问:分块粒度对检索效果有什么影响?

粒度太细,每个块信息量太少,检索出来的块可能不足以回答问题,得召回很多块拼凑。粒度太粗,块里混了多个话题,检索精度下降,模型容易被无关内容干扰。实际项目中一般先用 300 到 500 tokens 跑个基线,再根据检索召回率和答案质量调整。不同类型的文档最优粒度也不一样,技术文档可以粗一点,FAQ 类的要细一点。

22、提问:除了固定长度分块,还有什么更智能的分块方式?

语义分块是目前比较火的方向。不是机械地按字数切,而是用模型判断句子之间的语义相似度,相似度高的句子放一个块,相似度突然下降的地方就是分界点。LangChain 有个 SemanticChunker 就是干这个的。还有基于文档结构的分块,比如 Markdown 按标题切、PDF 按段落切、代码按函数切,这种方式能保证每个块在结构上是完整的。

23、提问:实际项目中怎么选择分块策略?

看文档类型和业务需求。结构化文档比如技术文档、法律合同,优先自然结构分块,能保证章节完整。非结构化文本比如网页、聊天记录,用固定大小加滑动窗口,简单高效。对检索精度要求特别高的场景,比如医疗问答、金融分析,上语义分块。生产环境一般是混合策略,先结构分块粗筛,再语义分块精修。

24、提问:分块大小和重叠比例怎么调优?

没有银弹,得根据检索效果迭代。起点一般是 300 到 500 tokens,重叠 10% 到 20%。然后跑一批测试 query,看召回率和答案质量。召回的块经常不完整,说明块太小或重叠太少。召回的块经常混入无关内容,说明块太大。不同类型文档最优参数不一样,FAQ 类要细,长文章类要粗,最好分类型配置。

25、提问:语义分块的计算成本怎么控制?

全量语义分块确实贵,每对相邻句子都要过 embedding 模型算相似度。优化思路有几个:一是用轻量模型,比如 all-MiniLM-L6-v2 比 BERT-large 快很多但效果够用。二是先粗分再精分,用固定分块快速切成大块,只对大块内部做语义细分。三是缓存,同一份文档分块结果存起来,不用每次重算。四是设相似度阈值,连续几个句子相似度都高就直接合并,不用逐句计算。

26、提问:余弦相似度和欧氏距离有什么区别?RAG 里一般用哪个?

余弦相似度只看方向不看长度,两个向量夹角越小相似度越高,跟向量本身多长没关系。欧氏距离是点到点的直线距离,既看方向也看长度。RAG 里一般用余弦相似度,因为 Embedding 向量的长度没有明确的语义含义,我们只关心方向。两段话说的是不是同一件事,跟向量长度没关系。不过很多向量数据库会把向量归一化,归一化之后余弦相似度和欧氏距离的排序结果是一样的。

27、提问:Embedding 向量维度一般多少?维度高低有什么影响?

常见的维度从 384 到 3072 不等。all-MiniLM-L6-v2 是 384 维,OpenAI text-embedding-3-small 是 1536 维,text-embedding-3-large 是 3072 维。维度越高,能表达的语义信息越丰富,检索精度越高,但存储和计算成本也越高。十亿级向量,384 维和 1536 维的存储差 4 倍,检索延迟也会增加。实际选择要平衡精度和成本,大多数场景 384 到 768 维够用,对精度要求特别高的再上 1536。

28、提问:用户问题和文档块用同一个模型生成 Embedding 吗?

一般用同一个模型。问题和文档在同一个向量空间里才能比较相似度。有些场景会用双塔模型,问题和文档分别过不同的编码器,但最后映射到同一个空间。还有一种做法是对问题做扩展,比如用大模型把问题改写成多个版本,每个版本分别检索再合并结果,这叫 query expansion。核心原则是问题和文档的 Embedding 要在同一个语义空间里可比较。

29、提问:不同嵌入模型输出的向量维度不一样,这对 RAG 系统有什么影响?

影响主要在三方面。向量维度越高,语义表达能力越强,但存储成本线性增长,比如 1536 维比 512 维多占 3 倍空间。检索时计算相似度的开销也会增加,百万级文档量下差距明显。另外高维向量更容易出现维度灾难,距离区分度下降。实际项目里 512 到 1024 维通常是性价比最高的选择。

30、提问:用中文数据的时候,为什么 BGE 效果比 OpenAI 的模型好?

核心原因是训练数据的差异。BGE 用了大量高质量中文语料训练,包括中文维基、知乎、新闻等,对中文的语义理解更深。OpenAI 的模型虽然支持多语言,但训练数据以英文为主,中文只是顺带支持的。另外 BGE 针对中文分词、词序等特点做了专门优化,处理中文长句和专业术语的效果更好。

31、提问:本地部署嵌入模型需要什么样的硬件配置?

取决于模型大小和并发量。all-MiniLM-L6-v2 这种轻量模型,4GB 显存的 GPU 就能跑,CPU 也能用但会慢 10 倍以上。bge-large-zh 需要 8GB 以上显存。如果要支持高并发,比如每秒处理几百个请求,建议上 A10 或更高配置的卡,或者用多卡做负载均衡。纯 CPU 部署的话,32 核以上配合批量推理勉强能用。

32、提问:如果线上 QPS 很高,但又想保证语义准确性,怎么平衡?

可以用级联策略。第一阶段用轻量模型快速召回 Top 100,MiniLM 这种毫秒级就能出结果。第二阶段用重型模型对这 100 条做精排,BERT-large 处理 100 条也就几百毫秒。这样既保证了响应速度,又不损失最终的语义准确性。另外可以考虑模型蒸馏,用大模型的输出去训练小模型,让小模型在特定场景下接近大模型效果。

33、提问:怎么判断一个嵌入模型在你的业务场景下效果好不好?

最靠谱的方式是构建评测数据集。从业务数据里挑 500 到 1000 条 query,人工标注相关文档,然后用 Recall@K、MRR 这些指标来评估召回效果。不能只看 MTEB 榜单排名,因为榜单用的是通用数据集,和你的业务数据分布可能差很远。另外可以做 A/B 测试,看用户的点击率和满意度有没有提升。

34、提问:公司内部文档很多专业术语,通用模型效果差,但又没有足够数据微调,怎么办?

可以试几个方案。一是用 LoRA 这种参数高效微调技术,几千条数据就能有效果,训练成本也低。二是用数据增强,把现有数据用大模型改写扩充,或者用同义词替换、回译等方式扩大数据量。三是构建领域词表做预处理,把专业术语替换成通用模型能理解的描述,检索完再还原回来。

35、提问:PDF 里有表格和图片,怎么处理才能保证 RAG 检索效果?

表格和图片要分开处理。表格用 pdfplumber 提取表格结构,保留行列关系转成文本,比如"产品A | 价格100 | 库存50"这种格式,不能直接拼成一段话否则语义会丢失。图片得先做 OCR,用 Tesseract 或者云服务识别文字,提取出来的文字和图片的位置信息、标题一起存到元数据里。复杂图表建议用多模态模型直接理解图片内容生成描述,效果比纯 OCR 好很多。

36、提问:文档量很大的时候,怎么保证解析效率?

几个方向可以优化。一是并行处理,用多进程而不是多线程,因为 Python 的 GIL 限制多线程效率,100 个文档开 10 个进程并行处理能快 8 倍左右。二是增量解析,给每个文档算 MD5 哈希存起来,下次只解析变化的文档。三是分级处理,简单的 txt、md 直接解析,复杂的 PDF 走单独的解析队列。四是用流式处理,大文档边读边解析边入库,不要全部加载到内存。

37、提问:解析出来的文本质量不好,召回效果差,怎么排查?

先抽样检查解析结果,看看是不是乱码、截断、格式错乱这些问题。如果是特定格式的问题,比如某类 PDF 解析不好,换个解析库试试,pdfplumber 和 PyMuPDF 效果差异挺大的。然后检查分块是不是合理,分块大小语义不完整,分块太大检索精度下降。最后看元数据有没有标对,章节标题错了会影响过滤效果。可以建个解析质量检测流程,随机抽 1% 的文档人工审核。

38、提问:检索召回的内容太长超过上下文窗口怎么办?

几个常用策略:一是用 Reranker 重排后只取 Top-K,通常 3-5 条就够;二是对长文档做摘要压缩,用小模型先提炼关键信息;三是分块时就控制好 chunk 大小,召回多个小块比召回一个大块更灵活。实在装不下就得上下 Long Context 模型,Claude 100K、GPT-4 Turbo 128K 这些。

39、提问:怎么评估 RAG Prompt 的效果?

分两层评估。第一层是检索质量,用 Recall@K、MRR 这些指标看召回的准不准;第二层是生成质量,看回答的准确率、幻觉率、引用命中率。工业界常见做法是标注一批测试集,有标准答案的用 BLEU/ROUGE,没标准答案的用 GPT-4 当裁判打分。

40、提问:模型总是忽略"只能基于资料回答"的指令怎么办?

把约束指令放到 Prompt 的多个位置重复强调,开头一遍、中间一遍、结尾一遍。用否定句式加强,"绝对不能""严禁""禁止"这类词比"请不要"更有效。实在压不住就换思路,让模型先判断"资料中是否包含答案",输出 yes/no,只有 yes 才继续生成回答。

41、提问:混合检索里 BM25 和向量检索的结果怎么融合?

最常用的是 RRF 算法,给每条结果按排名算一个分数 1/(k+rank),k 一般取 60,然后把两路检索的分数加起来重新排序。这个算法简单有效,不需要额外训练,缺点是没法学习两路检索的权重。想更精细控制的话可以训练一个融合模型,输入两路的 score 和 rank,输出最终分数。

42、提问:Reranker 模型和 Embedding 模型有什么区别?

Embedding 模型是 Bi-Encoder,query 和 document 分别编码成向量,用点积或余弦相似度算分数,速度快但交互不够深。Reranker 是 Cross-Encoder,把 query 和 document 拼成一个序列送进模型,输出相关性分数,交互充分所以更准,但每对 query-document 都要过一遍模型,速度慢只能用在少量候选上。

43、提问:检索前的查询重写和查询扩展能同时用吗?

可以,而且实际系统里经常串联使用。先用查询重写把口语化、模糊的 query 转成规范表达,再用查询扩展补充相关关键词。重写解决的是“用户说的不是他想问的”,扩展解决的是“用户想问的不止他说的”,两个阶段目标不一样。

44、提问:怎么评估 Advanced RAG 各个模块的效果?

分模块单独评估。检索模块看 Recall@K、MRR、NDCG;Reranker 看重排后 Top-K 的准确率提升;生成模块看回答的准确率、幻觉率、引用命中率。端到端评估用 RAGAS 框架,有 faithfulness、answer relevancy、context precision 这些指标。关键是要有标注好的测试集,没有金标准啥指标都是瞎算。

45、Precision 和 Recall 往往是矛盾的,实际项目里怎么权衡?

看业务场景。法律、金融这类错一条代价很大的场景,宁可漏检也不能误检,优先保 Precision。医疗诊断、安全审计这类漏一条可能出大问题的场景,优先保 Recall。大部分场景可以用 F1-score 做折中,或者根据业务设定一个 Recall 下限,在这个基础上尽量提高 Precision。

46、提问:用大模型给 RAG 打分,大模型本身也可能有偏差,怎么保证评估的可靠性?

几个办法:

1)用多个大模型交叉评估,取共识结果
2)定期抽样做人工复核,校准大模型的打分标准
3)针对特定领域微调一个专门的评估模型
4)设计更细粒度的评估维度,把主观判断拆成多个客观子问题

47、线上监控用户满意度,除了让用户点赞点踩,还有什么方法?

隐式信号比显式反馈更真实。可以看用户有没有追问同一个问
题、有没有换个说法重新问、会话有没有异常中断、用户停留时间长
不长。这些行为数据聚合起来比单纯的点赞点踩更能反映真实满意
度。还可以埋点看用户有没有复制答案、有没有点击答案里的链接,
这些都是正向信号。

48、评估数据集怎么构建?直接用线上日志行不行?

线上日志是好素材,但直接用有几个坑。第一是分布偏差,线上高频问题会被过度代表,长尾问题覆盖不够。第二是缺乏标注,日志只有问答对,没有“正确答案”做对比。建议的做法是从线上日志采样,覆盖高中低频问题,然后人工标注一批“黄金答案”作为评测基准。还可以让 LLM 生成问题变体,测试系统的鲁棒性。

49、压缩会不会把关键信息也压没了?怎么保证压缩质量?

确实有这个风险。保证质量的核心是让压缩模块“知道”什么是关键。几个做法:

  1. 把用户问题作为压缩的锚点,跟问题相关性高的内容优先保留

  2. 设置压缩率上限,别压得太狠,保留 30%-50% 是比较安全的区间

  3. 用 NER 提取关键实体,人名、日期、数字这些硬性信息强制保留

  4. 上线前用测试集跑一遍,对比压缩前后的回答质量

50、长上下文模型出来了,比如 Claude 200k、Gemini 1M,还需要压缩吗?

需要,原因有两个。第一是成本问题,窗口大了不代表免费,塞满 200k tokens 的调用费用很可观。第二是“大海捞针”问题,上下文越长模型越容易走神,关键信息淹没在海量文本里反而降低准确率。所以即使窗口够大,压缩掉无关内容还是有意义的。

51、压缩模块本身也要消耗资源,怎么权衡压缩的收益和成本?

算一笔账就清楚了。压缩模块用的是小模型,成本很低,LLMLingua 用的是 7B 参数的模型,推理成本大概是 GPT-4 的 1/100。如果原始文档 10000 tokens 压缩到 2000 tokens,调用大模型省下的钱远超压缩的成本。只有文档本身就很短、或者压缩率提不上去的场景,压缩才不划算。

Comments
赞赏
Share
← 返回