承接第 4 篇。前面做的测试用例生成助手只能靠模型肚子里的知识回答。这篇给它加上一个知识库把《用户登录模块需求说明》喂进去让它能基于这份文档生成测试用例。这一步会接触到 AI 应用里非常重要的概念——RAG检索增强生成我尽量用大白话讲清楚。一、为什么需要知识库RAG大模型只知道训练时的数据不知道你的私有文档。RAG的思路很简单你的文档 → 切成小块 → 向量化存入向量库 用户提问 → 先从库里检索最相关的几块 → 拼进提示词 → 模型基于这些内容回答好处回答有据可依能引用你的资料还能减少凭空编造。二、Step 1创建知识库、上传文档左侧「知识库」→「创建知识库」→「导入已有文本」上传你要用的文档支持 TXT / MD / PDF / DOCX 等每批最多 5 个文件、单个不超过 15MB。我上传了《用户登录模块需求说明.md》三、Step 2文本分段与清洗上传后进入文本分段与清洗这是 RAG 的第一步——把长文档切成小块几个核心概念新手先懂意思用默认即可概念含义我的设置分段标识符按什么规则切块这里按空行\n默认分段最大长度每块最多多少字符这里 1024默认分段重叠长度相邻两块重叠多少字符50让上下文更连贯默认文本预处理清洗文本替换连续空格、删 URL 等勾选替换连续空格/换行/制表符父子分段子块检索、父块作上下文更精细进阶再开关闭右侧预览能看到文档被切成了一个个 Chunk我的文档约 27 块每块都保留了完整语义为什么分段模型一次能读的内容有限分段就是让检索能找到和问题最相关的那一小块。四、Step 3索引与检索设置点「下一步」进入索引与检索设置① 索引方式高质量 / 经济高质量推荐调用Embedding 模型把每块转成向量检索更准经济每块用 10 个关键词检索省 token 但准确性降低。⚠️ 选了高质量之后不能切回经济。Embedding 模型选默认的multimodal-embedding-v1即可。② 检索方式向量检索把问题转成向量找语义最接近的分块默认开Rerank 模型对检索结果二次重排把最相关的排前面开了qwen3-rerank更准全文检索按关键词字面匹配混合检索推荐向量 全文同时查再重排序效果更稳。③ 两个关键参数以后调优/评测的重点Top K 3每次检索召回最相关的几块这里 3 块Score 阈值 0.5相关性得分低于 0.5 的分块直接丢弃。记住一句话Top K 管召回多少Score 阈值管太差的不要。这俩是 AI 测试里调检索和评效果的核心参数。五、Step 4知识库创建完成点「保存并处理」处理完会显示配置总结分段 1024、高质量、向量检索知识库就建好了六、Step 5让应用关联知识库回到「测试用例生成助手」的「编排」页 → 左侧「知识库」→「 添加」我第一次点「添加」时弹窗显示未找到知识库——因为我还没建好库。点了弹窗里的「去创建」把库建好后再来就能看到了。关联后「知识库」区域会出现你的文档标注「高质量 · 向量检索」七、Step 6调试测试——一个真实的观察我在调试区问请根据《用户登录模块需求说明》为密码规则设计边界值用例结果 AI 的回答是它说当前需求中未明确密码规则的具体约束然后假设了规则密码 8~20 位、至少 3 类来出用例还列出了需要补充的规则问题但我的文档里明明写了密码8~32 位、必须包含大写/小写/数字。为什么 AI 没用上我决定做个召回测试查个明白。召回测试一短问题能召回到正确内容进入知识库的「召回测试」先用更直接的问题密码的规则是什么测试结果成功召回了 3 个相关段落第一条就是密码规则本身Chunk-10 · SCORE 0.80密码长度 8~32 位必须同时包含大写、小写、数字三类字符 ✅Chunk-16 · SCORE 0.79密码错误时的提示Chunk-15 · SCORE 0.77用户名不存在时的提示召回测试二换一种问法结果天差地别再用调试时那个长问题请根据《需求说明》为密码规则设计用例测试这次召回的是Chunk-01 · SCORE 0.84用户登录模块需求说明只是文档标题没实际规则Chunk-15 · SCORE 0.78用户名不存在时的提示Chunk-16 · SCORE 0.78密码错误时的提示注意真正包含密码规则的Chunk-10没有出现在 Top 3 里被挤掉了。对比一下原因就清楚了查询召回 Top 3是否命中密码规则块短问题密码的规则是什么Chunk-10密码规则0.80等✅ 命中长问题请根据《需求说明》为密码规则设计用例Chunk-01标题 报错提示块❌ Chunk-10 被挤出所以调试时 AI 为什么假设8~20 位不是模型不听话而是长问题召回的段落里根本没有密码 8~32 位这条——模型没拿到这条规则只能拿自己的常识兜底。根源是检索质量问题同一个知识库问题怎么问表述、Top K 取多大这里 3会直接决定模型能不能看到正确答案。延伸到 AI 测试这里其实埋了两个 AI 测试要解决的核心问题检索质量Retrieval问题表述不同、Top K 设置不同召回结果就差很多——怎么保证该召回的一定被召回忠实度Faithfulness就算召回了正确内容模型生成时也可能不用、自己编——怎么检测回答有没有忠实引用资料、有没有幻觉这两件事合起来就是RAG 评估正是 AI 应用质量保障AI 测试的核心研究点。这也是我接下来最想深入的方向。八、小结给应用加知识库流程是创建知识库(上传文档) → 分段清洗 → 索引检索设置 → 应用关联 → 调试验证关键收获RAG 分段 向量化 检索 拼进提示词让模型有据可依Top K、Score 阈值、Rerank是影响检索效果的核心以后调优和评测就调它们问题怎么问决定了模型能不能看到正确答案——同一个知识库短问题能召回到密码规则Chunk-10长问题却把它挤出 Top 3导致模型没拿到规则、拿常识兜底。如何评测检索质量该召回的有没有召回和回答忠实度有没有编造正是 AI 测试要解决的问题也是我接下来最想深入的方向。