W-RAG 全文翻译:企业多知识库文档生成的来源感知检索
arXiv 论文 W-RAG 全文中文翻译:企业文档生成中全局排序会让大知识库挤掉小而关键的库,W-RAG 用本体引导检索+每库局部排序+来源加权配额,相对标准 RAG 把需求满足度提升 109.2%,附企业 RAG 改造步骤与验收方法。

目录
结论
这是 arXiv 论文《W-RAG:面向异构知识库企业文档生成的来源感知检索》(W-RAG: Source-Aware Retrieval for Enterprise Document Generation from Heterogeneous Knowledge Bases)的全文中文翻译。作者为得克萨斯大学达拉斯分校的 Hridya Dhulipala 与 Tien N. Nguyen、DMI(Digital Management, LLC)的 Rajesh Ombase、麻省理工学院的 Michael Wang,提交于 2026 年 8 月 22 日,采用 CC BY 4.0 许可,允许全文翻译与再发布。
原文针对的是企业 RAG 的一个结构性缺陷:现有 RAG 管线假设「来自多个知识库的证据可以用单一相似度函数做全局排序」。这一假设在开放域检索里成立,但在企业文档生成(政策起草、产品发布文档、并购尽调报告、投标书)中会崩溃——因为企业里不同知识库(政策库、法规库、技术文档库、部门指引库)扮演不同角色,必须被共同呈现。全局排序会让「更大、更密、词面更贴近查询」的知识库霸占上下文窗口,把更小但必需的知识库挤出去,产出的草稿因此遗漏关键要求。
W-RAG 的解法是三阶段「来源感知」检索:本体引导的候选检索 → 每个知识库内部局部排序 → 来源级加权分配 token 预算。在一个自建的多领域企业文档生成基准上(100 份需求文档、4 类文档类型、4 个行业领域、4 个各约 500 篇文档的异构知识库),W-RAG 相对 Vanilla RAG 把需求满足度提升 109.2%、上下文相关性提升 96.4%;相对本体引导的 OG-RAG 也分别提升 58.1% 与 39.1%。
对企业的直接启示:企业 RAG 的问题往往不在「检索得准不准」,而在「证据构成对不对」。如果你的 AI 写作/问答系统接了多个知识库(制度、法规、技术、市场),必须显式管理各库在上下文窗口中的配额,否则生成结果会系统性偏向大库。这篇论文给出了可直接落地的加权公式、本体构建流程与「需求满足度」验收指标。
以下为忠实全文翻译。
原文全文翻译
标题与作者
W-RAG:面向异构知识库企业文档生成的来源感知检索
Hridya Dhulipala(得克萨斯大学达拉斯分校) Rajesh Ombase(DIGITAL MANAGEMENT, LLC,DMI) Michael Wang(麻省理工学院) Tien N. Nguyen(得克萨斯大学达拉斯分校)
摘要
检索增强生成(RAG)使大语言模型能够在生成过程中纳入外部知识,改善事实接地与领域适应性。然而,现有 RAG 管线假设:从多个知识库检索到的证据可以用单一相似度函数做全局排序。虽然这适合开放域检索,但该假设在企业文档生成中会失效——在企業文档生成中,异构知识库(如政策、法规、技术文档与部门指引)扮演着不同角色,且必须在生成的文档中被共同呈现。结果是,全局排序常常产生由部分来源主导的不均衡上下文,导致企业草稿不完整。为解决这一局限,我们提出 W-RAG,一个来源感知的检索框架,执行本体引导检索、每个知识库内部的局部排序,以及来源级加权,以调节证据构成。我们进一步引入一个用于检索接地的企业文档生成的新数据集,覆盖多种文档类型与行业领域。实验表明,标准 RAG 管线在此任务上表现挣扎,而 W-RAG 显著改善了文档覆盖度与生成质量。
1 引言
检索增强生成(RAG)已成为把大语言模型接地于知识的强大范式,显著提升事实性、透明度与领域适应性。通过把神经生成与从知识库的定向检索相结合,RAG 系统帮助组织以比纯参数化模型更高的可靠性综合政策、合同、技术文档与面向客户的材料。
尽管有这些进展,当前的企业 RAG 实现仍继承了结构性局限。近期研究与经验报告显示,朴素的、仅靠相似度的 RAG 管线在文档生成任务上常常表现不佳——例如在异构企业环境中的政策创建、投标书、信息征询文件(RFI)与合规报告。这是因为现有 RAG 系统从多个异构知识库检索候选,然后在选择 top-k 上下文用于生成之前对它们做全局排序。虽然这一设计在开放域检索中很自然,但它对企业文档生成是有问题的,因为它假设来自异构知识库的证据可以用单一排序函数来比较。然而在实践中,企业知识库在范围、权威性、密度与角色上各不相同。既有政策、法规、科学知识、操作手册、部门笔记与技术规格,在起草过程中的影响力应当被区别对待。全局排序倾向于偏好更大、更密、或词面上与查询更对齐的知识库,同时压制更小但必需的知识库。结果往往是一个由单一来源家族主导的上下文窗口,来自其他部门或领域的关键证据被遗漏。因此对企业文档生成而言,问题不只是分块级的排序质量,而是文档级的证据构成。
在本文中,我们提出 W-RAG,一个用于企业文档生成的检索框架,改善跨多个知识库的证据选择与来源构成。W-RAG 分三个阶段运行。第一,它使用本体引导的主题建模来识别不仅与查询词面相似、而且与目标文档的主题要求更对齐的段落。第二,它在每个知识库内部对证据做局部排序,而不是把所有检索候选塌缩进单一全局排序。第三,它使用来源级(或用户定义的)权重来调节从每个知识库选取多少上下文,使最终证据集更好地反映文档需求,而不是任何单一知识库的主导地位。
此外,研究这一问题的一个主要障碍是缺乏用于检索接地的企业文档生成的数据集。现有 RAG 数据集主要评测问答、摘要或通用知识密集型生成,没有捕捉企业写作所需的多来源证据构成。为填补这一空白,我们引入一个覆盖多种企业文档类型的新数据集,包括政策、产品发布文档、并购尽调报告与学术项目提案。该基准横跨若干行业领域,包括 AI 技术与数字媒体、医疗与远程医疗、气候与可持续发展、金融。它的设计使得成功的生成需要从异构知识库检索并组合证据,而不是依赖单一语义对齐的来源。
使用该数据集,我们在标准 RAG 配置下评测了多个开源与专有的基于 LLM 的系统,发现它们尽管产出流利的输出,却在企业文档生成上表现不佳。我们的分析显示,生成的企业文档对检索上下文中所呈现的知识库很敏感。当检索仅通过全局排序执行时,它常导致草稿无法覆盖所请求企业文档指定的完整要求集。
我们的贡献有三:
(1)问题形式化。我们把企业文档生成识别为一种检索设定——在其中标准 RAG 假设与任务要求严重不匹配,并刻画了现有系统的一个关键失败模式:跨异构知识库的全局排序,无法保留完整文档生成所需的来源构成。
(2)方法。我们提出一个用于企业文档生成的来源感知检索框架,基于加权局部检索,并由专家撰写的本体引导支撑,以改善跨域证据选择与上下文构成。
(3)数据集与发现。我们引入一个用于跨多种文档类型与领域的检索接地企业文档生成的新数据集,并表明现有 RAG 算法在此数据集上表现不佳,而我们的来源感知检索方法带来实质性改善。
2 相关工作
检索增强生成。RAG 通过把外部检索与生成式推理集成,已成为知识接地语言建模的基石。Lewis 等人的原始 RAG 框架以及后续模型(如 REALM 与 RETRO)表明,生成前检索文本证据能改善事实性并减少幻觉。更近期的工作通过自适应证据路由与基于人类反馈的强化学习扩展了这些范式。尽管有这些进展,大多数 RAG 管线仍假设同质的、开放域的语料,依赖稠密或混合相似度检索来选择支撑文档。这种假设在企业或多来源环境中变得有问题——在那里,各知识库在权威性、结构与语言领域上差异巨大。
多来源与结构化检索。越来越多的工作探索超越单一来源设定的检索。多跳与多粒度检索方法旨在跨文档组合证据,但它们通常索引同质的、任务特定的数据集,如维基百科或新闻档案。若干关于领域特定或垂直 RAG 系统的研究试图处理这种异构性。法律、生物医学与金融领域的工作引入分层或基于本体的检索管线,以更好地反映领域语义。然而,这些方法聚焦于单一紧密界定语料内部的准确性。企业应用则常常需要综合分散在扮演互补角色的多个知识库中的信息。来自工业部署的实证评测证实,全局 top-k 检索导致偏斜的证据选择——大的或词面占主导的来源掩盖了更小但必不可少的来源。
知识接地生成的数据集。RAG 的基准数据集通常针对问答、事实核查或短摘要。像 HotpotQA 这样的多文档推理数据集鼓励证据链,但仍取材于单一知识领域。近期用于长文本事实生成、安全政策写作与组织合规的数据集显示了新兴兴趣,但缺乏异构知识来源覆盖。我们引入的数据集通过强调跨域证据构成扩展了这一方向,作为在企业语境中评测检索加权 RAG 方法的基准。
3 方法
3.1 总览
W-RAG 是一个用于在异构知识库(KB)上做企业文档生成的来源感知检索框架。我们用「上下文分配」(context allocation)一词指最终提示上下文在各知识库之间的 token 级分布。给定一个输入查询或种子文档 q、一个总检索预算 T_total,以及 M 个知识库,目标是构建一个上下文窗口——从每个知识库选择文本块,使检索到的 token 总数不超过 T_total,同时检索到的证据与目标起草任务保持相关。
在较高层面,W-RAG 分三步进行:(1)它从输入提取本体接地的主题,并从每个知识库检索候选块;(2)它估计并建议最终上下文应有多少来自每个知识库;(3)它把这些来源偏好转换为 token 预算,并构建一个单一的来源均衡上下文窗口用于生成。
3.2 阶段 1:本体引导的候选检索
W-RAG 首先使用一个由领域本体引导的 LLM,从输入提取结构化主题表示。本体(ontology)是一个领域中关键概念及其相互关系的形式化表示。与分类法(taxonomy)不同,本体允许实体、概念与类别之间更丰富的、非层级性的关系。在我们的系统中,本体既用于组织领域概念,也用于把自由形式的输入映射到一个可以引导检索的结构化主题集。例如,在一个政策起草任务中,提取出的主题(如数据隐私、访问控制、合规报告)可以被映射到本体类别(如安全与治理)。本体构建与主题提取提示词的细节见附录 A.2。
给定输入 q,主题提取器产生 T = {(t_i, g_i)},其中 t_i 是提取的主题短语,g_i 是其本体类别。
每个知识库 j 被索引为一个文本块集合(例如段落级片段)。我们以 c_jk 表示知识库 j 的第 k 个块。在索引时,每个块还被关联一组提取的本体主题,记为 M(c_jk)。W-RAG 从每个知识库检索候选块,并用一个混合相关性函数对它们评分:
R(c_jk) = f_sim(q, c_jk) + λ · f_ont(T, c_jk) (式 1)
其中 f_sim 度量输入与块之间的语义相似度,f_ont 度量基于本体的主题对齐度,λ ≥ 0 控制本体引导的相对影响。
语义相似度计算为稠密嵌入之间的余弦相似度:
f_sim(q, c_jk) = cos(φ(q), φ(c_jk)) (式 2)
其中 φ(·) 是检索器使用的嵌入函数。
为计算本体对齐度,我们把每个输入主题与关联到该块的本体主题做比较。对一个输入主题 t_i 和一个索引块主题 m ∈ M(c_jk),我们使用基于规则的匹配分数:
s(t_i, m) = 1.0(若 t_i 与 m 精确匹配);0.7(若一个字符串包含另一个);0.3(仅本体类别匹配);0(其他情况)。
选取这些值是为了强制一个清晰的匹配强度排序(精确 > 部分 > 类别 > 无),同时保持评分方案简单且可解释。
于是,块级本体分数为:
f_ont(T, c_jk) = (1/N) Σ_i max_{m∈M(c_jk)} s(t_i, m) (式 3)
即 f_ont 是输入主题与块索引本体主题之间的平均最佳匹配分数。实践中,提及更多输入主题、或更具体地提及它们的块,获得更高的本体分数。
在所有实验中,我们设 λ = 0.5。我们在一个留出的开发集上通过在 λ ∈ [0,1] 区间扫描来选择该值,选取在不降低上下文相关性的前提下改善平均需求满足度的值。所有领域与文档类型使用相同的值。
对每个知识库 j,我们按 R(c_jk) 对块排序并保留 top-m 候选:
C_j = {c_j1, c_j2, ..., c_jm} (式 4)
其中 C_j 表示在式 1 的混合分数下从知识库 j 检索到的 top-m 候选文本块。这些逐库候选集随后用于来源加权与最终上下文构建。
3.3 阶段 2:来源权重估计
阶段 1 识别了主题相关的候选,但尚未确定每个知识库应为最终提示贡献多少。标准的全局 top-k 策略会简单地把所有候选合并进一个共享排序,这可能使最终上下文过度集中于单一来源。W-RAG 转而在构建最终上下文之前,为每个知识库估计一个来源权重。
对每个知识库 j,我们维护一个库级主题索引 M_j,通过聚合关联到该库中文档的本体主题获得。来源加权通过把输入主题集 T 与这些库主题索引做比较来实时计算。主要来源信号是主题重叠:
S^j_topic = (1/N) Σ_i max_{m∈M_j} s(t_i, m) (式 5)
其中使用与阶段 1 相同的精确/部分/仅类别匹配函数 s(·,·)。因此 S^j_topic ∈ [0,1] 度量知识库 j 与输入主题的总体匹配程度。
我们把 S^j_topic 与两个辅助项结合。第一个是弱的文档可得性先验:
S^j_doc = min(1, (N^j_doc / 100) × 0.5)
其中 N^j_doc 是知识库 j 中已索引文档的数量。该项对具有更广支撑覆盖的知识库给予小幅提升,同时防止仅凭规模主导分数。第二个是类别奖励:
S^j_cat = 0.2(若知识库 j 匹配至少 1 个输入主题);否则为 0。
该项奖励粗粒度的领域对齐,即使精确主题重叠有限。
知识库 j 的最终来源分数为:
S^j_final = 0.7 · S^j_topic + 0.1 · S^j_doc + 0.2 · S^j_cat (式 6)
系数反映了三个信号的预期优先级:主题重叠是主要驱动,类别对齐提供领域级支撑,文档可得性只作为弱先验。我们在初步开发阶段调优后固定了这些系数,并在所有实验中保持不变。所得分数被归一化为基于百分比的库占比(称为权重):
w_j = S^j_final / (Σ_k S^k_final) × 100,Σ_j w_j = 100 (式 7)
该过程实时计算:推荐器不依赖静态预计算的库偏好,而是把当前输入主题与各库的当前主题索引做比较。当新文档被加入某库时,只有在重新索引更新了关联的主题索引与文档计数之后,它们才影响未来的推荐。
3.4 阶段 3:加权上下文构建
由于生成器有固定的上下文窗口,式 7 中的库权重必须被转换为 token 预算。对每个知识库 j,我们定义:
T_j = (w_j / 100) · T_total,Σ_j T_j = T_total (式 8)
权重被定义为:基于各知识库与查询的估计相关性,在知识库之间对上下文 token 的比例分配。
这些预算规定了每个知识库被允许向最终提示上下文贡献多少 token。
W-RAG 随后从每个局部排序的候选集 C_j 中选择排名最高的块,直到相应的预算 T_j 用尽。被选中的块被合并进一个单一上下文窗口(Single Context Window,SCW),且每个块都被标注其来源知识库以保留出处。这一步是在最终上下文窗口上强制来源级约束的机制——标准 RAG 管线对此不做控制。通过这种方式,W-RAG 把来源相关性估计转换为一个生成上下文,其构成反映目标文档的信息需求,而非单一来源的主导。
最终提示形如 P = {I_sys, q, SCW},其中 I_sys 表示系统指令。该提示随后被传递给 LLM 做企业文档生成。
4 数据集
评测企业级文档生成的 RAG 提出了独特挑战,因为目前不存在用于长文本、需求驱动的文档综合的标准化数据集。为填补这一空白,我们引入一个新颖的数据集,用于在异构知识库条件下评测企业文档生成的 RAG 技术。每个数据样本由一份输入需求文档构成,该文档指定了生成目标文档的详细约束与目标。输入文档示例见附录 A.1。
数据集包含 100 份需求输入文档。每份需求文档都是人工构建的,属于四种企业文档类型之一:政策、产品发布文档、学术项目文档、并购尽调文档。选择这些文档类型是因为它们代表了具有不同证据需求、修辞结构与决策目的的不同企业要求。关于输入文档如何创建与撰写的细节见附录 A.1。
在这些文档类型之间,数据集覆盖四个高层主题:AI 技术与数字媒体、医疗与远程医疗、气候与可持续发展、金融。选择这些主题是为了确保基准反映现实的企业主题——在其中文档生成必须整合业务、技术、法律与市场特定信息。
为支持检索,我们构建了四个异构知识库(KB),每个包含约 500 篇从开放获取网络资源收集的公开来源文档:
(1)KB1(企业类):公司备案文件、公司报告、运营文档与治理材料。 (2)KB2(科学类):同行评审期刊论文、技术白皮书与研究摘要。 (3)KB3(监管类):法律文本、合规指引与监管框架。 (4)KB4(市场与新闻类):市场调查、行业报告与新闻文章。
使用此类知识库的目标是测试 RAG 系统组装一个反映企业证据不同功能角色的上下文的能力。例如,一份医疗 AI 的产品发布文档可能同时需要企业先例、科学验证、监管要求与市场定位。
5 实验
5.1 基线与指标
基线。我们把 W-RAG 与以下代表性 RAG 管线比较:
(1)Vanilla RAG。标准 RAG 管线,对所有可用知识库执行稠密语义检索,随后跨库对检索到的文档做全局排序。排名最高的段落随后被提供给生成器,不对领域结构或来源级偏好做任何显式建模。
(2)OG-RAG。第二个基线用本体引导的主题建模增强检索。对四个领域中的每一个,人工策划了一个本体,捕捉与该领域文档起草相关的主要概念、实体与主题关系。检索到的文档首先用这个本体引导的主题表示来过滤和组织,之后段落跨库全局排序并传给生成器。OG-RAG 已被证明在准确事实的召回率与响应正确性上高于基于矩阵(如 RAPTOR)和基于图(如 GraphRAG)的 RAG 基线,确立了本体引导检索作为坚实基础。
本体。我们为每个「领域×文档类型」对构建一个本体,共 16 个本体。每个本体用半自动过程构建——初始自动生成版本由领域专家人工精炼与验证。这些本体支撑 OG-RAG 与 W-RAG 中的主题提取与本体引导检索。
评测指标。由于企业文档生成的多维性质,我们采用以下互补的评测指标:
(1)需求满足度(Requirement Satisfaction):定义为生成文档满足输入文档所列最低必要要求的程度。与问答基准(正确性常可对照单一参考答案判定)不同,企业文档更适合对照一份需求清单来评测——该清单指定有效草稿中必须出现的强制要素。
对每种文档类型(如政策文档、产品发布简报、并购尽调摘要),我们与经常撰写此类文档的领域从业者协商,构建一份必要要求清单,每份清单包含约 12 项核心要求。每项要求按 2 分序数尺度评分:0=未满足,1=部分满足/规定不充分,2=完全满足。因此每份文档最高 24 分。分数随后被归一化。我们通过一个 LLM 裁判(LLM-as-a-judge)半自动化评分过程,向其提供:(1)输入文档或起草提示;(2)生成的输出;(3)对应文档类型的需求清单。裁判被指示为每个清单项打分。为提高可靠性,这些分数随后由领域从业者人工验证,然后才用于分析。给领域从业者验证评分的标准指令见附录 A.7。
(2)上下文相关性(Context Relevancy):度量检索段落中真正与输入起草任务相关的比例。给定一组 N 个检索段落,LLM 裁判就输入文档与起草目标把每个段落标注为相关或不相关,以 z_i ∈ {0,1} 表示该判定。上下文相关性定义为 CTS = (1/N) Σ z_i。与答案相关性一样,基于 LLM 的判定经人工验证以确保评分一致性。上下文检索作为一项指标,把检索质量与生成质量隔离开:一个系统可能生成流利的文本,但糟糕的检索常常限制事实充分性与来源接地。
(3)实现的知识库保真度(Realized Knowledge Base Fidelity):该指标的目标是估计哪个知识库最可能支撑生成文档的不同部分,而不是检测对检索段落的逐字复用。因为现代 LLM 通常综合并改写检索到的证据,归因使用嵌入空间中的语义相似度而非词汇重叠来执行。因此,该指标度量知识来源中的分布接地。计算方式如下:
设生成文档被分割为句子级单元 S = {s_1, s_2, ..., s_T}。对每个片段 s_t,我们计算其嵌入并与所有检索文档块的嵌入比较。选择余弦相似度最高的块:c*(s_t) = argmax_c cos(φ(s_t), φ(c)),其中 φ(·) 表示嵌入函数,C 是检索块的集合。若最高相似度低于阈值 τ(=0.6),该片段被标注为「合成的」(synthesized),表示它不能被自信地接地于任何检索来源。这使该指标能够显式计入通过模型综合而非直接来源支撑生成的内容。
每个片段随后被分配到其匹配块所属的知识库。设 w_i 表示归因于知识库 i 的片段总词数,w_synth 表示被标注为合成的总词数。知识库使用的实现分布为:Q_i = w_i / (Σ_j w_j + w_synth)(i = 1,...,K),以及 Q_synth = w_synth / (Σ_j w_j + w_synth)。这产出一个细粒度估计:生成文档中实际有多少由每个知识库支撑。
(4)Jensen–Shannon 散度(JSD):为量化实现的知识库使用与规定权重的吻合程度,我们计算分布 P′ 与 Q′ 之间的 JS 散度:P′ = [P_1, ..., P_K, 0],Q′ = [Q_1, ..., Q_K, Q_synth],其中额外维度计入合成内容(P_K = 0)。JSD 定义为 JSD(P′∥Q′) = (1/2)KL(P′∥M) + (1/2)KL(Q′∥M),其中 M = (1/2)(P′+Q′),KL 表示 Kullback–Leibler 散度。JSD 有界于 [0, ln2],我们得到 [0,1] 中的保真度分数:Fidelity = 1 − JSD(P′∥Q′)/ln2,其中 1 表示完美来源保真,0 表示最大散度。
大语言模型。为确保观测到的差异可归因于检索而非生成,所有检索-生成管线都使用相同的骨干模型 GPT-4.1(经 Azure AI Search 访问)。对需求满足度与上下文相关性的自动评测,我们使用 Claude Sonnet 4.6 作为 LLM 裁判;这些判定在分析前经人工验证。所有 LLM 的提示词见附录 A.3。
5.2 结果
生成文档质量与检索有效性。表 1 按四个领域(AI 技术与数字媒体、气候与可持续发展、医疗与远程医疗、金融)× 四种文档类型(政策、产品发布、并购、学术项目)× 三种算法(Vanilla RAG、OG-RAG、W-RAG)报告需求满足度(%)与上下文相关性(%)。原文表 1 完整数据如下:
| 文档类型 | 算法 | AI技术:需求/相关 | 气候:需求/相关 | 医疗:需求/相关 | 金融:需求/相关 |
|---|---|---|---|---|---|
| 政策 | Vanilla RAG | 25/57 | 38/32 | 25/30 | 34/41 |
| 政策 | OG-RAG | 34/73 | 68/72 | 35/40 | 51/48 |
| 政策 | W-RAG | 78/76 | 76/70 | 55/70 | 60/79 |
| 产品发布 | Vanilla RAG | 34/45 | 35/40 | 22/28 | 37/40 |
| 产品发布 | OG-RAG | 38/74 | 56/50 | 33/45 | 5/52 |
| 产品发布 | W-RAG | 58/78 | 74/68 | 63/71 | 61/79 |
| 并购 | Vanilla RAG | 38/52 | 42/38 | 20/32 | 41/45 |
| 并购 | OG-RAG | 39/70 | 54/49 | 32/41 | 5/56 |
| 并购 | W-RAG | 65/78 | 83/87 | 62/68 | 73/82 |
| 学术项目 | Vanilla RAG | 28/31 | 40/45 | 27/22 | 34/40 |
| 学术项目 | OG-RAG | 34/64 | 40/44 | 29/42 | 45/52 |
| 学术项目 | W-RAG | 72/81 | 78/82 | 67/74 | 63/7 |
(注:原文表格为跨页排版,个别单元格存在 OCR 排版噪声,上表按原文行列顺序忠实转录;最后一行「学术项目 W-RAG 金融上下文相关性」原文显示为 7,疑为排版截断,读者引用时应以原文 PDF 为准。)
在分析性能之前,我们注意到用于评分的 LLM 裁判经人工验证,与人工核验表现出强一致性——需求满足度准确率 91%,上下文相关性准确率 86%。这表明自动评分对比较性评测足够可靠。人工验证分数的指令细节见附录 A.7。
表 1 报告两个互补指标:需求满足度(度量生成的企业文档覆盖了多少要求的内容)与上下文相关性(度量检索证据中有多少与起草任务相关)。在全部 16 个设定中,W-RAG 带来显著更大的改善:相对 OG-RAG,它把需求满足度提升 58.1%、上下文相关性提升 39.1%;相对 Vanilla RAG,增益分别为 109.2% 与 96.4%。就实际意义而言,这意味着 W-RAG 不仅检索到更好的支撑证据,还把该证据转换为满足输入文档所提要素多得多得草稿。
观察到的一个关键模式是:仅凭检索质量并不保证更好的文档质量。例如,在 AI 技术与数字媒体产品发布文档中,OG-RAG 相对 Vanilla RAG 把上下文相关性提升了 64.4%,但需求满足度只增加了 11.8%。W-RAG 弥合了这一差距,表明企业文档生成不仅取决于检索相关段落,还取决于以来源感知的方式从多个知识库组合证据。附录 A.5 详述了结果的细粒度分析。
知识库影响与来源保真度。图 1 提供了检索时规定来源分布与生成文档中实现的知识库归因之间的逐领域比较。实现的知识库分布追踪输入知识库分布的程度,是来源保真度的直接视觉指标:当某知识库在检索前被指定的权重较高(即从该库检索的信息多于其他库)时,生成文档忠实地反映这一预期来源构成。输入分布与实现分布在所有领域上的紧密对齐表明,系统在检索时来源加权与所得文档内容之间保持了强联系。
与视觉趋势一致,各领域的平均 JS 散度分数介于 0.60 到 0.74,表明规定与实现的知识库使用之间存在中到强的一致性。这表明生成过程在构建企业文档时保留了企业、科学、监管与市场知识的预期混合。为超越仅凭视觉的证据,附录 A.5.1 呈现了一项受控的权重覆盖研究,其中规定的知识库混合被人工扰动。
用例:企业投标书起草。我们设定的一个有动机的企业用例是企业投标书起草——投标经理、方案架构师与业务拓展团队为美国文职机构与国防部机构准备对复杂 RFP(建议征询书)的响应。这些文档高度结构化,且严重依赖从异构内部知识库检索证据,包括既往投标书、合同、能力介绍、合规文档、定价产物与机构特定材料。在一个 2025—2026 年使用的内部检索辅助起草工作流中,团队报告了显著的生产力收益,表明投标书起草是多知识库文档生成的一个重要真实测试场。详细案例研究描述见附录 A.6。
6 结论
本工作引入了 W-RAG,一个为需要来自多个异构知识库证据的企业文档生成任务设计的检索框架。我们的实验表明,全局相似度排序会导致不均衡的上下文构成——占主导地位的来源掩盖了满足复杂要求所必需的其他来源。通过把本体引导的主题提取与来源感知的上下文分配相结合,W-RAG 在我们的基准数据集上同时改善了需求满足度与上下文相关性。这些结果表明,在多来源企业设定中,显式管理检索上下文如何在知识库之间分布,能够带来更忠实、更完整的文档生成。
7 局限与效度威胁
数据集与任务范围。我们的评测在一个相对小的、合成的企业风格数据集上进行。虽然设计上反映了现实的多来源文档生成场景,它可能没有完全捕捉真实企业环境中存在的多样性、规模与噪声。
评测指标。我们使用任务特定指标(如需求满足度与上下文相关性)评测生成输出,这些指标在其定义或度量中涉及部分主观性。这些指标可能没有完全捕捉文档质量的所有方面,如事实正确性、连贯性,或在下游工作流中的可用性。
基线比较。我们的比较限于标准的检索增强生成基线。我们没有包含经过重度调优的检索策略,这可能缩小观测到的性能差距。
方法的普适性。W-RAG 主要在一个具有结构化知识来源的企业文档生成设定中被评测。它在其他领域(如开放域问答或结构化程度更低的检索环境)中的有效性仍有待验证。
(参考文献:原文列出 53 条参考文献,包括 Lewis 等(RAG 原始框架)、REALM、RETRO、RAPTOR、GraphRAG、HotpotQA、OG-RAG 等;此处按学术惯例不逐条翻译,读者可查原文。)
中文解读与企业落地方法
这篇论文给企业 RAG 的三个关键认知
第一,「检索准」不等于「生成对」。原文用数据点破了这个常见误区:OG-RAG 在某设定上把上下文相关性提升 64.4%,需求满足度却只提升 11.8%。很多企业 RAG 项目投入大量精力优化召回率与相似度,最终文档质量却上不去——因为问题根本不在单个段落检得准不准,而在「上下文窗口里各来源的配比对不对」。这是文档级的证据构成问题,不是块级的排序问题。
第二,全局排序会系统性歧视小知识库。企业知识库天然不均匀:技术文档库往往最大最密,法规库、政策库相对小而关键。单一相似度函数做全局 top-k,大库必然霸占窗口,小库被挤出去。W-RAG 的核心创新——「每库局部排序 + 来源级加权分配 token 预算」——本质上是给每个知识库一个「配额」,确保小而关键的来源不会被淹没。这个思想比具体公式更有价值。
第三,「需求满足度」是企业文档 AI 的正确验收指标。原文明确指出:企业文档不能用问答基准的「单一参考答案正确性」来评,而应对照一份约 12 项的「需求清单」按 0/1/2 三级打分。这给了企业一个可直接搬用的验收方法——先让领域专家为目标文档类型写需求清单,再用清单给 AI 草稿打分,而不是凭「读起来通顺」判断。
落地步骤
- 盘点知识库角色:列出企业所有接入 RAG 的知识库,按角色分类(政策/法规/技术/市场/历史案例),标注每个库的文档数与密度。识别「小而关键」的库——它们最可能被全局排序埋没。
- 构建领域本体:为每类文档起草任务构建本体(关键概念+关系),用「自动生成初版+领域专家精炼」的半自动方式,成本可控。本体用于主题提取与引导检索。
- 改造检索为三阶段:①本体引导候选检索(语义相似度 + λ·本体对齐度,λ 建议 0.5 起步,在开发集上扫描调优);②每库内部局部排序(不跨库全局排);③来源加权分配 token 预算(主题重叠 0.7 + 文档可得性 0.1 + 类别奖励 0.2,归一化为百分比配额)。
- 上下文窗口按配额拼装:为每个库按权重换算 token 预算,从各库局部排序结果中取块直到预算用尽,每块标注来源库以保留出处。
- 建立需求满足度验收:为每类目标文档写约 12 项的需求清单,用 LLM 裁判按 0/1/2 打分 + 领域专家人工验证(原文报告 LLM 裁判与人工一致性达 91%)。
- 监控来源保真度:用 JSD 度量「规定的库权重」与「生成文档实际引用的库分布」的吻合度,保真度分数(1 − JSD/ln2)应趋向 1。
人工复核点与失败条件
- 失败条件:多知识库 RAG 仍用单一全局 top-k 排序——这是原文明确指出的结构性缺陷。
- 失败条件:只优化检索召回率而不管理来源配比(原文证明检索质量单独不保证文档质量)。
- 失败条件:用「读起来通顺」代替需求清单验收企业文档。
- 人工复核点:领域本体的专家精炼与验证;需求清单的制定(必须由经常撰写该类文档的从业者参与);LLM 裁判评分的人工抽验;最终企业文档对外发布前的合规与事实终审。
试点与验收
- 试点场景:选一个多知识库的企业文档生成场景(如投标书起草、政策初稿、产品发布文档),接入 3—4 个角色不同的知识库。
- 试点周期:8 周。第 1—2 周:知识库角色盘点与本体构建;第 3—4 周:三阶段检索改造与加权配额实现;第 5—6 周:需求清单制定与基线(Vanilla RAG)评测;第 7—8 周:W-RAG 评测与来源保真度分析。
- 基线:以 Vanilla RAG(全局 top-k)为基线,记录其需求满足度、上下文相关性、来源保真度。
- 验收指标:
- 质量:需求满足度相对基线显著提升(原文 W-RAG 相对 Vanilla RAG 提升 109.2%,企业可设更保守的目标如 ≥30%);上下文相关性不下降。
- 来源均衡:来源保真度(1 − JSD/ln2)≥ 0.6(原文报告 0.60—0.74);「小而关键」知识库在生成文档中的引用占比不低于其规定配额。
- 成本:本体构建与维护的人工成本有账可查,单文档生成的 token 成本在预算内。
- 扩大条件:三阶段检索、加权配额、需求清单验收模板化,可复用到其他文档类型。
- 停止条件:需求满足度无法显著超越基线,或领域本体维护成本过高无法持续——则回退到「Vanilla RAG + 人工补充小库证据」的半自动模式。
出处
- 机构:得克萨斯大学达拉斯分校、DIGITAL MANAGEMENT, LLC(DMI)、麻省理工学院
- 作者:Hridya Dhulipala、Rajesh Ombase、Michael Wang、Tien N. Nguyen
- 日期:2026 年 8 月 22 日提交(arXiv v1)
- 原文标题:W-RAG: Source-Aware Retrieval for Enterprise Document Generation from Heterogeneous Knowledge Bases
- URL:https://arxiv.org/abs/2608.22081
- 许可:CC BY 4.0,允许全文翻译与再发布,须署名
PRIMARY_SOURCE: https://arxiv.org/abs/2608.22081
- #W-RAG
- #企业RAG
- #来源加权
- #知识库
- #文档生成


