返回列表

开源贡献-LangChain

为 EnsembleRetriever 增加可选的同源文档去重，使 RRF 在按来源合并 RAG 结果前不再让重复 chunk 放大单一检索器的权重。

本次贡献针对 RAG 检索融合中的评分偏差：当同一文档被切成多个 chunk 并被同一 retriever 重复返回时，最终结果虽会按 id_key 去重，但 reciprocal rank fusion 已经提前累计了重复排名信号。

  • - 新增 dedup_within_retriever 可选开关
  • - 默认行为保持兼容
  • - 在 RRF 累计前按来源键去重
  • - 增加 retriever 单元测试与 release note

开发记录

  • feat(langchain): add `EnsembleRetriever` source dedup：EnsembleRetriever 的最终结果会按 id_key 去重，但 RRF 打分阶段仍累计同一 retriever 返回的多个同源 chunk，使长文档因切分数量更多而获得额外权重，影响 RAG 结果排序。