返回列表

开源贡献-Unstructured

为 PDF render-mode-3 隐形文本增加可传递 metadata，使 RAG、审计和内容过滤链路能够识别人眼不可见但被解析出的文本。

Unstructured 是面向复杂文档解析、分块和嵌入的 ETL 框架。本次贡献在不改变抽取文本的前提下，沿 PDFMiner snippet、ListItem 合并和 chunk metadata consolidation 传递 contains_invisible_text 信号，为下游 RAG 管道提供可审计边界。

  • - 识别 PDF render-mode-3 文本
  • - 将标记精确限定到 split snippet
  • - 保留 None、False、True 的可选语义
  • - 完成 OCR、Poppler、pdfminer、chunking 全链路验证

开发记录

  • feat(pdf): flag invisible text in metadata：PDF 中使用 render mode 3 的文本对人不可见，却会被解析、分块并送入 LLM；原有 is_extracted 信号无法区分该情况，RAG 管道没有可用的过滤或审计依据。