多模态文档处理流水线：按文件特征选择解析路径

企业资料的格式差异远大于想象。同样扩展名为 PDF 的文件，可能带完整文本层、只含扫描图像，或因自定义字体而无法正确提取文字；Excel 可能是规整数据表，也可能是带合并单元格和图片的报表。把它们送进同一个解析器，失败只是时间问题。

先做文件画像

接入层应检测文件类型、页数、是否有文本层、字体可映射性、图片比例、表格密度、加密状态和大小。这些特征决定路由：文本 PDF 优先直接提取；扫描件走 OCR 与版面分析；Office 文件按原生结构读取并在必要时转渲染图；图纸进入专用解析或预览转换通道。

中间格式是兼容层

不同解析器的输出应归一为统一 schema，例如页面、块、文本、表格、图片、坐标、阅读顺序与置信度。Markdown、HTML 或 JSON 都可以成为面向下游的表示，但必须保留回链到原始页和区域。统一中间格式能让检索、抽取和校验不依赖具体模型。

把失败当成一种结果

不要只返回“解析失败”。需要区分文件损坏、密码保护、字体不可读、OCR 低置信度、表格恢复失败和服务超时，并保存诊断信息。某些文件可降级为全文图像检索或人工处理；某些文件只需更换解析器重试。分类后的失败才有优化价值。

用抽样质检守住质量

对每批处理结果抽样比对原件，特别关注标题层级、表格列对齐、数字和单位、图纸文字。为不同文件类型建立质量指标，如文本覆盖率、表格单元格完整率与关键字段正确率。流水线越自动，越需要系统化的质量观测。

多模态并不等于给模型同时看图片和文字，而是让每种资料以最合适的方式进入同一条可追溯的数据链路。