知识库数据治理：上传、去重、版本与可追溯性

知识库常见的长期问题并非模型幻觉，而是数据本身：同一文件被反复上传、不同修订版混在一起、删除原件后索引仍在、批量上传与普通上传走了两套逻辑。解决这些问题需要在入库时建立统一的数据治理规则。

内容哈希用于识别，不替代版本

对原始字节计算 MD5 或 SHA-256，可快速识别完全相同的重复文件，并在上传前提示跳过。但内容哈希不同不意味着一定是新版本，因此还需要文档编号、版本号、日期、专业和标题等业务元数据。系统应明确区分“完全重复”“同一文档新版本”“可能相似但待确认”。

建立文件生命周期

文件状态至少包括已接收、解析中、索引中、可用、失败、已归档与已删除。删除不是只删一条数据库记录：应按策略处理原件、解析结果、向量、全文索引、对象关系和缓存；任何保留项都要有原因和期限。批量与普通上传必须复用同一入库服务，避免规则漂移。

让索引更新具有原子性

新版本发布前，先完成解析和质量检查，再将其标记为有效；旧版本进入历史状态而非立刻物理删除。检索默认只查有效版本，但在追溯模式下可查看完整历史。对于解析失败或中途取消的任务，不能留下半份可检索数据。

数据质量也要度量

持续统计重复率、解析成功率、平均入库时长、无元数据文件比例、失效索引数和版本冲突数。将这些指标按来源、文件类型和知识库拆开，才能定位规则与流程的问题。治理不是一次清库，而是随每次上传自动发生的日常能力。

当文件身份、版本与生命周期都清楚后，知识库的“答案”才有可信的来处和可控的去处。