🔄 数据聚合
为什么需要聚合
一次查询的结果可能来自多个源、多页分页、多次重试。直接拼接会有:
- ❌ 重复记录(同一域名被多源返回)
- ❌ 字段冲突(审核日期不一致)
- ❌ 主体信息残缺(某源只返回部分字段)
ICP Skills 在编排层做聚合 / 去重 / 交叉校验,输出统一视图。
去重键
按「域名 + 主体统一社会信用代码 + 备案号」三元组去重。任一字段缺失时退化为更宽松的键,并标记置信度。
记录 A: domain=ex.com uscc=91... icp=京ICP备...
记录 B: domain=ex.com uscc=91... icp=京ICP备... ← 与 A 同键,合并
记录 C: domain=ex.com uscc=(空) icp=京ICP备... ← 退化键,合并并降置信字段冲突仲裁
| 字段 | 优先来源 |
|---|---|
| 备案号 | 创宇盾(结构化稳定) |
| 审核日期 | 工信部页面(权威) |
| 主体名称 | 创宇盾 |
| 主体统一社会信用代码 | 工信部页面 |
| 网站标题 | 创宇盾 |
冲突会被记录到日志,便于审计。
置信度
每条结果带 confidence(high / medium / low):
- high:多源一致
- medium:单源结构化
- low:仅页面解析或字段缺失
调用方可按置信度过滤。