Skip to content

🔄 数据聚合

为什么需要聚合

一次查询的结果可能来自多个源、多页分页、多次重试。直接拼接会有:

  • ❌ 重复记录(同一域名被多源返回)
  • ❌ 字段冲突(审核日期不一致)
  • ❌ 主体信息残缺(某源只返回部分字段)

ICP Skills 在编排层做聚合 / 去重 / 交叉校验,输出统一视图。

去重键

按「域名 + 主体统一社会信用代码 + 备案号」三元组去重。任一字段缺失时退化为更宽松的键,并标记置信度。

记录 A: domain=ex.com  uscc=91...  icp=京ICP备...
记录 B: domain=ex.com  uscc=91...  icp=京ICP备...   ← 与 A 同键,合并
记录 C: domain=ex.com  uscc=(空)   icp=京ICP备...   ← 退化键,合并并降置信

字段冲突仲裁

字段优先来源
备案号创宇盾(结构化稳定)
审核日期工信部页面(权威)
主体名称创宇盾
主体统一社会信用代码工信部页面
网站标题创宇盾

冲突会被记录到日志,便于审计。

置信度

每条结果带 confidence(high / medium / low):

  • high:多源一致
  • medium:单源结构化
  • low:仅页面解析或字段缺失

调用方可按置信度过滤。

📚 延伸阅读

Released under the MIT License.