为什么要把运行环和改进环分开?
完成业务任务与修改系统配置,是两种风险不同的动作。将它们分开,才能明确谁能改、改什么、何时生效。
展开设计笔记
运行环使用固定版本执行任务;改进环收集问题并提出候选。候选必须经过独立评测和发布闸门,不能凭一次成功自动改写生产流程。发布之后仍需监测,并保留回退版本。
这里记录我们的系统设计思路与演示方法。它们不是客户案例,也不是已完成的性能评测报告。
完成业务任务与修改系统配置,是两种风险不同的动作。将它们分开,才能明确谁能改、改什么、何时生效。
运行环使用固定版本执行任务;改进环收集问题并提出候选。候选必须经过独立评测和发布闸门,不能凭一次成功自动改写生产流程。发布之后仍需监测,并保留回退版本。
缺失信息、错误推断、单位转换和来源丢失,需要不同的检查方法。
对每个字段分别记录来源位置、提取值和验证状态。缺失不等于否定,不确定不等于错误。先确认失败类型,再决定通过规则、上下文补充、工具调整还是人工判断解决。
优化样本上的进步,不一定能迁移到下一批数据。回归检查和独立测试同样重要。
在试点中,我们建议分离开发样本与独立评测样本,并同时关注质量、成本、时延和人工复核负担。基线、样本分布与评测边界未建立前,不报告提升百分比。
先定义什么是好结果,再讨论如何让 AI 做到。