跳到正文
← 返回项目案例
CASE STUDY / VERIFIABLE WORK
AI 应用 / 全栈

AI 工程经验闭环

把一次成功或失败做成下一次任务看得见的案例:结构化案例库、可解释召回、外部验证、5 条即时规则、本地面板,以及 40 项测试。

TypeScriptSQLiteVitestfast-checkElectron
暗色档案库中悬浮着发光案例文件的记忆系统意象
视觉意象 · 不作为运行证据
EVIDENCE SNAPSHOT

先看事实状态,再读完整过程。

5 项公开结论,分别标注实现、测试、设计或未知。

IMPLEMENTED / 已经实现

闭环重构

删除无法穿过会话边界的模型自报校准,改为问题、根因、修复与真实结果的结构化案例。

案例在任务开始前进入模型上下文,学习不再停在配置数字上。
IMPLEMENTED / 已经实现

可解释召回

实现文本归一化、关键词提取、Jaccard top-k 与字符预算,召回过程可以展开复查。

每条被召回的案例都能说明重合词和压缩后的上下文。
TESTED / 测试 / 样本

测试账本

3 组共 40 项测试全部通过:14 项历史案例、9 项相似性检查、17 项数据与算法不变量。

阶段输入、退出码、阈值、归一化和签名稳定性都有对应检查。
DESIGN / 设计判断

状态语义

验证状态、验证方法和任务 outcome 应分开记录,避免多种结果压成一个布尔值。

设计已经写清拆分方式,作为后续存储演进。
UNKNOWN / 尚未证明

效果标注

本案例交付案例库、召回基线、验证接入和测试账本;召回是否减少重复分析作为后续标注任务。

效果标注不并入这次实现完成证明。
仍缺:召回采用记录与最终 outcome 标注集

不假装修改模型权重。让过去发生过的问题、修复和结果,真正出现在下一次任务面前。

背景与约束

最初方案让模型为假设报告概率,再用校准公式更新配置。计算链路可以跑通,但新会话看不到当时的问题、根因和修复。经验停在一组数字里,没有进入下一次任务的上下文。

本案例把“学习”改成外部工程链:先保存可复查的案例,再在任务前召回,用测试、规则和面板确认这条通道一直开着。

我的工作

我先拆掉无法穿过会话边界的部分:月度校准、自报概率决策门,以及和重复问题关系不大的排名模块。

随后建立结构化案例库,每条案例保留问题、根因、修复和真实结果。错误描述会做归一化和关键词提取,再用 Jaccard 相似度召回 top-k,并压缩进有字符上限的历史案例区块,在任务开始前交给新的模型。

验证接到 TypeScript 编译、Vitest、ESLint、自定义检查和人工确认。退出码、耗时和输出尾部进入 outcome。另外提供 5 条 IDE 即时规则,以及 Cases、Outcomes、Turns、Trend 本地面板,让案例和结果可以在本地直接查看。

关键链路

任务发生
→ 记录问题、根因、修复和真实结果
→ 下一次任务前检索相似案例
→ [PAST_CASES] 进入模型上下文
→ 模型执行
→ 外部验证
→ task outcome
→ 回写案例库

案例入库接受 success、partial 或 failure。日志里可以保留尚未确认的记录,入库的是已经有结果的经验。

已经实现

  • 问题、根因、修复和结果的案例结构;
  • 文本归一化与关键词提取;
  • Jaccard top-k 检索与字符预算;
  • 任务前历史案例上下文注入;
  • TypeScript、Vitest、ESLint 与自定义验证接入;
  • 人工验证入口;
  • 退出码、耗时和输出记录;
  • 5 条即时规则;
  • Cases / Outcomes / Turns / Trend 面板;
  • 3 组共 40 项测试。

验证方式

组别数量覆盖
历史黑盒案例14阶段输入、退出码、弱 Kill、证据缺失和阶段跳转
假设相似性9固定样本、阈值、状态过滤和局部相似性
算法与数据不变量17概率范围、吸收态、时间衰减、文本归一化和签名稳定性

40 项测试当前全部通过。它们锁定案例结构、检索机械过程和数据不变量,构成这条经验通道的回归账本。

从事实推出的设计判断

自动验证应继续拆开 verification status、verification method 和 task outcome,避免断言失败、超时和人工待验写成同一个布尔值。这是存储语义的下一步,建立在现有 outcome 记录之上。

检索是否升级到 embedding,也用同一标注集、同一案例快照和同一字符预算对照。可解释基线先交付,对照实验后决定是否替换。

事实边界

本案例覆盖案例库、可解释召回、外部验证、即时规则、本地面板和 40 项测试。召回效果标注与长期趋势作为后续观测。

封面为视觉意象。

相关博客