Skills Test Specification
一套面向社区维护的 Skill 测试规范:验证触发、dry-run 计划、输出契约、边界处理和失败回流。
Version: 1.0.0
这份文档定义了 Skill 测试的目标、边界、用例结构、评估方式和完整 YAML 模板。内容已按一级章节拆分,方便社区贡献者分别维护和审阅。
目标与边界 明确 Skill Test 验证什么、不验证什么,避免和 Agent Eval、Hook Test、Workflow Eval 混淆。
测试类型与模式 了解 trigger、plan、contract、edge、failure 五类用例,以及 dry-run、mock、execution 的适用边界。
YAML 结构与字段 查看标准 `skill_cases.yaml` 顶层结构、字段含义和可自动化断言的组织方式。
完整模板 直接复制完整测试模板,为新的 Skill 创建最小可维护测试集。
目标 Skill Test 的定位和验证目标。
测试边界 关注范围和不关注范围。
测试类型 trigger、plan、contract、edge、failure。
测试模式 dry-run 优先的测试层级。
文件位置 测试文件和 Skill 目录建议。
YAML 顶层结构 标准测试文件结构示例。
字段说明 必填字段、语义和下游消费约定。
各类 Case 编写要求 五类用例的编写要求和示例。
最小测试集要求 每个 Skill 至少需要的测试用例。
编写原则 字段统一、断言可自动化、防止越权。
测试 Skill 评分 Rubric 和 skill-testing 工作流。
完整模板 可直接落地的 `skill_cases.yaml` 模板。