测试 Superpowers

测试 Superpowers¶

Superpowers 有两种不同类型的测试，每种测试都在各自的目录中：

• tests/ —— 插件的非 LLM 代码是否能正常工作？针对 brainstorm-server JS、OpenCode 插件加载、codex-plugin 同步和分析工具的 Bash + node + python 集成测试。
• evals/ —— 智能体在真实 LLM 会话中是否表现正确？Python 测试框架驱动 Claude Code / Codex / Gemini CLI 的真实 tmux 会话，由 LLM 执行者和验证者评判技能合规性。

插件测试¶

位于 tests/ 目录。目前包括：

• tests/brainstorm-server/ —— brainstorm server JS 代码的 node 测试套件。
• tests/opencode/ —— 针对 OpenCode 插件加载、bootstrap 缓存和工具注册的 bash 测试。
• tests/codex-plugin-sync/ —— bash 同步验证。
• tests/kimi/ —— 针对 Kimi 插件 manifest 接线的 bash/Python 检查。
• tests/claude-code/test-helpers.sh、analyze-token-usage.py —— 其余 bash 测试使用的工具。
• tests/claude-code/test-subagent-driven-development.sh —— 智能体能否描述 SDD 的测试（没有对应的 quorum 版本；测试的是描述回忆能力，而非行为）。
• tests/claude-code/test-subagent-driven-development-integration.sh —— 带 token 分析的扩展 SDD 集成测试（quorum 覆盖 YAGNI 子集；bash 额外增加提交次数、Claude Code 任务跟踪和 token 遥测断言）。
• tests/claude-code/test-worktree-native-preference.sh —— 针对 worktree 技能的 RED-GREEN-REFACTOR 验证（quorum 覆盖 PRESSURE 阶段；bash 也覆盖 RED/GREEN 基线）。
• tests/explicit-skill-requests/ —— 针对 Haiku 的、多轮的以及技能名称提示的测试，这些未被 quorum 覆盖。
• tests/diagnosing-superpowers/test-skill-structure.sh —— 针对 diagnosing-superpowers 技能的结构检查（frontmatter、引用文件、泄漏扫描、字数预算）；行为场景的评估记录由维护者保存在仓库之外。

通过相应目录下的 run-*.sh 或 npm test 运行插件测试。

技能行为评估¶

位于 evals/（superpowers-evals 评估实验室，其前身为 Drill）。Quorum 是测试框架 CLI —— 系统的一部分：它通过 Gauntlet QA 智能体驱动真实的编码智能体 CLI，并依据每个场景的验收标准加上确定性后置检查对其进行评分。场景位于 evals/scenarios/<name>/。有关设置、容器运行时和安全模型，请参阅 evals/README.md。快速开始（本地应急运行）：

cd evals
bun install
export SUPERPOWERS_ROOT=/path/to/superpowers
bun run quorum run scenarios/triggering-test-driven-development --coding-agent claude
bun run quorum show <run-dir>

Quorum 场景运行缓慢（每个需要 3-30+ 分钟），并在宽松模式下运行真实的 LLM 会话 —— 请先阅读 evals/README.md 中的 Live Eval Risk 部分。只有静态门禁（bun run check、bun run quorum check）适合公共 CI；自然的后续方案仍然是分层模型（PR 上运行静态门禁，每晚 + 按需运行实时扫描）。