OutBrief：AI Agent 干完活，像微信视频一样“打给你”汇报

📞 来电，而不是通知

完成事件以全屏来电/置前窗口出现，显示 Agent、项目、一句话结论和“需要你决策 N 项”。可接听、拒绝（稍后在列表回看）、静音排队。

🗣️ 真人助理口吻

先结论后细节：“老板，登录重构做完了，测试全过；有一件事要你拍板……”。原文事实被抽成事实清单，口播稿每段标注覆盖了哪些事实，服务端校验关键事实（风险、决策、数字、未完成项）零遗漏。

🖼️ 卡片配图

每段口播对应一张卡片：总结 / 改动清单 / 风险 / 决策点（带选项与推荐）/ 下一步。卡片随语音翻页，手动翻页也会跳到对应语音段。

✋ 随时打断

按住说话或直接打字即暂停播报；助理基于原始报告 + 已播内容回答或记下你的意见，然后问“要我继续吗？”，从断点继续。决策点可直接点选项回答。

📋 挂断即出提示词

通话结束，把“原报告 + 你的所有意见/决策”合成一段可直接粘贴给 Agent 的提示词，同时给出回到原会话的命令（如 claude --resume <id>），可复制、可编辑。

🧵 排队与回看

通话中来的新事件自动进队列，角标显示“还有 N 个汇报在排队”；挂断后自动响下一个。所有汇报、对话记录、提示词可在历史里回看重播。

L1 复制即用

挂断页给出：① 提示词 ② “回原会话”命令（已拼好 cwd 与会话 ID）。你粘贴即继续，零风险，所有 Agent 通用。

L2 一键续跑

桌面端增加本地 Runner：点“让它继续”，在原 cwd 执行 claude -p --resume / codex exec resume。续跑结束又触发 hook → 再次来电，形成真正闭环。需要白名单目录与确认弹窗。

L3 任务编排

当你需要同时管多个项目的队列、看板、多 Agent 分工时，再在 Runner 之上加任务层——即你说的“类 Multica”。先有 L1/L2 验证价值，再决定是否值得做，或直接对接 Multica。

服务端 / 客户端怎么分工

• 服务端：简报生成（事件到达时你可能不在线）、LLM 凭据与限额；不保存会话、不跑循环
• 客户端：TTS / STT、对话上下文、打断与续播——免费语音通道的限流按用户 IP 分摊
• 服务端每次调用都是无状态单轮；Node 异步 I/O 下等模型返回不占线程

为什么 SSE + 轮询兜底

• 你提的“轮询”完全可用，但 SSE 秒级到达且更省
• 事件带单调 seq，断线用 Last-Event-ID 续传，不丢不重
• 后台/休眠的手机靠 APNs/FCM 唤醒（二期）

为什么先单用户自托管

• 报告含代码与业务信息，默认私有部署
• MySQL 8：本机 docker 已有实例，与现有项目运维方式一致；表结构走版本化迁移（db/migrations），访问集中在 EventStore
• 多租户/账号体系放到有外部用户时再做

1. Agent 完成：Claude Code Stop / Codex notify 触发 outbrief-hook，带上最终报告、sessionId、cwd。
2. 入库：POST /v1/events → 分配 seq，状态 received；异步进入简报生成。
3. 精炼：Brief Engine 先抽事实清单（数字/风险/决策/未完成项标为关键），再写口播段 + 卡片，校验“关键事实全部被覆盖”，未覆盖则重写一次或以“补充说明”卡片兜底。整个过程是一次结构化 LLM 调用 + 代码校验，不是 Agent。
4. 配音：客户端收到简报后直连 Azure 按句合成并本地缓存；首句就绪即响铃，后续边播边合成；客户端失败才请求服务端兜底。
5. 来电：SSE 推送到所有在线客户端；空闲则响铃，通话中则排队。
6. 播报 + 打断：逐句播放、卡片同步；点“打字”或按住说话立即暂停，Azure STT 识别语音后把问题连同上下文发给 LLM Gateway，回答播完后“继续”从当前句开头接着讲。
7. 挂断：生成“下一步提示词”+ 回原会话命令；状态写回 completed，队列里的下一个响铃。

简报结构（服务端产出，客户端渲染）

{
  "title": "登录模块重构汇报",
  "verdict": "partial",          // done | partial | blocked
  "facts": [{ "id": "f-redis", "text": "Session 迁到 Redis，需新增 REDIS_URL",
              "importance": "critical" }],
  "segments": [{
    "id": "seg-1",
    "speech": "老板，登录重构做完了，42 个测试全过。有两件事要你拍板……",
    "card": { "kind": "summary", "title": "总体进展",
              "bullets": ["JWT 校验换成 jose", "42/42 测试通过"] },
    "coveredFactIds": ["f-jwt", "f-tests"]
  }],
  "decisions": [{ "id": "d-legacy", "question": "旧接口立即下线还是保留一个版本？",
                  "options": ["保留到 v2.3", "立即下线"], "recommendation": "保留到 v2.3" }]
}

已用真实报告在 CLIProxy 上跑通该结构（gemini-3.6-flash-high 约 5.6 s，事实全覆盖、未覆盖列表为空），口播稿长度约为原文 1/3～3/5。

协议（路径 B：cognitiveservices/v1）

1. HMAC-SHA256 签名（MSTranslatorAndroidApp）→ X-MT-Signature
2. POST dev.microsofttranslator.com/apps/endpoint 换取 JWT + region（时钟偏差时用服务器时间重签）
3. TTS：POST https://{region}.tts.speech.microsoft.com/cognitiveservices/v1，SSML（voice / prosody / lang），输出 audio-24khz-48kbitrate-mono-mp3
4. STT：同一 JWT 调 {region}.stt.speech.microsoft.com/…/conversation/cognitiveservices/v1，16 kHz WAV
5. 错误策略沿用扩展：400 不重试、401 刷新 token、429 立即降级、408/5xx 指数退避；并发 ≤ 3
6. WebView 里必须加 referrerPolicy: "no-referrer"：换 token 的接口带任何 Referer 都会 401（错误码 401001），浏览器默认会带；扩展的后台 Service Worker 不带所以没遇到

实测（spike）

含义：TTS 放客户端没有技术障碍，WebView 里直接 fetch 即可，不需要 Rust 转发；STT 同理，客户端直连即可。

结论

这是一个输入固定、输出结构固定的变换，没有“先看结果再决定下一步调什么工具”的环节，所以不需要 Agent，直接调大模型 API：

1. 一次 generateObject：输入原始报告，输出 zod 定义的简报（事实清单 / 口播段 / 卡片 / 决策点）
2. 代码校验：zod 结构 + “critical 事实全部被某段覆盖”
3. 不合格才补一次调用（把缺失事实回传让它改）；仍不合格就追加“补充说明”卡片

实测一次调用约 5.6 s，事实全覆盖。简报在服务端生成：事件到达时你可能不在线，接起电话时应该已经准备好。

技术栈

不用 LangChain / LangGraph / Mastra：它们解决多步工具循环、状态持久化，这里没有这些需求。

验证结果

• 在普通网页（非扩展）里用 WebCrypto 签名 → 换 JWT → TTS → STT，全部 200，MP3 能直接播放
• 三个接口的 CORS 对 Tauri 的两种 origin 都返回 Access-Control-Allow-Origin: *，WebView 直接 fetch 即可，不需要 Rust 转发
• 唯一的坑：换 token 的接口只要带 Referer 就 401，浏览器默认会带 → 请求加 referrerPolicy: "no-referrer"

落地方式

• 把扩展的 edge-tts/* 移植到 outbrief-app/src/voice/（签名、token 缓存、SSML、重试、合成、识别）
• 客户端：按句合成，按“文本 + 音色 + 语速”哈希缓存在本地，重听不再请求
• 服务端：POST /v1/tts 只在客户端连续失败时调用，用官方 AZURE_SPEECH_KEY，按用户限额
• 效果：免费通道的限流落在每个用户自己的 IP 上，服务器不成瓶颈

业界做法

• Vercel AI SDK 客户端工具：服务端每次请求只跑一步 streamText；没有 execute 的工具调用下发到前端 onToolCall 执行，addToolOutput 写回结果，sendAutomaticallyWhen: lastAssistantMessageIsCompleteWithToolCalls 自动发起下一轮——循环由前端驱动，服务端不保存状态
• OpenAI Agents SDK（语音 Agent）：RealtimeAgent / RealtimeSession 直接跑在浏览器里，服务端只签发临时 key（ek_…）
• Claude Code / Codex / Cursor：Agent 循环都在用户本机，云端只是模型 API

OutBrief 的具体做法

服务端接口 POST /v1/llm/:task，task 只能是 qa / next-prompt，系统提示词由服务端按 task 选，客户端不能自带，防止网关被当成通用代理。

规则

• 触发暂停：按住说话（按钮或空格）、点“打字”、在输入框敲下第一个字、点决策选项
• 暂停时记住“第几段、第几句”；口播按句合成，所以续播从当前句开头重新讲，不会从半个词开始
• 回答播完后等你：点“继续”、按回车、或说“继续”（识别结果就是这个词时直接续播，不调 LLM）
• 回答过程中再次打断：取消还没返回的 LLM 请求和还没播的回答音频
• 首期不做“你一开口就自动打断”：扬声器外放时麦克风会收进自己的声音，需要回声消除 + VAD，放二期

状态机

playing   ─按住说话/打字→ paused
paused    ─松开/发送────→ answering
answering ─再次打断─────→ paused
answering ─回答播完─────→ waiting
waiting   ─继续─────────→ playing
任意状态  ─挂断─────────→ summarizing

answering：Azure STT → LLM 流式 → 按句 TTS；再次打断会 abort 进行中的请求；playing 从当前句开头续播；summarizing 生成下一步提示词。

桌面闭环 MVP

• P1-1 ～ P1-9
• 自托管部署文档
• 你自己日常使用，校准口吻与卡片

移动端 + 一键续跑

• iOS / Android 打包，CallKit / 全屏来电
• APNs / FCM 推送唤醒
• Local Runner：claude -p --resume / codex exec resume
• 本地 SenseVoice STT，打断后识别从 4.5 s 降到 0.2 s

多项目编排（按需）

• 项目维度看板、优先级、勿扰时段
• 多用户、团队共享汇报
• 视情况对接 Multica 或自建任务层

~/work/code/outbrief/
├── outbrief-server/   asasas234/outbrief-server · Hono + MySQL
│   ├── src/           /v1/events · /v1/stream(SSE) · 状态回写 · protocol.ts(zod，协议唯一来源)
│   ├── db/            bootstrap.sql（建库/账号）· migrations/（建表，启动时自动执行）
│   └── docs/          proposal.html 本方案 · adr/ 0001–0003
├── outbrief-app/      asasas234/outbrief-app · Tauri 2 + React 19
│   ├── src/           callQueue 状态机 · SSE 客户端 · 来电/通话 UI · protocol.ts(镜像)
│   │                  voice/（首期新增：Azure 路径 B TTS + STT）
│   └── src-tauri/     Rust 壳（窗口置前、请求注意）
└── outbrief-hook/     asasas234/outbrief-hook · 零依赖 Node 脚本
    └── src/           Claude Code Stop / Codex notify 归一化 · protocol.ts(镜像)

已验证

• 三个仓库各自 pnpm lint / typecheck / test 全绿：server 8（真实 MySQL outbrief_test 库）· app 6 · hook 7
• 本机 docker some-mysql 已建 outbrief / outbrief_test 库和 outbrief 账号，pnpm db:migrate 建好 agent_events 表
• 真实启动服务 → 用 hook CLI 发 Claude Code / Codex 事件 → SSE 实时收到；无关事件类型被忽略；服务端宕机时 hook 仍 exit 0
• 浏览器驱动 UI：来电 → 接听 → 通话中再来事件 → 显示“还有 1 个汇报在排队” → 挂断后自动响下一个；服务端状态正确回写
• cargo build（Tauri 2.11，Rust stable）通过