starpivot

133 Commits

3 Branches

2 Tags

248 MiB

Tree: 18a7160183

Commit Graph

Author	SHA1	Message	Date
Rodger-Wang	811a008545	services: 语音纪要→拾忆→MCP 链路审计落地；修两个「什么都没发生」的既有 bug 审计与落地计划见 docs/语音纪要-拾忆-MCP链路审计与落地计划.md，已在阿龙测试环境逐条验收通过（记录见该文档 §5.1）。 ## 安全 echomeet 八个按 id 操作的接口一处都没有比对 record.Uid 与会话 uid，任何登录用户改一个 id 就能读别人纪要全文、删改别人的记录、给别人的记录发起总结（扣自己算力，但覆盖对方 summary 并触发对方的拾忆抽取）。统一改走带 uid 的查询： - 「不存在」与「不是你的」回同一个错误码同一句话——分开回等于给出一个探测他人 id 的接口；用的还是改动前记录真不存在时的 DBError，合法用户行为无任何变化； - 批量接口按交集处理、不报错：客户端轮询队列里本就可能留着已被别的设备删掉的 id，报错会把整个轮询循环掀掉；delrecords 响应回实际删掉的那批； - starttask 的校验排在扣算力之前，否则拒绝了还先把钱扣了； - 回调接口是第三方来的、没有 session，不在此列。 - TestApisUseUidScopedQueries 扫源码守着：最容易复发的不是有人改回去，而是新加接口时照旧写法抄一遍，那样既不报错也看不出来。 ## gorm 的 default: 标签吞零值 mysql.Insert = db.Table().Create(model)，gorm 对带 default: 的字段一律把零值换成默认值。DBMemoryItem 的 date_certain(default:true) / remind_ahead(default:5) 因此永远写不进 false/0：测试库 25 条记录全部落成 1/5，「待定日期」分组恒为空，会议待办还会在 08:55 响提醒——与「会议待办默认不提醒」正好相反。 ⚠️ 加 Select("") 救不了：替换在 ConvertToCreateValues 的 reflect.Struct 分支里无条件做，只看值是不是零值，与 Select/Omit 无关（DryRun 实测两种写法生成的 VALUES 一模一样）。改成插入后把这两列按结构体现值补写回去，并把真值还给调用方—— gorm 连结构体上的字段一起改了，不还原的话 memory_add 回给客户端的也是错的。存量由 migrate_defaults.go 幂等修正（只碰 source=meeting 且 user_edited=0）。 ## 内容门槛 6 秒的测试通话、20 秒的单人自述照样被抽成「继续进行进一步的功能测试」这类废话待办，再靠条数凑够周报阈值又触发一次 LLM 调用。门槛卡转写正文不卡纪要——内容太薄时模型按模板兜底规则照样能写出六百多字。只拦抽取与 MCP 检索，纪要照出：短语音备忘是合法用法，也不判成 SummarizFail（客户端把那个码显示成「请稍后重试」，用户会一直点）。数据缺失时按通过处理，不因上游漏传一个字段就静默关掉抽取。 ## 其余 - 报告补偿：原先的 requeueIfStale 由 memory_getreport 驱动，而客户端调无参版本 → 走 latestUnconfirmedReport，那条 SQL 只查 state=Done，pending/processing/failed 永远查不出来也就永远补不了。新增 ensureRecent 挂在 memory_today：漏建的补建（过与 cron 同一道条数闸门）、卡住的复用 requeueIfStale、失败的至多重试 3 次（计数寄在 error_msg 的 retry=N; 前缀，fail() 必须保住它，否则上限形同虚设）。加 enqueueOnce 判重与按报告 id 的 SETNX 生成锁，cron 与 ensure 撞上只跑一次 LLM。 - 说话人标签：finishSyncTranscribe 拼的是「Speaker 0」（空格）、其余是「Speaker_0」，抽出来的负责人就成了 Speaker2、[Speaker_0] 各种样。四条写入路径统一走 normalizeSpeakers，顺带修掉没开说话人分离时拼出「Speaker_」空尾巴。 - 时区：LoadMemoryLocation 现在认 IANA / 固定偏移 / CST（按 Asia/Shanghai 解释，兜住已落库那批），认不出来仍退服务器本地时区但打 warn——原来是全静默的。 - 删纪要连带删自动待办（只删 user_edited=0），查询带 uid：入参来自删除请求，光信 source_id 等于把归属校验的成果又丢一次。 - 回调幂等：两个回调既不看状态也不抢锁，与轮询撞车就各翻译一遍、各入队一次。失败分支同样要过闸门——一条已 Completed 的记录被迟到的失败回调打回 TranscribeFail, 用户看到的就是「纪要好端端地变成了转写失败」。挡下来仍回 SUCCESS，不让第三方重投。 SubmitAITask 保持不判重（用户点的「重新生成」悄悄跳过等于按钮失灵），自动路径改走 submitAITaskOnce。 - 重复项统计：只展开闹钟。花销展开等于虚构金额，待办的 done/undone 按次拆不开。 ## 顺带修的两个既有 bug（部署验收时挖出来的） happen_date / period_start 都是 type:date 列 + DSN parseTime=True，读进 Go 的 string 是「2026-09-07T00:00:00+08:00」。SQL 比较靠 MySQL 转换还是对的，所以这个问题在任何日志任何报错里都看不见，只在 Go 侧解析它的地方发作： 1. remind.go 的 expandItem 解析不了 → memory_upcoming 恒返回 0 个提醒时刻，整个拾忆提醒在服务端一直空转（真机实测：建一条每天 08:00 的闹钟，slots 为 []）； 2. 下发给客户端的 happen_date 一直是 RFC3339 而非协议约定的 YYYY-MM-DD，客户端 _localToday() 的字符串相等比较恒不匹配、_mergeRange 在区间端点会重复。这也是审计里「会议待办会在 08:55 响通知」只能是推演的原因：实际一条都不会响，两个 bug 互相遮蔽。修法两层：ParseMemoryDate 容忍带时间的形式（安全网），读路径出口统一归一（管对外格式），缺任一层都会留坑。 ## 列表骨架化（同批） echomeet_getallrecords 只回列表要用的骨架字段，original/translate/summary 占每条 97% 的字节（实测 59 条 ≈ 500KB，列表用得上的 15KB）。 ⚠️ 骨架记录绝不能写回库*：mysql.Save 是整行 UPDATE，三列会被清空。 StartTask 允许对已完成/已阅/失败的记录「重新转写」，那期间 state=Transcribing 而旧纪要还在库里，用户切一下列表页旧转写和旧总结就没了。轮询前重新取整条再操作， TestListEndpointNeverSavesBriefRecord 守着不许回退。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>	4 weeks ago
Rodger-Wang	73eb2ef2ca	MCP 补上会话鉴权，并挂三个拾忆只读工具 ## 先修鉴权：此前公网接口完全没有身份校验 authFromRequest 只把 Authorization 塞进 context，全仓没有一处读回来，也没有任何 JWT 校验；三个用户工具（get_user_tasks / allhelp_task / cancel_user_task）的 uid 都是 mcp.WithString("uid", Required()) —— 由大模型填进来的普通参数。而 mcp 是独立进程、独立端口 7300，不经过 gateway 那套 parseToken + isInWhiteList （那只管 /api/* 和 /web/），又必须对百炼公网可达。所以这不是「内网接口没做鉴权」，是公网接口完全没有鉴权：知道 uid 就能读改任意人的数据。新增 modules/mcp/auth.go： - 从 Authorization 解 JWT 取 uid，与 gateway/core.go 同一套口径（RegisteredClaims， uid 在 ID 字段）；兼容 "Bearer xxx" 前缀（gateway 收的是裸 token，标准 MCP 客户端会加前缀）。 - 参数里的 uid 只用于比对，不一致直接拒。不静默改用会话 uid——调用方显然误以为自己能指定用户，让它失败比让它以为成功了更安全。 - 解不出会话 uid 一律拒，不回退到参数 uid，那等于这层没做。 - TokenKey 未配置时拒绝所有用户数据类工具：配置漏了导致鉴权静默失效，比工具不可用严重得多。TokenKey 必须与 gateway 同值，两边都读 GATEWAY_TOKEN_KEY。存量三个工具同步改造，uid 参数保留但改为可选（兼容百炼后台已配好的工具定义）。 9 个测试守住这条线，其中三条是核心安全断言：参数 uid 与会话不符必须拒、没有 token 必须拒而不是回退、未配 TokenKey 必须全拒。另有伪造签名、过期 token、空 uid claim 的用例。 ## 共享查询层：避免 home 与 mcp 各写一份 comm/memoryquery.go。mcp 从不 RpcCall、只裸查 MySQL，如果记忆项的过滤条件、分类白名单、排序口径两边各写一遍，改了一边另一边不报错，只会让 EMAI 答的和 App 里显示的对不上——而且没人会发现。memory 模块的 listItems 也改走这里。 ApplyMemoryQuery 里 uid 为空时拼 "1 = 0" 而不是不加条件：少一个 uid 条件就是把全库记忆项返回给调用方，而它有两个调用方，其中一个公网可达。另提供 MemoryRelativeRange 把「本周/上月/最近7天」换算成日期区间给模型用—— 模型对「今天几号」的认知来自对话上下文，很不可靠，让它自己算 start_date 经常算错（SET_clock 把「下午 3:30」填成 03:30 是同一类问题）。 ## 三个只读工具 get_memory_items / get_memory_stats / get_memory_report。只读是刻意的*：新增/修改/删除不放这里。写路径的校验、幂等（client_key）、提醒时刻重算都在 home 的 memory 模块内，在 MCP 里复制一份必然漂移。录入走端侧指令（tool_calls）、查询走 MCP，这个分工不变。 - 花销按币种分行返回，不做汇率换算；同时给「分」和「元」，模型念元不容易错，留分是以免它想自己做加减时用浮点。 - get_memory_report 只返回已生成完的：还在生成中的 summary 是空的，给出去只会让模型编一段话填空。 - 返回给模型的是精简字段，不是整行 DBMemoryItem——client_key/gen_round/extra 这些内部字段对回答问题没用，只占 token 还诱导模型去解释它们。 - date_certain=false 的项带上 date_is_inferred 标记，让模型别把推断出来的日期当成用户确认过的安排来陈述。 - 模型填错分类时忽略该筛选当作「不限分类」，而不是整次查询失败——它多半会再填错一次。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>	1 month ago

Author

SHA1

Message

Date

Rodger-Wang

811a008545

services: 语音纪要→拾忆→MCP 链路审计落地；修两个「什么都没发生」的既有 bug

审计与落地计划见 docs/语音纪要-拾忆-MCP链路审计与落地计划.md，已在阿龙测试环境
逐条验收通过（记录见该文档 §5.1）。

## 安全

echomeet 八个按 id 操作的接口**一处都没有比对 record.Uid 与会话 uid**，任何登录用户
改一个 id 就能读别人纪要全文、删改别人的记录、给别人的记录发起总结（扣自己算力，
但覆盖对方 summary 并触发对方的拾忆抽取）。统一改走带 uid 的查询：

- 「不存在」与「不是你的」回同一个错误码同一句话——分开回等于给出一个探测他人 id
  的接口；用的还是改动前记录真不存在时的 DBError，合法用户行为无任何变化；
- 批量接口按交集处理、**不报错**：客户端轮询队列里本就可能留着已被别的设备删掉的 id，
  报错会把整个轮询循环掀掉；delrecords 响应回实际删掉的那批；
- starttask 的校验排在扣算力之前，否则拒绝了还先把钱扣了；
- 回调接口是第三方来的、没有 session，不在此列。
- TestApisUseUidScopedQueries 扫源码守着：最容易复发的不是有人改回去，
  而是新加接口时照旧写法抄一遍，那样既不报错也看不出来。

## gorm 的 default: 标签吞零值

mysql.Insert = db.Table().Create(model)，gorm 对带 default: 的字段**一律把零值换成
默认值**。DBMemoryItem 的 date_certain(default:true) / remind_ahead(default:5) 因此
永远写不进 false/0：测试库 25 条记录全部落成 1/5，「待定日期」分组恒为空，
会议待办还会在 08:55 响提醒——与「会议待办默认不提醒」正好相反。

⚠️ 加 Select("*") **救不了**：替换在 ConvertToCreateValues 的 reflect.Struct 分支里
无条件做，只看值是不是零值，与 Select/Omit 无关（DryRun 实测两种写法生成的 VALUES
一模一样）。改成插入后把这两列按结构体现值补写回去，并把真值还给调用方——
gorm 连结构体上的字段一起改了，不还原的话 memory_add 回给客户端的也是错的。
存量由 migrate_defaults.go 幂等修正（只碰 source=meeting 且 user_edited=0）。

## 内容门槛

6 秒的测试通话、20 秒的单人自述照样被抽成「继续进行进一步的功能测试」这类废话待办，
再靠条数凑够周报阈值又触发一次 LLM 调用。门槛卡**转写正文**不卡纪要——内容太薄时
模型按模板兜底规则照样能写出六百多字。只拦抽取与 MCP 检索，**纪要照出**：
短语音备忘是合法用法，也不判成 SummarizFail（客户端把那个码显示成「请稍后重试」，
用户会一直点）。数据缺失时按通过处理，不因上游漏传一个字段就静默关掉抽取。

## 其余

- 报告补偿：原先的 requeueIfStale 由 memory_getreport 驱动，而客户端调无参版本 →
  走 latestUnconfirmedReport，那条 SQL 只查 state=Done，pending/processing/failed
  永远查不出来也就永远补不了。新增 ensureRecent 挂在 memory_today：漏建的补建
  （过与 cron 同一道条数闸门）、卡住的复用 requeueIfStale、失败的至多重试 3 次
  （计数寄在 error_msg 的 retry=N; 前缀，fail() 必须保住它，否则上限形同虚设）。
  加 enqueueOnce 判重与按报告 id 的 SETNX 生成锁，cron 与 ensure 撞上只跑一次 LLM。
- 说话人标签：finishSyncTranscribe 拼的是「Speaker 0」（空格）、其余是「Speaker_0」，
  抽出来的负责人就成了 Speaker2、[Speaker_0] 各种样。四条写入路径统一走 normalizeSpeakers，
  顺带修掉没开说话人分离时拼出「Speaker_」空尾巴。
- 时区：LoadMemoryLocation 现在认 IANA / 固定偏移 / CST（按 Asia/Shanghai 解释，
  兜住已落库那批），认不出来仍退服务器本地时区但**打 warn**——原来是全静默的。
- 删纪要连带删自动待办（只删 user_edited=0），查询带 uid：入参来自删除请求，
  光信 source_id 等于把归属校验的成果又丢一次。
- 回调幂等：两个回调既不看状态也不抢锁，与轮询撞车就各翻译一遍、各入队一次。
  失败分支同样要过闸门——一条已 Completed 的记录被迟到的失败回调打回 TranscribeFail,
  用户看到的就是「纪要好端端地变成了转写失败」。挡下来仍回 SUCCESS，不让第三方重投。
  SubmitAITask 保持不判重（用户点的「重新生成」悄悄跳过等于按钮失灵），
  自动路径改走 submitAITaskOnce。
- 重复项统计：只展开闹钟。花销展开等于虚构金额，待办的 done/undone 按次拆不开。

## 顺带修的两个既有 bug（部署验收时挖出来的）

happen_date / period_start 都是 type:date 列 + DSN parseTime=True，读进 Go 的 string
是「2026-09-07T00:00:00+08:00」。SQL 比较靠 MySQL 转换还是对的，所以这个问题
**在任何日志任何报错里都看不见**，只在 Go 侧解析它的地方发作：

1. remind.go 的 expandItem 解析不了 → **memory_upcoming 恒返回 0 个提醒时刻，
   整个拾忆提醒在服务端一直空转**（真机实测：建一条每天 08:00 的闹钟，slots 为 []）；
2. 下发给客户端的 happen_date 一直是 RFC3339 而非协议约定的 YYYY-MM-DD，
   客户端 _localToday() 的字符串相等比较恒不匹配、_mergeRange 在区间端点会重复。

这也是审计里「会议待办会在 08:55 响通知」只能是推演的原因：实际一条都不会响，
两个 bug 互相遮蔽。修法两层：ParseMemoryDate 容忍带时间的形式（安全网），
读路径出口统一归一（管对外格式），缺任一层都会留坑。

## 列表骨架化（同批）

echomeet_getallrecords 只回列表要用的骨架字段，original/translate/summary 占每条
97% 的字节（实测 59 条 ≈ 500KB，列表用得上的 15KB）。

⚠️ 骨架记录**绝不能写回库**：mysql.Save 是整行 UPDATE，三列会被清空。
StartTask 允许对已完成/已阅/失败的记录「重新转写」，那期间 state=Transcribing 而旧
纪要还在库里，用户切一下列表页旧转写和旧总结就没了。轮询前重新取整条再操作，
TestListEndpointNeverSavesBriefRecord 守着不许回退。

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>

4 weeks ago

Rodger-Wang

73eb2ef2ca

MCP 补上会话鉴权，并挂三个拾忆只读工具

## 先修鉴权：此前公网接口完全没有身份校验

authFromRequest 只把 Authorization 塞进 context，**全仓没有一处读回来，也没有
任何 JWT 校验**；三个用户工具（get_user_tasks / allhelp_task / cancel_user_task）
的 uid 都是 mcp.WithString("uid", Required()) —— 由大模型填进来的普通参数。

而 mcp 是独立进程、独立端口 7300，不经过 gateway 那套 parseToken + isInWhiteList
（那只管 /api/* 和 /web/*），又必须对百炼公网可达。所以这不是「内网接口没做鉴权」，
是公网接口完全没有鉴权：知道 uid 就能读改任意人的数据。

新增 modules/mcp/auth.go：
- 从 Authorization 解 JWT 取 uid，与 gateway/core.go 同一套口径（RegisteredClaims，
  uid 在 ID 字段）；兼容 "Bearer xxx" 前缀（gateway 收的是裸 token，标准 MCP
  客户端会加前缀）。
- 参数里的 uid **只用于比对**，不一致直接拒。不静默改用会话 uid——调用方显然
  误以为自己能指定用户，让它失败比让它以为成功了更安全。
- 解不出会话 uid 一律拒，**不回退到参数 uid**，那等于这层没做。
- TokenKey 未配置时拒绝所有用户数据类工具：配置漏了导致鉴权静默失效，
  比工具不可用严重得多。TokenKey 必须与 gateway 同值，两边都读 GATEWAY_TOKEN_KEY。

存量三个工具同步改造，uid 参数保留但改为可选（兼容百炼后台已配好的工具定义）。

9 个测试守住这条线，其中三条是核心安全断言：参数 uid 与会话不符必须拒、
没有 token 必须拒而不是回退、未配 TokenKey 必须全拒。另有伪造签名、过期 token、
空 uid claim 的用例。

## 共享查询层：避免 home 与 mcp 各写一份

comm/memoryquery.go。mcp 从不 RpcCall、只裸查 MySQL，如果记忆项的过滤条件、
分类白名单、排序口径两边各写一遍，改了一边另一边不报错，只会让 EMAI 答的和
App 里显示的对不上——而且没人会发现。memory 模块的 listItems 也改走这里。

ApplyMemoryQuery 里 uid 为空时拼 "1 = 0" 而不是不加条件：少一个 uid 条件就是把
全库记忆项返回给调用方，而它有两个调用方，其中一个公网可达。

另提供 MemoryRelativeRange 把「本周/上月/最近7天」换算成日期区间给模型用——
模型对「今天几号」的认知来自对话上下文，很不可靠，让它自己算 start_date 经常
算错（SET_clock 把「下午 3:30」填成 03:30 是同一类问题）。

## 三个只读工具

get_memory_items / get_memory_stats / get_memory_report。

**只读是刻意的**：新增/修改/删除不放这里。写路径的校验、幂等（client_key）、
提醒时刻重算都在 home 的 memory 模块内，在 MCP 里复制一份必然漂移。
录入走端侧指令（tool_calls）、查询走 MCP，这个分工不变。

- 花销按币种分行返回，不做汇率换算；同时给「分」和「元」，模型念元不容易错，
  留分是以免它想自己做加减时用浮点。
- get_memory_report 只返回已生成完的：还在生成中的 summary 是空的，
  给出去只会让模型编一段话填空。
- 返回给模型的是精简字段，不是整行 DBMemoryItem——client_key/gen_round/extra
  这些内部字段对回答问题没用，只占 token 还诱导模型去解释它们。
- date_certain=false 的项带上 date_is_inferred 标记，让模型别把推断出来的日期
  当成用户确认过的安排来陈述。
- 模型填错分类时忽略该筛选当作「不限分类」，而不是整次查询失败——它多半会再填错一次。

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>

1 month ago

2 Commits (18a7160183c5a510d90df9dec948f9e9bbda1775)