starpivot

97 Commits

3 Branches

2 Tags

237 MiB

Tree: f9b9c8c72d

Commit Graph

Author	SHA1	Message	Date
Rodger-Wang	f9b9c8c72d	client: 翻译默认归档进语音纪要；列表改本地优先；登录按包收敛；EMAI 走 A2DP ## 通话/同声/面对面翻译 → 语音纪要三种翻译模式默认边翻边录，结束时把音频连同已有转写一起归档（rtype=VOICETRANSLAT），服务端跳过识别、直接用智能模板（General-Autopilot）总结，在会议纪要里就能看到。转写段的构造见 translation_export.dart（纯函数，带金测试）： - 时间是相对录音起点的毫秒并扣掉暂停区间——面对面是逐句按住说话、松开就暂停的，不扣的话越往后偏得越多；写成绝对时间戳会让点一句跳到音频末尾之外； - 说话人用 Speaker_0/Speaker_1，与服务端转写同一口径（转写页直接把这个字段当文案显示，裸 0/1 会和别的纪要长得不一样，喂给 LLM 抽待办时也会混出 Speaker2 这种负责人）； - AST socket 断开后 _terminateCallOnError 会取消事件订阅，重开时收不到任何转写（真机上表现为「有日志但转写 0 段」），改成重新订阅。 ## 语音纪要列表：服务端是真源、本地 sqlite 是缓存列表接口改回骨架字段后（服务端同批），客户端改成本地优先渲染 + 后台对齐： - Synchrodata 重写：拉骨架 → upsert → 删掉「本地有服务端没有」的记录（连本地音频、上传队列、轮询任务一起清）。业务错误时 data 是 null 不是空列表，判空错了会把本地整个清空； - 详情进页面时才拉整条；离线操作队列那套上行是死代码（服务端接口整个注释掉了），删除。 ## 登录按包收敛苹果包只留苹果+游客、安卓包只留微信+游客、谷歌包只留邮箱+游客。判定抽成 resolveLoginMethods 纯函数（login_methods.dart + 8 条测试），邮箱包还要锁死国家区号选择。 ## EMAI 与其它 - 手机侧触发的对话走 A2DP 而不是语音处理通道：iOS 上 A2DP 输出与 voiceChat 模式互斥，开了后者蓝牙耳机会当场切到手机扬声器。按当前实际输出路由决定要不要开 voiceProcessing/回声消除； - EMAI「开始对话」闪退：探测输入格式时 new 了一个一次性 AVAudioEngine 去读 inputNode，配置变更时崩在 AVAudioIONodeImpl（EXC_BAD_ACCESS）。改成直接问 AVAudioSession； - 语音纪要文件名可改：每行右侧加铅笔图标，复用已有的重命名弹窗（原来只有长按菜单，实际入口已不可达）； - 拾忆上报 IANA 时区名：DateTime.now().timeZoneName 给的是「CST」这种缩写，服务端 LoadLocation 解析不了、静默退回容器时区，海外用户的提醒时刻会全按北京时间算。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>	3 weeks ago
Rodger-Wang	c14580d7db	client: 设备默认图去背；AI 页编排跟随设备；香薰 AI 回复走蓝牙；OTA 状态如实显示设备默认图 - default.png / default_icon.png 是 assets/images/devices 里仅有的两张不透明带底图（892×1152 竖版海报 + 浅蓝渐变底），而设备页展示区是 1.14:1 的横宽框， BoxFit.contain 后成了中间一条窄的蓝色卡片、左右大片留白，深色模式下尤其突兀。改成去背透明（948×828 / 176×154），主体自己铺满框、周围就是页面背景，代码零适配。 - device_images.dart 记下这条约定，免得以后又丢一张竖版带底图进来。 AI 页按设备铺编排（连着香薰却显示全量功能） - _load() 的一次性迁移会改 enabledIds 却不更新基线 _lastAppliedKey，尤其 _migrateDefaultLayout 会把 defaultEnabled 里缺的全部 append 回来 —— 香薰编排铺成 3 项，重启后被追加成 11 项，基线还停在 3 项，于是 applyDeviceDefaults 判定「用户动过编排」，从此再也不铺，且怎么重连都恢复不了。现在：当前编排若是自动铺的就整个跳过这些迁移；已经坏掉的装机由 _rebaseDeviceDefaultsBaseline 一次性把基线抬到现状（判据收紧到迁移留下的特征形态）。 - AgentDefaults.bind 补跑一次当前状态：GetX 的 ever 拿不到绑定那一刻已有的值，而设备是被动回连的，完全可能赶在 bind 之前就绪。 - 断开设备后回退到 DeviceHub.lastKnownVendor：设备图和「设备管理」在断连后都显示最近那台设备，AI 页却停在上一台铺的编排里，于是出现「图是耳机、功能是香薰」。为此给 DeviceHub 加 lastKnownVendor，并把它与 lastKnownName 抽成同一个来源 —— 各算各的就还会自相矛盾。 - test/agent_module_defaults_test.dart 6 个用例守这条规则。车载香薰唤醒 AI 后回复从手机扬声器出来 - 下行本来就设计成走经典蓝牙 A2DP，坏在共用的音频会话上：defaultToSpeaker 把输出钉在内置扬声器，选项里只有 allowBluetooth（HFP）而没有 allowBluetoothA2dp （playAndRecord 下 A2DP 输出默认是关的）。而这条链路采音在设备上走 BLE opus，手机压根不录音，用 playAndRecord 本身就是错配。 - EmaiAudioSession 分档：香薰走新的 playbackOnly（.playback 类别，输出跟随系统路由）， EMAI 页「按住说话」仍是 playAndRecord（去掉 defaultToSpeaker 会退回听筒，更糟），只补上 allowBluetoothA2dp。原生 PcmSpeakerPlayer 明确不碰 AVAudioSession，改这一处即可。固件升级页 - 后台没给产品配过固件时，页面显示的是绿色的「已是最新」——这是假话，会让人以为手上固件是最新的而不再去查。改成三态：找不到产品配置 / 服务端暂无固件版本 / 有新版本·已是最新。新文案 otaNoServerVersion 已补齐 41 个语言文件（i18n_audit total_missing=0）。 - 产品找到但版本为空时打一条点名 warn，不再和「拉取失败」混在一起。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>	4 weeks ago
Rodger-Wang	714a05b6d4	修 iOS EMAI 没有语音播报、连续对话上行断供；接入 MCP 令牌 iOS 上助手一直不出声，和这次改连续对话无关，是播报本来就坏的。三轮真机对照实测：just_audio 喂的是「长度未知的直播 WAV 流」，AVPlayer 只发一次 `Range: bytes=0-1` 的嗅探请求就判定资源不可播，回 -11850 且 processingState 直接落 idle，一次都没真正起播。声明长度、支持 range、把收到的字节全缓存下来允许重放，三种都试过，结论一样。ExoPlayer 不发这个嗅探请求，所以安卓一直是好的——这就是「安卓有声、苹果没声」的全部原因。 iOS 改走原生 AVAudioEngine 排队播 PCM（PcmSpeakerPlayer），安卓不动。验证方式：一次性灌 3 秒音频，7ms 喂完但 3708ms 才播完，证明是实时渲染不是丢弃。连续对话的上行也是断的，服务端一直回 ClientAudioTimeout。两个原因： - _ensureContinuousMic 被 Started 事件和 _enterContinuous 并发调用，两边都在 `_micRunning` 置位前通过守卫，同一个 recorder 被 startStream 两遍，第二次把第一次那条流顶掉。控制器侧改成同步置位，MicPcmStreamer 内部再加一层 in-flight 去重。 - 开麦前没配好并激活音频会话。会话停在 soloAmbient 且未激活时，startStream 会成功返回、引擎也起得来，但输入 tap 一个 buffer 都不回调，客户端毫无报错。麦克风和播放器统一到 EmaiAudioSession 一份会话配置：各配各的会在连续对话下互相覆盖。iOS 固定 voiceChat——record 的 echoCancel 会打开 voice-processing 并把 mode 改成 voiceChat 持有着，播放这边写回 default 就是两边互相掀桌子。 androidAudioAttributes 仍是 media，别改成 voiceCommunication（华为会静音）。连续对话交互按要求改：进页面只建会话不开麦，短按开始、再按结束、可反复，退出即停，10 秒无对话往来自动结束。计时依据必须是对话事件不是音频包—— 麦克风没人说话也在稳定出包，拿它续命这个超时永远不会触发。另修 _enterContinuous 在 reconnect() 一返回就判 `!= ready`：ready 要等服务端回 Started（一次网络往返），几乎每次都命中，于是刚打开的连续对话被当场关掉，而 Started 稍后到达又会把麦开起来，留下一个界面上看不见的常开麦克风。 Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>	1 month ago

Author

SHA1

Message

Date

Rodger-Wang

f9b9c8c72d

client: 翻译默认归档进语音纪要；列表改本地优先；登录按包收敛；EMAI 走 A2DP

## 通话/同声/面对面翻译 → 语音纪要

三种翻译模式默认边翻边录，结束时把音频**连同已有转写**一起归档
（rtype=VOICETRANSLAT），服务端跳过识别、直接用智能模板（General-Autopilot）总结，
在会议纪要里就能看到。转写段的构造见 translation_export.dart（纯函数，带金测试）：

- 时间是**相对录音起点的毫秒**并扣掉暂停区间——面对面是逐句按住说话、松开就暂停的，
  不扣的话越往后偏得越多；写成绝对时间戳会让点一句跳到音频末尾之外；
- 说话人用 Speaker_0/Speaker_1，与服务端转写同一口径（转写页直接把这个字段当文案显示，
  裸 0/1 会和别的纪要长得不一样，喂给 LLM 抽待办时也会混出 Speaker2 这种负责人）；
- AST socket 断开后 _terminateCallOnError 会取消事件订阅，重开时收不到任何转写
  （真机上表现为「有日志但转写 0 段」），改成重新订阅。

## 语音纪要列表：服务端是真源、本地 sqlite 是缓存

列表接口改回骨架字段后（服务端同批），客户端改成本地优先渲染 + 后台对齐：

- Synchrodata 重写：拉骨架 → upsert → 删掉「本地有服务端没有」的记录（连本地音频、
  上传队列、轮询任务一起清）。**业务错误时 data 是 null 不是空列表**，判空错了
  会把本地整个清空；
- 详情进页面时才拉整条；离线操作队列那套上行是死代码（服务端接口整个注释掉了），删除。

## 登录按包收敛

苹果包只留苹果+游客、安卓包只留微信+游客、谷歌包只留邮箱+游客。
判定抽成 resolveLoginMethods 纯函数（login_methods.dart + 8 条测试），
邮箱包还要锁死国家区号选择。

## EMAI 与其它

- 手机侧触发的对话走 A2DP 而不是语音处理通道：iOS 上 A2DP 输出与 voiceChat 模式
  互斥，开了后者蓝牙耳机会当场切到手机扬声器。按当前实际输出路由决定要不要开
  voiceProcessing/回声消除；
- EMAI「开始对话」闪退：探测输入格式时 new 了一个一次性 AVAudioEngine 去读 inputNode，
  配置变更时崩在 AVAudioIONodeImpl（EXC_BAD_ACCESS）。改成直接问 AVAudioSession；
- 语音纪要文件名可改：每行右侧加铅笔图标，复用已有的重命名弹窗（原来只有长按菜单，
  实际入口已不可达）；
- 拾忆上报 IANA 时区名：DateTime.now().timeZoneName 给的是「CST」这种缩写，
  服务端 LoadLocation 解析不了、静默退回容器时区，海外用户的提醒时刻会全按北京时间算。

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>

3 weeks ago

Rodger-Wang

c14580d7db

client: 设备默认图去背；AI 页编排跟随设备；香薰 AI 回复走蓝牙；OTA 状态如实显示

设备默认图
- default.png / default_icon.png 是 assets/images/devices 里仅有的两张**不透明带底图**
  （892×1152 竖版海报 + 浅蓝渐变底），而设备页展示区是 1.14:1 的横宽框，
  BoxFit.contain 后成了中间一条窄的蓝色卡片、左右大片留白，深色模式下尤其突兀。
  改成去背透明（948×828 / 176×154），主体自己铺满框、周围就是页面背景，代码零适配。
- device_images.dart 记下这条约定，免得以后又丢一张竖版带底图进来。

AI 页按设备铺编排（连着香薰却显示全量功能）
- _load() 的一次性迁移会改 enabledIds 却**不更新基线 _lastAppliedKey**，
  尤其 _migrateDefaultLayout 会把 defaultEnabled 里缺的全部 append 回来 ——
  香薰编排铺成 3 项，重启后被追加成 11 项，基线还停在 3 项，
  于是 applyDeviceDefaults 判定「用户动过编排」，从此再也不铺，且怎么重连都恢复不了。
  现在：当前编排若是自动铺的就整个跳过这些迁移；已经坏掉的装机由
  _rebaseDeviceDefaultsBaseline 一次性把基线抬到现状（判据收紧到迁移留下的特征形态）。
- AgentDefaults.bind 补跑一次当前状态：GetX 的 ever 拿不到绑定那一刻已有的值，
  而设备是被动回连的，完全可能赶在 bind 之前就绪。
- 断开设备后回退到 DeviceHub.lastKnownVendor：设备图和「设备管理」在断连后都显示
  最近那台设备，AI 页却停在上一台铺的编排里，于是出现「图是耳机、功能是香薰」。
  为此给 DeviceHub 加 lastKnownVendor，并把它与 lastKnownName 抽成同一个来源 ——
  各算各的就还会自相矛盾。
- test/agent_module_defaults_test.dart 6 个用例守这条规则。

车载香薰唤醒 AI 后回复从手机扬声器出来
- 下行本来就设计成走经典蓝牙 A2DP，坏在共用的音频会话上：defaultToSpeaker 把输出
  钉在内置扬声器，选项里只有 allowBluetooth（HFP）而没有 allowBluetoothA2dp
  （playAndRecord 下 A2DP 输出默认是关的）。而这条链路采音在设备上走 BLE opus，
  手机压根不录音，用 playAndRecord 本身就是错配。
- EmaiAudioSession 分档：香薰走新的 playbackOnly（.playback 类别，输出跟随系统路由），
  EMAI 页「按住说话」仍是 playAndRecord（去掉 defaultToSpeaker 会退回听筒，更糟），
  只补上 allowBluetoothA2dp。原生 PcmSpeakerPlayer 明确不碰 AVAudioSession，改这一处即可。

固件升级页
- 后台没给产品配过固件时，页面显示的是绿色的「已是最新」——这是假话，会让人以为
  手上固件是最新的而不再去查。改成三态：找不到产品配置 / 服务端暂无固件版本 / 有新版本·已是最新。
  新文案 otaNoServerVersion 已补齐 41 个语言文件（i18n_audit total_missing=0）。
- 产品找到但版本为空时打一条点名 warn，不再和「拉取失败」混在一起。

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>

4 weeks ago

Rodger-Wang

714a05b6d4

修 iOS EMAI 没有语音播报、连续对话上行断供；接入 MCP 令牌

iOS 上助手一直不出声，和这次改连续对话无关，是播报本来就坏的。三轮真机对照
实测：just_audio 喂的是「长度未知的直播 WAV 流」，AVPlayer 只发一次
`Range: bytes=0-1` 的嗅探请求就判定资源不可播，回 -11850 且 processingState
直接落 idle，一次都没真正起播。声明长度、支持 range、把收到的字节全缓存下来
允许重放，三种都试过，结论一样。ExoPlayer 不发这个嗅探请求，所以安卓一直是
好的——这就是「安卓有声、苹果没声」的全部原因。

iOS 改走原生 AVAudioEngine 排队播 PCM（PcmSpeakerPlayer），安卓不动。
验证方式：一次性灌 3 秒音频，7ms 喂完但 3708ms 才播完，证明是实时渲染不是丢弃。

连续对话的上行也是断的，服务端一直回 ClientAudioTimeout。两个原因：
- _ensureContinuousMic 被 Started 事件和 _enterContinuous 并发调用，两边都在
  `_micRunning` 置位前通过守卫，同一个 recorder 被 startStream 两遍，第二次把
  第一次那条流顶掉。控制器侧改成同步置位，MicPcmStreamer 内部再加一层 in-flight 去重。
- 开麦前没配好并激活音频会话。会话停在 soloAmbient 且未激活时，startStream
  会**成功返回**、引擎也起得来，但输入 tap 一个 buffer 都不回调，客户端毫无报错。

麦克风和播放器统一到 EmaiAudioSession 一份会话配置：各配各的会在连续对话下
互相覆盖。iOS 固定 voiceChat——record 的 echoCancel 会打开 voice-processing 并
把 mode 改成 voiceChat 持有着，播放这边写回 default 就是两边互相掀桌子。
androidAudioAttributes 仍是 media，别改成 voiceCommunication（华为会静音）。

连续对话交互按要求改：进页面只建会话不开麦，短按开始、再按结束、可反复，
退出即停，10 秒无对话往来自动结束。计时依据必须是对话事件不是音频包——
麦克风没人说话也在稳定出包，拿它续命这个超时永远不会触发。
另修 _enterContinuous 在 reconnect() 一返回就判 `!= ready`：ready 要等服务端回
Started（一次网络往返），几乎每次都命中，于是刚打开的连续对话被当场关掉，
而 Started 稍后到达又会把麦开起来，留下一个界面上看不见的常开麦克风。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>

1 month ago

3 Commits (f9b9c8c72d55595472d3e3343ad8237681d6e074)