starpivot

56 Commits

3 Branches

2 Tags

250 MiB

Tree: 66463e53f6

Commit Graph

Author	SHA1	Message	Date
Rodger-Wang	80c6ea1be3	iOS 真机排查：修同传播报路由、录音时长与电平崩溃一轮 iPhone 真机联调里发现并修掉的一组问题，多数是既有缺陷，两处是我在本轮前期改出来的回归（已在注释里标明，避免以后再踩）。同传播报路由（AzureTtsHelper.swift，phone_call 分支）这一支被改坏过三次，结论固定在注释里： ① 最早 `.defaultToSpeaker` + `overrideOutputAudioPort(.speaker)` → 连了 A2DP 也被强拽到外放；元凶是那次 override（已删）。 ② 修 ① 时把 `.defaultToSpeaker` 一并删了 → 删过头：`.playAndRecord` 的默认输出是听筒，没耳机时译文几乎听不见（「翻译出来了但不播报」）。 ③ 补回 `.defaultToSpeaker` 且 mode 设成 `.videoChat`（为了 AEC） → `.videoChat` 本身偏好内置扬声器，连了耳机又被拽到外放，绕回 ①。现在按有没有耳机分两支：有耳机走 `.default` + 仅 A2DP；没耳机走 `.videoChat` + `.defaultToSpeaker`（外放且开回声消除）。分支口径与采集侧 MicrophoneCapture 启用 voice processing 的条件完全一致，两边不再打架。没有这个 AEC 时，外放的译文会被自己的麦克风收回去，ASR 当成新一句再翻一遍。现场录音（bes_recording_service.dart） - 时长改为按已写入的数据量算（32 字节 = 1ms），与 WAV 头一致，因此界面时长与文件实际播放长度永远相等。墙钟算不准：耳机收到 AA 59 后要 1.8~6.5 秒才上行首帧，还会把等待期缓存的音频一次性补推，实测数据量比「首帧到停止」的墙钟窗口还多 21~45%，从哪头计时都对不齐。真机验证：音频19.15s/墙钟18.88s、音频18.72s/墙钟18.69s，等效采样率均为 16000Hz 整、0 丢帧。 - 修 `_updateLevel` 的 `asInt16List(offsetInBytes, …)`：原生来的 Uint8List 是带 offset 的视图，偏移为奇数时必抛 RangeError。原来藏在 try 里被吞掉，表现是波形/电平一直不动（数据本身没丢）。改成按小端手工拼 int16，与 BesCallRecordingService._writeStereo 同一修法。 ⚠️ 本轮我一度把它挪到写入之前且未包 try，一抛异常整个 _onPcm 中断、音频一帧都写不进去（实测 6990 次未捕获异常）——现在它排在写入成功之后并单独包 try，波形挂了绝不能影响录音。 - 音频写入排成 Future 队列。Stream.listen 的 async 回调不会被等待，每秒上百帧必然重叠，而 RandomAccessFile 同一时刻只允许一个异步操作。（事后核对通话录音同样写法却没丢数据，所以这条是防御性的，不是主因。）识别异常与状态收口（translation_controller.dart） - 新增 _abortRecognition：catch / error / canceled 三条异常路径统一回滚，把录音一起停掉。此前 `isRecording` 全文件只有一处 `= true`、从来没被置回 false，识别挂了右上角还在计时；异常路径更是连 stopRecording 都不调。标记同时收口进 stopRecording，所有停止路径都覆盖得到。 - startRecognition 点击即点亮 isPreparing（view 早已绑好按钮反馈，只是从来没人设过它，点下去毫无视觉变化，就是「点了没反应」）。 - `await _modeInitFuture` 补 3 秒超时。它是本轮前期为消除语言竞态加的，但没有超时——iOS 首次要激活音频会话、连着蓝牙还要等音频路由，一旦迟迟不返回点击就永久卡住。把「可能用错语言」换成「可能完全卡住」是坏交易，超时后走兜底 initialize，至少起得来。 - 三段耗时打点提到 warning 级：release 的日志级别就是 warning，用 info 打在真机上一条都留不下。其它 - Logger 在非 release 下同时 print 一份：`developer.log` 只进 VM service 的 logging stream，`flutter run` 控制台看不到、调试态下 idevicesyslog 也抓不到，真机排查时加了一堆打点却一条都看不见。 - 连接握手不再自动跑 probeCommands：每条间隔 400ms、一轮十几秒，期间 SPP 通道被占满，用户点录音/翻译的指令只能排队。需要重扫时手动调。本次在固件 0.0.3 上的扫描结果记进注释（0x0B/0C/0D/0F/10/19 有回包，但取值都不像电量百分比，电量命令仍未定位到）。 - 通话状态变化打出触发它的原始字节，便于排查「刚连上就被判成通话中」。 Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>	2 months ago
Rodger-Wang	946204cc3c	翻译延迟优化：接上阿里增量文本、面对面/同传去掉固定等待通话翻译：阿里百炼端到端协议本来就是流式的（音频 response.audio.delta 一直在逐帧回灌），但增量文本订阅的事件名是错的——代码监听 response.audio_transcript.delta（字段 delta），而实时语音翻译 audio+text 模态实际发的是 response.audio_transcript.text（字段 text）， .delta 是 OpenAI Realtime / 通义 Omni 的写法。于是 onPartialText 一次都不触发，译文只在 .done 时整句蹦出来，看着像"等说完才翻"。现在两套名字都认、两个字段都取，并按首次出现的事件名锁定，防止服务端兼容层双发导致文本累计两遍。Android / iOS 两端同改。面对面 / 同声翻译（走 ASR → HTTP 机器翻译 → TTS 三段串行）： - 补上 Speech_SegmentationSilenceTimeoutMs=300，原来一行没设走 Azure 默认 500ms，这是"说完到出译文"里唯一一段纯等待； - 同传 / 音视频改单语 ASR，关掉连续语种识别（它要缓冲够音频、给候选语言逐个打分才敢出 final）。只有面对面需要判断"谁在说"，仍保持双语； - 中间结果翻译从"每 300ms 无条件发"改成 700ms + 至少多 4 个字 + CancelToken 撤旧请求 + 序号丢弃过期结果。中间译文只上屏不播报，原来一句 5 秒的话要打十几次真实服务商调用，还会跟 final 抢链路； - TTS 提到 _updateExistingHistoryItem 最前，不再排在浮窗 / 写历史 / 记统计那串 await 之后； - startRecognition 先 await onInit 那次 changeTranslationMode，堵掉 "进页面立刻点开始 → 落到默认 zh-CN/en-US"的竞态。 AuthInterceptor 的 DioExceptionType.cancel 分支不再弹红色"请求已取消" ——取消永远是客户端自己发起的，不改的话中间结果一接上就会一路狂弹。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>	2 months ago
Rodger-Wang	2d1ee0b783	apps/client 首次入库（Flutter 移动端）从 /Users/yunyanzhineng/work/eaimar_client-main 搬入，未带原 .git，历史留在原仓库。 3215 个文件 / 约 118MB，其中约 40MB 是构建必需的预编译 SDK（azure_speech 的 MicrosoftCognitiveServicesSpeech.xcframework、device_jieli 的 JL_BLEKit 等）。 build/ (5.2G)、ios/Pods/ (311M)、android/.gradle/ (120M) 已由 .gitignore 挡掉。本次入库的代码包含两项刚做完的改动： 1) 游客登录入口接上服务端开关。此前 _checkGuestLoginConfig() 恒定写死 true，入口根本不读配置。现改为取服务端算好的结论，并把入口所在的 Builder 改成 Obx ——配置是异步拿到的，Builder 只渲染 onInit 时的初值 false，入口再也不会出现。拿不到配置时按隐藏处理：默认显示会在送审期把不该露的入口露给审核员。 ⚠️ 已发布的老客户端关不掉（写死 true），只对本版及以后生效。 2) iOS 上架合规修复： - 移除 ATT/IDFA：删掉 Info.plist 的 NSUserTrackingUsageDescription、 SKAdNetworkItems、NSAdvertisingAttributionReportEndpoint，删掉 splash 里的授权请求与 app_tracking_transparency 依赖。本 App 从不读取 IDFA，也没有任何广告/归因 SDK，弹框纯粹劝退用户，还要在 App Store Connect 申报追踪数据类型。 - ios/Podfile 里那段 config.build_settings.delete('NSUserTrackingUsageDescription') 是无效代码（该 key 在 Info.plist 里，不是 build setting），换成注释说明。 - 通讯录符号（ITMS-90683 被拒原因）随之一并解决：permission_handler 走 SPM 后按 Info.plist 有无对应 key 决定编不编，判定结果被 SwiftPM 按内容哈希缓存，改完 plist 必须清 DerivedData 与 manifests 缓存才会重新求值。另附 GOOGLE_PLAY_RELEASE_CHECKLIST.md：Google Play 上架阻塞项的实测梳理（targetSdk 36 与 Billing 8 的 2026-08-31 期限、16KB 页对齐不合规的两个 .so、支付回退逻辑的下架风险）。 ⚠️ android/app/sign/ 下的 eaimar.keystore 与 Eaimar.properties（含明文签名密码）随本次提交入库，与本仓库"私有仓库下接受真实凭据"的既有取舍一致。仓库若要公开，这两个必须先摘出去。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>	2 months ago

Author

SHA1

Message

Date

Rodger-Wang

80c6ea1be3

iOS 真机排查：修同传播报路由、录音时长与电平崩溃

一轮 iPhone 真机联调里发现并修掉的一组问题，多数是既有缺陷，两处是我在
本轮前期改出来的回归（已在注释里标明，避免以后再踩）。

同传播报路由（AzureTtsHelper.swift，phone_call 分支）
这一支被改坏过三次，结论固定在注释里：
  ① 最早 `.defaultToSpeaker` + `overrideOutputAudioPort(.speaker)`
     → 连了 A2DP 也被强拽到外放；元凶是那次 override（已删）。
  ② 修 ① 时把 `.defaultToSpeaker` 一并删了 → 删过头：`.playAndRecord` 的
     默认输出是**听筒**，没耳机时译文几乎听不见（「翻译出来了但不播报」）。
  ③ 补回 `.defaultToSpeaker` 且 mode 设成 `.videoChat`（为了 AEC）
     → `.videoChat` 本身偏好内置扬声器，连了耳机又被拽到外放，绕回 ①。
现在按**有没有耳机**分两支：有耳机走 `.default` + 仅 A2DP；没耳机走
`.videoChat` + `.defaultToSpeaker`（外放且开回声消除）。分支口径与采集侧
MicrophoneCapture 启用 voice processing 的条件完全一致，两边不再打架。
没有这个 AEC 时，外放的译文会被自己的麦克风收回去，ASR 当成新一句再翻一遍。

现场录音（bes_recording_service.dart）
- 时长改为按**已写入的数据量**算（32 字节 = 1ms），与 WAV 头一致，
  因此界面时长与文件实际播放长度永远相等。墙钟算不准：耳机收到 AA 59 后
  要 1.8~6.5 秒才上行首帧，还会把等待期缓存的音频一次性补推，实测数据量
  比「首帧到停止」的墙钟窗口还多 21~45%，从哪头计时都对不齐。
  真机验证：音频19.15s/墙钟18.88s、音频18.72s/墙钟18.69s，
  等效采样率均为 16000Hz 整、0 丢帧。
- 修 `_updateLevel` 的 `asInt16List(offsetInBytes, …)`：原生来的 Uint8List
  是带 offset 的视图，偏移为奇数时必抛 RangeError。原来藏在 try 里被吞掉，
  表现是波形/电平一直不动（数据本身没丢）。改成按小端手工拼 int16，
  与 BesCallRecordingService._writeStereo 同一修法。
  ⚠️ 本轮我一度把它挪到写入之前且未包 try，一抛异常整个 _onPcm 中断、
  音频一帧都写不进去（实测 6990 次未捕获异常）——现在它排在写入成功之后
  并单独包 try，波形挂了绝不能影响录音。
- 音频写入排成 Future 队列。Stream.listen 的 async 回调不会被等待，
  每秒上百帧必然重叠，而 RandomAccessFile 同一时刻只允许一个异步操作。
  （事后核对通话录音同样写法却没丢数据，所以这条是防御性的，不是主因。）

识别异常与状态收口（translation_controller.dart）
- 新增 _abortRecognition：catch / error / canceled 三条异常路径统一回滚，
  **把录音一起停掉**。此前 `isRecording` 全文件只有一处 `= true`、从来没被
  置回 false，识别挂了右上角还在计时；异常路径更是连 stopRecording 都不调。
  标记同时收口进 stopRecording，所有停止路径都覆盖得到。
- startRecognition 点击即点亮 isPreparing（view 早已绑好按钮反馈，只是从来
  没人设过它，点下去毫无视觉变化，就是「点了没反应」）。
- `await _modeInitFuture` 补 3 秒超时。它是本轮前期为消除语言竞态加的，
  但没有超时——iOS 首次要激活音频会话、连着蓝牙还要等音频路由，一旦迟迟
  不返回点击就永久卡住。把「可能用错语言」换成「可能完全卡住」是坏交易，
  超时后走兜底 initialize，至少起得来。
- 三段耗时打点提到 warning 级：release 的日志级别就是 warning，用 info 打
  在真机上一条都留不下。

其它
- Logger 在非 release 下同时 print 一份：`developer.log` 只进 VM service 的
  logging stream，`flutter run` 控制台看不到、调试态下 idevicesyslog 也抓不到，
  真机排查时加了一堆打点却一条都看不见。
- 连接握手不再自动跑 probeCommands：每条间隔 400ms、一轮十几秒，期间 SPP
  通道被占满，用户点录音/翻译的指令只能排队。需要重扫时手动调。
  本次在固件 0.0.3 上的扫描结果记进注释（0x0B/0C/0D/0F/10/19 有回包，
  但取值都不像电量百分比，电量命令仍未定位到）。
- 通话状态变化打出触发它的原始字节，便于排查「刚连上就被判成通话中」。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>

2 months ago

Rodger-Wang

946204cc3c

翻译延迟优化：接上阿里增量文本、面对面/同传去掉固定等待

通话翻译：阿里百炼端到端协议本来就是流式的（音频 response.audio.delta
一直在逐帧回灌），但增量文本订阅的事件名是错的——代码监听
response.audio_transcript.delta（字段 delta），而实时语音翻译
audio+text 模态实际发的是 response.audio_transcript.text（字段 text），
.delta 是 OpenAI Realtime / 通义 Omni 的写法。于是 onPartialText 一次
都不触发，译文只在 .done 时整句蹦出来，看着像"等说完才翻"。
现在两套名字都认、两个字段都取，并按首次出现的事件名锁定，防止服务端
兼容层双发导致文本累计两遍。Android / iOS 两端同改。

面对面 / 同声翻译（走 ASR → HTTP 机器翻译 → TTS 三段串行）：
- 补上 Speech_SegmentationSilenceTimeoutMs=300，原来一行没设走 Azure
  默认 500ms，这是"说完到出译文"里唯一一段纯等待；
- 同传 / 音视频改单语 ASR，关掉连续语种识别（它要缓冲够音频、给候选
  语言逐个打分才敢出 final）。只有面对面需要判断"谁在说"，仍保持双语；
- 中间结果翻译从"每 300ms 无条件发"改成 700ms + 至少多 4 个字 +
  CancelToken 撤旧请求 + 序号丢弃过期结果。中间译文只上屏不播报，
  原来一句 5 秒的话要打十几次真实服务商调用，还会跟 final 抢链路；
- TTS 提到 _updateExistingHistoryItem 最前，不再排在浮窗 / 写历史 /
  记统计那串 await 之后；
- startRecognition 先 await onInit 那次 changeTranslationMode，堵掉
  "进页面立刻点开始 → 落到默认 zh-CN/en-US"的竞态。

AuthInterceptor 的 DioExceptionType.cancel 分支不再弹红色"请求已取消"
——取消永远是客户端自己发起的，不改的话中间结果一接上就会一路狂弹。

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>

2 months ago

Rodger-Wang

2d1ee0b783

apps/client 首次入库（Flutter 移动端）

从 /Users/yunyanzhineng/work/eaimar_client-main 搬入，未带原 .git，历史留在原仓库。
3215 个文件 / 约 118MB，其中约 40MB 是构建必需的预编译 SDK（azure_speech 的
MicrosoftCognitiveServicesSpeech.xcframework、device_jieli 的 JL_BLEKit 等）。
build/ (5.2G)、ios/Pods/ (311M)、android/.gradle/ (120M) 已由 .gitignore 挡掉。

本次入库的代码包含两项刚做完的改动：

1) 游客登录入口接上服务端开关。此前 _checkGuestLoginConfig() 恒定写死 true，
   入口根本不读配置。现改为取服务端算好的结论，并把入口所在的 Builder 改成 Obx
   ——配置是异步拿到的，Builder 只渲染 onInit 时的初值 false，入口再也不会出现。
   拿不到配置时按隐藏处理：默认显示会在送审期把不该露的入口露给审核员。
   ⚠️ 已发布的老客户端关不掉（写死 true），只对本版及以后生效。

2) iOS 上架合规修复：
   - 移除 ATT/IDFA：删掉 Info.plist 的 NSUserTrackingUsageDescription、
     SKAdNetworkItems、NSAdvertisingAttributionReportEndpoint，删掉 splash 里的
     授权请求与 app_tracking_transparency 依赖。本 App 从不读取 IDFA，也没有任何
     广告/归因 SDK，弹框纯粹劝退用户，还要在 App Store Connect 申报追踪数据类型。
   - ios/Podfile 里那段 config.build_settings.delete('NSUserTrackingUsageDescription')
     是无效代码（该 key 在 Info.plist 里，不是 build setting），换成注释说明。
   - 通讯录符号（ITMS-90683 被拒原因）随之一并解决：permission_handler 走 SPM 后
     按 Info.plist 有无对应 key 决定编不编，判定结果被 SwiftPM 按内容哈希缓存，
     改完 plist 必须清 DerivedData 与 manifests 缓存才会重新求值。

另附 GOOGLE_PLAY_RELEASE_CHECKLIST.md：Google Play 上架阻塞项的实测梳理
（targetSdk 36 与 Billing 8 的 2026-08-31 期限、16KB 页对齐不合规的两个 .so、
支付回退逻辑的下架风险）。

⚠️ android/app/sign/ 下的 eaimar.keystore 与 Eaimar.properties（含明文签名密码）
随本次提交入库，与本仓库"私有仓库下接受真实凭据"的既有取舍一致。
仓库若要公开，这两个必须先摘出去。

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>

2 months ago

3 Commits (66463e53f69f778e5255615e496e3c5f552f9f31)