starpivot

135 Commits

3 Branches

2 Tags

237 MiB

Branch: main

Commit Graph

Author	SHA1	Message	Date
Rodger-Wang	7ce56f693d	client: 通话翻译音频链路修复（iOS GATT 写入、后台保活、状态竞态） iOS 上恒玄走的是 GATT over BR/EDR 而非 BLE，之前按 BLE 模型处理导致一连串问题。本次改动都有真机数据支撑（2026-09-21 压测）。 GATT 写入（bluetooth_manager） - 写类型改为优先 .withoutResponse。ATT 是请求-响应协议，带应答写每包等 ACK，追不上下行 50 包/秒，表现为音频越听越滞后。 - canSendWriteWithoutResponse 只作观测、不作门槛。它是 CoreBluetooth 为 BLE 设计的提示，在 BR/EDR GATT 上不反映真实能力（实测 100% 为 false 却零丢弃）；拿它当闸门会死锁：不写就不回调，不回调就永不翻真，实测 548 包只出去 11 个。 - 控制命令无条件直发、不排队。排到积压音频后面会让 AA 09/AA 06/queryCallState 全部发不出去，曾被误判成「固件换了命令号」。 - 不再对标准电池服务 0x180F 做任何 ATT 操作：它在 Echo-one 上是空壳（值恒为 0），而挂在它上面的读/订阅会把整条 ATT 通道堵死。后台存活（translation） - 通话翻译期间持有 BackgroundKeepalive。两路音频全走耳机 GATT，手机侧没有 AVAudioSession 的实际 I/O，UIBackgroundModes=audio 不成立，切后台几十秒后上行被掐断：WebSocket 还连着，但服务端收不到语音，靠默认 VAD 每 30 秒强切一句，吐出空译文或幻觉 —— 表现为「切后台后只剩译文、原文全没」。 - BackgroundKeepalive 不再无条件把音频类别改成 .playback，避免踩掉通话翻译正在跑的 .playAndRecord 录音链路。状态竞态（azure_speech / device_hub） - markReady 的就绪状态记在插件上、建桥时继承。建桥与 AST 异步初始化是两条独立路径，初始化先完成时那句 optional chaining 打在 nil 上静默丢失，之后 ready 恒为 false、上行帧全积在环形缓冲里，表现为「打开通话翻译没反应，再开一次才好」。 - DeviceHub.inCall 改以会话快照为准。事件会随 worker 在断连时被 dispose 而丢失，重连后 ever 又不回调当前值，且后续重复赋同值不触发，永远不会自愈。可观测性 - 下行发送器与 GATT 写入的日志从 NSLog 改为 os_log（release/profile 包里 idevicesyslog 只收得到 os_log），并经 DeviceSession.diagnostics() 暴露给 Dart，写入文件日志后可用 devicectl 直接拉取，不依赖 usbmuxd。 - 新增 inCall 变化、闸门拦截、通话状态翻转、前后台切换四处观测点。其它 - DeviceSession 新增 diagnostics()（默认空表）；SmartcarSession 因是 implements 而非 extends，同步补了实现。 - CLAUDE.md 记录本次全部实测结论，含 BB 8E 为通话状态权威、BB 02/03 是噪声（已知问题，本次未改判定）。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>	3 weeks ago
Rodger-Wang	56aa55773d	字幕小窗改成自绘：pip 包只喂了一块纯黑像素，字幕根本进不去小窗用户反馈「悬浮弹幕上没有显示翻译内容」，根因在 pub 包 pip 0.0.4： PipView.m: const int pixel = 0xFF000000; // BGRA 全黑填满 pixelBuffer → enqueue 进 AVSampleBufferDisplayLayer 小窗显示的就是这一帧纯黑占位。真正的字幕卡片它是靠 insertContentViewIfNeeded 塞进 activeKeyWindow 的，而 PiP 窗口由系统进程托管、不在 UIApplication.connectedScenes 的窗口列表里，那个 keyWindow 永远是 App 自己的窗口。于是字幕落在 App 身上（上一版还因此盖住整个屏幕点不动），小窗里只可能是黑的。PipView.m 全文件 0 处引用 contentView，可以佐证。改成自己实现：SubtitlePipController 把 PlayerView 画进 CVPixelBuffer，逐帧喂给自己的 AVSampleBufferDisplayLayer，再用 sampleBufferDisplayLayer 这一路 content source 起 AVPictureInPictureController。小窗显示的就是它。 Dart 侧不再依赖 pip 包（import 与相关字段一并删除）。同时回答另外两个问题： - 大小：PiP 小窗的实际尺寸由用户捏合手势决定，App 无权直接设定。能控的是宽高比（= 画布宽高比），setPipWidthScale 改的是这个，系统会按新形状重新布局。另外卡片有内容时自动变高、没内容时收成一条，也走同一条路。 - 透明度：做不到透过小窗看见下面的 App。iOS 的 PiP 窗口本身不透明，系统没有开放任何接口。setPipOpacity 只作用于卡片自己的底色（在小窗那块底之上显得深浅不同）。真要少挡内容只能把小窗做小或拖到别处。这一条在 Dart 与原生两侧的注释里都写明了，免得以后有人再试一遍。几处实现要点： - 心跳定时器每秒补一帧。只在文案变化时推帧的话，长时间没有新帧会让 AVSampleBufferDisplayLayer 被判定停滞并清空，表现是「翻译停一会儿小窗就黑」。 - start() 之前先推一帧：没有任何已入队帧时 AVPictureInPictureController 会判定内容源为空，直接回调 failed。 - 渲染上下文要做一次 y 轴翻转，否则字幕上下颠倒（UIKit 原点左上、CG 左下）。 - renderView 必须挂在真实窗口层级里且尺寸非零，脱离层级的 layer 不被 PiP 采纳。 - 时间轴返回无限区间，让系统按直播流处理，小窗上不出现进度条和快进按钮。 ⚠️ 构建注意：给本地 pod 加新文件后必须重跑 pod install，否则文件不进 Pods 工程，报 "Cannot find 'SubtitlePipController' in scope"。 Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>	1 month ago
Rodger-Wang	2d1ee0b783	apps/client 首次入库（Flutter 移动端）从 /Users/yunyanzhineng/work/eaimar_client-main 搬入，未带原 .git，历史留在原仓库。 3215 个文件 / 约 118MB，其中约 40MB 是构建必需的预编译 SDK（azure_speech 的 MicrosoftCognitiveServicesSpeech.xcframework、device_jieli 的 JL_BLEKit 等）。 build/ (5.2G)、ios/Pods/ (311M)、android/.gradle/ (120M) 已由 .gitignore 挡掉。本次入库的代码包含两项刚做完的改动： 1) 游客登录入口接上服务端开关。此前 _checkGuestLoginConfig() 恒定写死 true，入口根本不读配置。现改为取服务端算好的结论，并把入口所在的 Builder 改成 Obx ——配置是异步拿到的，Builder 只渲染 onInit 时的初值 false，入口再也不会出现。拿不到配置时按隐藏处理：默认显示会在送审期把不该露的入口露给审核员。 ⚠️ 已发布的老客户端关不掉（写死 true），只对本版及以后生效。 2) iOS 上架合规修复： - 移除 ATT/IDFA：删掉 Info.plist 的 NSUserTrackingUsageDescription、 SKAdNetworkItems、NSAdvertisingAttributionReportEndpoint，删掉 splash 里的授权请求与 app_tracking_transparency 依赖。本 App 从不读取 IDFA，也没有任何广告/归因 SDK，弹框纯粹劝退用户，还要在 App Store Connect 申报追踪数据类型。 - ios/Podfile 里那段 config.build_settings.delete('NSUserTrackingUsageDescription') 是无效代码（该 key 在 Info.plist 里，不是 build setting），换成注释说明。 - 通讯录符号（ITMS-90683 被拒原因）随之一并解决：permission_handler 走 SPM 后按 Info.plist 有无对应 key 决定编不编，判定结果被 SwiftPM 按内容哈希缓存，改完 plist 必须清 DerivedData 与 manifests 缓存才会重新求值。另附 GOOGLE_PLAY_RELEASE_CHECKLIST.md：Google Play 上架阻塞项的实测梳理（targetSdk 36 与 Billing 8 的 2026-08-31 期限、16KB 页对齐不合规的两个 .so、支付回退逻辑的下架风险）。 ⚠️ android/app/sign/ 下的 eaimar.keystore 与 Eaimar.properties（含明文签名密码）随本次提交入库，与本仓库"私有仓库下接受真实凭据"的既有取舍一致。仓库若要公开，这两个必须先摘出去。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>	1 month ago

Author

SHA1

Message

Date

Rodger-Wang

7ce56f693d

client: 通话翻译音频链路修复（iOS GATT 写入、后台保活、状态竞态）

iOS 上恒玄走的是 GATT over BR/EDR 而非 BLE，之前按 BLE 模型处理导致一连串问题。
本次改动都有真机数据支撑（2026-09-21 压测）。

GATT 写入（bluetooth_manager）
- 写类型改为优先 .withoutResponse。ATT 是请求-响应协议，带应答写每包等 ACK，
  追不上下行 50 包/秒，表现为音频越听越滞后。
- canSendWriteWithoutResponse 只作观测、不作门槛。它是 CoreBluetooth 为 BLE
  设计的提示，在 BR/EDR GATT 上不反映真实能力（实测 100% 为 false 却零丢弃）；
  拿它当闸门会死锁：不写就不回调，不回调就永不翻真，实测 548 包只出去 11 个。
- 控制命令无条件直发、不排队。排到积压音频后面会让 AA 09/AA 06/queryCallState
  全部发不出去，曾被误判成「固件换了命令号」。
- 不再对标准电池服务 0x180F 做任何 ATT 操作：它在 Echo-one 上是空壳（值恒为 0），
  而挂在它上面的读/订阅会把整条 ATT 通道堵死。

后台存活（translation）
- 通话翻译期间持有 BackgroundKeepalive。两路音频全走耳机 GATT，手机侧没有
  AVAudioSession 的实际 I/O，UIBackgroundModes=audio 不成立，切后台几十秒后
  上行被掐断：WebSocket 还连着，但服务端收不到语音，靠默认 VAD 每 30 秒强切一句，
  吐出空译文或幻觉 —— 表现为「切后台后只剩译文、原文全没」。
- BackgroundKeepalive 不再无条件把音频类别改成 .playback，避免踩掉通话翻译
  正在跑的 .playAndRecord 录音链路。

状态竞态（azure_speech / device_hub）
- markReady 的就绪状态记在插件上、建桥时继承。建桥与 AST 异步初始化是两条独立
  路径，初始化先完成时那句 optional chaining 打在 nil 上静默丢失，之后 ready
  恒为 false、上行帧全积在环形缓冲里，表现为「打开通话翻译没反应，再开一次才好」。
- DeviceHub.inCall 改以会话快照为准。事件会随 worker 在断连时被 dispose 而丢失，
  重连后 ever 又不回调当前值，且后续重复赋同值不触发，永远不会自愈。

可观测性
- 下行发送器与 GATT 写入的日志从 NSLog 改为 os_log（release/profile 包里
  idevicesyslog 只收得到 os_log），并经 DeviceSession.diagnostics() 暴露给 Dart，
  写入文件日志后可用 devicectl 直接拉取，不依赖 usbmuxd。
- 新增 inCall 变化、闸门拦截、通话状态翻转、前后台切换四处观测点。

其它
- DeviceSession 新增 diagnostics()（默认空表）；SmartcarSession 因是 implements
  而非 extends，同步补了实现。
- CLAUDE.md 记录本次全部实测结论，含 BB 8E 为通话状态权威、BB 02/03 是噪声
  （已知问题，本次未改判定）。

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>

3 weeks ago

Rodger-Wang

56aa55773d

字幕小窗改成自绘：pip 包只喂了一块纯黑像素，字幕根本进不去小窗

用户反馈「悬浮弹幕上没有显示翻译内容」，根因在 pub 包 pip 0.0.4：

  PipView.m: const int pixel = 0xFF000000;   // BGRA 全黑
             填满 pixelBuffer → enqueue 进 AVSampleBufferDisplayLayer

小窗显示的就是这一帧纯黑占位。真正的字幕卡片它是靠
insertContentViewIfNeeded 塞进 activeKeyWindow 的，而 PiP 窗口由系统进程托管、
**不在 UIApplication.connectedScenes 的窗口列表里**，那个 keyWindow 永远是
App 自己的窗口。于是字幕落在 App 身上（上一版还因此盖住整个屏幕点不动），
小窗里只可能是黑的。PipView.m 全文件 0 处引用 contentView，可以佐证。

改成自己实现：SubtitlePipController 把 PlayerView 画进 CVPixelBuffer，
逐帧喂给自己的 AVSampleBufferDisplayLayer，再用 sampleBufferDisplayLayer
这一路 content source 起 AVPictureInPictureController。小窗显示的就是它。
Dart 侧不再依赖 pip 包（import 与相关字段一并删除）。

同时回答另外两个问题：
- 大小：PiP 小窗的实际尺寸由用户捏合手势决定，App 无权直接设定。能控的是
  **宽高比**（= 画布宽高比），setPipWidthScale 改的是这个，系统会按新形状
  重新布局。另外卡片有内容时自动变高、没内容时收成一条，也走同一条路。
- 透明度：**做不到透过小窗看见下面的 App**。iOS 的 PiP 窗口本身不透明，
  系统没有开放任何接口。setPipOpacity 只作用于卡片自己的底色（在小窗那块底
  之上显得深浅不同）。真要少挡内容只能把小窗做小或拖到别处。
  这一条在 Dart 与原生两侧的注释里都写明了，免得以后有人再试一遍。

几处实现要点：
- 心跳定时器每秒补一帧。只在文案变化时推帧的话，长时间没有新帧会让
  AVSampleBufferDisplayLayer 被判定停滞并清空，表现是「翻译停一会儿小窗就黑」。
- start() 之前先推一帧：没有任何已入队帧时 AVPictureInPictureController
  会判定内容源为空，直接回调 failed。
- 渲染上下文要做一次 y 轴翻转，否则字幕上下颠倒（UIKit 原点左上、CG 左下）。
- renderView 必须挂在真实窗口层级里且尺寸非零，脱离层级的 layer 不被 PiP 采纳。
- 时间轴返回无限区间，让系统按直播流处理，小窗上不出现进度条和快进按钮。

⚠️ 构建注意：给本地 pod 加新文件后必须重跑 pod install，否则文件不进 Pods
工程，报 "Cannot find 'SubtitlePipController' in scope"。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>

1 month ago

Rodger-Wang

2d1ee0b783

apps/client 首次入库（Flutter 移动端）

从 /Users/yunyanzhineng/work/eaimar_client-main 搬入，未带原 .git，历史留在原仓库。
3215 个文件 / 约 118MB，其中约 40MB 是构建必需的预编译 SDK（azure_speech 的
MicrosoftCognitiveServicesSpeech.xcframework、device_jieli 的 JL_BLEKit 等）。
build/ (5.2G)、ios/Pods/ (311M)、android/.gradle/ (120M) 已由 .gitignore 挡掉。

本次入库的代码包含两项刚做完的改动：

1) 游客登录入口接上服务端开关。此前 _checkGuestLoginConfig() 恒定写死 true，
   入口根本不读配置。现改为取服务端算好的结论，并把入口所在的 Builder 改成 Obx
   ——配置是异步拿到的，Builder 只渲染 onInit 时的初值 false，入口再也不会出现。
   拿不到配置时按隐藏处理：默认显示会在送审期把不该露的入口露给审核员。
   ⚠️ 已发布的老客户端关不掉（写死 true），只对本版及以后生效。

2) iOS 上架合规修复：
   - 移除 ATT/IDFA：删掉 Info.plist 的 NSUserTrackingUsageDescription、
     SKAdNetworkItems、NSAdvertisingAttributionReportEndpoint，删掉 splash 里的
     授权请求与 app_tracking_transparency 依赖。本 App 从不读取 IDFA，也没有任何
     广告/归因 SDK，弹框纯粹劝退用户，还要在 App Store Connect 申报追踪数据类型。
   - ios/Podfile 里那段 config.build_settings.delete('NSUserTrackingUsageDescription')
     是无效代码（该 key 在 Info.plist 里，不是 build setting），换成注释说明。
   - 通讯录符号（ITMS-90683 被拒原因）随之一并解决：permission_handler 走 SPM 后
     按 Info.plist 有无对应 key 决定编不编，判定结果被 SwiftPM 按内容哈希缓存，
     改完 plist 必须清 DerivedData 与 manifests 缓存才会重新求值。

另附 GOOGLE_PLAY_RELEASE_CHECKLIST.md：Google Play 上架阻塞项的实测梳理
（targetSdk 36 与 Billing 8 的 2026-08-31 期限、16KB 页对齐不合规的两个 .so、
支付回退逻辑的下架风险）。

⚠️ android/app/sign/ 下的 eaimar.keystore 与 Eaimar.properties（含明文签名密码）
随本次提交入库，与本仓库"私有仓库下接受真实凭据"的既有取舍一致。
仓库若要公开，这两个必须先摘出去。

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>

1 month ago

3 Commits (main)