Rodger-Wang
|
7ce56f693d
|
client: 通话翻译音频链路修复（iOS GATT 写入、后台保活、状态竞态）
iOS 上恒玄走的是 GATT over BR/EDR 而非 BLE，之前按 BLE 模型处理导致一连串问题。
本次改动都有真机数据支撑（2026-09-21 压测）。
GATT 写入（bluetooth_manager）
- 写类型改为优先 .withoutResponse。ATT 是请求-响应协议，带应答写每包等 ACK，
追不上下行 50 包/秒，表现为音频越听越滞后。
- canSendWriteWithoutResponse 只作观测、不作门槛。它是 CoreBluetooth 为 BLE
设计的提示，在 BR/EDR GATT 上不反映真实能力（实测 100% 为 false 却零丢弃）；
拿它当闸门会死锁：不写就不回调，不回调就永不翻真，实测 548 包只出去 11 个。
- 控制命令无条件直发、不排队。排到积压音频后面会让 AA 09/AA 06/queryCallState
全部发不出去，曾被误判成「固件换了命令号」。
- 不再对标准电池服务 0x180F 做任何 ATT 操作：它在 Echo-one 上是空壳（值恒为 0），
而挂在它上面的读/订阅会把整条 ATT 通道堵死。
后台存活（translation）
- 通话翻译期间持有 BackgroundKeepalive。两路音频全走耳机 GATT，手机侧没有
AVAudioSession 的实际 I/O，UIBackgroundModes=audio 不成立，切后台几十秒后
上行被掐断：WebSocket 还连着，但服务端收不到语音，靠默认 VAD 每 30 秒强切一句，
吐出空译文或幻觉 —— 表现为「切后台后只剩译文、原文全没」。
- BackgroundKeepalive 不再无条件把音频类别改成 .playback，避免踩掉通话翻译
正在跑的 .playAndRecord 录音链路。
状态竞态（azure_speech / device_hub）
- markReady 的就绪状态记在插件上、建桥时继承。建桥与 AST 异步初始化是两条独立
路径，初始化先完成时那句 optional chaining 打在 nil 上静默丢失，之后 ready
恒为 false、上行帧全积在环形缓冲里，表现为「打开通话翻译没反应，再开一次才好」。
- DeviceHub.inCall 改以会话快照为准。事件会随 worker 在断连时被 dispose 而丢失，
重连后 ever 又不回调当前值，且后续重复赋同值不触发，永远不会自愈。
可观测性
- 下行发送器与 GATT 写入的日志从 NSLog 改为 os_log（release/profile 包里
idevicesyslog 只收得到 os_log），并经 DeviceSession.diagnostics() 暴露给 Dart，
写入文件日志后可用 devicectl 直接拉取，不依赖 usbmuxd。
- 新增 inCall 变化、闸门拦截、通话状态翻转、前后台切换四处观测点。
其它
- DeviceSession 新增 diagnostics()（默认空表）；SmartcarSession 因是 implements
而非 extends，同步补了实现。
- CLAUDE.md 记录本次全部实测结论，含 BB 8E 为通话状态权威、BB 02/03 是噪声
（已知问题，本次未改判定）。
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
|
3 weeks ago |
|
Rodger-Wang
|
9abed0008b
|
字幕小窗：加暂停/继续、去掉快进快退、大小与透明度可调
- 暂停/继续：实现 AVPictureInPictureSampleBufferPlaybackDelegate 的
setPlaying / isPlaybackPaused。语义定成「冻结当前这条字幕」而不是
「暂停翻译」——用户在别的 App 里看视频、想把一句话定住多看两眼，这是小窗
那颗按钮唯一说得通的含义，而且完全可逆、不影响正在跑的识别与翻译。
冻结期间新文案只暂存，恢复时补上最新一条。
⚠️ setPlaying 里必须调 invalidatePlaybackState()，否则按钮图标不跟着变，
点了「暂停」它还画着暂停图标，看着像没生效。
- 快进快退：requiresLinearPlayback = true 就是这个开关（原本已设，这次补了
注释说明它的作用，免得以后被当成无关配置删掉）。
- 大小 / 透明度：翻译页新增一颗 tune 按钮，弹出设置面板，两个滑块，
GetStorage 持久化。新增 3 个 i18n key（pipSettings/pipSize/pipOpacity），
41 个语言文件全部补齐，主要语种给了本地化文案、其余回退英文。
三条平台限制已写进注释与面板说明，避免以后重复尝试：
- 小窗**实际大小由用户捏合手势决定**，App 无权直接设定。「大小」滑块改的是
画布宽高比，系统按新形状重新布局，观感上是变宽/变窄。
- 透明度**做不到透出下面的 App**。iOS 的 PiP 窗口本身不透明，系统未开放接口。
滑块只改卡片底色深浅。要少挡内容只能把小窗调小。
- 播放/暂停按钮的**尺寸不可控**，那是系统绘制的 chrome，随小窗一起缩放——
所以「按钮小一点」等价于「把小窗调小」。pip 那个 pub 包用私有 API
_setControlsStyle 去动控件，上架有被拒风险，不采用。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
1 month ago |
|
Rodger-Wang
|
56aa55773d
|
字幕小窗改成自绘：pip 包只喂了一块纯黑像素，字幕根本进不去小窗
用户反馈「悬浮弹幕上没有显示翻译内容」，根因在 pub 包 pip 0.0.4：
PipView.m: const int pixel = 0xFF000000; // BGRA 全黑
填满 pixelBuffer → enqueue 进 AVSampleBufferDisplayLayer
小窗显示的就是这一帧纯黑占位。真正的字幕卡片它是靠
insertContentViewIfNeeded 塞进 activeKeyWindow 的，而 PiP 窗口由系统进程托管、
**不在 UIApplication.connectedScenes 的窗口列表里**，那个 keyWindow 永远是
App 自己的窗口。于是字幕落在 App 身上（上一版还因此盖住整个屏幕点不动），
小窗里只可能是黑的。PipView.m 全文件 0 处引用 contentView，可以佐证。
改成自己实现：SubtitlePipController 把 PlayerView 画进 CVPixelBuffer，
逐帧喂给自己的 AVSampleBufferDisplayLayer，再用 sampleBufferDisplayLayer
这一路 content source 起 AVPictureInPictureController。小窗显示的就是它。
Dart 侧不再依赖 pip 包（import 与相关字段一并删除）。
同时回答另外两个问题：
- 大小：PiP 小窗的实际尺寸由用户捏合手势决定，App 无权直接设定。能控的是
**宽高比**（= 画布宽高比），setPipWidthScale 改的是这个，系统会按新形状
重新布局。另外卡片有内容时自动变高、没内容时收成一条，也走同一条路。
- 透明度：**做不到透过小窗看见下面的 App**。iOS 的 PiP 窗口本身不透明，
系统没有开放任何接口。setPipOpacity 只作用于卡片自己的底色（在小窗那块底
之上显得深浅不同）。真要少挡内容只能把小窗做小或拖到别处。
这一条在 Dart 与原生两侧的注释里都写明了，免得以后有人再试一遍。
几处实现要点：
- 心跳定时器每秒补一帧。只在文案变化时推帧的话，长时间没有新帧会让
AVSampleBufferDisplayLayer 被判定停滞并清空，表现是「翻译停一会儿小窗就黑」。
- start() 之前先推一帧：没有任何已入队帧时 AVPictureInPictureController
会判定内容源为空，直接回调 failed。
- 渲染上下文要做一次 y 轴翻转，否则字幕上下颠倒（UIKit 原点左上、CG 左下）。
- renderView 必须挂在真实窗口层级里且尺寸非零，脱离层级的 layer 不被 PiP 采纳。
- 时间轴返回无限区间，让系统按直播流处理，小窗上不出现进度条和快进按钮。
⚠️ 构建注意：给本地 pod 加新文件后必须重跑 pod install，否则文件不进 Pods
工程，报 "Cannot find 'SubtitlePipController' in scope"。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
1 month ago |
|
Rodger-Wang
|
8841e76e59
|
修 iOS 多媒体翻译开弹幕后整屏点不动
三段代码叠出来的，安卓不受影响（走的是系统悬浮窗，另一条路）：
1. pip 包（pub: pip 0.0.4）在 PiP 启动回调里，把 contentView insertSubview 进
**App 自己的 keyWindow** 并 `frame = window.frame` 铺满全屏。它的
activeKeyWindow 只按「前台活跃场景的 keyWindow」找父视图，而我们是在前台
主动 _pip.start() 的，于是必然落到 App 自己的窗口上。
2. PlayerView 是普通 UIView，isUserInteractionEnabled 默认 YES，背景还是
rgba(40,40,40,0.35)。铺满之后＝一层吃掉所有触摸的半透明黑罩子。
3. 关掉弹幕也恢复不了：插件的 restoreContentViewIfNeeded 在
originalParentView == nil 时直接 return，而 PlayerView 是 createPipContentView
里凭空 new 出来的、从来没有过 superview，那条还原分支永远走不到。
罩子会一直留到进程被杀。
改动（都在我们自己这边，没有 fork pub 包）：
- PlayerView.isUserInteractionEnabled = false。字幕卡片是纯展示，任何情况下
都不该吃触摸——这一条单独就能解掉「点不动」。
- 视觉（底色/圆角/描边/阴影）从 self 搬到内层 cardView，self 透明；
cardView 只钉 top/leading/trailing + 固定高度，不钉 bottom。真 PiP 小窗里
窗口高度就等于这个高度、看着是铺满的；万一又被铺到全屏窗口上，也只占顶部
一条，下面保持透明。
- disposePipContentView 里补 removeFromSuperview（插件不会替我们摘）。
- Dart 关闭弹幕/PiP 失败时调 _releasePipContentView()，并把 _pipContentView
清零，避免复用一个已经被搬走、再也摘不下来的 view。
⚠️ 未验证：PiP 小窗本身能不能正确显示字幕。pip 包的 PipView 只往
sampleBufferDisplayLayer 里塞自己造的 buffer，全文件没有一处引用 contentView，
所以「切出 App 后小窗里有没有字」这件事需要真机确认，本次没测。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
1 month ago |
|
Rodger-Wang
|
2d1ee0b783
|
apps/client 首次入库（Flutter 移动端）
从 /Users/yunyanzhineng/work/eaimar_client-main 搬入，未带原 .git，历史留在原仓库。
3215 个文件 / 约 118MB，其中约 40MB 是构建必需的预编译 SDK（azure_speech 的
MicrosoftCognitiveServicesSpeech.xcframework、device_jieli 的 JL_BLEKit 等）。
build/ (5.2G)、ios/Pods/ (311M)、android/.gradle/ (120M) 已由 .gitignore 挡掉。
本次入库的代码包含两项刚做完的改动：
1) 游客登录入口接上服务端开关。此前 _checkGuestLoginConfig() 恒定写死 true，
入口根本不读配置。现改为取服务端算好的结论，并把入口所在的 Builder 改成 Obx
——配置是异步拿到的，Builder 只渲染 onInit 时的初值 false，入口再也不会出现。
拿不到配置时按隐藏处理：默认显示会在送审期把不该露的入口露给审核员。
⚠️ 已发布的老客户端关不掉（写死 true），只对本版及以后生效。
2) iOS 上架合规修复：
- 移除 ATT/IDFA：删掉 Info.plist 的 NSUserTrackingUsageDescription、
SKAdNetworkItems、NSAdvertisingAttributionReportEndpoint，删掉 splash 里的
授权请求与 app_tracking_transparency 依赖。本 App 从不读取 IDFA，也没有任何
广告/归因 SDK，弹框纯粹劝退用户，还要在 App Store Connect 申报追踪数据类型。
- ios/Podfile 里那段 config.build_settings.delete('NSUserTrackingUsageDescription')
是无效代码（该 key 在 Info.plist 里，不是 build setting），换成注释说明。
- 通讯录符号（ITMS-90683 被拒原因）随之一并解决：permission_handler 走 SPM 后
按 Info.plist 有无对应 key 决定编不编，判定结果被 SwiftPM 按内容哈希缓存，
改完 plist 必须清 DerivedData 与 manifests 缓存才会重新求值。
另附 GOOGLE_PLAY_RELEASE_CHECKLIST.md：Google Play 上架阻塞项的实测梳理
（targetSdk 36 与 Billing 8 的 2026-08-31 期限、16KB 页对齐不合规的两个 .so、
支付回退逻辑的下架风险）。
⚠️ android/app/sign/ 下的 eaimar.keystore 与 Eaimar.properties（含明文签名密码）
随本次提交入库，与本仓库"私有仓库下接受真实凭据"的既有取舍一致。
仓库若要公开，这两个必须先摘出去。
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
|
1 month ago |
