Tree:
56aa55773d
along
along-test
main
memory-center-impl-v1
memory-design-v0.2
${ noResults }
7 Commits (56aa55773dd9292e7f9090b1c695e1873a20fe81)
| Author | SHA1 | Message | Date |
|---|---|---|---|
Rodger-Wang
|
56aa55773d |
字幕小窗改成自绘：pip 包只喂了一块纯黑像素，字幕根本进不去小窗
用户反馈「悬浮弹幕上没有显示翻译内容」，根因在 pub 包 pip 0.0.4：
PipView.m: const int pixel = 0xFF000000; // BGRA 全黑
填满 pixelBuffer → enqueue 进 AVSampleBufferDisplayLayer
小窗显示的就是这一帧纯黑占位。真正的字幕卡片它是靠
insertContentViewIfNeeded 塞进 activeKeyWindow 的，而 PiP 窗口由系统进程托管、
**不在 UIApplication.connectedScenes 的窗口列表里**，那个 keyWindow 永远是
App 自己的窗口。于是字幕落在 App 身上（上一版还因此盖住整个屏幕点不动），
小窗里只可能是黑的。PipView.m 全文件 0 处引用 contentView，可以佐证。
改成自己实现：SubtitlePipController 把 PlayerView 画进 CVPixelBuffer，
逐帧喂给自己的 AVSampleBufferDisplayLayer，再用 sampleBufferDisplayLayer
这一路 content source 起 AVPictureInPictureController。小窗显示的就是它。
Dart 侧不再依赖 pip 包（import 与相关字段一并删除）。
同时回答另外两个问题：
- 大小：PiP 小窗的实际尺寸由用户捏合手势决定，App 无权直接设定。能控的是
**宽高比**（= 画布宽高比），setPipWidthScale 改的是这个，系统会按新形状
重新布局。另外卡片有内容时自动变高、没内容时收成一条，也走同一条路。
- 透明度：**做不到透过小窗看见下面的 App**。iOS 的 PiP 窗口本身不透明，
系统没有开放任何接口。setPipOpacity 只作用于卡片自己的底色（在小窗那块底
之上显得深浅不同）。真要少挡内容只能把小窗做小或拖到别处。
这一条在 Dart 与原生两侧的注释里都写明了，免得以后有人再试一遍。
几处实现要点：
- 心跳定时器每秒补一帧。只在文案变化时推帧的话，长时间没有新帧会让
AVSampleBufferDisplayLayer 被判定停滞并清空，表现是「翻译停一会儿小窗就黑」。
- start() 之前先推一帧：没有任何已入队帧时 AVPictureInPictureController
会判定内容源为空，直接回调 failed。
- 渲染上下文要做一次 y 轴翻转，否则字幕上下颠倒（UIKit 原点左上、CG 左下）。
- renderView 必须挂在真实窗口层级里且尺寸非零，脱离层级的 layer 不被 PiP 采纳。
- 时间轴返回无限区间，让系统按直播流处理，小窗上不出现进度条和快进按钮。
⚠️ 构建注意：给本地 pod 加新文件后必须重跑 pod install，否则文件不进 Pods
工程，报 "Cannot find 'SubtitlePipController' in scope"。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
1 month ago |
|
Rodger-Wang
|
8377745992 |
iOS 多媒体翻译接入 ReplayKit 广播扩展，真正拿系统音频
iOS 不允许一个 App 读另一个 App 的音频，Broadcast Upload Extension 是系统
留的唯一口子。链路：
其他 App 播放 → 系统录屏广播 → BroadcastExtension(独立进程)
收 RPSampleBufferType.audioApp → 转 16k/mono/Int16
→ App Group 容器下的 Unix domain socket
→ 主 App BroadcastAudioReceiver
→ azureAsrHelper.audioStream.saveAudioDataTo() ← 已有的 external 通路
→ ASR → 翻译 → 弹幕
新增：
- ios/BroadcastExtension/{SampleHandler,BroadcastAudioSocket}.swift、Info.plist、
entitlements、Extension.xcconfig
- azure_speech 插件的 BroadcastAudioReceiver.swift + 三个 method channel
（startBroadcastAudioReceiver / stopBroadcastAudioReceiver / presentBroadcastPicker）
- Runner.entitlements 加 App Group；xcodeproj 加 BroadcastExtension target
并在 Runner 里内嵌
对上层复用已有的 requestScreenCapture/stopScreenCapture 接缝（Android 是
MediaProjection，iOS 是广播扩展），控制器里两端走同一条分支。
几处踩过的坑，都写进了注释：
- SOCK_STREAM 不保留消息边界，帧必须带 4 字节长度前缀，否则喂给 ASR 的是
错位样本。
- CMSampleBufferGetAudioBufferListWithRetainedBlockBuffer 不拷贝数据，只把
mData 指向 blockBuffer 的内存；blockBuffer 出作用域即释放，交出去就是野指针。
改成在 withExtendedLifetime 里 memcpy 出来。
- AudioBufferList 的 buffer 个数要按 interleaved 与否算，写死 1 会让非交错
立体声整帧拿不到。
- sun_path 只有 104 字节，socket 只能放在 App Group 容器根下，不能建子目录。
- 扩展侧 connect 失败要限流重试（1s），每帧重连会把扩展 CPU 打满，而它的
内存上限只有 50MB。
- SO_NOSIGPIPE：主 App 挂掉时写 socket 默认会直接杀死扩展进程。
- media 这个 ASR 模式的会话配置必须排在 audioSourceType 判断之前，且要
.mixWithOthers —— 否则我们一 setActive 就把正在播放的那个 App 掐了。
- Embed App Extensions 阶段必须插在 Thin Binary 之前。追加到最后会和
Flutter/CocoaPods 的脚本阶段构成依赖环，Xcode 报 Cycle inside Runner。
⚠️ 尚未打通签名：需要在苹果开发者后台登记 App Group group.com.yimai.eaimar、
给 com.yimai.eaimar 开 App Groups capability、并为
com.yimai.eaimar.BroadcastExtension 建 App ID。Xcode 当前还登录不上账号
（-1200）。在这之前 iOS 包签不出来。代码已用 --no-codesign 验证可编译、
appex 也正确内嵌进 PlugIns/。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
1 month ago |
|
Rodger-Wang
|
5e2b4f5431 |
修 iOS 多媒体翻译一个字都翻不出来：ASR 在等一份永远没人推的 PCM
根因是 iOS 分支还停在杰理时代的假设上。_configureAudioVideoMode 的非 Android
分支做的是 openDecoder() → 等 isCodecActive → 音频源置 external，语义是
「从耳机的 A2DP 解码器拿手机正在播放的音乐」。本项目只有恒玄耳机，没有这个
能力；而 openDecoder() 如今是个乐观桩，只把 _isCodecActive 置 true 就返回。
于是 iOS 的实际行为是：ASR 以 external 源启动，然后等一份永远不会有人推的
PCM——不报错、不提示，就是一个字都翻不出来。Android 早已整条换成
MediaProjection（isAndroidAudioVideo 分支），iOS 这条没跟着改。
iOS 平台层面也没有「抓其他 App 音频」的能力，唯一合规途径是 ReplayKit
Broadcast Upload Extension（需新建 extension target + App Group，且要用户
手动发起录屏广播）——那是产品决策，本次没做。先退化成手机麦克风外放收音，
让功能是通的：
- _configureAudioVideoMode 的 iOS 分支不再碰杰理解码器；
_audioSourceType = Platform.isAndroid（Android=external/MediaProjection，
iOS=麦克风）。
- 启动守卫里排除 iOS 音视频。那个守卫要求 isCodecActive，而它只由
openEncoder/openDecoder 这两个杰理血统的入口置位——不排除的话直接 return，
识别根本不会启动。
- iOS 音视频用新的 'media' ASR 模式，原生据此把 AVAudioSession 配成
.playAndRecord + .default + [.mixWithOthers, .defaultToSpeaker,
.allowBluetoothA2DP]：
· .mixWithOthers 是前提——不加的话我们一 setActive 就把正在播放的那个 App
掐了，点开翻译视频就哑了；
· mode 用 .default 不用 .voiceChat——后者会让 MicrophoneCapture 打开
setVoiceProcessingEnabled，而要收的恰恰是本机扬声器的声音，AEC 会把它
当回声精确消掉，结果一片安静。
iOS 侧只有两处 currentRecognitionMode 比较（phone_call / push_to_talk），
新增的 media 落到 normal 的默认分支，不影响其它模式。
- enableRecord 的音频源跟着改成 microphone。留 systemAudio 的话原生把
index>0 一律当 external，会建好文件然后等没人推的 PCM，存下来是个空录音。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
1 month ago |
|
Rodger-Wang
|
8841e76e59 |
修 iOS 多媒体翻译开弹幕后整屏点不动
三段代码叠出来的，安卓不受影响（走的是系统悬浮窗，另一条路）：
1. pip 包（pub: pip 0.0.4）在 PiP 启动回调里，把 contentView insertSubview 进
**App 自己的 keyWindow** 并 `frame = window.frame` 铺满全屏。它的
activeKeyWindow 只按「前台活跃场景的 keyWindow」找父视图，而我们是在前台
主动 _pip.start() 的，于是必然落到 App 自己的窗口上。
2. PlayerView 是普通 UIView，isUserInteractionEnabled 默认 YES，背景还是
rgba(40,40,40,0.35)。铺满之后＝一层吃掉所有触摸的半透明黑罩子。
3. 关掉弹幕也恢复不了：插件的 restoreContentViewIfNeeded 在
originalParentView == nil 时直接 return，而 PlayerView 是 createPipContentView
里凭空 new 出来的、从来没有过 superview，那条还原分支永远走不到。
罩子会一直留到进程被杀。
改动（都在我们自己这边，没有 fork pub 包）：
- PlayerView.isUserInteractionEnabled = false。字幕卡片是纯展示，任何情况下
都不该吃触摸——这一条单独就能解掉「点不动」。
- 视觉（底色/圆角/描边/阴影）从 self 搬到内层 cardView，self 透明；
cardView 只钉 top/leading/trailing + 固定高度，不钉 bottom。真 PiP 小窗里
窗口高度就等于这个高度、看着是铺满的；万一又被铺到全屏窗口上，也只占顶部
一条，下面保持透明。
- disposePipContentView 里补 removeFromSuperview（插件不会替我们摘）。
- Dart 关闭弹幕/PiP 失败时调 _releasePipContentView()，并把 _pipContentView
清零，避免复用一个已经被搬走、再也摘不下来的 view。
⚠️ 未验证：PiP 小窗本身能不能正确显示字幕。pip 包的 PipView 只往
sampleBufferDisplayLayer 里塞自己造的 buffer，全文件没有一处引用 contentView，
所以「切出 App 后小窗里有没有字」这件事需要真机确认，本次没测。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
1 month ago |
|
Rodger-Wang
|
80c6ea1be3 |
iOS 真机排查：修同传播报路由、录音时长与电平崩溃
一轮 iPhone 真机联调里发现并修掉的一组问题，多数是既有缺陷，两处是我在
本轮前期改出来的回归（已在注释里标明，避免以后再踩）。
同传播报路由（AzureTtsHelper.swift，phone_call 分支）
这一支被改坏过三次，结论固定在注释里：
① 最早 `.defaultToSpeaker` + `overrideOutputAudioPort(.speaker)`
→ 连了 A2DP 也被强拽到外放；元凶是那次 override（已删）。
② 修 ① 时把 `.defaultToSpeaker` 一并删了 → 删过头：`.playAndRecord` 的
默认输出是**听筒**，没耳机时译文几乎听不见（「翻译出来了但不播报」）。
③ 补回 `.defaultToSpeaker` 且 mode 设成 `.videoChat`（为了 AEC）
→ `.videoChat` 本身偏好内置扬声器，连了耳机又被拽到外放，绕回 ①。
现在按**有没有耳机**分两支：有耳机走 `.default` + 仅 A2DP；没耳机走
`.videoChat` + `.defaultToSpeaker`（外放且开回声消除）。分支口径与采集侧
MicrophoneCapture 启用 voice processing 的条件完全一致，两边不再打架。
没有这个 AEC 时，外放的译文会被自己的麦克风收回去，ASR 当成新一句再翻一遍。
现场录音（bes_recording_service.dart）
- 时长改为按**已写入的数据量**算（32 字节 = 1ms），与 WAV 头一致，
因此界面时长与文件实际播放长度永远相等。墙钟算不准：耳机收到 AA 59 后
要 1.8~6.5 秒才上行首帧，还会把等待期缓存的音频一次性补推，实测数据量
比「首帧到停止」的墙钟窗口还多 21~45%，从哪头计时都对不齐。
真机验证：音频19.15s/墙钟18.88s、音频18.72s/墙钟18.69s，
等效采样率均为 16000Hz 整、0 丢帧。
- 修 `_updateLevel` 的 `asInt16List(offsetInBytes, …)`：原生来的 Uint8List
是带 offset 的视图，偏移为奇数时必抛 RangeError。原来藏在 try 里被吞掉，
表现是波形/电平一直不动（数据本身没丢）。改成按小端手工拼 int16，
与 BesCallRecordingService._writeStereo 同一修法。
⚠️ 本轮我一度把它挪到写入之前且未包 try，一抛异常整个 _onPcm 中断、
音频一帧都写不进去（实测 6990 次未捕获异常）——现在它排在写入成功之后
并单独包 try，波形挂了绝不能影响录音。
- 音频写入排成 Future 队列。Stream.listen 的 async 回调不会被等待，
每秒上百帧必然重叠，而 RandomAccessFile 同一时刻只允许一个异步操作。
（事后核对通话录音同样写法却没丢数据，所以这条是防御性的，不是主因。）
识别异常与状态收口（translation_controller.dart）
- 新增 _abortRecognition：catch / error / canceled 三条异常路径统一回滚，
**把录音一起停掉**。此前 `isRecording` 全文件只有一处 `= true`、从来没被
置回 false，识别挂了右上角还在计时；异常路径更是连 stopRecording 都不调。
标记同时收口进 stopRecording，所有停止路径都覆盖得到。
- startRecognition 点击即点亮 isPreparing（view 早已绑好按钮反馈，只是从来
没人设过它，点下去毫无视觉变化，就是「点了没反应」）。
- `await _modeInitFuture` 补 3 秒超时。它是本轮前期为消除语言竞态加的，
但没有超时——iOS 首次要激活音频会话、连着蓝牙还要等音频路由，一旦迟迟
不返回点击就永久卡住。把「可能用错语言」换成「可能完全卡住」是坏交易，
超时后走兜底 initialize，至少起得来。
- 三段耗时打点提到 warning 级：release 的日志级别就是 warning，用 info 打
在真机上一条都留不下。
其它
- Logger 在非 release 下同时 print 一份：`developer.log` 只进 VM service 的
logging stream，`flutter run` 控制台看不到、调试态下 idevicesyslog 也抓不到，
真机排查时加了一堆打点却一条都看不见。
- 连接握手不再自动跑 probeCommands：每条间隔 400ms、一轮十几秒，期间 SPP
通道被占满，用户点录音/翻译的指令只能排队。需要重扫时手动调。
本次在固件 0.0.3 上的扫描结果记进注释（0x0B/0C/0D/0F/10/19 有回包，
但取值都不像电量百分比，电量命令仍未定位到）。
- 通话状态变化打出触发它的原始字节，便于排查「刚连上就被判成通话中」。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
1 month ago |
|
Rodger-Wang
|
946204cc3c |
翻译延迟优化：接上阿里增量文本、面对面/同传去掉固定等待
通话翻译：阿里百炼端到端协议本来就是流式的（音频 response.audio.delta 一直在逐帧回灌），但增量文本订阅的事件名是错的——代码监听 response.audio_transcript.delta（字段 delta），而实时语音翻译 audio+text 模态实际发的是 response.audio_transcript.text（字段 text）， .delta 是 OpenAI Realtime / 通义 Omni 的写法。于是 onPartialText 一次 都不触发，译文只在 .done 时整句蹦出来，看着像"等说完才翻"。 现在两套名字都认、两个字段都取，并按首次出现的事件名锁定，防止服务端 兼容层双发导致文本累计两遍。Android / iOS 两端同改。 面对面 / 同声翻译（走 ASR → HTTP 机器翻译 → TTS 三段串行）： - 补上 Speech_SegmentationSilenceTimeoutMs=300，原来一行没设走 Azure 默认 500ms，这是"说完到出译文"里唯一一段纯等待； - 同传 / 音视频改单语 ASR，关掉连续语种识别（它要缓冲够音频、给候选 语言逐个打分才敢出 final）。只有面对面需要判断"谁在说"，仍保持双语； - 中间结果翻译从"每 300ms 无条件发"改成 700ms + 至少多 4 个字 + CancelToken 撤旧请求 + 序号丢弃过期结果。中间译文只上屏不播报， 原来一句 5 秒的话要打十几次真实服务商调用，还会跟 final 抢链路； - TTS 提到 _updateExistingHistoryItem 最前，不再排在浮窗 / 写历史 / 记统计那串 await 之后； - startRecognition 先 await onInit 那次 changeTranslationMode，堵掉 "进页面立刻点开始 → 落到默认 zh-CN/en-US"的竞态。 AuthInterceptor 的 DioExceptionType.cancel 分支不再弹红色"请求已取消" ——取消永远是客户端自己发起的，不改的话中间结果一接上就会一路狂弹。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> |
1 month ago |
|
Rodger-Wang
|
2d1ee0b783 |
apps/client 首次入库（Flutter 移动端）
从 /Users/yunyanzhineng/work/eaimar_client-main 搬入，未带原 .git，历史留在原仓库。 3215 个文件 / 约 118MB，其中约 40MB 是构建必需的预编译 SDK（azure_speech 的 MicrosoftCognitiveServicesSpeech.xcframework、device_jieli 的 JL_BLEKit 等）。 build/ (5.2G)、ios/Pods/ (311M)、android/.gradle/ (120M) 已由 .gitignore 挡掉。 本次入库的代码包含两项刚做完的改动： 1) 游客登录入口接上服务端开关。此前 _checkGuestLoginConfig() 恒定写死 true， 入口根本不读配置。现改为取服务端算好的结论，并把入口所在的 Builder 改成 Obx ——配置是异步拿到的，Builder 只渲染 onInit 时的初值 false，入口再也不会出现。 拿不到配置时按隐藏处理：默认显示会在送审期把不该露的入口露给审核员。 ⚠️ 已发布的老客户端关不掉（写死 true），只对本版及以后生效。 2) iOS 上架合规修复： - 移除 ATT/IDFA：删掉 Info.plist 的 NSUserTrackingUsageDescription、 SKAdNetworkItems、NSAdvertisingAttributionReportEndpoint，删掉 splash 里的 授权请求与 app_tracking_transparency 依赖。本 App 从不读取 IDFA，也没有任何 广告/归因 SDK，弹框纯粹劝退用户，还要在 App Store Connect 申报追踪数据类型。 - ios/Podfile 里那段 config.build_settings.delete('NSUserTrackingUsageDescription') 是无效代码（该 key 在 Info.plist 里，不是 build setting），换成注释说明。 - 通讯录符号（ITMS-90683 被拒原因）随之一并解决：permission_handler 走 SPM 后 按 Info.plist 有无对应 key 决定编不编，判定结果被 SwiftPM 按内容哈希缓存， 改完 plist 必须清 DerivedData 与 manifests 缓存才会重新求值。 另附 GOOGLE_PLAY_RELEASE_CHECKLIST.md：Google Play 上架阻塞项的实测梳理 （targetSdk 36 与 Billing 8 的 2026-08-31 期限、16KB 页对齐不合规的两个 .so、 支付回退逻辑的下架风险）。 ⚠️ android/app/sign/ 下的 eaimar.keystore 与 Eaimar.properties（含明文签名密码） 随本次提交入库，与本仓库"私有仓库下接受真实凭据"的既有取舍一致。 仓库若要公开，这两个必须先摘出去。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> |
1 month ago |