You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
Rodger-Wang
8377745992
iOS 多媒体翻译接入 ReplayKit 广播扩展，真正拿系统音频
iOS 不允许一个 App 读另一个 App 的音频，Broadcast Upload Extension 是系统
留的唯一口子。链路：
其他 App 播放 → 系统录屏广播 → BroadcastExtension(独立进程)
收 RPSampleBufferType.audioApp → 转 16k/mono/Int16
→ App Group 容器下的 Unix domain socket
→ 主 App BroadcastAudioReceiver
→ azureAsrHelper.audioStream.saveAudioDataTo() ← 已有的 external 通路
→ ASR → 翻译 → 弹幕
新增：
- ios/BroadcastExtension/{SampleHandler,BroadcastAudioSocket}.swift、Info.plist、
entitlements、Extension.xcconfig
- azure_speech 插件的 BroadcastAudioReceiver.swift + 三个 method channel
（startBroadcastAudioReceiver / stopBroadcastAudioReceiver / presentBroadcastPicker）
- Runner.entitlements 加 App Group；xcodeproj 加 BroadcastExtension target
并在 Runner 里内嵌
对上层复用已有的 requestScreenCapture/stopScreenCapture 接缝（Android 是
MediaProjection，iOS 是广播扩展），控制器里两端走同一条分支。
几处踩过的坑，都写进了注释：
- SOCK_STREAM 不保留消息边界，帧必须带 4 字节长度前缀，否则喂给 ASR 的是
错位样本。
- CMSampleBufferGetAudioBufferListWithRetainedBlockBuffer 不拷贝数据，只把
mData 指向 blockBuffer 的内存；blockBuffer 出作用域即释放，交出去就是野指针。
改成在 withExtendedLifetime 里 memcpy 出来。
- AudioBufferList 的 buffer 个数要按 interleaved 与否算，写死 1 会让非交错
立体声整帧拿不到。
- sun_path 只有 104 字节，socket 只能放在 App Group 容器根下，不能建子目录。
- 扩展侧 connect 失败要限流重试（1s），每帧重连会把扩展 CPU 打满，而它的
内存上限只有 50MB。
- SO_NOSIGPIPE：主 App 挂掉时写 socket 默认会直接杀死扩展进程。
- media 这个 ASR 模式的会话配置必须排在 audioSourceType 判断之前，且要
.mixWithOthers —— 否则我们一 setActive 就把正在播放的那个 App 掐了。
- Embed App Extensions 阶段必须插在 Thin Binary 之前。追加到最后会和
Flutter/CocoaPods 的脚本阶段构成依赖环，Xcode 报 Cycle inside Runner。
⚠️ 尚未打通签名：需要在苹果开发者后台登记 App Group group.com.yimai.eaimar、
给 com.yimai.eaimar 开 App Groups capability、并为
com.yimai.eaimar.BroadcastExtension 建 App ID。Xcode 当前还登录不上账号
（-1200）。在这之前 iOS 包签不出来。代码已用 --no-codesign 验证可编译、
appex 也正确内嵌进 PlugIns/。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
1 month ago |
| .. |
|
BroadcastAudioSocket.swift
|
iOS 多媒体翻译接入 ReplayKit 广播扩展，真正拿系统音频
|
1 month ago |
|
BroadcastExtension.entitlements
|
iOS 多媒体翻译接入 ReplayKit 广播扩展，真正拿系统音频
|
1 month ago |
|
Extension.xcconfig
|
iOS 多媒体翻译接入 ReplayKit 广播扩展，真正拿系统音频
|
1 month ago |
|
Info.plist
|
iOS 多媒体翻译接入 ReplayKit 广播扩展，真正拿系统音频
|
1 month ago |
|
SampleHandler.swift
|
iOS 多媒体翻译接入 ReplayKit 广播扩展，真正拿系统音频
|
1 month ago |
