starpivot

136 Commits

3 Branches

2 Tags

240 MiB

Tree: 803bfbc9ee

Commit Graph

Author	SHA1	Message	Date
Rodger-Wang	6299920145	点结束时自动关掉屏幕直播；拾忆页去掉手动新增的 + 号 1) 多媒体翻译点「结束」后，系统那条屏幕直播不再挂着主 App 对「用户从系统面板发起的广播」没有任何控制权——RPBroadcastController 只管 App 内 API 起的那种。唯一能终止它的是扩展自己调 finishBroadcastWithError。所以改成让扩展感知主 App 是否还在： - stopAll() → _teardownCallModeAudio() → stopScreenCapture() 关掉 socket （这条链原本就有） - 扩展侧：曾经连上过、又断开超过 3 秒连不回来 → 判定主 App 收工，结束广播。没连上过就断开不算——那是「先开广播、还没点开始翻译」的正常情况。宽限期不能太短，主 App 瞬断会误杀用户正在用的广播。 - 另加 1 秒心跳轮询：只靠 processSampleBuffer 里检查是不够的，视频停了或者没有任何 App 出声时 audioApp 帧可能长时间不来，那样永远发现不了主 App 已经走了，屏幕上那条红条会一直挂着。 ⚠️ finishBroadcastWithError 必须传 NSError，系统会把 localizedDescription 弹给用户，所以给的是一句正常说明而不是错误信息。 2) 拾忆页去掉右下角的 + 号内容应当由助手/会议纪要自动落进来，手动新建不是当前需要的能力。卡片点开编辑保留（TodoScopeList 里）——那是改助手记错的时间/内容用的，与「手动新建」不是一回事。 Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>	1 month ago
Rodger-Wang	8377745992	iOS 多媒体翻译接入 ReplayKit 广播扩展，真正拿系统音频 iOS 不允许一个 App 读另一个 App 的音频，Broadcast Upload Extension 是系统留的唯一口子。链路：其他 App 播放 → 系统录屏广播 → BroadcastExtension(独立进程) 收 RPSampleBufferType.audioApp → 转 16k/mono/Int16 → App Group 容器下的 Unix domain socket → 主 App BroadcastAudioReceiver → azureAsrHelper.audioStream.saveAudioDataTo() ← 已有的 external 通路 → ASR → 翻译 → 弹幕新增： - ios/BroadcastExtension/{SampleHandler,BroadcastAudioSocket}.swift、Info.plist、 entitlements、Extension.xcconfig - azure_speech 插件的 BroadcastAudioReceiver.swift + 三个 method channel （startBroadcastAudioReceiver / stopBroadcastAudioReceiver / presentBroadcastPicker） - Runner.entitlements 加 App Group；xcodeproj 加 BroadcastExtension target 并在 Runner 里内嵌对上层复用已有的 requestScreenCapture/stopScreenCapture 接缝（Android 是 MediaProjection，iOS 是广播扩展），控制器里两端走同一条分支。几处踩过的坑，都写进了注释： - SOCK_STREAM 不保留消息边界，帧必须带 4 字节长度前缀，否则喂给 ASR 的是错位样本。 - CMSampleBufferGetAudioBufferListWithRetainedBlockBuffer 不拷贝数据，只把 mData 指向 blockBuffer 的内存；blockBuffer 出作用域即释放，交出去就是野指针。改成在 withExtendedLifetime 里 memcpy 出来。 - AudioBufferList 的 buffer 个数要按 interleaved 与否算，写死 1 会让非交错立体声整帧拿不到。 - sun_path 只有 104 字节，socket 只能放在 App Group 容器根下，不能建子目录。 - 扩展侧 connect 失败要限流重试（1s），每帧重连会把扩展 CPU 打满，而它的内存上限只有 50MB。 - SO_NOSIGPIPE：主 App 挂掉时写 socket 默认会直接杀死扩展进程。 - media 这个 ASR 模式的会话配置必须排在 audioSourceType 判断之前，且要 .mixWithOthers —— 否则我们一 setActive 就把正在播放的那个 App 掐了。 - Embed App Extensions 阶段必须插在 Thin Binary 之前。追加到最后会和 Flutter/CocoaPods 的脚本阶段构成依赖环，Xcode 报 Cycle inside Runner。 ⚠️ 尚未打通签名：需要在苹果开发者后台登记 App Group group.com.yimai.eaimar、给 com.yimai.eaimar 开 App Groups capability、并为 com.yimai.eaimar.BroadcastExtension 建 App ID。Xcode 当前还登录不上账号（-1200）。在这之前 iOS 包签不出来。代码已用 --no-codesign 验证可编译、 appex 也正确内嵌进 PlugIns/。 Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>	1 month ago

Author

SHA1

Message

Date

Rodger-Wang

6299920145

点结束时自动关掉屏幕直播；拾忆页去掉手动新增的 + 号

1) 多媒体翻译点「结束」后，系统那条屏幕直播不再挂着
   主 App 对「用户从系统面板发起的广播」没有任何控制权——RPBroadcastController
   只管 App 内 API 起的那种。唯一能终止它的是扩展自己调
   finishBroadcastWithError。所以改成让扩展感知主 App 是否还在：
   - stopAll() → _teardownCallModeAudio() → stopScreenCapture() 关掉 socket
     （这条链原本就有）
   - 扩展侧：曾经连上过、又断开超过 3 秒连不回来 → 判定主 App 收工，结束广播。
     没连上过就断开不算——那是「先开广播、还没点开始翻译」的正常情况。
     宽限期不能太短，主 App 瞬断会误杀用户正在用的广播。
   - 另加 1 秒心跳轮询：只靠 processSampleBuffer 里检查是不够的，视频停了或者
     没有任何 App 出声时 audioApp 帧可能长时间不来，那样永远发现不了主 App
     已经走了，屏幕上那条红条会一直挂着。
   ⚠️ finishBroadcastWithError 必须传 NSError，系统会把 localizedDescription
   弹给用户，所以给的是一句正常说明而不是错误信息。

2) 拾忆页去掉右下角的 + 号
   内容应当由助手/会议纪要自动落进来，手动新建不是当前需要的能力。
   卡片点开编辑保留（TodoScopeList 里）——那是改助手记错的时间/内容用的，
   与「手动新建」不是一回事。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>

1 month ago

Rodger-Wang

8377745992

iOS 多媒体翻译接入 ReplayKit 广播扩展，真正拿系统音频

iOS 不允许一个 App 读另一个 App 的音频，Broadcast Upload Extension 是系统
留的唯一口子。链路：

  其他 App 播放 → 系统录屏广播 → BroadcastExtension(独立进程)
    收 RPSampleBufferType.audioApp → 转 16k/mono/Int16
    → App Group 容器下的 Unix domain socket
    → 主 App BroadcastAudioReceiver
    → azureAsrHelper.audioStream.saveAudioDataTo()   ← 已有的 external 通路
    → ASR → 翻译 → 弹幕

新增：
- ios/BroadcastExtension/{SampleHandler,BroadcastAudioSocket}.swift、Info.plist、
  entitlements、Extension.xcconfig
- azure_speech 插件的 BroadcastAudioReceiver.swift + 三个 method channel
  （startBroadcastAudioReceiver / stopBroadcastAudioReceiver / presentBroadcastPicker）
- Runner.entitlements 加 App Group；xcodeproj 加 BroadcastExtension target
  并在 Runner 里内嵌

对上层复用已有的 requestScreenCapture/stopScreenCapture 接缝（Android 是
MediaProjection，iOS 是广播扩展），控制器里两端走同一条分支。

几处踩过的坑，都写进了注释：
- SOCK_STREAM 不保留消息边界，帧必须带 4 字节长度前缀，否则喂给 ASR 的是
  错位样本。
- CMSampleBufferGetAudioBufferListWithRetainedBlockBuffer 不拷贝数据，只把
  mData 指向 blockBuffer 的内存；blockBuffer 出作用域即释放，交出去就是野指针。
  改成在 withExtendedLifetime 里 memcpy 出来。
- AudioBufferList 的 buffer 个数要按 interleaved 与否算，写死 1 会让非交错
  立体声整帧拿不到。
- sun_path 只有 104 字节，socket 只能放在 App Group 容器根下，不能建子目录。
- 扩展侧 connect 失败要限流重试（1s），每帧重连会把扩展 CPU 打满，而它的
  内存上限只有 50MB。
- SO_NOSIGPIPE：主 App 挂掉时写 socket 默认会直接杀死扩展进程。
- media 这个 ASR 模式的会话配置必须排在 audioSourceType 判断之前，且要
  .mixWithOthers —— 否则我们一 setActive 就把正在播放的那个 App 掐了。
- Embed App Extensions 阶段必须插在 Thin Binary 之前。追加到最后会和
  Flutter/CocoaPods 的脚本阶段构成依赖环，Xcode 报 Cycle inside Runner。

⚠️ 尚未打通签名：需要在苹果开发者后台登记 App Group group.com.yimai.eaimar、
给 com.yimai.eaimar 开 App Groups capability、并为
com.yimai.eaimar.BroadcastExtension 建 App ID。Xcode 当前还登录不上账号
（-1200）。在这之前 iOS 包签不出来。代码已用 --no-codesign 验证可编译、
appex 也正确内嵌进 PlugIns/。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>

1 month ago

2 Commits (803bfbc9eedf120427d4b4d9c0d77b6f7ecc2cb0)