Tree: bb483ec008

along

along-test

main

memory-center-impl-v1

memory-design-v0.2

Branches Tags

${ item.name }

Create tag ${ searchTerm }

Create branch ${ searchTerm }

from 'bb483ec008'

${ noResults }

Commit Graph

9 Commits (bb483ec0089baf54371c6045cc27062e9a3c87e9)

Author	SHA1	Message	Date
Rodger-Wang	714a05b6d4	修 iOS EMAI 没有语音播报、连续对话上行断供；接入 MCP 令牌 iOS 上助手一直不出声，和这次改连续对话无关，是播报本来就坏的。三轮真机对照 实测：just_audio 喂的是「长度未知的直播 WAV 流」，AVPlayer 只发一次 `Range: bytes=0-1` 的嗅探请求就判定资源不可播，回 -11850 且 processingState 直接落 idle，一次都没真正起播。声明长度、支持 range、把收到的字节全缓存下来 允许重放，三种都试过，结论一样。ExoPlayer 不发这个嗅探请求，所以安卓一直是 好的——这就是「安卓有声、苹果没声」的全部原因。 iOS 改走原生 AVAudioEngine 排队播 PCM（PcmSpeakerPlayer），安卓不动。 验证方式：一次性灌 3 秒音频，7ms 喂完但 3708ms 才播完，证明是实时渲染不是丢弃。 连续对话的上行也是断的，服务端一直回 ClientAudioTimeout。两个原因： - _ensureContinuousMic 被 Started 事件和 _enterContinuous 并发调用，两边都在 `_micRunning` 置位前通过守卫，同一个 recorder 被 startStream 两遍，第二次把 第一次那条流顶掉。控制器侧改成同步置位，MicPcmStreamer 内部再加一层 in-flight 去重。 - 开麦前没配好并激活音频会话。会话停在 soloAmbient 且未激活时，startStream 会**成功返回**、引擎也起得来，但输入 tap 一个 buffer 都不回调，客户端毫无报错。 麦克风和播放器统一到 EmaiAudioSession 一份会话配置：各配各的会在连续对话下 互相覆盖。iOS 固定 voiceChat——record 的 echoCancel 会打开 voice-processing 并 把 mode 改成 voiceChat 持有着，播放这边写回 default 就是两边互相掀桌子。 androidAudioAttributes 仍是 media，别改成 voiceCommunication（华为会静音）。 连续对话交互按要求改：进页面只建会话不开麦，短按开始、再按结束、可反复， 退出即停，10 秒无对话往来自动结束。计时依据必须是对话事件不是音频包—— 麦克风没人说话也在稳定出包，拿它续命这个超时永远不会触发。 另修 _enterContinuous 在 reconnect() 一返回就判 `!= ready`：ready 要等服务端回 Started（一次网络往返），几乎每次都命中，于是刚打开的连续对话被当场关掉， 而 Started 稍后到达又会把麦开起来，留下一个界面上看不见的常开麦克风。 Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>	1 month ago
Rodger-Wang	a9ce8bcdef	广播扩展改走 127.0.0.1 环回 TCP，去掉 App Group 依赖 上一版用 App Group + Unix domain socket 传音频，结果签不出包： - com.yimai.eaimar 的 profile 不带 App Groups capability - com.yimai.eaimar.BroadcastExtension 没有任何 profile 而 Xcode 又登录不上账号去申请（-1200）。实测原因是网络层： developer.apple.com 通（200），appleid.apple.com 与 developerservices2.apple.com 都连不上（000）——后两个正是登录与签发 profile 要走的域名。 改成环回 TCP 之后不需要任何 entitlement：扩展和主 App 在同一台设备上， 127.0.0.1 天然互通，而且不触发 iOS 的「本地网络」隐私弹窗（那个只针对局域网， 环回是明确豁免的）。主 App 的 entitlements 回到原样，用已有的 profile 就能签， 扩展的 profile 由自动签名就地生成。已真机安装成功。 代价：没有 App Group 就没有地方发布「主 App 这次监听在哪个端口」，只能约定 一个固定端口（52781，两边手工同步，注释里写明了）。撞端口时主 App bind 会 失败并打日志，不是静默失败。 顺带补的两个 socket 选项： - SO_REUSEADDR：上次进程被杀后端口停留在 TIME_WAIT，不开的话几十秒内 bind 都会 EADDRINUSE，表现是「刚重启 App 就用不了」。 - TCP_NODELAY：音频要低延迟，攒包没有意义。 - 只绑 127.0.0.1 而不是 INADDR_ANY，否则这个端口对局域网可见。 另外记两个这次踩到的构建坑： - flutter clean 会删掉 ios/Flutter/ephemeral/，其中的 swift_sdk_local 软链由 Podfile 的补丁在 pod install 时创建、**flutter 不会自己重建**，于是后续 xcodebuild 直接卡在 "Could not resolve package dependencies"。清理之后要 补跑一次 pod install。 - 跑过 --no-codesign 之后再跑签名构建，会复用 build/ 里未签名的 framework， 装机时报 objective_c.framework "invalid signature"。中间做过 no-codesign 验证的话，出正式包前要先 flutter clean。 Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>	1 month ago
Rodger-Wang	8377745992	iOS 多媒体翻译接入 ReplayKit 广播扩展，真正拿系统音频 iOS 不允许一个 App 读另一个 App 的音频，Broadcast Upload Extension 是系统 留的唯一口子。链路： 其他 App 播放 → 系统录屏广播 → BroadcastExtension(独立进程) 收 RPSampleBufferType.audioApp → 转 16k/mono/Int16 → App Group 容器下的 Unix domain socket → 主 App BroadcastAudioReceiver → azureAsrHelper.audioStream.saveAudioDataTo() ← 已有的 external 通路 → ASR → 翻译 → 弹幕 新增： - ios/BroadcastExtension/{SampleHandler,BroadcastAudioSocket}.swift、Info.plist、 entitlements、Extension.xcconfig - azure_speech 插件的 BroadcastAudioReceiver.swift + 三个 method channel （startBroadcastAudioReceiver / stopBroadcastAudioReceiver / presentBroadcastPicker） - Runner.entitlements 加 App Group；xcodeproj 加 BroadcastExtension target 并在 Runner 里内嵌 对上层复用已有的 requestScreenCapture/stopScreenCapture 接缝（Android 是 MediaProjection，iOS 是广播扩展），控制器里两端走同一条分支。 几处踩过的坑，都写进了注释： - SOCK_STREAM 不保留消息边界，帧必须带 4 字节长度前缀，否则喂给 ASR 的是 错位样本。 - CMSampleBufferGetAudioBufferListWithRetainedBlockBuffer 不拷贝数据，只把 mData 指向 blockBuffer 的内存；blockBuffer 出作用域即释放，交出去就是野指针。 改成在 withExtendedLifetime 里 memcpy 出来。 - AudioBufferList 的 buffer 个数要按 interleaved 与否算，写死 1 会让非交错 立体声整帧拿不到。 - sun_path 只有 104 字节，socket 只能放在 App Group 容器根下，不能建子目录。 - 扩展侧 connect 失败要限流重试（1s），每帧重连会把扩展 CPU 打满，而它的 内存上限只有 50MB。 - SO_NOSIGPIPE：主 App 挂掉时写 socket 默认会直接杀死扩展进程。 - media 这个 ASR 模式的会话配置必须排在 audioSourceType 判断之前，且要 .mixWithOthers —— 否则我们一 setActive 就把正在播放的那个 App 掐了。 - Embed App Extensions 阶段必须插在 Thin Binary 之前。追加到最后会和 Flutter/CocoaPods 的脚本阶段构成依赖环，Xcode 报 Cycle inside Runner。 ⚠️ 尚未打通签名：需要在苹果开发者后台登记 App Group group.com.yimai.eaimar、 给 com.yimai.eaimar 开 App Groups capability、并为 com.yimai.eaimar.BroadcastExtension 建 App ID。Xcode 当前还登录不上账号 （-1200）。在这之前 iOS 包签不出来。代码已用 --no-codesign 验证可编译、 appex 也正确内嵌进 PlugIns/。 Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>	1 month ago
Rodger-Wang	5e2b4f5431	修 iOS 多媒体翻译一个字都翻不出来：ASR 在等一份永远没人推的 PCM 根因是 iOS 分支还停在杰理时代的假设上。_configureAudioVideoMode 的非 Android 分支做的是 openDecoder() → 等 isCodecActive → 音频源置 external，语义是 「从耳机的 A2DP 解码器拿手机正在播放的音乐」。本项目只有恒玄耳机，没有这个 能力；而 openDecoder() 如今是个乐观桩，只把 _isCodecActive 置 true 就返回。 于是 iOS 的实际行为是：ASR 以 external 源启动，然后等一份永远不会有人推的 PCM——不报错、不提示，就是一个字都翻不出来。Android 早已整条换成 MediaProjection（isAndroidAudioVideo 分支），iOS 这条没跟着改。 iOS 平台层面也没有「抓其他 App 音频」的能力，唯一合规途径是 ReplayKit Broadcast Upload Extension（需新建 extension target + App Group，且要用户 手动发起录屏广播）——那是产品决策，本次没做。先退化成手机麦克风外放收音， 让功能是通的： - _configureAudioVideoMode 的 iOS 分支不再碰杰理解码器； _audioSourceType = Platform.isAndroid（Android=external/MediaProjection， iOS=麦克风）。 - 启动守卫里排除 iOS 音视频。那个守卫要求 isCodecActive，而它只由 openEncoder/openDecoder 这两个杰理血统的入口置位——不排除的话直接 return， 识别根本不会启动。 - iOS 音视频用新的 'media' ASR 模式，原生据此把 AVAudioSession 配成 .playAndRecord + .default + [.mixWithOthers, .defaultToSpeaker, .allowBluetoothA2DP]： · .mixWithOthers 是前提——不加的话我们一 setActive 就把正在播放的那个 App 掐了，点开翻译视频就哑了； · mode 用 .default 不用 .voiceChat——后者会让 MicrophoneCapture 打开 setVoiceProcessingEnabled，而要收的恰恰是本机扬声器的声音，AEC 会把它 当回声精确消掉，结果一片安静。 iOS 侧只有两处 currentRecognitionMode 比较（phone_call / push_to_talk）， 新增的 media 落到 normal 的默认分支，不影响其它模式。 - enableRecord 的音频源跟着改成 microphone。留 systemAudio 的话原生把 index>0 一律当 external，会建好文件然后等没人推的 PCM，存下来是个空录音。 Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>	1 month ago
Rodger-Wang	46ebf28d64	闹钟改成只在 App 内提示；通话翻译/通话录音挂前台服务；复刻档位日志提到 warn 1) 拾忆提醒不再发系统通知 改成进程内 Timer + App 内弹窗。代价必须说清楚：**App 不在前台就不会提示**， 它是「打开 App 时告诉你有什么要做」，不是系统闹钟。 - 一个 Timer 只指向队首那条，响完武装下一条；定时器最长压 30 分钟， 超过就到期重算（长定时器在移动端本来就不可靠）。 - 错过的不补弹，否则早上打开 App 会糊一串昨天的提醒。 - 仍保留 flutter_local_notifications，只用来撤老版本排进系统的那些排期 （装过老包的机器上还留着，不撤的话改口径之后仍会收到、且没法关）。 只撤自己的 id 区间，绝不 cancelAll（会干掉录音的前台通知）。 - 顺带删掉上一版加的「通知权限未开启」提示条，不再需要。 2) 通话翻译 / 通话录音 切后台继续工作 两条链路原先都没有前台服务： - 通话翻译走 AliyunBailianE2EHelper，与 AzureAsrHelper 不是同一条路， 后者的前台服务管不到它； - 通话录音的音频来自耳机 SPP 流，压根不经过识别插件。 没有前台服务时切后台会发生两件事且都不报错：国内 ROM（荣耀/华为尤其） 冻结或回收进程，WebSocket 断、PCM 流停摆；Android 9+ 后台拿不到麦克风。 → AST 的 start/stopContinuousTranslation 里起停 AudioRecordingForegroundService； 另开两个 method channel 口子（startAudioForegroundService/stop…）给 通话录音用。三条链路互斥使用，暂不做引用计数，注释里写明并存时要改。 ⚠️ 前台服务自带常驻通知，用户关掉通知权限后它不显示但服务照常跑—— 所以第 1 条「不要系统通知」和这一条不冲突。 3) 声音复刻的档位日志提到 warn 级 [TRANS-INIT] 命中哪一档、[STS] initialize 的 voiceClone 开关，原先是 info， release 包里看不到。而「有没有复刻」完全取决于命中的是 alibaba35 还是旧版档 （旧版模型静默忽略 enable_voice_clone），不看这两行只能靠猜。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>	1 month ago
Rodger-Wang	80c6ea1be3	iOS 真机排查：修同传播报路由、录音时长与电平崩溃 一轮 iPhone 真机联调里发现并修掉的一组问题，多数是既有缺陷，两处是我在 本轮前期改出来的回归（已在注释里标明，避免以后再踩）。 同传播报路由（AzureTtsHelper.swift，phone_call 分支） 这一支被改坏过三次，结论固定在注释里： ① 最早 `.defaultToSpeaker` + `overrideOutputAudioPort(.speaker)` → 连了 A2DP 也被强拽到外放；元凶是那次 override（已删）。 ② 修 ① 时把 `.defaultToSpeaker` 一并删了 → 删过头：`.playAndRecord` 的 默认输出是**听筒**，没耳机时译文几乎听不见（「翻译出来了但不播报」）。 ③ 补回 `.defaultToSpeaker` 且 mode 设成 `.videoChat`（为了 AEC） → `.videoChat` 本身偏好内置扬声器，连了耳机又被拽到外放，绕回 ①。 现在按**有没有耳机**分两支：有耳机走 `.default` + 仅 A2DP；没耳机走 `.videoChat` + `.defaultToSpeaker`（外放且开回声消除）。分支口径与采集侧 MicrophoneCapture 启用 voice processing 的条件完全一致，两边不再打架。 没有这个 AEC 时，外放的译文会被自己的麦克风收回去，ASR 当成新一句再翻一遍。 现场录音（bes_recording_service.dart） - 时长改为按**已写入的数据量**算（32 字节 = 1ms），与 WAV 头一致， 因此界面时长与文件实际播放长度永远相等。墙钟算不准：耳机收到 AA 59 后 要 1.8~6.5 秒才上行首帧，还会把等待期缓存的音频一次性补推，实测数据量 比「首帧到停止」的墙钟窗口还多 21~45%，从哪头计时都对不齐。 真机验证：音频19.15s/墙钟18.88s、音频18.72s/墙钟18.69s， 等效采样率均为 16000Hz 整、0 丢帧。 - 修 `_updateLevel` 的 `asInt16List(offsetInBytes, …)`：原生来的 Uint8List 是带 offset 的视图，偏移为奇数时必抛 RangeError。原来藏在 try 里被吞掉， 表现是波形/电平一直不动（数据本身没丢）。改成按小端手工拼 int16， 与 BesCallRecordingService._writeStereo 同一修法。 ⚠️ 本轮我一度把它挪到写入之前且未包 try，一抛异常整个 _onPcm 中断、 音频一帧都写不进去（实测 6990 次未捕获异常）——现在它排在写入成功之后 并单独包 try，波形挂了绝不能影响录音。 - 音频写入排成 Future 队列。Stream.listen 的 async 回调不会被等待， 每秒上百帧必然重叠，而 RandomAccessFile 同一时刻只允许一个异步操作。 （事后核对通话录音同样写法却没丢数据，所以这条是防御性的，不是主因。） 识别异常与状态收口（translation_controller.dart） - 新增 _abortRecognition：catch / error / canceled 三条异常路径统一回滚， **把录音一起停掉**。此前 `isRecording` 全文件只有一处 `= true`、从来没被 置回 false，识别挂了右上角还在计时；异常路径更是连 stopRecording 都不调。 标记同时收口进 stopRecording，所有停止路径都覆盖得到。 - startRecognition 点击即点亮 isPreparing（view 早已绑好按钮反馈，只是从来 没人设过它，点下去毫无视觉变化，就是「点了没反应」）。 - `await _modeInitFuture` 补 3 秒超时。它是本轮前期为消除语言竞态加的， 但没有超时——iOS 首次要激活音频会话、连着蓝牙还要等音频路由，一旦迟迟 不返回点击就永久卡住。把「可能用错语言」换成「可能完全卡住」是坏交易， 超时后走兜底 initialize，至少起得来。 - 三段耗时打点提到 warning 级：release 的日志级别就是 warning，用 info 打 在真机上一条都留不下。 其它 - Logger 在非 release 下同时 print 一份：`developer.log` 只进 VM service 的 logging stream，`flutter run` 控制台看不到、调试态下 idevicesyslog 也抓不到， 真机排查时加了一堆打点却一条都看不见。 - 连接握手不再自动跑 probeCommands：每条间隔 400ms、一轮十几秒，期间 SPP 通道被占满，用户点录音/翻译的指令只能排队。需要重扫时手动调。 本次在固件 0.0.3 上的扫描结果记进注释（0x0B/0C/0D/0F/10/19 有回包， 但取值都不像电量百分比，电量命令仍未定位到）。 - 通话状态变化打出触发它的原始字节，便于排查「刚连上就被判成通话中」。 Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>	1 month ago
Rodger-Wang	24e17b3434	收拢积压改动：恒玄 OTA、发版配置拆表、实名认证、芯片厂商/代工厂管理等 把工作区里积压的多轮改动一次性入库。主要几块： 客户端 - 恒玄 OTA 打通：新增 local_plugins/bes_ota_manager（自包含 BES SDK， Android Java + iOS ObjC，SPP OTA 2.0），路由切到 BesOtaUpgradeView / BesOtaUpgradeController，配套下载服务；杰理那套文件保留但已不挂路由。 - 通话翻译新增阿里 3.5 档（alibaba35_language_config.dart， qwen3.5-livetranslate-flash-realtime + 实时声音复刻）。 - 实名认证接入、游客登录改走服务端 api_sgin 的 Tourists 分支、 功能闸门由 GuestGuard 改为 IdVerifyGuard。 - 41 个语种文案同步（OTA 新增 28 个 key 等）。 - 默认主题改为浅色，不跟随系统。 服务端 - 发版类配置拆表：app_release（版本控制 / 游客显隐，一应用一行）与 channel_app（渠道级下载地址 / 上架状态 / 支付渠道）分家， 新增 comm/apprelease.go 与 console/api_apprelease.go。 - 授权码字符串整体移除：删除 utils/license 包，新增 utils/devcode （MAC 规范化与 PID 反解），配套迁移 SQL 在 docs/migrations/。 - console 新增芯片厂商、代工厂、用户管理接口与对应 admin 页面。 - 身份证实名核验（sys/idverify）与第三方服务的服务端专用类别。 其它 - .gitignore 补挡 apps/services/lego/sys/gin/log-*.log：gin 子系统跑起来 会按时间戳滚动生成日志（多为 0 字节），与 apps/services/comm/log 同一 性质，不进版本管理。已跟踪的 log-2026-08-20 那个仍在库里，未动。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>	1 month ago
Rodger-Wang	946204cc3c	翻译延迟优化：接上阿里增量文本、面对面/同传去掉固定等待 通话翻译：阿里百炼端到端协议本来就是流式的（音频 response.audio.delta 一直在逐帧回灌），但增量文本订阅的事件名是错的——代码监听 response.audio_transcript.delta（字段 delta），而实时语音翻译 audio+text 模态实际发的是 response.audio_transcript.text（字段 text）， .delta 是 OpenAI Realtime / 通义 Omni 的写法。于是 onPartialText 一次 都不触发，译文只在 .done 时整句蹦出来，看着像"等说完才翻"。 现在两套名字都认、两个字段都取，并按首次出现的事件名锁定，防止服务端 兼容层双发导致文本累计两遍。Android / iOS 两端同改。 面对面 / 同声翻译（走 ASR → HTTP 机器翻译 → TTS 三段串行）： - 补上 Speech_SegmentationSilenceTimeoutMs=300，原来一行没设走 Azure 默认 500ms，这是"说完到出译文"里唯一一段纯等待； - 同传 / 音视频改单语 ASR，关掉连续语种识别（它要缓冲够音频、给候选 语言逐个打分才敢出 final）。只有面对面需要判断"谁在说"，仍保持双语； - 中间结果翻译从"每 300ms 无条件发"改成 700ms + 至少多 4 个字 + CancelToken 撤旧请求 + 序号丢弃过期结果。中间译文只上屏不播报， 原来一句 5 秒的话要打十几次真实服务商调用，还会跟 final 抢链路； - TTS 提到 _updateExistingHistoryItem 最前，不再排在浮窗 / 写历史 / 记统计那串 await 之后； - startRecognition 先 await onInit 那次 changeTranslationMode，堵掉 "进页面立刻点开始 → 落到默认 zh-CN/en-US"的竞态。 AuthInterceptor 的 DioExceptionType.cancel 分支不再弹红色"请求已取消" ——取消永远是客户端自己发起的，不改的话中间结果一接上就会一路狂弹。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>	1 month ago
Rodger-Wang	2d1ee0b783	apps/client 首次入库（Flutter 移动端） 从 /Users/yunyanzhineng/work/eaimar_client-main 搬入，未带原 .git，历史留在原仓库。 3215 个文件 / 约 118MB，其中约 40MB 是构建必需的预编译 SDK（azure_speech 的 MicrosoftCognitiveServicesSpeech.xcframework、device_jieli 的 JL_BLEKit 等）。 build/ (5.2G)、ios/Pods/ (311M)、android/.gradle/ (120M) 已由 .gitignore 挡掉。 本次入库的代码包含两项刚做完的改动： 1) 游客登录入口接上服务端开关。此前 _checkGuestLoginConfig() 恒定写死 true， 入口根本不读配置。现改为取服务端算好的结论，并把入口所在的 Builder 改成 Obx ——配置是异步拿到的，Builder 只渲染 onInit 时的初值 false，入口再也不会出现。 拿不到配置时按隐藏处理：默认显示会在送审期把不该露的入口露给审核员。 ⚠️ 已发布的老客户端关不掉（写死 true），只对本版及以后生效。 2) iOS 上架合规修复： - 移除 ATT/IDFA：删掉 Info.plist 的 NSUserTrackingUsageDescription、 SKAdNetworkItems、NSAdvertisingAttributionReportEndpoint，删掉 splash 里的 授权请求与 app_tracking_transparency 依赖。本 App 从不读取 IDFA，也没有任何 广告/归因 SDK，弹框纯粹劝退用户，还要在 App Store Connect 申报追踪数据类型。 - ios/Podfile 里那段 config.build_settings.delete('NSUserTrackingUsageDescription') 是无效代码（该 key 在 Info.plist 里，不是 build setting），换成注释说明。 - 通讯录符号（ITMS-90683 被拒原因）随之一并解决：permission_handler 走 SPM 后 按 Info.plist 有无对应 key 决定编不编，判定结果被 SwiftPM 按内容哈希缓存， 改完 plist 必须清 DerivedData 与 manifests 缓存才会重新求值。 另附 GOOGLE_PLAY_RELEASE_CHECKLIST.md：Google Play 上架阻塞项的实测梳理 （targetSdk 36 与 Billing 8 的 2026-08-31 期限、16KB 页对齐不合规的两个 .so、 支付回退逻辑的下架风险）。 ⚠️ android/app/sign/ 下的 eaimar.keystore 与 Eaimar.properties（含明文签名密码） 随本次提交入库，与本仓库"私有仓库下接受真实凭据"的既有取舍一致。 仓库若要公开，这两个必须先摘出去。 Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>	1 month ago