Rodger-Wang
|
27cabe1bde
|
client: 设备内核抽象、Smartcar 车载香薰接入与语音纪要等一批改动
工作区里累积的 Flutter 客户端改动,随本轮一并入库。主要涉及:
- lib/devices/ 设备内核:DeviceHub / DevicePlugin / DeviceSession 抽象,
恒玄(bes)、EaiRec 支架(holder)、Smartcar 车载香薰(smartcar) 各自的插件实现,
业务层不再直接依赖任何厂商类;分层边界由 test/devices/ 下的测试守着
- local_plugins/device_plugin_interface、device_smartcar、recorder_holder:
纯 Dart 契约与原生侧实现
- lib/modules/ 能力模块注册表、语音纪要、OTA 升级等模块
- test/ 新增设备协议、Ogg Opus 时长、模块注册表、路由等金测试
- ios/sync_spm_platform.sh:修 Xcode 直接构建时 SPM 平台版本被打回 13.0 的问题
验证:dart analyze lib 无 error(264 条 warning 均为 HEAD 上既有的 unused_import /
avoid_print 等 lint,非本次引入)。未跑真机与打包。
注:这批不是本次会话中由 Claude 编写的,此处仅做入库。
|
1 month ago |
Rodger-Wang
|
83aaccb2bc
|
AI 页「语音记录助手」改名「语音纪要」
副标题同步改成「语音文件汇总总结,记忆中心」,用全角逗号,与同组其它条目
(agentEmaiDesc 等)的写法一致。
顺带改了 recordingSavedDesc——它写的是「已存入语音记录助手」,不跟着改的话
页面叫「语音纪要」、保存提示还是旧名字,对不上。
11 个有 agentMeeting 的语言都给了对应翻译,不是只改中文。
⚠️ 另外 30 个语言文件根本没有这个 key(既有问题,非本次引入)。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
1 month ago |
Rodger-Wang
|
714a05b6d4
|
修 iOS EMAI 没有语音播报、连续对话上行断供;接入 MCP 令牌
iOS 上助手一直不出声,和这次改连续对话无关,是播报本来就坏的。三轮真机对照
实测:just_audio 喂的是「长度未知的直播 WAV 流」,AVPlayer 只发一次
`Range: bytes=0-1` 的嗅探请求就判定资源不可播,回 -11850 且 processingState
直接落 idle,一次都没真正起播。声明长度、支持 range、把收到的字节全缓存下来
允许重放,三种都试过,结论一样。ExoPlayer 不发这个嗅探请求,所以安卓一直是
好的——这就是「安卓有声、苹果没声」的全部原因。
iOS 改走原生 AVAudioEngine 排队播 PCM(PcmSpeakerPlayer),安卓不动。
验证方式:一次性灌 3 秒音频,7ms 喂完但 3708ms 才播完,证明是实时渲染不是丢弃。
连续对话的上行也是断的,服务端一直回 ClientAudioTimeout。两个原因:
- _ensureContinuousMic 被 Started 事件和 _enterContinuous 并发调用,两边都在
`_micRunning` 置位前通过守卫,同一个 recorder 被 startStream 两遍,第二次把
第一次那条流顶掉。控制器侧改成同步置位,MicPcmStreamer 内部再加一层 in-flight 去重。
- 开麦前没配好并激活音频会话。会话停在 soloAmbient 且未激活时,startStream
会**成功返回**、引擎也起得来,但输入 tap 一个 buffer 都不回调,客户端毫无报错。
麦克风和播放器统一到 EmaiAudioSession 一份会话配置:各配各的会在连续对话下
互相覆盖。iOS 固定 voiceChat——record 的 echoCancel 会打开 voice-processing 并
把 mode 改成 voiceChat 持有着,播放这边写回 default 就是两边互相掀桌子。
androidAudioAttributes 仍是 media,别改成 voiceCommunication(华为会静音)。
连续对话交互按要求改:进页面只建会话不开麦,短按开始、再按结束、可反复,
退出即停,10 秒无对话往来自动结束。计时依据必须是对话事件不是音频包——
麦克风没人说话也在稳定出包,拿它续命这个超时永远不会触发。
另修 _enterContinuous 在 reconnect() 一返回就判 `!= ready`:ready 要等服务端回
Started(一次网络往返),几乎每次都命中,于是刚打开的连续对话被当场关掉,
而 Started 稍后到达又会把麦开起来,留下一个界面上看不见的常开麦克风。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
1 month ago |
Rodger-Wang
|
9abed0008b
|
字幕小窗:加暂停/继续、去掉快进快退、大小与透明度可调
- 暂停/继续:实现 AVPictureInPictureSampleBufferPlaybackDelegate 的
setPlaying / isPlaybackPaused。语义定成「冻结当前这条字幕」而不是
「暂停翻译」——用户在别的 App 里看视频、想把一句话定住多看两眼,这是小窗
那颗按钮唯一说得通的含义,而且完全可逆、不影响正在跑的识别与翻译。
冻结期间新文案只暂存,恢复时补上最新一条。
⚠️ setPlaying 里必须调 invalidatePlaybackState(),否则按钮图标不跟着变,
点了「暂停」它还画着暂停图标,看着像没生效。
- 快进快退:requiresLinearPlayback = true 就是这个开关(原本已设,这次补了
注释说明它的作用,免得以后被当成无关配置删掉)。
- 大小 / 透明度:翻译页新增一颗 tune 按钮,弹出设置面板,两个滑块,
GetStorage 持久化。新增 3 个 i18n key(pipSettings/pipSize/pipOpacity),
41 个语言文件全部补齐,主要语种给了本地化文案、其余回退英文。
三条平台限制已写进注释与面板说明,避免以后重复尝试:
- 小窗**实际大小由用户捏合手势决定**,App 无权直接设定。「大小」滑块改的是
画布宽高比,系统按新形状重新布局,观感上是变宽/变窄。
- 透明度**做不到透出下面的 App**。iOS 的 PiP 窗口本身不透明,系统未开放接口。
滑块只改卡片底色深浅。要少挡内容只能把小窗调小。
- 播放/暂停按钮的**尺寸不可控**,那是系统绘制的 chrome,随小窗一起缩放——
所以「按钮小一点」等价于「把小窗调小」。pip 那个 pub 包用私有 API
_setControlsStyle 去动控件,上架有被拒风险,不采用。
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
|
1 month ago |
Rodger-Wang
|
5eeedf1013
|
修拾忆页看不到助手闹钟:换源时把本地那份的展示出口弄丢了
真机实测暴露的回归。设备上取到的证据:
assistant_reminders: 2 条("南山会议" 16:00、"晚餐时间" 17:00),synced=false
assistant_directives: 2 条 SET_clock,status=done
memory_items_cache: 0 条
也就是说助手完全正常:听懂了、下发了指令、指令也落地了。但用户在拾忆页
什么都看不到。
## 原因
_rebuildEvents 换成只读 MemoryService.items 之后,AssistantDirectiveService
的 reminders **全仓再没有任何消费者**(grep 可证)。后端还没部署 memory 模块,
memory_add 必然失败,于是本地那两条既进不了 MemoryService、也没有展示出口。
我上一轮的提交说明写着「迁移期双写……即使上传失败,用户至少还能在本机看到
自己刚定的闹钟」——**那句话是错的**,双写的「本地」那一半当时已经没有出口了。
## 改动
- CalendarController._rebuildEvents 补上 _localReminderEvents():把
**还没同步**的助手闹钟也投影进日历。已同步的跳过,否则 MemoryService 与
本地两边都投影会出现两条。
- 重新订阅 AssistantDirectiveService.reminders(_reminderWorker):
不订阅的话助手刚定完闹钟页面不会刷新,要退出重进才看得到。
- 「提醒 → 记忆项」的换算收敛成 AssistantReminderToMemory 扩展,
上传路径与日历投影共用同一份,删掉 service 里那份重复实现。
- 本地未同步项的 memoryId 是 0:点开编辑或勾完成时给明确提示
(memLocalOnlyHint,41 语言已补),不再静默无反应——它没有服务端 id,
改了也没处提交。
## 另一个症状:EMAI 回复没声音(未修,不在本次改动范围)
同一份日志里:
[ERROR][PcmStreamPlayer] 播放错误: PlatformException(-11850, Operation Stopped)
[ERROR][PcmStreamPlayer] 启动播放失败: (-11850) Operation Stopped
反复几十次。EMAI 的回复音频走 BailianMultimodalService.audioOut →
PcmStreamPlayer.feed,**整条链路不经过 TtsService**,也不在本次改动的文件里
(改动清单见 git diff --name-only)。-11850 是 AVFoundation 层的错误,
指向音频会话状态,需要单独排查。
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
|
1 month ago |
Rodger-Wang
|
66463e53f6
|
记忆中心客户端:拾忆页接服务端 + 写操作 UI + 本地提醒 + 每日播报
dart analyze 零错误,flutter build apk --debug 通过。
零期修缮
- tabTodo 补齐 41 个语言。此前只有 11 个文件有这个 key,其中 8 个的值是
'Remin'(不是任何语言里的词,像 Reminisce 打了一半),缺 key 的 30 个经 GetX
回退到 en_US 同样显示 'Remin' —— 41 个语言里 38 个是坏的,只是不报错。
- i18n_audit.py 补「缺失 key」检查。它此前**结构上无法发现缺失的 key**:循环遍历
的是该文件已有的 key,且对 baseline 里没有的直接 continue。这正是 tabTodo 在 30
个语言里悄悄丢掉而没人发现的原因。现以 zh_cn 为基准,实测报出 7243 处历史缺失
(40 个语言只有 1 个不缺)。加了 --fail-on-missing/--allow-missing 给 CI 卡「只增
不减」,默认不开——一上来就红会让人直接把检查关掉。
- pubspec 引入 timezone + flutter_timezone。zonedSchedule 只接受 tz.TZDateTime,
没有这两个依赖,提醒功能一行都写不了。
拾忆页从纯展示改成可写(此前最大的工作量遗漏)
页面原来没有 RefreshIndicator、没有 FloatingActionButton、卡片没有 onTap,
于是服务端的 add/update/del/complete 四个写接口在客户端一个调用点都没有,
user_edited 那套「保护用户修改」的机制完全空转。本次补齐:
- MemoryEditSheet:新增/编辑弹层,按分类分流表单(统一表存储 ≠ 统一表单)
- 卡片 onTap 打开编辑、左侧勾选框标记完成(灵感不给勾选框,它没有完成一说)
- 右下角 + 新增、RefreshIndicator 下拉刷新、带引导的空态页
- date_certain=false 的项单独归到「待定日期」小节。一次会抽出 8 条没写截止时间的
待办全堆在会议当天,不分开那一格就没法看了。
数据层
- MemoryItem / MemoryRemindSlot / MemoryReport 手写镜像服务端 pb。
**每个字段都经宽松解析器**(memInt/memBool/memStr),不直接 as int:
服务端删字段或老记录缺列时,non-nullable 会让整个 fromJson 抛 TypeError,
表现是整页空白而不是少一个字段(appconfig_model 已经为此踩过坑)。
单条解析失败只跳过那一条。
- 分类保留原始字符串而不是 enum 解析。服务端加分类只改常量不发包,
客户端 switch 不到就抛等于服务端一加分类就打崩所有存量 App。
CalendarEventCategory 加了 other 作为未知兜底,筛选与卡片分流都改成值比较
而不是穷举 switch。
- MemoryService 只缓存最近 90 天。GetStorage 是把整个 box 读进内存的 JSON,
一年三千多条全量缓存会让每次启动越来越慢。
- 拉取失败保留本地缓存并标 staleFromCache,页面显示行内「当前显示的是本地缓存」,
不清空、不弹红条。
- 勾选完成是乐观更新 + 失败回滚。不回滚会让用户以为已经勾上,下次进页面又变回来。
- memory_today / memory_upcoming 加进 AuthInterceptor 的红条抑制名单:
它们在启动与前台恢复时自动调,用户什么都没点就吃一条英文内部状态词很差。
删除 mock
mockCalendarEvents() 与它引用的 44 个 demo* i18n key 一并删除(41 个文件共 484 行)。
真实数据上线后混着演示数据会让人以为系统出错。
本地提醒(MemoryReminderScheduler)
- 通知 id 占 920000 起的固定区间,**逐条 cancel,绝不 cancelAll()** —— 仓库里已有
两个各自 new 的 FlutterLocalNotificationsPlugin 实例,cancelAll 会顺手干掉正在
录音的前台通知,表现是录音悄悄失去前台身份被系统回收。
- 单独的通知通道:录音提示是常驻低优先级通道,共用会让提醒被降级成静默。
- **只查权限不申请**。申请必须走 PermissionUtil(它收敛了过审要求的 48 小时冷却),
且只允许用户在权限管理页主动发起,这里主动申请等于绕过合规规则。
无权限时降级为「打开 App 才提醒」,不阻塞。
- 精确排期失败(Android 14 起 SCHEDULE_EXACT_ALARM 默认不授予)自动退化成
inexact 再试一次——不精确的提醒也比没有强,日志会记下来。
- 拿不到系统时区时按本机偏移找等价区兜底,不落回 UTC(那会让国内用户全部偏 8 小时)。
每日播报(MemoryDailySheet)
- **不 await 在启动路径上**。冷启动已串四次网络往返,仓库刚做过相反方向的优化
(6a64c3d0 把会议模板拉取改成 unawaited)。这里是进主页后异步拉、拿到再弹。
- 排在隐私政策与强更弹窗之后,且必须在登录态确认之后。
- 通话翻译进行中一律不播报:两者共用同一个 AVAudioSession,在对方刚调好的会话上
再设一次会把通话音频路由弄乱(iOS 那条 phone_call 分支被改坏过三次)。
- 关窗必须真停:speakStream 是队列式播放,只 stop 不清队列会「关了还在念下一句」。
- 播报文案本地拼,不调 LLM。
生命周期与账号
- 切前台的刷新挂在 AppLifecycleManager(仓库已有 emai/translation/permissions
三个各自实现的 observer,本类就是收敛点),全部 unawaited。
- 登出清空记忆数据与已排提醒。不清的话换账号会看到上一个人的日程花销灵感,
提醒也会继续按上一个账号的安排响。
助手闹钟迁移
SET_clock 改为双写:本地 reminders 保留一个版本(上传失败时本机仍可用),
同时写服务端 memory_item(category=alarm)。**幂等键用指令 id** —— 本类的按 id
去重只在本进程内存里,换机/重装/重启后全失效,服务端靠 (uid, client_key)
唯一索引兜住。认不出的重复规则按单次处理,宁可只响一次也不按猜的规则天天响。
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
|
1 month ago |
Rodger-Wang
|
24e17b3434
|
收拢积压改动:恒玄 OTA、发版配置拆表、实名认证、芯片厂商/代工厂管理等
把工作区里积压的多轮改动一次性入库。主要几块:
客户端
- 恒玄 OTA 打通:新增 local_plugins/bes_ota_manager(自包含 BES SDK,
Android Java + iOS ObjC,SPP OTA 2.0),路由切到 BesOtaUpgradeView /
BesOtaUpgradeController,配套下载服务;杰理那套文件保留但已不挂路由。
- 通话翻译新增阿里 3.5 档(alibaba35_language_config.dart,
qwen3.5-livetranslate-flash-realtime + 实时声音复刻)。
- 实名认证接入、游客登录改走服务端 api_sgin 的 Tourists 分支、
功能闸门由 GuestGuard 改为 IdVerifyGuard。
- 41 个语种文案同步(OTA 新增 28 个 key 等)。
- 默认主题改为浅色,不跟随系统。
服务端
- 发版类配置拆表:app_release(版本控制 / 游客显隐,一应用一行)与
channel_app(渠道级下载地址 / 上架状态 / 支付渠道)分家,
新增 comm/apprelease.go 与 console/api_apprelease.go。
- 授权码字符串整体移除:删除 utils/license 包,新增 utils/devcode
(MAC 规范化与 PID 反解),配套迁移 SQL 在 docs/migrations/。
- console 新增芯片厂商、代工厂、用户管理接口与对应 admin 页面。
- 身份证实名核验(sys/idverify)与第三方服务的服务端专用类别。
其它
- .gitignore 补挡 apps/services/lego/sys/gin/log-*.log:gin 子系统跑起来
会按时间戳滚动生成日志(多为 0 字节),与 apps/services/comm/log 同一
性质,不进版本管理。已跟踪的 log-2026-08-20 那个仍在库里,未动。
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
|
1 month ago |
Rodger-Wang
|
2d1ee0b783
|
apps/client 首次入库(Flutter 移动端)
从 /Users/yunyanzhineng/work/eaimar_client-main 搬入,未带原 .git,历史留在原仓库。
3215 个文件 / 约 118MB,其中约 40MB 是构建必需的预编译 SDK(azure_speech 的
MicrosoftCognitiveServicesSpeech.xcframework、device_jieli 的 JL_BLEKit 等)。
build/ (5.2G)、ios/Pods/ (311M)、android/.gradle/ (120M) 已由 .gitignore 挡掉。
本次入库的代码包含两项刚做完的改动:
1) 游客登录入口接上服务端开关。此前 _checkGuestLoginConfig() 恒定写死 true,
入口根本不读配置。现改为取服务端算好的结论,并把入口所在的 Builder 改成 Obx
——配置是异步拿到的,Builder 只渲染 onInit 时的初值 false,入口再也不会出现。
拿不到配置时按隐藏处理:默认显示会在送审期把不该露的入口露给审核员。
⚠️ 已发布的老客户端关不掉(写死 true),只对本版及以后生效。
2) iOS 上架合规修复:
- 移除 ATT/IDFA:删掉 Info.plist 的 NSUserTrackingUsageDescription、
SKAdNetworkItems、NSAdvertisingAttributionReportEndpoint,删掉 splash 里的
授权请求与 app_tracking_transparency 依赖。本 App 从不读取 IDFA,也没有任何
广告/归因 SDK,弹框纯粹劝退用户,还要在 App Store Connect 申报追踪数据类型。
- ios/Podfile 里那段 config.build_settings.delete('NSUserTrackingUsageDescription')
是无效代码(该 key 在 Info.plist 里,不是 build setting),换成注释说明。
- 通讯录符号(ITMS-90683 被拒原因)随之一并解决:permission_handler 走 SPM 后
按 Info.plist 有无对应 key 决定编不编,判定结果被 SwiftPM 按内容哈希缓存,
改完 plist 必须清 DerivedData 与 manifests 缓存才会重新求值。
另附 GOOGLE_PLAY_RELEASE_CHECKLIST.md:Google Play 上架阻塞项的实测梳理
(targetSdk 36 与 Billing 8 的 2026-08-31 期限、16KB 页对齐不合规的两个 .so、
支付回退逻辑的下架风险)。
⚠️ android/app/sign/ 下的 eaimar.keystore 与 Eaimar.properties(含明文签名密码)
随本次提交入库,与本仓库"私有仓库下接受真实凭据"的既有取舍一致。
仓库若要公开,这两个必须先摘出去。
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
|
2 months ago |