You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
203 lines
6.8 KiB
203 lines
6.8 KiB
package echomeet
|
|
|
|
const (
|
|
MaxShortAudioProcess = 10
|
|
MaxLongAudioProcess = 10
|
|
MaxAIAwaitProcess = 10
|
|
TaskTypeShortAudioAwait = "Echomeet:short_audio_await"
|
|
TaskTypeShortAudioProcess = "Echomeet:short_audio_process"
|
|
TaskTypeAIAwait = "Echomeet:ai_await"
|
|
TaskTypeAIAwaitProcess = "Echomeet:ai_process"
|
|
// TranscribeQueryMinInterval 主动查询第三方转写服务的最小间隔(秒)
|
|
TranscribeQueryMinInterval int64 = 10
|
|
// TranscribePollConcurrency 轮询第三方查询的并发度,避免 for 串行被单条慢请求拖住整轮
|
|
TranscribePollConcurrency = 10
|
|
|
|
// ===== 卡单兜底扫描 =====
|
|
//
|
|
// ⚠️ 在这之前,一条记录能从 Transcribing 往前走只有两条路:第三方异步回调、
|
|
// 客户端拉取时驱动的主动查询(api_getrecord/api_getrecords)。**没有任何
|
|
// 服务端自愈**——两条同时断掉时记录就永远停在「转写中」。
|
|
//
|
|
// 2026-09-06 真机上正好凑齐了:阿里的回调一次没到,而客户端的轮询循环因为
|
|
// 一个未捕获异常死掉且再也起不来(_isTask 卡在 true),于是记录卡了 8 分钟,
|
|
// 直到用户手动杀掉 App 重开才动。业务是服务端在跑的,不该由客户端在不在线
|
|
// 决定它推不推进。下面这套 cron 就是补这个缺口。
|
|
StuckSweepCron = "0 */1 * * * ?" // 每分钟扫一次
|
|
|
|
// StuckTranscribeAfter 转写中的记录距上次查询超过这么久(秒)就兜底查一次。
|
|
// 取 60s:比 TranscribeQueryMinInterval(10s) 大得多,正常有客户端在轮询时
|
|
// 根本轮不到兜底出手,只在真的没人管时才介入。
|
|
StuckTranscribeAfter int64 = 60
|
|
|
|
// StuckTranscribeGiveUp 提交转写后超过这么久还没完成就判失败。
|
|
// 不设上限的话,第三方把任务弄丢的记录会被每分钟白查一次、直到天荒地老。
|
|
StuckTranscribeGiveUp int64 = 2 * 60 * 60
|
|
|
|
// StuckSummarizeAfter 停在「待总结/总结中」超过这么久就重新入队。
|
|
// AI 一轮通常 10s 内,取 5 分钟留足余量,避免把正在跑的重复提交。
|
|
StuckSummarizeAfter int64 = 5 * 60
|
|
|
|
// StuckSweepLimit 每轮最多处理多少条。积压时不要一次性把第三方打爆。
|
|
StuckSweepLimit = 10
|
|
)
|
|
|
|
// toByteDanceLang 将内部 BCP-47 语言码转换为字节跳动 audomodel 支持的格式。
|
|
// 不在支持列表内返回空字符串,调用方应路由到其他引擎。
|
|
var bcp47ToByteDance = map[string]string{
|
|
"": "",
|
|
"zh-CN": "zh", "zh-TW": "zh", "zh-HK": "zh",
|
|
"en-US": "en-US", "en-GB": "en-US",
|
|
"ja-JP": "ja-JP",
|
|
"ko-KR": "ko-KR",
|
|
"id-ID": "id-ID",
|
|
"es-MX": "es-MX", "es-ES": "es-MX",
|
|
"pt-BR": "pt-BR", "pt-PT": "pt-BR",
|
|
"de-DE": "de-DE",
|
|
"fr-FR": "fr-FR",
|
|
"fil-PH": "fil-PH",
|
|
"ms-MY": "ms-MY",
|
|
"th-TH": "th-TH",
|
|
"ar-SA": "ar-SA",
|
|
}
|
|
|
|
func toByteDanceLang(bcp47 string) (lang string, supported bool) {
|
|
lang, supported = bcp47ToByteDance[bcp47]
|
|
return
|
|
}
|
|
|
|
// toDashScopeLang 将内部 BCP-47 语言码转换为百炼 language_hints 的短码格式。
|
|
// 返回空字符串表示该语言不传 hints,由引擎自动检测。
|
|
//
|
|
// ⚠️ 这张表只做「格式转换」,不代表模型支持该语种——阿里两套模型支持范围不同
|
|
// (qwen-audio-3.0-asr-flash-filetrans 27 种 / paraformer-v2 仅 8 种),
|
|
// 真正的支持性校验在 sys/aliyun/filetrans 的 modelLangs,选路过滤则由后台 languages 白名单负责。
|
|
var bcp47ToDashScope = map[string]string{
|
|
"zh-CN": "zh", "zh-TW": "zh", "zh-HK": "zh",
|
|
"yue-HK": "yue",
|
|
"en-US": "en", "en-GB": "en",
|
|
"ja-JP": "ja",
|
|
"ko-KR": "ko",
|
|
"ru-RU": "ru", "ru-UA": "ru",
|
|
"vi-VN": "vi",
|
|
"tr-TR": "tr",
|
|
"pl-PL": "pl",
|
|
"nl-NL": "nl",
|
|
"it-IT": "it",
|
|
"uk-UA": "uk",
|
|
"de-DE": "de",
|
|
"fr-FR": "fr",
|
|
"es-ES": "es", "es-MX": "es",
|
|
"pt-BR": "pt", "pt-PT": "pt",
|
|
"ar-SA": "ar",
|
|
"id-ID": "id",
|
|
"ms-MY": "ms",
|
|
"th-TH": "th",
|
|
"fil-PH": "fil",
|
|
}
|
|
|
|
// toDashScopeLang 返回 DashScope language_hints 值,空字符串表示自动检测
|
|
func toDashScopeLang(bcp47 string) string {
|
|
return bcp47ToDashScope[bcp47] // 不在 map 中自动返回 ""
|
|
}
|
|
|
|
// ============== 翻译平台语言码转换 ==============
|
|
// 输入统一是客户端的 BCP-47 码(如 zh-CN / en-US / ja-JP);
|
|
// 每个平台有自己的接受格式,逐家做映射。未识别一律返回原值,让平台自己决定是否报错,
|
|
// 绝对不要 fallback 成 "zh"——那会让"未知语言→中文"出现在调用栈深处难以发现。
|
|
|
|
// 火山翻译 / 阿里 MT:短码 zh / en / ja / ...
|
|
var bcp47ToShortLang = map[string]string{
|
|
"zh-CN": "zh", "zh-TW": "zh", "zh-HK": "zh",
|
|
"en-US": "en", "en-GB": "en",
|
|
"ja-JP": "ja",
|
|
"ko-KR": "ko",
|
|
"id-ID": "id",
|
|
"es-MX": "es", "es-ES": "es",
|
|
"pt-BR": "pt", "pt-PT": "pt",
|
|
"de-DE": "de",
|
|
"fr-FR": "fr",
|
|
"fil-PH": "fil",
|
|
"ms-MY": "ms",
|
|
"th-TH": "th",
|
|
"ar-SA": "ar",
|
|
"ru-RU": "ru", "ru-UA": "ru",
|
|
"vi-VN": "vi",
|
|
"tr-TR": "tr",
|
|
"pl-PL": "pl",
|
|
"nl-NL": "nl",
|
|
"it-IT": "it",
|
|
"uk-UA": "uk",
|
|
}
|
|
|
|
// 火山翻译:BCP-47 → 短码(zh / en / ja ...)
|
|
func toByteDanceTranslateLang(bcp47 string) string {
|
|
if v, ok := bcp47ToShortLang[bcp47]; ok {
|
|
return v
|
|
}
|
|
return bcp47
|
|
}
|
|
|
|
// 阿里 MT:与火山相同的短码体系
|
|
func toAliTranslateLang(bcp47 string) string {
|
|
if v, ok := bcp47ToShortLang[bcp47]; ok {
|
|
return v
|
|
}
|
|
return bcp47
|
|
}
|
|
|
|
// 说明:实时翻译接口(modules/user/api_translate.go)用的是 comm.BCP47ToShortLang,
|
|
// 与本表同源。本函数保持原样不动——echomeet 在跑生产,不为共用去改它的行为。
|
|
|
|
// Google Cloud Translation:直接接受 BCP-47(en / en-US / zh-CN 都支持),原样透传
|
|
func toGoogleTranslateLang(bcp47 string) string {
|
|
return bcp47
|
|
}
|
|
|
|
// Azure Translator:中文要 zh-Hans / zh-Hant,其他用短 ISO(en / ja / ko ...)
|
|
var bcp47ToMicrosoft = map[string]string{
|
|
"zh-CN": "zh-Hans", "zh-TW": "zh-Hant", "zh-HK": "zh-Hant",
|
|
"en-US": "en", "en-GB": "en",
|
|
"ja-JP": "ja",
|
|
"ko-KR": "ko",
|
|
"id-ID": "id",
|
|
"es-MX": "es", "es-ES": "es",
|
|
"pt-BR": "pt", "pt-PT": "pt",
|
|
"de-DE": "de",
|
|
"fr-FR": "fr",
|
|
"fil-PH": "fil",
|
|
"ms-MY": "ms",
|
|
"th-TH": "th",
|
|
"ar-SA": "ar",
|
|
"ru-RU": "ru", "ru-UA": "ru",
|
|
"vi-VN": "vi",
|
|
"tr-TR": "tr",
|
|
"pl-PL": "pl",
|
|
"nl-NL": "nl",
|
|
"it-IT": "it",
|
|
"uk-UA": "uk",
|
|
}
|
|
|
|
func toMicrosoftTranslateLang(bcp47 string) string {
|
|
if v, ok := bcp47ToMicrosoft[bcp47]; ok {
|
|
return v
|
|
}
|
|
return bcp47
|
|
}
|
|
|
|
// isByteDanceSupported 判断 BCP-47 语言是否被字节跳动支持
|
|
func isByteDanceSupported(bcp47 string) bool {
|
|
_, ok := bcp47ToByteDance[bcp47]
|
|
return ok
|
|
}
|
|
|
|
// baseLang 取 BCP-47 的基础语言子标签(首个 '-' 之前),如 es-MX→es、zh-TW→zh。
|
|
// 无区域后缀(如 "es")或空串则原样返回。仅用于模板查找的区域回退,不参与各平台语言码映射。
|
|
func baseLang(bcp47 string) string {
|
|
for i := 0; i < len(bcp47); i++ {
|
|
if bcp47[i] == '-' {
|
|
return bcp47[:i]
|
|
}
|
|
}
|
|
return bcp47
|
|
}
|
|
|