本地 SenseVoice 识别模式缺失识别服务实现，选中后静默回退到远程

[aiguoliuguo]

描述

LocalRecognitionModel.SenseVoice 在配置、模型下载、路径解析、启动检查、UI 各层均已完整支持，但 AudioPipelineFactory 中没有对应的识别服务实现分支。选择 SenseVoice + Local 模式后会静默回退到远程 FastApiRecognitionService，与用户预期不符。

复现步骤

1. 设置 RecognitionBackendMode = Local（本地识别）
2. 设置 LocalRecognitionModelType = 1（SenseVoice）
3. 通过更新中心下载 SenseVoice 模型包（sensevoice-small/model.onnx）
4. 启动麦克风识别
5. 观察实际行为

预期行为

使用本地 SenseVoice 模型进行离线识别。

实际行为

AudioPipelineFactory.CreateRecognitionService 只查 Sherpa 模型目录，找不到后回退到远程 FastApiRecognitionService，SenseVoice 模型被忽略。

代码证据

已实现的部分：

• 01.VRCLS.Core/Models/ConfigEnums.cs:49-53 — 枚举定义 SenseVoice = 1
• 01.VRCLS.Core/Models/AppConfig.cs:847 — SenseVoiceModelDir 配置字段
• 02.VRCLS.Services/Update/ModelUpdateService.cs:248 — 下载逻辑按枚举值区分 "sensevoice" / "sherpa"
• 02.VRCLS.Services/Update/ModelUpdateService.cs:271-289 — HasSenseVoiceModel() 检查 model.onnx 存在
• 03.VRCLS.UI/ViewModels/SettingsViewModel.cs:3300-3339 — ResolveSenseVoiceModelDir() 路径解析
• 03.VRCLS.UI/App.xaml.cs:920-944 — 启动时检查缺失模型并提示

缺失的部分：

02.VRCLS.Services/Audio/AudioPipelineFactory.cs:151-180 CreateRecognitionService：

if (mode == RecognitionBackendMode.Local)
{
    var sherpaDir = _modelPathResolver.ResolveSherpaModelDir();   // 只查 Sherpa
    if (!string.IsNullOrWhiteSpace(sherpaDir))
        return new SherpaAsrService(sherpaDir, ...);              // 只创建 Sherpa
    _logger.Warning("Sherpa model directory not found; falling back to remote recognition.");
}
return new FastApiRecognitionService(...);                        // 回退远程

• 没有 SenseVoiceAsrService : IRecognitionService 实现类（02.VRCLS.Services/Recognition/ 下只有 SherpaAsrService.cs 和 FastApiRecognitionService.cs）
• SherpaAsrService 使用 Sherpa-ONNX 的 OnlineRecognizer + OnlineTransducerModelConfig（encoder/decoder/joiner 三件套，流式），无法加载 SenseVoice 的单文件 model.onnx（离线模型，需要 OfflineRecognizer）
• IModelPathResolver 接口也缺 ResolveSenseVoiceModelDir() 方法，目前只在 SettingsViewModel 里实现了路径解析

建议修复方向

1. 新增 SenseVoiceAsrService : IRecognitionService，使用 Sherpa-ONNX 的 OfflineRecognizer（或 SenseVoice 专用 config）加载 model.onnx
2. 在 IModelPathResolver 增加 ResolveSenseVoiceModelDir()，将 SettingsViewModel 里的逻辑下沉到服务层
3. 在 AudioPipelineFactory.CreateRecognitionService 增加分支：

if (mode == RecognitionBackendMode.Local)
{
    if (_config.LocalRecognitionModelValue == LocalRecognitionModel.SenseVoice)
    {
        var senseVoiceDir = _modelPathResolver.ResolveSenseVoiceModelDir();
        if (!string.IsNullOrWhiteSpace(senseVoiceDir))
            return new SenseVoiceAsrService(senseVoiceDir, source, useVad);
    }
    else
    {
        var sherpaDir = _modelPathResolver.ResolveSherpaModelDir();
        if (!string.IsNullOrWhiteSpace(sherpaDir))
            return new SherpaAsrService(sherpaDir, source, useVad, endpointSilence);
    }
}

4. IsMicStreamingLocalMode 同步调整（SenseVoice 是离线模型，VAD 切段模式更合适，不一定走 streaming 路径）

环境信息

• 仓库：VRCLS-main（C#/.NET 8 + WPF 重制版）
• 本地识别模式相关代码路径：02.VRCLS.Services/Audio/AudioPipelineFactory.cs、02.VRCLS.Services/Recognition/

[LauraGPT]

我按当前 main@5b489c4 和 sherpa-onnx 官方 .NET API 重新核对了一遍，这个 issue 的根因判断是对的，而且实现时需要一起收掉另外两个边界。

建议的最小正确实现

1. 新增 ResolveSenseVoiceModelDir() 到 IModelPathResolver / ModelPathResolver，并把 UI 里的重复解析逻辑改为复用它。
2. 目录只有同时包含 model.onnx 和 tokens.txt 才算完整。当前 HasSenseVoiceModel()、启动检查和 UI 路径解析只检查 model.onnx，会把无法初始化的半包误报为已安装。
3. 新增 SenseVoiceAsrService : IRecognitionService，使用 sherpa-onnx 的离线接口，而不是复用 OnlineRecognizer：

var config = new OfflineRecognizerConfig();
config.FeatConfig.SampleRate = 16000;
config.FeatConfig.FeatureDim = 80;
config.ModelConfig.Tokens = Path.Combine(modelDir, "tokens.txt");
config.ModelConfig.SenseVoice.Model = Path.Combine(modelDir, "model.onnx");
config.ModelConfig.SenseVoice.Language = "auto";
config.ModelConfig.SenseVoice.UseInverseTextNormalization = 1;
config.ModelConfig.Provider = "cpu";
config.ModelConfig.NumThreads = Math.Clamp(Environment.ProcessorCount / 2, 1, 4);

using var recognizer = new OfflineRecognizer(config);
using var stream = recognizer.CreateStream();
stream.AcceptWaveform(16000, audioData);
recognizer.Decode(stream);
var text = stream.Result.Text?.Trim() ?? string.Empty;

这与 sherpa-onnx 当前官方 dotnet-examples/offline-decode-files 的 SenseVoice 配置一致。

4. SenseVoice 是离线模型，因此第一版应只消费 VAD 已结束的完整片段并只发 IsFinal=true。不要把每个麦克风 chunk 分别送入离线模型，也不要伪造 partial。若关闭 VAD，应明确要求启用 VAD，或在 FinishSegment() 前自行缓存整段音频；前者更适合当前 VRCLS 管线。
5. 修正 IsMicStreamingLocalMode()：选中 SenseVoice 时必须直接返回 false。当前代码会继续检查旧 Sherpa 目录；只要旧目录还在，就会把 SenseVoice 选择误判成 streaming。
6. CreateRecognitionService() 应先按 LocalRecognitionModelValue 分流。SenseVoice 初始化失败时通过 ErrorOccurred / UI 明确报错，不应静默回退 FastApiRecognitionService。用户选择“本地”后把音频送到远程是隐私和行为契约问题。
7. OfflineRecognizer / OfflineStream 的调用用现有 service lock 串行化；Stop() / Dispose() 不能与正在解码的 stream 竞态。

建议的回归覆盖

• SenseVoice 选择只创建 SenseVoiceAsrService，不会创建 Sherpa 或 FastAPI service；
• 旧 Sherpa 目录存在时，SenseVoice 仍不是 streaming；
• 缺 model.onnx 或 tokens.txt 都判定模型不完整；
• 一个 VAD segment 只产生一个 final，保留原 SegmentId / CapturedAtUtc；
• 空片段不解码；初始化/解码失败显式报错且不远程回退；
• Stop / Dispose 后不再发结果。

官方 .NET 参考：

• https://github.com/k2-fsa/sherpa-onnx/blob/master/dotnet-examples/offline-decode-files/Program.cs
• https://github.com/k2-fsa/sherpa-onnx/blob/master/scripts/dotnet/OfflineSenseVoiceModelConfig.cs

这套边界可以先把麦克风 + VAD 的本地 SenseVoice 路径做正确；桌面音频和真正的连续 partial 可以继续保持现有产品范围，不必在同一个修复里扩张。

Implementation status (2026-07-27)

The implementation is now available in #52 at exact head 1cb88e0fe9648a49509de1f67f34c5877fccdf4c.

• Local Mic + SenseVoice now uses sherpa-onnx OfflineRecognizer; Desktop remains remote.
• Missing/incomplete local models fail visibly and never fall back to FastAPI.
• Model discovery requires both model.onnx and tokens.txt and is shared by runtime, updates, startup, and settings.
• VAD work items emit final-only results with SegmentId / CapturedAtUtc; decode, Stop, and Dispose are serialized.
• Validation: 13 tests passed, the full solution built with 0 errors, all three commits are GitHub-verified, and a real sherpa-onnx 1.13.4 decode with the official 229 MB int8 model returned 开放时间早上9点至下午5点。.

The PR is currently CLEAN, mergeable, and 0 commits behind main; this repository reports no CI checks, so it is ready for maintainer review.