Tmp_Models

临时模型仓(量化产物中转)。

sensevoice_ax650_npu2

AX650N 的 SenseVoice NPU2(双核)量化模型,包含离线与流式两版,U16 激活 / S8 权重:

文件 说明
sensevoice_ax650_npu2/sensevoice.axmodel 非流式(offline,max_seq_len=256),供 python/main.py / C++ 默认模式
sensevoice_ax650_npu2/streaming_sensevoice.axmodel 流式(26 帧滚动窗口,每 10 帧一推),供 --streaming / C++ -s
sensevoice/ 子目录 与官方 AXERA-TECH/SenseVoice 相同的运行时布局(C++ -p <dir> 读取 <dir>/sensevoice/)

用法(见 sensevoice.axera 工程):

# C++(流式,-s)
./cpp/ax650/test_sensevoice -a example/zh.mp3 -t sensevoice \
    -p sensevoice_ax650_npu2 -s
# C++(非流式)
./cpp/ax650/test_sensevoice -a example/zh.mp3 -t sensevoice \
    -p sensevoice_ax650_npu2
# Python(把本目录放到工程 models/sensevoice_ax650/ 下)
python main.py -i example/zh.mp3 --streaming --chip ax650

板端验证(AX650N,AISHELL-S0764 96 句):

模型 CER zh 示例 RTF
NPU3 官方 streaming(参考) 15.58% 0.0267
NPU2 streaming(本模型) 16.48% 0.0285
  • 逐算子精度:streaming min cosine 0.890 / mean 0.9984;非流式 min 0.835 / mean 0.9974
  • NPU2 与 NPU3 流式逐句字符一致率 97.12%(221 条有效样本)
  • 编译配置与复现步骤见 sensevoice.axera 的 model_convert/README.md
Downloads last month

-

Downloads are not tracked for this model. How to track
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support