有onnx转tensorRT的代码吗？

[jin1258804025]

Notice: In order to resolve issues efficiently, please follow the template.
（注意：为了更加高效率解决您遇到的问题，请按照模板提问，补充细节。）

Before asking

1. Search existing issues: https://github.com/modelscope/FunASR/issues
2. Search the docs: https://modelscope.github.io/FunASR/
3. Check the README quick start and deployment section.

Question

Code or command

What have you tried?

Environment

• OS:
• Python version:
• FunASR version:
• ModelScope version:
• PyTorch / torchaudio version:
• Install method (pip, source, Docker):
• Device (cuda, cpu, mps):
• GPU model:
• CUDA/cuDNN version:
• Docker image tag, if used:

[LauraGPT]

当前仓库没有维护一个通用的“ONNX 转 TensorRT”脚本。现有 GPU 服务方案在 runtime/triton_gpu，模型后端配置目前使用 Triton ONNX Runtime backend；SenseVoice 和 Paraformer 的 ONNX 导出可以作为起点，但不同模型的动态维度、缓存输入和后处理不能直接共用一套 trtexec 参数。

为了判断能否补充针对性的 TensorRT 路径，请补充：

1. 模型名称与 revision（Paraformer offline/online、SenseVoice 等）；
2. 已导出的 ONNX 输入/输出 shape；
3. TensorRT、CUDA、GPU 型号和目标精度（FP32/FP16/INT8）；
4. 希望直接调用 TensorRT engine，还是通过 Triton TensorRT backend 部署；
5. 当前转换命令及完整错误日志。

有这些信息后可以评估是给出现有部署配置，还是把该问题收敛成一个可实现的模型专用转换任务。

[LauraGPT]

已在 #3463 合并 SenseVoice 原生 TensorRT 部署支持：

• 构建脚本：runtime/triton_gpu/scripts/build_sensevoice_tensorrt.py
• Triton 配置：runtime/triton_gpu/model_repo_sense_voice_small/encoder/config.pbtxt.tensorrt
• 完整导出、构建和 profile 说明：runtime/triton_gpu/README.md

请先用 model.export(type="onnx", quantize=False) 导出未量化 ONNX，再由脚本构建 FP16/FP32 plan。model_quant.onnx 包含 TensorRT 当前路径不支持的 DynamicQuantizeLinear / MatMulInteger，脚本会在构建前给出明确错误。

维护基线已在 H100 + TensorRT 10.0.1 验证：ONNX parser 0 error、动态边界 (1,1) / (8,512) / (1,4096) 均成功，随机输入 CTC top-1 与 PyTorch 100% 一致，仓库中文示例转写文本完全一致。TensorRT plan 与 GPU 架构和 TensorRT 版本绑定，请在目标 Triton 环境对应的 GPU 上构建。

[LauraGPT]

重新打开此 issue。此前 #3463 合并后立即关闭，但该 PR 只建立了 SenseVoice 的 TensorRT 路径，原问题并未明确模型，而且报告者尚未验证，因此不能视为整体解决。请 @jin1258804025 补充实际模型、ONNX shape、TensorRT/CUDA/GPU 与目标精度，并在 SenseVoice 场景下按现有脚本复测。收到验证结果后，我们再判断是确认解决，还是继续补充 Paraformer/其他模型的专用 TensorRT 支持。