qwen2-audio-7b-instruct推理胡说八道

[Liufeiran123]

参考#1653

使用这条命令 加载模型
CUDA_VISIBLE_DEVICES=0 swift infer --model_type qwen2-audio-7b-instruct
结果推理输出很乱，不符合预期。
流程跟参考完全一致
使用包版本如下
transformers 4.45.0
ms-swift 2.5.0.dev0
librosa 0.10.2.post1

[Jintao-Huang]

fixed