请问如何用paddlespeech训练一个原神语音模型

[jiesonliang]

求助，### 请问如何用paddlespeech训练一个原神语音模型，不知道流程格式，看不懂源码！！！！

[Echo-Nie]

如果本地没有很好的资源，你可以用AIStudio平台的Jupyter来完成。

环境配置

1. 安装PaddleSpeech：

   !git clone https://gitee.com/paddlepaddle/PaddleSpeech.git
   %cd /home/aistudio/
   %cd PaddleSpeech
   !pip install .  --user -i https://mirror.baidu.com/pypi/simple

2. 安装依赖库：

   !pip install prettytable soundfile librosa paddleaudio==1.0.1 h5py loguru python_speech_features jsonlines kaldiio

数据准备

获取原神语音数据：收集原神角色的语音数据，网上应该都有的，搜一搜，下载一下就行。

dataset/
├── wav/
│   ├── 00001.wav
│   └── ...
└── text/
    ├── 00001.txt
    └── ...

模型训练

1. 下载PaddleSpeech提供的预训练模型：

   mkdir -p pretrained_models && cd pretrained_models
   wget https://paddlespeech.bj.bcebos.com/Parakeet/released_models/fastspeech2/fastspeech2_aishell3_ckpt_1.1.0.zip
   unzip fastspeech2_aishell3_ckpt_1.1.0.zip
   wget https://paddlespeech.bj.bcebos.com/Parakeet/released_models/hifigan/hifigan_aishell3_ckpt_0.2.0.zip
   unzip hifigan_aishell3_ckpt_0.2.0.zip
   cd ..

2. 训练：

   !python3 /home/aistudio/PaddleSpeech/paddlespeech/t2s/exps/fastspeech2/train.py \
       --data_dir=/home/aistudio/dataset \
       --output_dir=/home/aistudio/output \
       --pretrained_model_dir=/home/aistudio/pretrained_models/fastspeech2_aishell3 \
       --config=/home/aistudio/PaddleSpeech/examples/tts/fastspeech2/config.yaml \
       --ngpu=1

   --data_dir指定数据集路径，--output_dir指定模型输出路径，--pretrained_model_dir指定预训练模型路径。

语音生成

1. 使用训练好的模型生成语音：

   from paddlespeech.t2s.exps.syn_utils import get_am_output, get_voc_output, get_frontend, get_predictor
   import soundfile as sf
   
   am_inference_dir = "/home/aistudio/output/fastspeech2"
   voc_inference_dir = "/home/aistudio/pretrained_models/hifigan_aishell3"
   wav_output_dir = "/home/aistudio/output/wavs"
   
   !mkdir -p {wav_output_dir}
   
   device = "gpu"
   
   text_dict = {
       "1": "欢迎来到提瓦特大陆。",
       "2": "我是派蒙。。",
   }
   
   # 获取前端、声学模型和声码器预测器
   frontend = get_frontend(lang="mix", phones_dict=os.path.join(am_inference_dir, "phone_id_map.txt"))
   am_predictor = get_predictor(model_dir=am_inference_dir, device=device)
   voc_predictor = get_predictor(model_dir=voc_inference_dir, device=device)
   
   # 遍历
   for utt_id, sentence in text_dict.items():
       am_output_data = get_am_output(
           input=sentence,
           am_predictor=am_predictor,
           am="fastspeech2_mix",
           frontend=frontend,
           lang="mix",
           merge_sentences=True,
           speaker_dict=os.path.join(am_inference_dir, "phone_id_map.txt"),
           spk_id=0,
       )
       wav = get_voc_output(voc_predictor=voc_predictor, input=am_output_data)
       # 保存
       sf.write(os.path.join(wav_output_dir, f"{utt_id}.wav"), wav, samplerate=24000)

[RadiantFly]

大佬可以去AIStudio，建一个项目吗，感觉有库冲突等问题

[xiumingyue]

大佬，你写的指令不太对吧，路径中没有config文件啊