Support CPU training, use CPU on macOS

[Lion-Wu]

Support CPU training.

In addition, according to #686, models trained with GPU on Macs result in lower quality, and I can also reproduce that.
This is the CPU model:

video_with_audio_2.mp4

And this is the mps model:

video_with_audio_1.mp4

Performance

batch size: 16
CPU:

• So-VITS: about 8s/it
• GPT: about 0.6 it/s

mps:

• So-VITS: about 2s/it
• GPT: about 4it/s

So I advise to use CPU training on Macs.
Using CPU also "fixes" the memory leak issues, and now all Macs (or almost every computer) can do training.

We can add mps support once the problem is solved.

I haven't tested it on other computers, but it should run on non-GPU devices.

[RVC-Boss]

可以，虽然慢，但是好歹能听。目前都是m2有问题吗，还是所有m都有问题@Lion-Wu

[XXXXRT666]

M2，我测试下来也是CPU训练好用

[XXXXRT666]

M2 8G去测试了一下不同bs 以及不同精度的速度，sovits训练bs可以调大，bs8时仍在使用统一内存，但是速度受制于算力，跟bs4速度无差别，fp32速度和fp16无差别。GPT训练必须fp32，16-mixed和16会导致速度在0.01-0.03it/s上下波动，但比较奇怪的是性能也没吃满（下图），也许是精度特性，训练速度也受制于算力。

[Lion-Wu]

可以，虽然慢，但是好歹能听。目前都是m2有问题吗，还是所有m都有问题@Lion-Wu

应该是只要是mps就会出问题，我 M1 也是这样 @RVC-Boss

[Lion-Wu]

M2 8G去测试了一下不同bs 以及不同精度的速度，sovits训练bs可以调大，bs8时仍在使用统一内存，但是速度受制于算力，跟bs4速度无差别，fp32速度和fp16无差别。GPT训练必须fp32，16-mixed和16会导致速度在0.01-0.03it/s上下波动，但比较奇怪的是性能也没吃满（下图），也许是精度特性，训练速度也受制于算力。

所以现在先用全精度好了，等pytorch、mps优化好了再加上