接口增加workers参数，支持修改多进程数量，提高吞吐量和并发处理能力

[v3ucn]

接口增加workers参数，支持修改多进程数量，提高吞吐量和并发处理能力

[v3ucn]

#1722
#1183

[MysticMistM]

大佬，我在v2版本上试了下，有两点疑问：
1）改完之后显存占用大幅提升，原本1个worker占1.5G，改完之后差不多1个worker占2.5-3G显存，2个worker占用5G多显存，这是正常的吗？显存占这么多感觉没有提升效率还不如多开2个程序才占3G显存。
2）没有感觉到多线程推理，测试后还是串行的。完全是按您给的代码改了这两个文件，程序没有报错，运行后看日志配置和模型都加载了两份，但是没有多线程，是我哪里出错了吗？

[Chi8wah]

大佬，我在v2版本上试了下，有两点疑问： 1）改完之后显存占用大幅提升，原本1个worker占1.5G，改完之后差不多1个worker占2.5-3G显存，2个worker占用5G多显存，这是正常的吗？显存占这么多感觉没有提升效率还不如多开2个程序才占3G显存。 2）没有感觉到多线程推理，测试后还是串行的。完全是按您给的代码改了这两个文件，程序没有报错，运行后看日志配置和模型都加载了两份，但是没有多线程，是我哪里出错了吗？

根据 #1557 (comment)
这样只是做到了并发请求，实际到GPU推理的时候还是串行的。

[XXXXRT666]

多worker效率只会更低,想并发建议多卡

[v3ucn]

大佬，我在v2版本上试了下，有两点疑问： 1）改完之后显存占用大幅提升，原本1个worker占1.5G，改完之后差不多1个worker占2.5-3G显存，2个worker占用5G多显存，这是正常的吗？显存占这么多感觉没有提升效率还不如多开2个程序才占3G显存。 2）没有感觉到多线程推理，测试后还是串行的。完全是按您给的代码改了这两个文件，程序没有报错，运行后看日志配置和模型都加载了两份，但是没有多线程，是我哪里出错了吗？

您好，pr里说的并发指的是fastapi的并发，并没有说是模型的并行推理，接口功能并不只是推理，还有动态切模型和动态切参考音频的功能，如果你只针对推理进行优化，可以用docker来分配gpu资源，没必要多卡

[MysticMistM]

大佬，我在v2版本上试了下，有两点疑问： 1）改完之后显存占用大幅提升，原本1个worker占1.5G，改完之后差不多1个worker占2.5-3G显存，2个worker占用5G多显存，这是正常的吗？显存占这么多感觉没有提升效率还不如多开2个程序才占3G显存。 2）没有感觉到多线程推理，测试后还是串行的。完全是按您给的代码改了这两个文件，程序没有报错，运行后看日志配置和模型都加载了两份，但是没有多线程，是我哪里出错了吗？

您好，pr里说的并发指的是fastapi的并发，并没有说是模型的并行推理，接口功能并不只是推理，还有动态切模型和动态切参考音频的功能，如果你只针对推理进行优化，可以用docker来分配gpu资源，没必要多卡

如果一张显卡，多开多个gptsovits是不是可以实现gpu并行推理呀，还需要用docker吗？