单机多卡指定gpu推理

[mohhao]

使用单机8卡的机器，指定"cuda_ep_cfg.gpu_id": 为0,1,2,3,4,5,6,7，最后还是只会只用0号gpu推理，请问多卡的正确用法是什么呀

torch gpu

input_args = RapidTableInput(
model_type=ModelType.UNITABLE,
engine_cfg={"use_cuda": True, "cuda_ep_cfg.gpu_id": 1},
)