Skip to content

Commit ed7d96e

Browse files
committed
add terminal infer image
1 parent d0be452 commit ed7d96e

File tree

3 files changed

+6
-1
lines changed

3 files changed

+6
-1
lines changed

.DS_Store

0 Bytes
Binary file not shown.

README.md

+6-1
Original file line numberDiff line numberDiff line change
@@ -152,13 +152,18 @@ deepspeed \
152152
```
153153

154154
### 推理
155+
你可以在该命令行中进行模型推理对话,输入 `clear` 可以清空对话历史,输入 `exit` 终止推理对话。
156+
<p width="100%">
157+
<img src="image/terminal_case.jpeg" alt="命令行推理" style="width: 100%; min-width: 200px;">
158+
</p>
155159

160+
启动命令行模型推理命如下:
156161
#### 单卡推理
157162

158163
```
159164
CUDA_VISIBLE_DEVICES=0 python infer.py --model_path ${MODEL_DIR}
160165
```
161-
166+
你可以在该命令行中进行模型推理对话,输入 `clear` 可以清空对话历史,输入 `exit` 终止推理对话。
162167
#### 多卡推理
163168

164169
```

image/terminal_case.jpeg

141 KB
Loading

0 commit comments

Comments
 (0)