Open
Description
> 感谢,你的反馈,关于例子我们有版本更新,你看的是中文版本的readme中确实没有更新,请先参考英文文档,我立刻更新。 另外,调用小模型的例子目前采用的是vllm的方案,用户可以本地部署vllm模型拉起,具体参考:https://github.com/modelscope/modelscope-agent/blob/master/docs/local_deploy.md 可以参考本地部署的文档,将模型部署成服务的方式。
同时,我们也会持续增加使用case。
感谢你的回复。我这里的需求应该没有这么复杂,也不需要gradio的UI,只是想使用modelscope上已有的模型,比如Qwen-7B之类的,通过直接下载的方式将模型下载到本地(这个是可以完成的),然后跑一个简单的比如天气查询或者图像生成之类的任务。现在看起来modelscope上的模型因为没有实现_chat_stream
方法而没有办法运行。
Originally posted by @douyh in #353 (comment)