[Question]: GPU is not used when using ollama?

[stevenhe1988]

Describe your problem

平台：Windows 11 + RAGFlow 0.17.0 Full
问题：使用命令行+Ollama 推理时，模型被加载到GPU使用，但通过RAGFlow 调用 Ollama模型解析文档时，模型被加载到CPU+内存。OCR解析文档的模型使用的是 minicpm-v:latest 模型文件大小 5.5GB

模型被加载到CPU+内存而不是GPU 会导致稍大的文件（比如30多MB的PDF文件）解析时因内存不足而entrypoint.sh 被kill，而且目前WINDOWS 11上的WSL2最多只能设置为系统内存的50%，无法调大docker可用内存

---

[Update]
使用ollama模型提取知识图谱时可以将模型加载到GPU使用，此时使用的模型是deepseek-r1:7b-qwen-distill-q4_K_M 模型文件大小4.7GB

[stevenhe1988]

OK I solved it by delete and re-add the model...

[stevenhe1988]

@KevinHuSh 抱歉请帮忙reopen issue，我注意到仍然存在问题：
情况似乎是：

当文档解析器显示为如下时，会用GPU

当文档显示为如下时，不会使用GPU

[xiaowuzicode]

我也遇到这个问题了，测试多次后发现不要使用ollama run手动启动大模型，ollama stop 模型后，直接通过ragflow聊天的时候 让它调用的时候启动就对了。使用了GPU

[kirenrrr]

你好，我想问一下，解析完成后通过创建助手聊天时，一直用的是集显，而独显没启动，如何解决？

[stevenhe1988]

我也遇到这个问题了，测试多次后发现不要使用ollama run手动启动大模型，ollama stop 模型后，直接通过ragflow聊天的时候 让它调用的时候启动就对了。使用了GPU

感谢分享，我发现我的情况和你的不太一样..我意外的发现，我之前说的“模型加载到内存运行"这个想法其实是错误的...因为我执行的ollama ps，发现ollama没有模型在运行，我也不知道是把什么东西加载到内存里了...感觉像是 前端选择的模型 和 实际调用的模型不一致

[QinWeijia111]

我也遇到这个问题了，测试多次后发现不要使用ollama run手动启动大模型，ollama stop 模型后，直接通过ragflow聊天的时候 让它调用的时候启动就对了。使用了GPU

感谢分享，我发现我的情况和你的不太一样..我意外的发现，我之前说的“模型加载到内存运行"这个想法其实是错误的...因为我执行的ollama ps，发现ollama没有模型在运行，我也不知道是把什么东西加载到内存里了...感觉像是 前端选择的模型 和 实际调用的模型不一致

您好我想请问一下问题解决了吗，我目前也遇到了这个问题，我在解析文档的时候速度很慢，而且也没有调用GPU，不知道该如何解决