LLMToolKits

一个面向本地/私有化环境的 LLM 工具集示例，包含：

• 启动 vLLM 提供 OpenAI 兼容接口
• 通过 OpenAI SDK 调用本地 Embedding/Chat 模型
• 基于 LangChain + FAISS 的简单 RAG 示例
• 读取 Parquet 数据的小工具

目录结构

.
├── data/
│   └── train-00000-of-00001-090b52ccb189d47a.parquet
├── scripts/
│   └── run_vllm_serve.sh              # 启动 vLLM 的脚本（Qwen3-8B）
├── src/
│   └── RAG/
│       └── rag_simplewiki.py          # 简单 RAG 示例（SimpleWiki 子集）
├── test/
│   ├── test_vllm_qwen_embedding.py    # 通过 OpenAI Embeddings API 调用本地向量模型
│   └── test_vllm_qwen.py              # （存在于仓库）调用对话模型的测试
├── utils/
│   └── read_data_parquet.py           # 读取 Parquet 的小工具
└── README.md

环境与依赖

pip install -U \
  openai \
  pandas \
  pyarrow \
  prompt_toolkit \
  faiss-cpu \
  langchain \
  langchain-community \
  langchain-huggingface \
  langchain-openai

# 如需推理服务：
pip install -U vllm

致谢

• vLLM
• LangChain
• Qwen