Finance-GPT

用于金融领域的智能问答客服

它能做什么？

基础版

金融咨询

• 该模组可以在中国金融语境下，与用户展开关于金融话题的多轮对话，或是为用户解释金融专业的相关知识。如智能金融技术知识回答，情感分析，
• 用到的技术：RAG, 微调
• 用到的数据：爬取维基百科等，网上检索现有数据集（如情感分析），调用大模型根据材料生成问题和答案

金融知识检索问答

• 该模组可以基于金融新闻、研报和相关政策文件为用户提供投资建议、时事分析、政策解读。
• 用到的技术：RAG
• 用到的数据：爬取东方财富网新闻研报等文本材料

增加网络搜索：可以调用浏览器搜索API来生成回答

网页化demo部署展示

用到的技术（InternLM训练营有教程）

RAG（Retrieval Augmented Generation，增强检索生成）

先将金融知识等材料文本向量化处理存储至本地作为数据库，用户进行提问时，将问题向量化，然后算相似度找到最接近的文本材料作为Prompt（提示）来让基础大模型对问题和材料做一个总结性的回答。

• 优点：回答效果较好，准确。
• 缺点：每篇材料不能过长，与基础模型的输入最大token限制有关，可以将材料按内容分块存储。

Lora微调

LORA是一种低资源微调大模型方法，使用LORA，训练参数仅为整体参数的万分之一、GPU显存使用量减少2/3且不会引入额外的推理耗时。基础模型参数锁住不变，增加新参数，使用数据进行微调。

任务分配

• 调研整理
  • 数据集整理
    • JSON问答数据集进行微调，每类问答问题尽量多
    • 
      • huggingface高质量金融类数据集进行翻译
      • github等网站
      • 东方财富等网站收集数据，使用大模型进行整理问答对。
    • 文档类材料数据集用于RAG，需要准确度比较高的数据，如金融专业知识。
      • 
      • 东方财富
      • 维基百科
      • github等网站
  • 模型多卡并行微调（重要），模型量化压缩等技术的调研。
• 模型训练，部署，测试效果，随时更新。

进阶版功能（时间允许再做）

将基础版金融助手部署到微信群（InternLM有教程）

支持云端多模型调用（Kimi，GPT-4等），InternLM有教程

调用简单的数据分析Agent，能画图。

增加多类数据集再微调

• 量化预测
• 欺诈识别