English | 简体中文

这个项目是simplekb的重构

介绍

我一直觉得，非结构化数据的处理，离不开结构化思维。一个文档，总有（用户关心的）重点。于是，我们将非结构化数据的重点提取出来，变成结构化数据，让非结构化数据能够更方便的比较，聚合，并且，能够像结构化数据一样脱敏，分享。 正好RAG是一个数据清洗+检索流程，所以基于以上思维做了这个项目。

流程

1.内容提取

2.问答

不足之处

1. 不适合超长文本，或者说超长文本需要做额外的处理
2. 不适合类似法律法规这种条目很多的场景，也需要额外处理

Nacos 配置模板

数据库：

spring:
  datasource:
    url: jdbc:mysql://127.0.0.1:3306/stu_fusion?serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=utf8&characterSetResults=utf8&useSSL=false&allowMultiQueries=true&allowPublicKeyRetrieval=true
    username: root
    password: 123456
    driver-class-name: com.mysql.cj.jdbc.Driver
    hikari:
      max-lifetime: 1800000
      idle-timeout: 600000

LLM:

ai:
  openai:
    model: model-name
    api-key: sk-xx
    base-url: base-url