本地search的pipeline

[lucky1day]

知识库的从构建、解析、分块、向量、检索的pipeline，最终只希望提供一个search API作为工具；
不知是否能提供这样一个pipeline

[dosubot]

Hi @lucky1day! I'm Dosu and I’m helping the Langchain-Chatchat team.

Langchain-Chatchat 已经实现了本地知识库检索的完整 pipeline，包括知识库的构建、解析、分块、向量化（embedding）、检索等步骤，并且通过统一的 search API 作为工具对外暴露，无需关心底层细节。你只需调用统一的 search API 即可完成本地知识库的检索需求。

核心流程如下：

1. 构建/上传：通过 upload_docs、update_docs、recreate_vector_store 等 API 上传文件，自动完成文件保存、解析、分块（chunk_size、chunk_overlap 可配置）、embedding 生成和向量存储。
2. 检索：通过 search_docs、search_local_knowledgebase 等 API，输入 query 和知识库名，底层会自动完成向量检索并返回相关文档，支持 top_k、score_threshold 等参数。
3. 统一接口：如 search_local_knowledgebase 工具和 search_knowledgebase_simple 函数，已将检索流程封装为单一 API，参数简洁，便于集成和调用。

配置项（如分块长度、重叠长度、检索数量、相关度阈值等）可在 settings.py 统一调整，支持多种向量库（faiss、milvus、es、chromadb 等）参考。

流程示意图：

graph LR
    A["文件上传/保存"] --> B["文档解析与分块"]
    B --> C["Embedding 生成"]
    C --> D["向量存储"]
    D --> E["相似度检索"]
    E --> F["统一 Search API 返回结果"]

Loading

简单用法举例：

• 通过 API 上传文档并自动入库、分块、向量化。
• 通过 search_local_knowledgebase(database, query) 或 /search_docs API 查询，直接返回相关内容和分数，无需关心底层实现。参考

如需更详细的参数或二次开发，可以参考 KBServiceFactory、KBService 及其子类（如 ESKBService、MilvusKBService）的实现。参考

如果你只需要一个统一的 search API 工具，直接用 search_local_knowledgebase 或相关 API 即可满足需求。

To reply, just mention @dosu.

---

^{How did I do? Good | Irrelevant | Incorrect | Verbose | Hallucination | Report 🐛 | Other}    

[lucky1day]

我只需要在本地基于这个项目作为二次开发，但是目前这个项目包装得太好了，无法清洗得理解整个pipeline的组装