尽管LLM所取得的进展获得大量的认可,但是实际在使用LLM的仍然存在一些挑战(模型幻觉问题,随意编造答案、模型的知识更新慢且更新成本较高、回答没有参考依据且不透明)。但是引入RAG系统,可以有效缓解LLM存在的一些问题,可以显著增强回答的准确性,可以利用知识的更新、领域知识。但是对于业务的前期探索,从头搭建一个RAG回答系统,任然是一个投入较高的事情,因此,本文主要想提供一个快速构建基于领域知识的RAG智能问答平台。
主要可以对有业务需要的用户提供如下的优势或亮点:
① 提供一个可快速验证、测试的AI智能问答平台,有效降低业务前期的探索成本(找方向);
② 平台内置多种业界主流先进的技术和开源模型,降低业务目标的技术预研成本(找技术);
③ 平台内置多种解决方案,降低业务目标可达性的验证性成本(可行性);
④ 可离线部署、有效保证敏感知识的安全性(数据安全);
实现技术:
1.langchain(pipeline工具)
2.faiss(向量数据库)
3.PDF解析器(后续增加各种文档解析器)
4.模型推理加速工具(vllm)
5.原型快速搭建工具(streamlit)
6.多检索策略(待建设)
7.召回文档二次排序(待建设)