support locally deployed LLM???

[SevenMpp]

Whether to support locally deployed LLM???

[min918]

需要改很多代码。。。

[forthcoming]

注释掉68 - 72行,新增73 - 74行即可

[SevenMpp]

非常感谢

[SevenMpp]

注释掉68 - 72行,新增73 - 74行即可

您好，可是您这个还是调用openai的接口和使用他的key , 如果我期望使用的是 本地部署的 比如 qwen， mate等本地部署的模型，应该如何做，并且本地可能就需要使用key

[SevenMpp]

需要改很多代码。。。

您有尝试过修改吗

[forthcoming]

注释掉68 - 72行,新增73 - 74行即可

您好，可是您这个还是调用openai的接口和使用他的key , 如果我期望使用的是 本地部署的 比如 qwen， mate等本地部署的模型，应该如何做，并且本地可能就需要使用key

他们不都是用的openai么, 你改成你自己本地的key就行了,参考这个https://github.com/QwenLM/Qwen2.5

[min918]

需要改很多代码。。。

您有尝试过修改吗

修改好了，改成本地调用ollama接口。你自己试着改一下呗，微调一下AzureMetaLlamaClient相关

[leichangqing]

我提交了PR， 增加了ollama client

[Jinyu-W]

Hi all,

So far, we have provided the Client class for AzureOpenAIClient, AzureMetaLlamaClient, and HFMetaLlamaClient (you can find them under pikerag/llm_client/). If you need to use locally hosted models or other platforms, please inherit from the pikerag.llm_client.BaseLLMClient class.

We'll also work on PR 24 leichangqing mentioned above and try to merge it to the main branch.