本地大语言模型环境搭建

1.环境安装

1.1 vllm 安装

pip install vllm

1.2 模型下载魔塔社区或者hugging face

以Qwen2.5模型为例

1.3 以OPEN_AI的接口方式来开放服务

python3 -m  vllm.entrypoints.openai.api_server --model  Qwen/Qwen2.5-7B-Instruct/  --served-model-name Qwen2  > log

vllm.entrypoints.openai.api_server 表示按照openai的接口来开放服务 启动成功后 在浏览器中输入 http://127.0.0.1:8000/docs#/ 就可以看到对应的开放的接口

2. 验证

使用langchain来访问服务

from langchain_openai import OpenAI
from env import OPENAI_API_KEY, OPENAI_BASE_URL, MODEL_NAME

if __name__ == "__main__":
    llm = OpenAI(api_key=OPENAI_API_KEY, base_url=OPENAI_BASE_URL,
                   model=MODEL_NAME,
                   temperature=0,
                   max_retries=2)
    input_text = "Qwen是一个基于 "
    result = llm.invoke(input_text)
    print(result)