千问3-8B 私有化部署方案(vLLM 方式启动)

张开发
2026/4/13 20:20:52 15 分钟阅读

分享文章

千问3-8B 私有化部署方案(vLLM 方式启动)
千问3-8B此部署方式缺陷流式返回无法调用工具1. 一键安装 vLLMpipinstallvllm-ihttps://pypi.org/simple/--timeout1002. 一键启动模型服务nohuppython-mvllm.entrypoints.openai.api_server--model/hy-tmp/models/Qwen/Qwen3-8B--host0.0.0.0--port8080--trust-remote-code --gpu-memory-utilization0.85vllm.log213. 验证服务是否成功curlhttp://127.0.0.1:8080/v1/models返回模型信息 启动成功✅LangGraph 直接对接无需改代码llmChatOpenAI(modelqwen3-8b,api_keydummy,base_urlhttp://localhost:8080/v1)

更多文章