部署:vLLM + Open WebUI

发表于2025-07-03|更新于2025-07-04|note

|总字数:111|阅读时长:1分钟|浏览量:

创建虚拟环境：
conda create -n open-webui python==3.11
安装所有依赖：

conda activate open-webui pip install -U open-webui vllm torch transformers

运行 vllm(使用微调后的模型)：

vllm serve /root/autodl-tmp/code/work_dirs/qwen1_5_1_8b_chat_qlora_alpaca_e3/merged

运行open-webui

export HF_ENDPOINT=https://hf-mirror.com
export ENABLE_OLLAMA_API=False 
export OPENAI_API_BASE_URL=http://127.0.0.1:8000/v1
export DEFAULT_MODELS=
"/root/autodl-tmp/code/work_dirs/qwen1_5_1_8b_chat_qlora_alpaca_e3/merged"
open-webui serve --host 0.0.0.0 --port 8081