Ollama多模型部署完全指南：Llama/Qwen/GLM统一管理与GPU优化（2026最新）

1
                    ┌─────────────────┐
2
                    │   Open WebUI    │
3
                    │   (统一界面)     │
4
                    └────────┬────────┘
5
                             │
6
                    ┌────────▼────────┐
7
                    │  Ollama Server  │
8
                    │  (API: 11434)   │
9
                    └────────┬────────┘
10
                             │
11
        ┌────────────┬───────┼───────┬────────────┐
12
        ▼            ▼       ▼       ▼            ▼
13
   ┌─────────┐ ┌─────────┐ ┌─────┐ ┌─────┐  ┌─────────┐
14
   │ Llama3.3│ │ Qwen2.5 │ │GLM-4│ │Phi-3│  │DeepSeek │
15
   │  70B    │ │  72B    │ │ 9B  │ │mini │  │  V3     │
16
   └─────────┘ └─────────┘ └─────┘ └─────┘  └─────────┘
17
        │           │         │       │          │
18
        ▼           ▼         ▼       ▼          ▼
19
   ┌─────────────────────────────────────────────────────┐
20
   │              GPU 显存池 / CPU 内存池                  │
21
   └─────────────────────────────────────────────────────┘

1
# Modelfile
2
FROM qwen2.5:7b
3

4
# 系统提示
5
SYSTEM """
6
你是一个专业的中文AI助手，回答问题时使用简洁清晰的中文。
7
"""
8

9
# 参数调整
10
PARAMETER temperature 0.7
11
PARAMETER top_p 0.9
12
PARAMETER num_ctx 8192
13
PARAMETER stop "<|im_end|>"
14

15
# 模板
16
TEMPLATE """
17
{{ if .System }}<|im_start|>system
18
{{ .System }}<|im_end|>
19
{{ end }}<|im_start|>user
20
{{ .Prompt }}<|im_end|>
21
<|im_start|>assistant
22
"""

1
from openai import OpenAI
2

3
client = OpenAI(
4
    base_url="http://localhost:11434/v1",
5
    api_key="ollama"  # 任意值即可
6
)
7

8
response = client.chat.completions.create(
9
    model="qwen2.5:7b",
10
    messages=[
11
        {"role": "user", "content": "解释机器学习"}
12
    ]
13
)
14
print(response.choices[0].message.content)

1
from langchain_community.chat_models import ChatOllama
2
from langchain_core.prompts import ChatPromptTemplate
3

4
# 初始化模型
5
llm = ChatOllama(
6
    model="qwen2.5:7b",
7
    temperature=0.7
8
)
9

10
# 创建提示模板
11
prompt = ChatPromptTemplate.from_messages([
12
    ("system", "你是一个专业的中文助手。"),
13
    ("user", "{input}")
14
])
15

16
# 创建链
17
chain = prompt | llm
18

19
# 调用
20
response = chain.invoke({"input": "什么是大模型？"})
21
print(response.content)

1
from llama_index.llms.ollama import Ollama
2
from llama_index.core import VectorStoreIndex, SimpleDirectoryReader
3

4
# 加载文档
5
documents = SimpleDirectoryReader("./data").load_data()
6

7
# 初始化 Ollama
8
llm = Ollama(model="qwen2.5:7b", request_timeout=60.0)
9

10
# 创建索引
11
index = VectorStoreIndex.from_documents(documents, llm=llm)
12

13
# 查询
14
query_engine = index.as_query_engine(llm=llm)
15
response = query_engine.query("文档的主要内容是什么？")
16
print(response)

1
import requests
2

3
class MultiModelRouter:
4
    def __init__(self):
5
        self.models = {
6
            "chinese": "qwen2.5:7b",
7
            "code": "deepseek-coder-v2:16b",
8
            "english": "llama3.3:70b",
9
            "vision": "llava:13b"
10
        }
11

12
    def chat(self, query_type, message):
13
        model = self.models.get(query_type, "qwen2.5:7b")
14

15
        response = requests.post(
16
            "http://localhost:11434/api/chat",
17
            json={
18
                "model": model,
19
                "messages": [{"role": "user", "content": message}],
20
                "stream": False
21
            }
22
        )
23
        return response.json()["message"]["content"]
24

25
# 使用
26
router = MultiModelRouter()
27
print(router.chat("chinese", "你好"))
28
print(router.chat("code", "写一个快速排序"))

1
services:
2
  ollama-main:
3
    image: ollama/ollama
4
    ports:
5
      - "11434:11434"
6
    environment:
7
      - CUDA_VISIBLE_DEVICES=0
8
    volumes:
9
      - ollama-data:/root/.ollama
10
    deploy:
11
      resources:
12
        reservations:
13
          devices:
14
            - driver: nvidia
15
              device_ids: ['0']
16

17
  ollama-code:
18
    image: ollama/ollama
19
    ports:
20
      - "11435:11434"
21
    environment:
22
      - CUDA_VISIBLE_DEVICES=1
23
    volumes:
24
      - ollama-code-data:/root/.ollama
25
    deploy:
26
      resources:
27
        reservations:
28
          devices:
29
            - driver: nvidia
30
              device_ids: ['1']
31

32
volumes:
33
  ollama-data:
34
  ollama-code-data:

1
upstream ollama_backend {
2
    server localhost:11434;
3
    server localhost:11435;
4
    server localhost:11436;
5
}
6

7
server {
8
    listen 8080;
9

10
    location / {
11
        proxy_pass http://ollama_backend;
12
        proxy_set_header Host $host;
13
        proxy_set_header X-Real-IP $remote_addr;
14
    }
15
}

1
□ 安装 Ollama 并配置环境变量
2
□ 下载所需模型（Qwen2.5 + GLM-4 + DeepSeek-Coder）
3
□ 配置 GPU 加速
4
□ 部署 Open WebUI 统一界面
5
□ 配置 API 服务化
6
□ 集成 LangChain/LlamaIndex（按需）
7
□ 设置多模型路由（按需）
8
□ 配置性能监控
9
□ 测试备份与恢复