背景信息

本文介紹如何在智算容器引擎加載 蒸餾模型。

前提條件

• 已開通包含GPU節點的Kubernetes集群。

• 已安裝智算套件。

添加GPU節點

點擊左側【節點】->【節點池】，點擊【創建節點池】。若集群已有GPU資源，請忽略。

在規格中可選擇【x86計算】或【彈性裸金屬服務器】中的【GPU計算加速型】或【GPU型】，節點池創建成功后，進入節點池列表，擴容節點至期望的節點數量。

操作步驟

• 進入云容器引擎控制臺。

• 點擊左側【集群】進入集群列表。

• 點擊使用的集群名稱，進入集群。

• 點擊左側【工作負載】->【自定義資源】，選擇資源瀏覽器，找到apps/v1/Deployment，選擇命名空間，點擊新增。

• 在創建yaml中，填入以下GPU模板信息后點擊【創建】。

GPU模板

apiVersion: apps/v1
kind: Deployment
metadata:
  name: deep-seek
spec:
  replicas: 1
  selector:
    matchLabels:
      app: deepseek
  template:
    metadata:
      labels:
        app: deepseek
    spec:
      containers:
      - name: deepseek
        image: {image_repo}/open-source/open-webui-deepseek-r1:7b
        # 模型大小 -> gpu顯存大小
       #   7b -> 16GB
        env:
        - name: AIOHTTP_CLIENT_TIMEOUT_OPENAI_MODEL_LIST
          value: "1"
        - name: ENABLE_OPENAI_API
          value: "false"
        resources:
          requests:
            nvidia.com/gpu: 1
          limits:
            nvidia.com/gpu: 1

NPU模版

apiVersion: apps/v1
kind: Deployment
metadata:
  name: deep-seek
spec:
  replicas: 1
  selector:
    matchLabels:
      app: deepseek
  template:
    metadata:
      labels:
        app: deepseek
    spec:
      containers:
      - name: deepseek
        image: {image_repo}/open-source/open-webui-deepseek-r1:7b
        # 模型大小 -> gpu顯存大小
       #   7b -> 16GB
        env:
        - name: AIOHTTP_CLIENT_TIMEOUT_OPENAI_MODEL_LIST
          value: "1"
        - name: ENABLE_OPENAI_API
          value: "false"
        resources:
          requests:
            huawei.com/Ascend910: 1
          limits:
            huawei.com/Ascend910: 1

• 查看運行狀態：點擊左側【工作負載】->【容器組】，找到任務名為前綴的容器，點擊名稱，查看日志/監控等信息是否符合預期。

• 創建服務：點擊左側【網絡】->【服務】，選擇對應命名空間，點擊【創建服務】。

• 填好后點擊右下角【提交】。

• 在【網絡】->【服務】中，找到上一步創建的service外網地址，在瀏覽器中訪問，按照提示操作。

返回 DeepSeek專題導航。