概述
概述 阿里巴巴開源的新一代通義千問模型Qwen2.5,在部分公開基準測試中表現優異。其創新的“混合推理”架構,將“快思考”與“慢思考”集成于同一個模型。對于簡單問題,模型可以低算力快速響應;對于復雜問題,則可啟動多步驟深度思考,旨在實現算力消耗與回答質量的平衡。
本最佳實踐將指導您如何在應用托管平臺的應用市場中,快速部署應用,并對外提供API調用服務,方便您即刻體驗,開箱即用。
前置說明
該文檔為應用托管平臺控制臺通過應用市場以推理api形態體驗 Qwen3的說明,通過應用托管平臺控制臺,打開應用市場,創建對應的Qwen3推理api應用,使用 web 界面和 Qwen3 推理對話,Qwen3推理api應用支持8b、14b、32b不同參數量的模型體驗。
本產品中的模型由第三方主體提供,盡管云公司已盡最大努力進行識別和維護,但仍無法保證模型的可用性。請客戶按照該產品的服務協議使用該產品,做好甄別并對自行選擇的服務負責。
使用前準備
天翼云賬號注冊:使用應用托管平臺須具備天翼云官網賬號。已有天翼云賬號的直接登錄即可,如無天翼云賬號需先注冊,注冊流程可參考:注冊賬號。
使用前提:如需使用服務請先完成實名認證,請參考賬號中心-實名認證。如需使用按需服務,請確認賬號余額≥100 元。
操作指引
部署Qwen3應用
訂購應用
登錄應用托管控制臺,選擇左側的應用市場點擊進入頁面。
在應用市場頁面,選擇目標應用,點擊【開啟應用】,進入應用部署頁面。
輸入API_KEY,選擇訪問策略及公網訪問,勾選同意用戶協議,點擊【開啟應用】,支付訂單,即可完成Qwen3服務部署。
服務詳情查看
進入應用托管租戶控制臺。
選擇【應用實例】,進入應用實例列表頁面。
刷新應用實例列表,等待新創建的應用進入到【運行中】狀態后點擊實例名稱,進入實例詳情頁面。
服務調用
準備工作
API調用地址(base_url):在應用托管租戶控制臺,進入【應用實例】,進入應用詳情,在訪問信息模塊,獲取"外網地址”,API調用地址格式為“//{外網地址}/v1/”
API認證(api_key):在應用托管租戶控制臺,進入【應用實例】,進入應用詳情,點擊查看配置,獲取的api_key。
模型名稱:qwen3:32b,qwen3:8b
使用python代碼調用api接口
準備python代碼
from openai import OpenAI import httpx c = httpx.Client() client = OpenAI( base_url='', # 準備工作的base_url api_key='', # 準備工作的api_key, http_client=c ) stream=False completion = client.chat.completions.create( messages=[ { 'role': 'user', 'content': '你是誰', } ], model="",準備工作的模型名稱 stream=stream ) if stream: output_text = '' for chunk in completion: # print(chunk.choices[0].delta.content,end='') print(chunk.choices[0].delta.content or "", end="") content= chunk.choices[0].delta.content if content: # 檢查 content 是否為 None output_text +=content print('\n','*'*100) print('接收到內容:\n',output_text) else: print(completion) print(completion.choices[0].message)執行python代碼,Qwen3將給出答復
使用anythingllm連接api服務
下載anythingllm桌面端程序并安裝。
打開anythingllm程序,選擇模型提供方【Generic OpenAI】。
輸入baseURL:準備工作的base_url,APIKey:準備工作的api_key,Chat Model Name:準備工作的模型名稱,Token context windows大小,完成模型提供方配置。
輸入問題,并發送問題,Qwen3將給出答復。
使用Dify v1.8.1連接api服務
部署dify v1.8.1,選擇OpenAI-API-compatible插件進行安裝。
點擊系統配置,添加模型。
輸入API endpoint URL:準備工作的base_url,API Key:準備工作的api_key,API endpoint中的模型名稱:準備工作的模型名稱,完成模型提供方配置。
返回工作室,創建空白應用。
選擇聊天助手,輸入應用名稱,提交創建。
輸入問題,并發送問題,Qwen3將給出答復。