在這篇文章中，我們將介紹如何在Serverless集群上快速部署FastChat應用。您可以選擇使用控制臺或kubectl來完成應用部署，隨后即可通過外部端點訪問FastChat。

前提條件

已開通Serverless集群，并且能通過公網訪問集群。

背景信息

Serverless集群兼容原生Kubernetes語義和API，您可以在Serverless集群中輕松創建Deployment、StatefulSet、Service、Ingress、PersistentVolume、ConfigMap或CRD等資源。此外，您也可以使用Helm部部署和管理復雜的Kubernetes應用程序的生命周期。

FastChat介紹

FastChat是一個用于訓練、部署和評估基于大型語言模型的聊天機器人的開放平臺。其核心功能包括：最先進模型的權重、訓練代碼和評估代碼（例如Vicuna、FastChat-T5）；基于分布式多模型的服務系統，具有Web界面和與OpenAI兼容的RESTful API。

注意
天翼云不對第三方模型“FastChat”的合法性、安全性、準確性進行任何保證，天翼云不對由此引發的任何損害承擔責任。
您應自覺遵守第三方模型“FastChat”的用戶協議、使用規范和相關法律法規，并就使用第三方模型的合法性、合規性自行承擔相關責任。

操作步驟

創建FastChat應用

您可以通過控制臺部署FastChat應用，也可以通過kubectl工具連接Serverless集群來創建FastChat應用。

1. 登錄管理控制臺，在左側菜單欄選擇“集群”。
2. 在集群列表頁面，選擇目標集群名稱，然后在左側菜單欄，選擇“工作負載 ”下的“無狀態”，選擇“創建Deployment”。

3. 在創建Deployment頁面，填寫負載類型、負載名稱、命名空間、實例數量等。
4. 在容器配置的基本信息中填寫容器名稱、鏡像、鏡像版本、CPU/內存配額限制等。

注意
FastChat鏡像要提前上傳到容器鏡像服務的鏡像倉庫中，點擊選擇鏡像選擇FastChat鏡像即可。

5. 在容器配置的生命周期中點擊“啟動命令”，添加啟動執行命令。

6. 在容器配置的健康檢查中點擊“就緒探針”并開啟，按需進行相應配置。

7. 在訪問設置項，點擊“開啟Service”，設置服務相關參數，通過該服務公開FastChat應用。

注意
需要提前手工創建ELB。

8. 點擊“提交”，返回到如下頁面表示創建成功，等待Deployment的副本Pod運行起來即可。

訪問服務

1. 登錄管理控制臺，在左側菜單欄選擇“集群”。
2. 在集群列表頁面，選擇目標集群名稱，然后在左側菜單欄，選擇“網絡”下的服務“服務”。
3. 在訪問方式看到可以通過集群內訪問或者集群外訪問。