概述
本最佳實踐主要描述通過一站式智算服務平臺進行全流程圖像分類的AI開發。數據處理工程師,算法工程師,模型和服務管理人員都可以在平臺上完成所需的工作,各角色的工作成果可無縫銜接。平臺提供了數據集管理、模型開發與訓練管理、模型管理、模型部署等功能模塊。如果用戶具備工程開發能力,可以通過在線IDE編碼工具自行編寫代碼,使用平臺提供的CPU、GPU算力來運行代碼、訓練模型。在線IDE編碼工具支持用戶切換各種算法框架和環境,免去用戶重新安裝的時間。工程師開發完成的代碼可以保存到模型倉庫進行統一的模型管理。
方案優勢
降低建模成本:一站式智算服務平臺為用戶帶來了便利,通過平臺,用戶無需進行任何額外的配置或調試,開箱即用。平臺預置了豐富的預訓練模型和鏡像環境,針對不同場景提供了多樣化預置數據集,確保用戶能夠迅速投入工作。
多角色功能集成:集成化的平臺化工具可以將數據標注員、算法、工程化角色都容納在平臺上,提供從數據處理、模型開發、模型訓練到模型部署應用的全棧服務。
平臺化全流程管理:管理者統一管理和查看,讓各角色參與者完美的串聯協同工作,實現數據互通、環境互通,且保障數據和模型安全、不出平臺,實現訓練開發資產的一站式沉淀與管理,提升企業工作效率,實現流水線式AI生產。
前置條件
注意
本方案僅作為實踐演示,具體環境以用戶實際需求為準。
執行本文操作之前, 請完成以下準備工作:
注冊天翼云賬號,并完成實名認證。
天翼云賬戶余額需要大于100元。
為了便于演示,本文中涉及資源開通時,均默認選擇按量付費模式。
實踐步驟
數據集管理
采用Kaggle上的猴子數據集(獲取地址//www.kaggle.com/slothkong/10-monkey-species),包含兩個文件:訓練集和驗證集。每個文件夾包含10個標記為n0-n9的猴子。圖像尺寸為400x300像素或更大,并且為JPEG格式(約1400張圖像)。
進入一站式智算服務平臺,進入數據集管理模塊,點擊創建數據集,上傳壓縮包,導入方式為本地壓縮包導入,數據集標注狀態“無標注信息”。
創建VSCode
進入模型開發與訓練模塊,選擇開發機,點擊【VSCode】>【創建VSCode】,根據實際需求選擇合適的運行環境。
創建完成后,在VSCode列表操作列點擊【啟動】,啟動完成后,點擊【打開】。
將本地的訓練Python文件(
.py)復制到指定的文件夾下(/work/model)。找到已上傳的數據集,修改數據集對應的位置。
模型訓練
啟動訓練任務。
訓練監控,進入訓練任務管理,可以看到訓練任務的狀態、日志、訓練曲線等。
模型測試
將本地的測試Python文件(
.py)復制到指定的文件夾下(/work/model)。查看每一類的分類結果。
查看分類評價指標precision,recall和f1-score等。
查看混淆矩陣。