使用cube-volcano
更新時間 2025-01-17 15:31:00
最近更新時間: 2025-01-17 15:31:00
分享文章
本節介紹了 使用cube-volcano的用戶指南。
插件簡介
Volcano調度器是一個基于Kubernetes的批處理平臺,提供了機器學習、深度學習、生物信息學、基因組學及其他大數據應用所需要而Kubernetes當前缺失的一系列特性。
Volcano提供了高性能任務調度引擎、高性能異構芯片管理、高性能任務運行管理等通用計算能力,通過接入AI、大數據、基因、渲染等諸多行業計算框架服務終端用戶。(目前Volcano項目已經在Github開源)
Volcano針對計算型應用提供了作業調度、作業管理、隊列管理等多項功能,主要特性包括:
豐富的計算框架支持:通過CRD提供了批量計算任務的通用API,通過提供豐富的插件及作業生命周期高級管理,支持TensorFlow,MPI,Spark等計算框架容器化運行在Kubernetes上。
高級調度:面向批量計算、高性能計算場景提供豐富的高級調度能力,包括成組調度,優先級搶占、裝箱、資源預留、任務拓撲關系等。
隊列管理:支持分隊列調度,提供隊列優先級、多級隊列等復雜任務調度能力。
項目開源地址://github.com/volcano-sh/volcano
前置條件
安裝cube-volcano插件
使用示例
修改調度器配置
查看調度配置,默認開啟binpack插件
修改volcano調度器配置,增加binpack得分權重,減少其他調度插件的影響
調整日志級別,查看更詳細的日志
創建驗證負載任務并且指定使用volcano調度器
可查看負載的YAML,確認scheduleName已設置為volcano
從控制臺查看調度器日志,得知各節點的得分
從日志中知道得分最高的節點,查看pod綁定節點,預期綁定的是最高得分的節點