全部文章Ta的評論
- 本文介紹在DeepSeek小參數量蒸餾模型部署需求下，如何使用天翼云自研GPU虛擬化技術對單塊GPU卡進行切分，實現算力及顯存資源的最大利用。c****d2025-02-184774
- Docker 是一個開源的容器化平臺，用于簡化軟件的部署、管理和交付。它通過將應用程序及其依賴項打包到一個可移植的容器中，解決了許多軟件開發和運維中的挑戰。本文主要講述Docker鏡像的制作和修改，以及Docker常用的幾類操作。并附以具體的命令代碼，以供讀者的參考和學習。c****d2024-08-30910
- 本文探討了CUDA中數值精度對計算性能和模型規模的影響，特別是在GPU加速計算環境中。文章首先概述了GPU的并行計算能力和深度學習對數值精度的需求，隨后介紹了與數值精度相關的基礎概念，包括浮點數據的存儲結構、高精度數據以及低精度數據的定義。進一步分析了高精度數據類型如double和fp32，以及在AI領域中越來越受到重視的低精度數據類型，如fp16、fp8以及fp4格式。最后對PyTorch框架中的數值精度屬性進行了代碼驗證分析。c****d2024-08-28851
- 詳細介紹了大語言模型中常用的解碼策略，涵蓋了基礎解碼和高級解碼兩大類。在基礎解碼部分，文章闡述了貪心算法、Beam Search和采樣等經典方法的原理和特點。在高級解碼部分，探討了一些最新的創新策略，包括投機采樣、美杜莎解碼和對比解碼等。c****d2024-08-091563
共 4 條
- 1
頁
沒有更多了
個人簡介
暫未填寫公司和職務
暫未填寫個人簡介
暫未填寫技能專長
暫未填寫畢業院校和專業
個人成就
共發表過 4 篇文章
文章獲得 8 次贊同
文章被瀏覽 809 次
獲得 0 人關注
個人榮譽查看規則
