全(quan)部文章Ta的評論
- 改變預訓練模型的行為方式——例如，提高它們在下游任務中的表現或減輕在訓練前學習到的偏見——是開發機器學習系統時常見的一種做法。在這項工作中，我們提出了一個新的范式來指導神經網絡的行為。一個任務向量指定了一個預先訓練過的模型的權重空間中的一個方向，這樣向該方向的運動就可以提高任務的性能。我們通過在對任務進行微調后，從同一模型的權重中減去一個預訓練模型的權重來構建任務向量。我們證明了這些任務向量可以通過減法和加法等算術運算來修改和組合，并相應地引導所得到的模型的行為。減去一個任務向量會降低目標任務的性能，而在對照任務上的模型行為變化不大。此外，同時添加任務向量可以同時提高多個任務的性能。最后，當任務通過“a是B和C是D”形式的類比關系聯系起來時，結合來自三個任務的任務向量可以提高第四個任務的表現，即使沒有使用來自第四個任務的數據進行訓練。總的來說，我們對幾種模型、模式和任務的實驗表明，任務算法是一種簡單、高效、有效的模型編輯方法。z****n2024-05-231260
- 改變預訓練模型的行為方式——例如，提高它們在下游任務中的表現或減輕在訓練前學習到的偏見——是開發機器學習系統時常見的一種做法。在這項工作中，我們提出了一個新的范式來指導神經網絡的行為。一個任務向量指定了一個預先訓練過的模型的權重空間中的一個方向，這樣向該方向的運動就可以提高任務的性能。我們通過在對任務進行微調后，從同一模型的權重中減去一個預訓練模型的權重來構建任務向量。我們證明了這些任務向量可以通過減法和加法等算術運算來修改和組合，并相應地引導所得到的模型的行為。減去一個任務向量會降低目標任務的性能，而在對照任務上的模型行為變化不大。此外，同時添加任務向量可以同時提高多個任務的性能。最后，當任務通過“a是B和C是D”形式的類比關系聯系起來時，結合來自三個任務的任務向量可以提高第四個任務的表現，即使沒有使用來自第四個任務的數據進行訓練。總的來說，我們對幾種模型、模式和任務的實驗表明，任務算法是一種簡單、高效、有效的模型編輯方法。z****n2024-05-231750
- z****n2023-05-31670
共 4 條
- 1
頁
沒有更多了
個人簡介
暫未(wei)填寫公司和職務(wu)
暫未填(tian)寫(xie)個人簡介
暫未(wei)填寫技能專長
暫未填寫畢業(ye)(ye)院(yuan)校和專業(ye)(ye)
個人(ren)成就
共(gong)發表(biao)過 4 篇(pian)文章(zhang)
文章獲得 0 次贊(zan)同
文章被瀏覽 372 次
獲得 0 人關注
個(ge)人榮(rong)譽查看規則
暫未獲得榮譽
