模型簡介

Qwen2是Qwen 大型語言模型的新系列。Qwen2發布了5個尺寸的預訓練和指令微調模型，包括Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B以及Qwen2-72B。這是指令調整的 72B Qwen2 模型，使用了大量數據對模型進行了預訓練，并使用監督微調和直接偏好優化對模型進行了后訓練。

使用場景

Qwen2系列模型可以提供強大的自然語言處理能力，廣泛應用于自然語言理解、知識問答、代碼輔助、數學解題、多語言翻譯等多個領域，滿足不同用戶的需求。

評測效果

簡要地將 Qwen2-72B-Instruct 與類似大小的指令調優 LLM 進行了比較，包括之前的 Qwen1.5-72B-Chat。結果如下：

技術亮點

• 與之前發布的 Qwen1.5 等最先進的開源語言模型相比，Qwen2總體上超越了大多數開源模型，并在語言理解、語言生成、多語言能力、編碼、數學、推理等一系列基準測試中表現出了與專有模型的競爭力。
• Qwen2是一個語言模型系列，包括不同模型大小的解碼器語言模型。對于每種大小，都發布了基本語言模型和對齊的聊天模型。它基于Transformer架構，具有SwiGLU激活、注意力QKV偏差、組查詢注意力等。此外，還改進了分詞器，可適應多種自然語言和代碼。
• Qwen2-72B-Instruct 支持高達 131,072 個令牌的上下文長度，從而能夠處理大量輸入。

版本列表

相關資源及引用

相關資源

• 模型許可。除Qwen2-72B依舊使用外，其余模型，包括Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B以及Qwen2-57B-A14B在內，均采用的許可。
• 有關如何部署 Qwen2 處理長文本的詳細說明，請參閱。
• 有關更多詳細信息，請參閱、和。
• 有關 vLLM 的更多使用說明，請參閱 。

相關引用

如有幫助，歡迎引用。

@article{qwen2,
  title={Qwen2 Technical Report},
  year={2024}
}

免責聲明

Qwen2-72B-Instruct模型來源于第三方，本平臺不保證其合規性，請您在使用前慎重考慮，確保合法合規使用并遵守第三方的要求。