通義千問Qwen2系列模型大幅提升了代碼、數學、推理、指令遵循、多語言理解等能力。在MMLU、GPQA、HumanEval、GSM8K、BBH、MT-Bench、Arena Hard、LiveCodeBench等國際權威測評中,Qwen2-72B一舉斬獲十幾項世界冠軍,超過美國的Llama3。
通義千問團隊在技術博客中披露,Qwen2系列包含5個尺寸的預訓練和指令微調模型,Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B和Qwen2-72B,其中Qwen2-57B-A14B為混合專家模型(MoE)。Qwen2所有尺寸模型都使用了GQA(分組查詢注意力)機制,以便讓用戶體驗到GQA帶來的推理加速和顯存占用降低的優勢。
在中英文之外,模型訓練數據中增加了27種語言相關的高質量數據,提升了模型的多語言能力。Qwen2還增大了上下文長度支持,Qwen2-72B-Instruct能夠完美處理128k上下文長度內的信息抽取任務。
魔搭社區模型下載地址:
Qwen2-72B https://modelscope.cn/models/qwen/Qwen2-72B
Qwen2-72B-Instruct https://modelscope.cn/models/qwen/Qwen2-72B-Instruct
據悉,通義千問Qwen系列模型正在全球爆火,總下載量一個月內翻了一倍,已突破1600萬次。全球開源社區已經出現了超過1500款基于Qwen二次開發的模型。Qwen系列的72B、110B模型多次登頂HuggingFace 的Open LLM Leaderboard開源模型榜單。
阿里云CTO周靖人表示,“堅持開源開放是阿里云的重要策略,我們希望打造一朵AI時代最開放的云,讓算力更普惠、讓AI更普及?!?/p>
自2023年8月開源以來,通義千問在全球開源社區生態中已形成重要影響力。6月7日,Qwen2系列模型的API第一時間登陸阿里云百煉平臺。TensorRT-LLM、OpenVINO、OpenCompass、XTuner、LLaMA-Factory、Firefly、OpenBuddy、vLLM、Ollama等眾多全球開源平臺和工具,也第一時間宣布支持Qwen2最新款模型。除了美國Llama開源生態之外,通義千問已成為全球開發者的另一主流選項。