最强大的开源模型一夜易主

Qwen2，开源界最强大的语言模型，来了！

智东西 6 月 7 日报今天，阿里云正式开源通义千问 Qwen2系列模型，其中，Qwen2-72B变成全球性能最强的开源模型。

Qwen2 有多强？总之，在全球权威评估中，性能超过美国最强。开源模型3-70BLlama3-，也超过文心 4.0、豆包 pro、混元 pro 等众多中国闭源大模型。

Qwen2 为什么可以打破开源大模型的性能天花板？今天，阿里云不仅仅是 Qwen2 开放系列模型免费下载，还首次披露了背后的炼模“秘籍”，有关重要技术的细节将被公开。

Qwen2 下载链接 :https://modelscope.cn/organization/qwen

▲每个人都可以在魔法社区和 Hugging Face 免费下载 Qwen2 系列模型

干倒 Llama 3-70B，超越闭源模型，Qwen2 开源能力最强的列表

这一次，新开源 Qwen2 系列包含五个大小的预训练和指令微调模型是：Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B-A14B 以及 Qwen2-72B。

▲ Qwen2 该系列包含五个尺寸模型版本。

相比今年 2 月亮推出的通义千问 Qwen1.5，Qwen2 实现了跨代飞跃的综合性能。

对权威模型进行评估 OpenCompass 中，以前开源的 Qwen1.5-110B 已经领先于文心 4.0 等待一群中国的闭源模式。它还意味着，刚开源的。Qwen2-72B 继续扩大和这些闭源模型的领先优势。

▲ Qwen1.5-110B 已经领先于多个闭源模型

对比3-70BLlama3-、Mixtrl-8x22B等待当前最佳开源模式，Qwen2-72B还可以实现全面超越的能力。

但在 MMLU、GPQA、HumanEval、GSM8K、BBH、MT-Bench、Arena Hard、LiveCodeBench Qwen2-72B等十几项国际权威评估 一举夺得世界冠军，在自然语言理解、知识、代码、数学、多语言等方面表现突出，毫无悬念地登上世界上最强的开源模式的宝座。

▲ Qwen2-72B 超过当前十几个全球权威检测中最好的开源模型

但是就小模型而言，Qwen2 该系列模型基本上可以超过最佳开源模型甚至更大规模的相同规模。Qwen2-7B与最近推出的最佳模型相比。-Instruct 仍然可以在多种评价方面取得显著的优势，尤其是代码和中文理解。

▲ Qwen2-7B-Instruct 在多次评估中取得显著优势

现在，Qwen2 该系列已经推出了魔搭社区 ModelScope 以及阿里云百炼平台，开发者可以通过阿里云百炼平台在神奇社区感受下载模型，或者调用模型。 API。

一年发三代模型，稳坐开源大模型铁王座，阿里云首次披露创新“秘籍”

Qwen2 阿里云今年发布，距离阿里云 2 月推出 Qwen1.5 仅仅三个多月过去了。

相比上一代 Qwen1.5，Qwen2逻辑性判断，多语言能力，长文本处理，代码，数学等待能力全面提升。

1、代码，数学能力大大提高，辗压 Llama 3

就代码而言，Qwen2 研究与开发融为一体 Qwen1Code.5 成功的经验，完成了多种编程语言的显著提高；在数学方面，Qwen2-72B基于大规模、高质量的数据。-Instruct 在多次评估中，以辗压之势超越 Llama 3-7B-Instruct。

▲ Qwen2 大大提高了代码和数学能力

2、支持 128k 长文，开源智能体方案

如图所示，现在 Needle in a Haystack Qwen2-72B测试集-Instruct 能完美处理128k前后文长度中的信息提取任务。

与此同时，Qwen2 其它模型在系列中的表现也非常突出：Qwen2-7B-Instruct 几乎完美的处理接近 128k 前后文；Qwen2-57B-A14B-Instruct 则能处理 64k 前后文长度；而本系列中的两个较小模型则支持 32k 前后文长度。

▲ Qwen2 该系列在长文方面表现突出。

除长前后文模型外，阿里云这次还开源了一个模型。智能化解决方案，适用于高效处理 100 万 tokens 等级前后文。

3、加强安全，和 GPT-4 表现相当

以下是四种多语言不安全查询类型的大型模型，包括违法活动、欺诈、色情、隐私暴力等有害响应比例。

通过显著性检测（P Qwen2-72B值)-Instruct 在安全方面，模型与GPT-4表现相当，而且明显优于 Mixtral-8x22B 模型。Llama 3 处理多语言提醒方面表现不佳，因而未将其纳入比较。

▲ Qwen2-72B-Instruct 就安全而言 GPT-4 表现相当

模型迭代的速度和力量，让阿里云稳坐开源大模型铁王座。

2023 年 8 月亮，阿里云成了国内首次宣布开源自研模型科技企业，推出第一代通义千问开源模型 Qwen；2024 年 2 月，1.5 代开源模型 Qwen1.5 发布；不到 4 Qwen2在几个月后 开源，从而实现全尺寸、全模态开源。

不到一年，Qwen 系列 72B、110B 模型数次登顶 HuggingFace 的 Open LLM Leaderboard 等待开源模型列表。

▲ Qwen-72B 登顶 HuggingFace 大型开源模型排行榜

▲ Qwen1.5-110B 登顶 HuggingFace 大型开源模型排行榜

▲ Qwen2-72B 登顶 HuggingFace 大型开源模型排行榜

▲Qwen2-72B在阿拉伯语名单上。 稳居第一

同时，阿里云也是如此首次披露 Qwen2 R&D背后的许多创新方法。

依据通义千问技术博客， Qwen1.5 在系列中，只有 32B 和 110B 模型使用了GQA(分组查询注意力)。这次，所有的尺寸模型都使用了。 GQA，这样就可以使模型大大加速了推理，显著减少了显存占用。。

前后文长度方面，Qwen2 所有的系列模型都在 32k 练习前后文数据，可以支持128k前后处理；为了提高模型的多语言能力，团队还对除中英文以外的模型进行处理。27 种语言加强了语言转换问题，并有针对性地改善了语言转换。

▲ Qwen2 除了中英文之外 27 各种语言得到了加强

就模型训练而言，团队融合了监管微调，反馈模型训练以及在线 DPO等待方法，还是采用了网上模型合并减少对齐税的方法。所有这些做法都很大提高了模型的基本能力和智能水平。。

模型后期精调过程中，通义千问团队在场训练规模化同时，尽量减少人工标注，采用自动方法获取高质量的指令和偏好数据，包括拒绝取样数学、对代码和指令遵循的代码执行反馈、对创意写作的翻译、对角色扮演的反馈。 Scalable Oversight 等。

不久之后，通义千问队将推出。 Qwen2 的完整的技术报告。

超级豪华生态阵容，模型下载超级豪华 1600 万，孵化模型应用超级 1500 个

虽然大模型开源和闭源之争的话题还在继续，但开源对大模型生态的积极意义已经成为行业共识，这也是阿里云坚持大模型开源的核心原因。

中国信息化百人会执委、阿里云副总裁安筱鹏曾生动地用“爬珠峰”阐述了开源的价值:“生态的价值就是开源的价值，也就是我派了一架直升机把你从海拔上拉出来。 0 将大米运到珠峰本营。 5000 米，剩下 3000 你可以再爬一次米。”

高质量的开源模型，可以促进大模型生态的繁荣，使大量的开发者创新地站在巨人的肩膀上，从阿里云 Qwen 根据开源社区的一系列反馈，这种生态逻辑确实有效。

据阿里云官方资料显示，Qwen 在过去的一个月里，系列模型的总下载量翻了一番，已经突破1600 万次。与此同时，国内外开源社区已经超越。1500 款基于 Qwen 模型和应用的二次开发。

事实上，从今年开始 2 月 Qwen1.5 在发布前后，有大量的开发者催促更多。 Qwen2。6 月 7 日 Qwen2 上线之后，多个开源生态伙伴是重要的迅速宣布支持 包括Qwen2 TensorRT-LLM、OpenVINO、OpenCompass、XTuner、LLaMA-Factory、Firefly、OpenBuddy、vLLM、Ollama 等。

▲ Qwen 多个重要的开源生态伙伴系列

就全球开源大模型竞争格局而言，除美国外 Llama 开源生态，通义千问 Qwen 这一系列已经成为全球开发者的另一个主流选择。

一年前，业内人士普遍认为开源模型和闭源模型之间存在一定的差异；如今，开源模型已经表现出超越最强闭源模型的势头，关于“开源模型不如闭源模型”的说法已经成为一种谬论。

开源模式和闭源模式相互追逐，不断攀升，带来了企业和开发者更广泛、更丰富的模型组合选择，以及更低的模型组合选择。 AI 落地门槛，使用效果更好。

结论：大模型竞赛升级，开源模型大进化，闭源派出招募。

最近几个月，开源大模型和闭源大模型互相追逐，这场拉锯战愈演愈烈。

先是今年 4 月 Meta 发布的 Llama 3-70B 赶超 Gemini Pro 1.5 等待众多闭源模型，被视为“开源模型”，一举翻越。 GPT-4 “高峰”的象征；接着是阿里云今天推出的 Qwen2-72B 再一次屠榜，不但赶超 Llama 3-70B，还干翻了一大批头部闭源模型，进一步推动大模型生态学的发展。

虽然通用人工智能是通用的（AGI）大门刚刚打开，但是大模型应用创新的奇点还远没有到来，就像阿里云智能集团一样。 CTO 周靖人说，大模型还有很大一部分潜力没有真正被发现。当越来越多的开发者和公司融入这个过程时，会带来巨大的变化。

并且坚持开源开放是加速这一进程的最佳途径。自我 2023 年 8 从月份开始，阿里云不到一年就陆续推出。 Qwen、Qwen1.5、Qwen2 三代开源模型，完成了全尺寸、全模态开源，为大模型开源生态提供了强大的引擎。

开源和闭源都是大型产业的中坚力量。在开源力量大踏步前进的时候，下一步，闭源派将如何应对，我们拭目以待！

本文仅代表作者观点，版权归原创者所有，如需转载请在文中注明来源及作者名字。

免责声明：本文系转载编辑文章，仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布，请及时与我们联系进行审核处理或删除，您可以发送材料至邮箱：service@tojoy.com