Grok-2测试版马斯克官宣!xAI是否会继续拥抱开源路线?
继旗下 xAI 公司宣布正式开源大模型 Grok-1 后,特斯拉 CEO 在模型市场上,马斯克又一次丢下了一颗重磅炸弹。
当地时间 8 月 11 晚上,马斯克在那里 X 人工智能模型在平台上透露 Grok-2 测试版将在不久的将来发布。事实上,马斯克在那里 7 月份就在 X 确定平台,Grok-2 将在 8 每月发布,在回应客户对培训数据的提问时,他指出该模型将在这方面做出“很大改进”。
今年三月,马斯克曾经说过 Grok-2 将超越当前一代的“全部指标” AI 模型。
作为一个由 xAI 混合专家重新开始训练。(MoE)模型,Grok 自 2023 年 11 从今年月推出第一版到现在, 3、4 月亮相继推出 Grok-1.5 大型语言模型和第一个多模式模型 Grok-1.5 Vision,整体迭代速度已经足够惊人了。
但是要超越现在的一切 AI 大模型,Grok-2 也许要面对的问题远没有想象中那么简单。
2023 年 11 月,xAI 推出第一代大语言模型 Grok 时表示,Grok 其设计灵感来源于《银河系漫游指南》,最初主要是 X 上的 Grok 支持聊天机器人,用于自然语言理解任务,包括问答、信息检索、创意写作和编码协助。
最初版本 Grok-0 仅拥有 330 经过多次改进,亿参数 Grok-1 拥有 3140 十亿参数是当年世界上参数最多的开源大语言模型。
即使这些参数是给定的 token 上面的激活权重只有 25%,Grok-1 还有一些激活参数 860 亿,这比 LIama-2 的 70B 还有很多参数,这意味着它在处理语言任务之后具有很大的潜力。
Grok-1 采用混合专家系统设计,每一个 token 从 8 选择个别专家 2 一个进行处理。在这种结构下,根据实际询问的内容,模型只会激活不同的专家模块进行推理,在一定的吞吐量下,推理和答案可以更快地完成。这让 Grok-1 拥有更快的生成速度和更低的推理成本,简而言之就是更好的体验和性价比。
根据 xAI 公布的数据,现在 GSM8K、HumanEval 和 MMLU 等待一系列基准测试,Grok-1 超越了表现 Llama-2-70B 和 GPT-虽然与第一梯队相比,3.5 GPT-4 差距仍然很明显。
来到 Grok-1.5,情况已经大大改变。Grok-1.5 不但具有优化推理能力和优化能力 128k 在编码和数学相关任务中,前后文的长度也有了显著的提高。
正式测试中,Grok-1.5 在 MATH 已经获得了基准 50.6% 的成绩,在 GSM8K 已经获得了标准 90% 成绩,这两个数学标准包括小学到高中的一般竞争。此外,它还评估代码生成和解决问题的能力 HumanEval 在基准测试中得分为 74.1%。
在基准测试中的整体表现和 GPT-4 已经很接近了,甚至在那里 HumanEval 在测试中实现了超越。
随后 xAI 发布的多模态模型 Grok-1.5V,声称可以连接数字世界和物理世界。不但多项基准测试能跟随? GPT-4V、Claude 3 Sonnet、Claude 3 Opus 这些顶级的多模态模型也可以处理各种视觉信息,如文档、图标、屏幕截图和照片,支持阅读梗图、写作。 Python 操作代码。
尽管马斯克和 xAI 关于这件事目前还没有公布 Grok 模型的详细信息,但根据模型的迭代趋势,马斯克将在“所有指标”上超越当前一代。 AI 模型 Grok-看起来也不是空口无凭。
更多的参数、更强的性能和速度几乎是板上钉钉的升级。当然,我最期待的可能是年底上下推出的。 Grok-毕竟马斯克说,这个模型的标准将“达到或超过”尚未发布的标准。 OpenAI GPT-后者被称为大语言模型领域的下一个重大进展。
如果 Grok-3 如果能够达到上述水平,对马斯克旗下公司的影响将是巨大的,比如陷入用户增长停滞。 X 和致力于 FSD 特斯拉,前者可以利用大模型为用户提供更智能的聊天机器人,打造多元化的社交平台;后者可以利用大模型语言处理“思维链”,帮助汽车“端到端”分解复杂的视觉场景。解决当前自动驾驶的一些局限性。这点在 Grok-1.5 当时,特斯拉拉的应用就传出来了。 FSD V13 的消息。
但是不管怎样,Grok 下一步很有可能改变大模型的迭代和应用方式,更可以肯定的是, Grok 以开源大模型为代表,与闭源大模型的竞争仍在加剧。
作为开源的坚定支持者,马斯克曾多次公开表示。 OpenAI 对闭源商业路线的不满,以违反合同为由向法院提起诉讼。 OpenAI 及其 CEO Sam Altman,要求恢复开源。
xAI 很大程度上就是为了防止人工智能领域出现“一家独大”的局面。具有讽刺意味的是,OpenAI 的 "Open" 水平真不如 xAI。马斯克如期开源 3140 亿参数 Grok-1,遵循 Apache 2.0 无论是个人还是商业行为,许可证用户都可以自由使用、修改和分发软件。
OpenAI 是 AI 领导者,要求他们开源 ChatGPT 除非它自己愿意,否则背后的模型代码是不现实的。但是不可否认的是,大模型开源已经成为国内外的一大趋势。
海外,去年 7 月 Llama2 在宣布免费可商用之后,一举成为全球开发者首选的大型开源模式。不久之后,谷歌也发布了。 Gemma 随着开源大模型的正式进入竞争, 70 亿参数辗压 Llama2-13B(130 亿参数);在中国市场,阿里宣布开源 720 十亿参数的大语言模型通义千问 Qwen-性能超标杆72B Llama2-70B,号称最强的中文开源模式。
大型开源、闭源之争一直是热门话题,很多行业领袖也发表了自己的看法。百度 CEO 李彦宏是一个“闭源派”,他认为在相同的参数规模下,开源模型的能力不如闭源模型。如果开源模型想要在能力上跟上闭源模型,需要更大的参数规模,这将导致更高的推理成本和更慢的反应速度。
百川智能“大模型五虎”之一 CEO 王小川是开源派的粉丝,他认为开源和闭源不是对立的,两者共存互补可能是更好的解决方案。他预测,未来, 80% 有些公司需要使用大型开源模型,因为闭源无法更好地适应产品,或者成本很高。
李彦宏和王小川的观点没有对错之分,只是选择不同,大型开源和闭源的路线本质上是由商业模式决定的。
闭源大模型在保护知识产权、保证数据安全合规方面具有优势,但在灵活性和可定制性方面可能受到限制;开源大模型是一种完善的互联网商业模式。虽然最终目的是实现,但它更像是一种整体的生态推动,如快速迭代、快速试错、同创共担等。
个人认为谷歌高级软件工程师 Luke Sernau 表达非常准确:由于开源方相当于获得了整个星球的免费劳动力,所以开源模式的迭代进步速度已经威胁到部分闭源模型的存活。
这正是开 / 闭源大模型之争的根源:无论开发者还是用户,都倾向于开源项目的最佳选择,集群效应可能远远超过闭源大模型。
按照马斯克的想法,下一步发布的 Grok-2 开源的可能性也很大。无论是面对日益加剧的开源大模型战争, xAI、谷歌、Meta、阿里,还是 Mistral AI、Databricks 以及更多的大型开源模型制造商,仍在不断迭代,提高性能,提高效率。归根结底,没有人能确定在这场不断变化的技术革命中,能否保持甚至扩大自己的优势。
马斯克给 xAI 影响只是短期的,真正的决定 xAI 未来还得看 Grok 它的实际表现,也许是可以的。 X、结合特斯拉业务建设 AI 大型标杆杀手锏的应用,也可能只是“纸面参数” Sora 这种“技术期货”,所有的问题,都要等到 Grok-2 只有在发布当天,才会有更清晰的答案。
本文仅代表作者观点,版权归原创者所有,如需转载请在文中注明来源及作者名字。
免责声明:本文系转载编辑文章,仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布,请及时与我们联系进行审核处理或删除,您可以发送材料至邮箱:service@tojoy.com