「商汤」大型一体机可以节省80%的推理成本，完成云边全栈布局｜最前线

作者｜黄楠

编辑｜彭孝秋

昨天，商汤科技SenseTime在上海举办了行业交流日。会上，商汤发布了行业内第一个“云、端、边”全栈大型产品矩阵，并推出了全新升级的“日新SenseNova” 大模型系统5.0。

对股价的影响(000200).HK)今天开盘后大幅上涨。随后，商汤在香港证券交易所宣布，商汤集团的B类股权自11:15起暂停交易，暂停前上涨31.15%。

每一天都是新的，来自《礼记·大学》中的“每一天都是新的，每一天都是新的，每一天都是新的”。它承载着人们对以大模型为代表的AI技术浪潮的迭代，以及走向AGI(通用人工智能)的期待。

现在，商汤“日日新SenseNova”大模型系统已经正式完成了5个版本迭代，基于超过10TB “每日新SenseNovaa”tokens训练，覆盖大量生成数据， “5.0”(以下简称：「日日新5.0」）选择混合专家架构，推理时前后文窗口可有效达到200K左右。

在更新能力方面，这次主要集中在知识、数学、推理和代码能力上，全面对标GPT-4 Turbo，实现或超越主流客观评价 GPT-4 Turbo。

「日日新5.0」能力评测

举例来说，模型文科能力，「日日新5.0」创意写作能力、推理能力和总结能力都有了很大的提高。注入同样的中文知识后，可以获得更好的理解、总结和问答，为教育、内容产业等垂直应用领域提供有力帮助。

在应用产品中，多模态能力，「日日新5.0」它可以支持超清晰长图的分析和理解，以及文生图的互动生成，还可以提取和总结复杂的跨文档知识的问答展示，还具有丰富的多模式交互能力。

「日日新5.0」和GPT-4一起回答有趣的推理问题:“妈妈给圆圆做了一杯咖啡。圆圆喝了半杯后，加满了水。然后她喝了半杯，然后加满了水，最后都喝完了。问圆圆是多喝咖啡还是多喝水？”，「日日新5.0」回答正确。

商汤推出了“云、端、边”全栈大模型产品矩阵，面对中心化计算能力需求向终端方向扩展的未来趋势和企业级边缘方面的AI需求。包括应用于智能终端的“商汤侧大模型”，以及面向金融、代码、医疗、政务等多个领域的边缘商品“商汤企业级大模型一体机”。

目前，金融、代码、医疗、政务等领域的边缘侧AI应用需求呈爆炸式增长，但在实际落地场景中，公司仍面临着使用门槛高、能耗高的问题。

注意这一现象，商汤在寻找最佳数据比例并制定数据质量评价体系的同时，也为行业合作伙伴提供大模型培训、微调、部署和各种生成式AI的能力和服务。

会上，商汤推出了端云协同解决方案，可以通过智能判断协同发挥端云各自的优势。在网上搜索或处理复杂场景时，需要分流到云处理，部分场景侧处理占80%以上，进而显著降低推理成本。

比如最近流行的小米汽车SU7，其智能车舱采用了商汤的大模型技术。基于商汤云模型解决方案，小米小爱可以为车主提供智能互动体验。

同时，在硬件方面，商汤发布的企业级大型一体机可以支持加速企业级千亿模型和加快知识搜索硬件，实现本地化部署，即购买和使用，降低企业应用大型模型的门槛。与行业内同类产品相比，推理成本节省80%，搜索速度大大加快，CPU工作负荷50%。

随着规模定律催生的模型性能大爆发，一方面，大模型的发展已经进入落地阶段，如何将其与工业和应用领域相结合是关键环节；另一方面，“ScalingLaw“规模定律”路径逐渐清晰，“出现”时刻不确定，前瞻性探索最先进的大模型技术也是当务之急。

商汤科技董事长兼首席执行官徐立表示:“在规模定律的指导下，商汤将继续探索大模型能力的KRE三层架构(知识-推理-执行)，不断突破大模型能力的边界。”

本文仅代表作者观点，版权归原创者所有，如需转载请在文中注明来源及作者名字。

免责声明：本文系转载编辑文章，仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布，请及时与我们联系进行审核处理或删除，您可以发送材料至邮箱：service@tojoy.com