多模态感知大豆包模型！家庭侧智能升级

06-22 06:21

电子爱好者网报道(文章 / 前几天李弯弯)，在火山引擎 2025 春天 FORCE 在原动力会议上，陈星科技有限公司副总经理陈立敬提到，在人工智能技术飞速发展的时代，多模态感知与大模式的结合已经成为推动各行业变革的关键力量。在智能家居、可穿戴设备、连锁店等领域，星辰科技与豆包大模型的合作，将这一技术趋势贯彻到实际应用场景中，引发了深刻的变化。

智能化家居升级

“智能家居，陈立敬指出：” 2.0 大模型大脑是必要的。多模态感知与豆包大模型在智能家居领域的融合，实现了从基本连接控制到智能理解决策的跨越式升级。传统的智能家居 1.0 在时代，设备只能实现简单的连接和控制功能，而现在智能家居 2.0 在时代，星辰科技借助多模态感知技术，赋予设备“感知”能力。以 SSC305DE 以商品为例，它具有 1TOPs 2*CA32 CM4 计算能力，支持多模态感知，功耗低，可以连接双摄像头，组合豆包大模型，构建全面的智能护理系统。

在家庭摔倒监测场景下，端侧设备通过视觉、语音等多模态信息进行初步识别，向云端豆包模型发送有效帧和有效信息进行检查。豆包模型凭借强大的视觉理解和语音交互能力，不仅提高了事件的准确性，防止了报告和遗漏，还在确认摔倒后积极交互，及时联系家庭和财产，确保老年人的安全。

此外，智能家居还接入了大型豆包模型，实现了咨询药物、情感陪伴等功能。在家里，客户可以通过设备获得专业的医疗建议，自然流畅地与系统沟通，满足情感陪伴的需求。同时，通过在板上搭建 RAG 应用程序，结合云大模型，构建智能管家和私人知识库，高效地管理和智能地回答个人私人数据。

大型模型如何改变可穿戴场景？

由于多模态感知和豆包大模型的融合，可穿戴设备领域也焕然一新。星辰科技 SSC309QL 小型化、低功耗商品， 15TOPs 计算率，适用于智能眼镜、智能胸牌等设施，为多模式交互提供了硬件基础。

智能化眼镜已经成为个人豆包智能助理的最佳媒介，在多个场景中发挥着重要作用。在学习场景中，智能眼镜通过多模态感知获取学习资料、学生学习状态等信息，结合豆包大模型的知识储备，为用户提供学习指导和翻译服务；在工作场景中，它可以帮助会议纪要、商务沟通和客户管理，成为一名高效的工作助手；在日常生活中，可以实现高效拍照、视频、直播等功能。，并且可以根据用户定义的感兴趣的区域或物体。智能化判断场景，截取精彩瞬间，生成集合。在运动和旅游场景中，用户可以实时感知环境，无需手动操作手机，智能眼镜可以结合豆包模型提供导航、景区介绍等服务，真正解放双手，提升用户体验。

大型应用连锁店提高效率

多模态感知和豆包大模型在连锁店领域的应用，促使企业实现高效运营和精确管理。星辰科技 SSC388G 支持多模态大算率商品， 3 路 sensor 输入，具有强大的多模态分析能力，配合豆包大模型，为连锁店带来全方位的提效方案。

在安全合规监测方面，通过实时行为监测和分析，可以快速识别违规违规和异常行为，并与安全系统联动发出警报，确保店铺安全；在客流分析升级方面，利用多模态数据对客流进行预测，根据员工的经验和能力合理排班，减少人力浪费，跟踪客户移动路径，识别高流量区域，改善货架布局，提高排队和清算效率；在管理方面，可以识别货架空置率，自动触发备货单，判断价签和促销是否合规；在提高员工效率方面，可以实现动作标准化检测和工作时间统计。