人形机器人感知革命!创新机器视觉传感器的出现

04-06 06:26

电子爱好者网报道(文章 / 梁浩斌)人形机器人的运动能力已经进入“军备竞赛”阶段。每个家庭都展示了自己的机器人行走、跳舞甚至翻车的能力,不断用新的动作刷新人们对人形机器人能力的理解。


但是,运动能力归功于运动能力。目前人形机器人主要需要预设固定程序才能运行,距离真正实现身体智能还有很长的路要走。为了实现身体智能, AI、计算率,感知配合。最近,速腾聚创、锐思智芯各自推出了创新机器视觉传感器。


速腾聚创 AC1:姿态、深度、色彩信息三合一


在今年年初的新闻发布会上,速腾聚创为机器人视觉发布了一个全新的传感器解决方案。 Active Camera,该方案包括传感器硬件,计算核心,AI 智能生态,如算法。 3 月 28 一天,速腾聚创终于发布了。 Active Camera 的首款产品 AC1,以及 AI-Ready 生态。


AC1在传感器硬件上 集成了 IMU 姿态传感器,深度传感器(固态激光雷达 CMOS)以及一个 RGB 相机,在单个模块中提供深度信息、图像色彩信息和运动姿态信息,实现硬件级结合,同步对齐三种信息的时间和空间。


AC1 提供 120 ° x60 ° 与传统视场角相比,超大结合 3D 相机高出 70%;色彩 FOV 达到 144 °× 78 °;达到测距能力 70 米,是一般 3D 相机的 6 倍数;测距精度 3cm@1 σ 测距精度稳定不随距离衰减,可精确恢复距离物体的形状大小,帮助机器人实现精确的路径规划。


同时 AC1 避免了传统 3D 摄像机存在的强光影响问题, 100KLux 在阳光下工作,克服强光的影响,适应更丰富的场景。


速腾聚创为机器人开发者创造了一个客户。 AI-Ready 生态,通过 AC Studio 为 Active Camera 客户提供开源工具包,包括驱动软件、数据校准和数据融合,以及 SLAM、开源算法,如高级多模态感知,支持用户深度二次开发,并通过专门的跨平台软件 AC Viewer,提供最佳的数据融合,SLAM、功能感觉,如目标检测。


同时,AI-Ready 生态学将提供避障类目标数据、认知识别数据,帮助开发者训练模型算法,有效完成情景功能的二次开发和方案部署。


同时,WIKI 全面收录开发者文档 Active Camera 与 AI-Ready 生态学信息;在各种场景中提供数据进行训练,并将在后续逐步推出,供开发者免费使用。AI-Ready 生态系统协助行业升级机器人项目流程,使软件快速迭代的开发方式带动机器人产品化商业化。


AC1 通过将多传感器结合起来,可以在硬件上识别出厂的传感器,在软件上实现数据整合和对齐。其实这在技术上也有一些困难。


在此之前,我们在激光雷达 相机结合传感器,有什么意义吗?本文介绍了世界上第一个实现京瓷光轴对齐的相机。 激光器与传感器相结合,通过对齐两个传感器光轴,实现激光雷达与摄像机无视差的数据融合。


但在实际产品中,激光雷达通过发射激光束并接收反射信号来测量距离,从而生成点云数据;摄像头捕捉环境的二维图像。这两种传感器的数据类型不同,坐标系也不同,这使得直接对齐它们的光轴极其复杂。


由速腾聚创对 AC1 在描述中,固态激光雷达与相机数据的硬件级结合也完成了,这是用户体验的飞跃,无需通过后端处理整合数据,开发效率将大大提高。


同时,AC1 在无人机、仓储机器人、清洁机器人、配送机器人等领域,不仅适用于人形机器人,而且具有很大的应用价值。


锐思智芯:整体曝光机器感知融合图像传感器


锐思智芯在 3 月 31 日本发布了世界上第一款将全局曝光的图像技术和 EVS 将视觉传感器与事件感知技术相结合,实现像素级融合。—— ALPIX-Pizol。


ALPIX-Pizol 是一款 1/4 英尺、由 1.3M GESP 视觉传感器由整个事件感知像素组成。这种传感器的特殊之处在于,图像、事件和整合三种工作模式集成在单个图像传感器中,可以单独进行图像和事件模式,也可以同时导出图像和事件数据,以及模式之间的快速切换。


图像传感模式的全局曝光,ALPIX-Pizol 能够导出 1.3MP/120 fps 图像,全局曝光的方式也避免了卷帘曝光带来的果冻效应。


在事件感知模式下,ALPIX-Pizol 在全分辨率下可以达到最高。 1000fps 高效捕捉运动信息的事件信号,在弱光高速环境下,可以导出高时间分辨率无模糊事件流,有助于提高图像质量。


结合视觉模式,支持同时导出图像和事件数据,支持快速切换模式,然后在各种光照环境下稳定视觉。 AI 提供高质量的图像数据和高时间分辨率的变化 / 运动数据。


同时针对 AI 视觉场景的低功耗要求,ALPIX-Pizol 三种模式均提供低功耗设置,如支持低功耗事件感知模式 e.g. <1.5 mW @VGA 30 fps 感知,可以直接提取机器所需的特征数据,可以大大降低传感器侧和Cpu侧的功耗和计算能力要求。<1.5 mW @VGA 30 fps 的感知,能直接提取机器需要的特点数据,在传感器侧和Cpu侧均可极大降低功耗和算力需求。


由于支持不同的模式,可以根据需要在实际应用中快速切换模式,从而减少数据冗余和计算率消耗。比如在事件模式下,只有变化信息才能被感知,单位时间产生的时间信息量只有传统图像传感器。 10%-20%,大大降低了计算率、传输带宽和存储压力,提高了系统的能效。


对于机器人应用程序来说,在完成不同的工作时,可以选择不同的模式,例如在抓取运动物体时使用事件模式。在行走等需要避障的场景中,需要打开组合模式,调整运动造成的画质问题,实现复杂光照环境下的识别。


事实上,在手机和运动相机等应用中,除了机器人应用,ALPIX-Pizol 能提供图像增强能力,实现 EVS AI-enhanced 图像 / 视频模糊,视频插帧,AI-ISP 使用多模态数据来帮助生成等功能 AI-Motion 运动感知应用。


就工业视觉而言,ALPIX-Pizol 提供全局曝光的无畸变图像 高时间分辨率事件数据,支持低光、弱光场景高速生产线检测和快速生产 3D 数据如扫描、建模等。


总结


人形机器人需要满足一般情况才能实现商业化,在各种复杂环境下的感知至关重要。这些最近推出的创新机器视觉传感产品代表了当前市场需求的一些方向,以及对机器人应用的一些探索。但最终,随着人形机器人产业的迭代和发展,相信会有更多创新的传感器产品。


阅读更多热门文章


加关注 星标我们


把我们设为星标,不要错过每一次更新!


喜欢就奖励一个“在看”!


本文仅代表作者观点,版权归原创者所有,如需转载请在文中注明来源及作者名字。

免责声明:本文系转载编辑文章,仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布,请及时与我们联系进行审核处理或删除,您可以发送材料至邮箱:service@tojoy.com