基于高性能CIS,人形机器人视觉系统向模拟并超越人眼方向发展
随着 人工智能、 机器学习以及 传感器技术的持续迭代升级, 机器人产业正处于高速发展的黄金时期。 智能机器人的应用领域不断拓展,功能也日益丰富多样。具身机器人、机器狗、 无人机、工业机械臂等各类智能机器人,正逐步融入人们的日常生活。从协助家务劳动,到承担医疗配送任务,再到推动农业自动化进程,智能机器人已在家居、医疗、农业、救援等多个领域,发挥着不可或缺的重要作用。
人形机器人是机器人技术与人工智能深度融合的产物,近年来发展势头极为迅猛。《人形机器人产业研究报告》指出,中国人形机器人市场规模预计在 2029 年将达到 750 亿元,到 2035 年更有望突破 3000 亿元。在电子发烧友网《人形机器人的 电机控制和传感器》专题中,思特威高级销售总监宗翔表示,人形机器人的不同模块依赖不同类型的芯片来实现其功能,其中包括 SoC 芯片、图像传感芯片、触觉传感芯片、 电池管理芯片等。思特威作为一家专注于 CMOS 图像传感器芯片研发的企业,旗下的 SmartGS™-2 Plus 系列全局快门图像传感器,在智能机器人领域展现出极高的适配性。
视觉传感器在人形机器人系统中的作用
人形机器人由多个子系统构成,包括传动系统、伺服系统、感知系统、 控制系统。其中,感知系统负责采集和处理环境信息,如图像、声音、触觉和力量等,以帮助人形机器人更好地理解周围环境,实现安全高效的人机交互。
宗翔指出,在实际工作中,智能机器人需要频繁与现实世界进行交互。人形机器人与现实世界的交互,在很大程度上依赖于机器人的视觉成像技术。清晰、准确、高效且稳定的视觉感知能力,对于机器人完成避障、定位等交互任务至关重要。CMOS 图像传感器作为机器人视觉感知能力的核心部件,就如同机器人的 “电子眼”。
思特威作为行业领先的CMOS 图像传感器供应商,基于 SmartGS™-2 Plus 技术平台,已推出了 SC038HGS(0.3MP)、SC133HGS(1.3MP)与 SC233HGS(2.3MP)等一系列全局快门产品。这些产品集高感光度、高动态范围、高帧率等诸多优势于一身,凭借出色的成像效果,能够充分满足各类智能机器人在避障识别与 3D 定位感知方面的需求,助力机器人实现精准的现实交互。
SmartGS™-2 Plus 系列产品作为全局快门(Global Shut ter)图像传感器,能够有效抑制成像过程中出现的运动形变与拖尾模糊等问题,实现高速且精准的成像。因此,在实际作业场景中,该系列产品能够保障智能机器人对运动物体进行高清、无形变的图像捕捉,实现高效移动视物。这不仅大幅提升了机器人对周围环境判别的准确性,也显著提高了其避障与定位识别的效率。
此外,人形机器人在实际作业中常常面临昏暗、无可见光源等各种复杂光线条件,此时 CIS 芯片的感光能力与动态范围就显得尤为重要。SC038HGS、SC133HGS 与 SC233HGS 具备在可见光和近 红外光下的双重超高感光度,同时有着出色的动态范围表现,能够帮助机器人实现无惧明暗的高清图像捕捉能力,为智能机器人行动提供精准的视觉依据。
宗翔认为,为提升机器人现实交互的精度和效率,人形机器人的视觉传感正朝着更 高精度与处理能力的 3D 视觉感知系统发展。例如目前已被广泛应用的双目立体视觉模组,就是一种 3D 视觉感知系统,并且仍在不断升级发展之中。未来人形机器人的视觉 传感技术,将不断朝着 模拟并超越人眼综合视觉能力的方向发展,通过两个或多个摄像头,为机器人提供丰富而准确的环境理解能力,以应对复杂精密的识别工作需求。
视觉传感器和 AI 的融合
在人形机器人领域,视觉传感器与 AI 算法的融合能够帮助更好地实现环境感知。宗翔称,在 AI 视觉布局上,思特威通过与子公司飞凌微合作,借助其推出的集成高性能 AI ISP 和轻算力 NPU 的 AI SoC 芯片 A1,搭配 0.3MP 至 8MP 不同分辨率的 CIS,能够全面满足不同场景对 AI 视觉处理的多样化需求。在实际应用中,思特威联合飞凌微围绕 A1 芯片推出了一系列端侧 AI SoC + Sensor组合方案:
· 智能硬件领域:A1 芯片适配 0.3MP - 2MP 全局快门 CMOS 图像传感器,形成单目 / 双目智能视觉感知模组方案。以 AI 宠物机器人为例,A1 芯片在精准处理影像的同时,运行人脸 / 物体检测识别等视觉算法,实现设备在端侧对用户表情、状态和情绪的实时感知,减轻设备系统后端的运算压力。单目模组方案兼具 视频拍照与检测识别功能,有效节省小体积智能硬件的系统架构设计与硬件空间。
· 智能家居领域:将 A1 AI SoC 芯片与 3MP - 6MP 低功耗快启 CMOS 图像传感器及鱼眼镜头相结合。当检测到视野范围内有人出现时,系统即刻唤醒并启动实时感知。A1 芯片运行暗光降噪、畸变矫正等人形检测算法,助力智能空调、电扇等设备确定人员位置,调整运行状态,为用户营造智能化的舒适体验。
·工业扫码领域:同样适配 0.3MP - 2MP 全局快门 CMOS 图像传感器,A1 芯片通过 AI ISP 功能提升影像清晰度,并运行条码读取识别、计数检测等轻量级算法,在工业相机端侧实现快速、精准的扫码识别与检测,有效提升工业机器视觉系统的运行效率与成本效益。例如,在自动化生产线上,能快速准确地完成扫码流程。
·夜视模组领域:A1 芯片搭配 4MP - 8MP 夜视全彩 CMOS 图像传感器,借助 AI ISP 功能进行优化处理,为多种夜视场景摄像头提供清晰、层次分明且低噪点的夜视全彩影像。
宗翔认为,随着人工智能、机器学习以及传感器技术的不断迭代升级,机器人产业也将步入高速发展的黄金时期,未来增长潜力巨大。在此过程中,思特威具有独特的竞争优势。
在图像传感器技术创新方面,思特威凭借成熟的 SmartGS™-2 Plus 全局快门技术,能够有效避免运动失真问题,为机器人的避障、步态调整等关键功能,提供稳定可靠的视觉输入。此外,依托思特威的近红外增强、高动态范围、暗光成像等多项先进技术,使机器人在暗光环境下的障碍物识别以及眼球追踪与手势识别等功能的识别精度不断提升。
在产业协同方面,思特威将积极与模组、机器人终端厂商深入沟通,从技术、需求、应用场景等维度,剖析机器人市场发展趋势。通过联合开发新技术、定制深度适配产品,助力机器人产业升级。