视觉产业在过去十年一直保持着良性增长,图像分辨率持续提升,图像效果不断优化。但是由于视觉感知的场景非常碎片化,在暗光、逆光、运动等场景下输出高质量图像仍然是行业公认的难题。媒体娱乐、家庭服务、城市管理、城市效率、智能驾驶、智能座舱以及车辆网同样对视觉感知有着极大的需求。海思一直在致力于增强设备视觉感知能力,近期海思越影新一代推出 AI ISP 技术用于解决上述问题。
为解决“视觉感知环境复杂多变,ISP成像质量面临挑战”这一难题,华为海思越影新一代推出 AI ISP 技术,针对上述问题进行了针对性的优化,具备:超感光降噪,多光谱融合,超级光动态,超级稳像以及多维度感知等功能。
视觉感知是数字时代信息获取的入口,ISP(Image Signal Processor)作为视觉感知的核心技术,是智能终端从“看见世界”、“看清世界”到“看懂世界”的关键。ISP将光学透镜接收的光信息处理成图像信息,并通过一系列数字图像处理算法对图像噪声、亮度、色度等进行优化,让智能终端拥有看见世界的“智慧之眼”。
上海海思利用在传统 ISP 画质技术上的长期积累和经验,以及在端侧 AI 架构和优化上的优势,发布新一代智能图像处理引擎“越影 AI ISP”,将传统画质优化经验与 AI 技术深度融合,为实时高清视频的图像质量带来质的飞跃,相比海思上一代旗舰 ISP 在五方面取得显著进步。
超感光降噪,基于深度学习的智能降噪,信噪比 4 倍提升
去噪一直是 ISP 的重要功能,尤其在视频感知领域,夜景、恶劣天气、复杂光线、剧烈运动的环境下传统ISP图像处理技术已近瓶颈,面临着以下问题:参数多,调试难,开发周期长;画质提升难,投资收益低;因此“AI ISP”将是未来ISP的趋势,具备了“智能调优,加速开发交付;高算力+大数据,突破画质极限;迭代学习,,ISP持续持续演进”等优点。
基于海思多年对低照场景的技术积累,神经网络深度学习噪声和信号的分布特性,训练出一套智能降噪的算法模型,让越影AI ISP能智能区分图像中的信号和噪声,实现低照度场景下的AI极致降噪。视突破时间和外部环境天气的限制, 提供7*24小时全天候、全场景超高清影像。海思利用神经网络深度学习海量低照度场景图片的噪声和信号的分布特性,训练出一套智能降噪的算法模型,让越影 AI ISP 能智能区分图像中的信号和噪声,实现低照度场景下的智能降噪。根据测试,越影相比海思上一代旗舰 ISP 提升明显,在低照场景下图像信噪比可提升 4 倍。
多光谱融合,采用专用硬件加速,实现 0.01Lux 低照全彩
低照场景下,RGB 传感器感光能力急剧下降,导致彩色图像清晰度快速下降,无法同时兼顾图像细节与色彩,给全天候视频感知带来严重挑战。在夜晚交通管理场景下,往往需要在闸口加装爆闪灯来补充照明,容易造成光污染甚至影响驾驶员的行车安全。而多光谱融合技术通过将可见光与红外光感知信息进行融合,在不增加光污染的同时,解决低照环境下由于可见光感光能力不足所造成的细节损失的问题,实现图像色彩与细节的最佳平衡,最终使图像效果达到 0.01Lux 暗光全彩,细节纹理丰富。
超级宽动态,自适应光线复杂变化,动态范围提升 12dB
海思越影超级宽动态技术,能够基于价值目标进行场景识别自适应多重曝光,对不同曝光时间的长帧、中帧、短帧的图像数据,通过智能算法进行融合,融合后数据位宽20bit,动态范围相较一代提升12dB,使图像获得暗、亮区域的完美整合,亮处不过曝、暗部细节不丢失。 逆光场景所见清晰,暗光场景色彩饱满,让视觉感知从此无惧逆光。同时基于场景识别的智能曝光技术,在光线急速变换场景,对目标区域进行精准超速识别,避免价值目标关键信息损失。
超级稳像,6 轴数字防抖,视频成像稳定性大幅提升
在高空抛物、交通违章等场景中,高频小幅震动会导致目标物模糊,影响目标识别效率, 为城市安全带来隐患。在移动式场景中,低频大幅的抖动,严重影响观看的视觉感受。超级稳像技术,基于IMU 6轴传感信息智能分析运动姿态,通过精准补偿修正动态视频,有效减少由于外部环境晃动或抖动对视频成像造成的影响,大幅提升各种振动环境下的视频稳定性。
多维度感知,多感知跨界融合,激发智慧视觉新潜能
视觉是感知信息的主要输入源,但生产生活对信息的需求是多维度的。海思越影支持RGB与红外热成像融合、可见光与结构光融合等多维感知能力,为红外测温相机、人脸支付、扫地机器人、雷达视频一体机等产品提供系统化解决方案,可广泛应用于安全防护、金融支付、无人机、工业视觉、交通等多种业务场景。多维度感知为各细分市场提供跨领域的解决方案,激发新智能终端品类的同时也激活了智能终端新的潜能及价值。