达摩院为什么要自研ISP图像处理器?

原标题：达摩院为什么要自研ISP图像处理器?

4月8日，阿里达摩院宣布推出自研ISP图像处理器，并且在夜间等具有挑战性的环境下图像识别精准率比业界主流产品有10%以上的提升。ISP处理器是摄像头的关键组件，阿里达摩院进入这个领域的逻辑是什么？

什么是ISP？

ISP是图像信号处理器（Image Signal Processor）的简称，目前已经被广泛应用于我们每个人的智能手机当中。大家都知道现在有海量的嵌入式设备都带摄像头，近至我们的智能手机、很多的大众消费级的显示器，当然也包含正在研发当中的智能驾驶系统，以及各种公共场所上的监控设备，远至在近地轨道上运行的众多微型卫星，可以说图像信号的获取和处理是一个极为广泛存在的需求。图像信号处理器能够对摄像头拍摄到的画面做不同程度的分析，并对画面做不同程序的增强和改善。

以现在的智能手机为例，大家几乎每天都会使用自己的智能手机来拍照，而现在的各家智能手机厂商，都并不直接研发摄像头模组，都是采购欧菲光，索尼等第三方厂商的摄像头模组，有时候不同的智能手机用了同一个厂家、同一个型号的摄像头，但是照片呈现出来的质量仍然有非常明显的不同，这很大程度上就是因为各家厂商使用的ISP的好坏导致的。

对于大家比较熟悉的智能手机日常拍照的场景，手机芯片内置的ISP会进行自动人脸对焦，自动白平衡，自动色调映射等一系列功能，这其中有很多讲究，都会直接影响到最终照片质量，例如ISP的自动图像锐化，如果锐化太多，则照片会有比较明显的“扎眼”的感觉（因为照片中绝大多数物体边缘都被优化的太过于锐利），如果锐化太少，则照片整体会有一种朦胧感，给人的感受是这个手机的拍照系统捕捉细节的能力不足。而众多消费者们每天拍照的场景条件千奇百怪五花八门，没有一种自动锐化技术是放之四海皆准的，ISP必须能够自动地检测识别场景中的一些特征来决定锐化进行到何种程度。这类ISP研发中的难点反应到产品上，就是大家经常会争论的各家智能手机拍照系统的“出片风格”、“出片质量”了。

为什么自动驾驶需要ISP？

在当前流行的在自动驾驶系统构架设计中，总的来说一般都会有一个很强的人工智能系统，去判断拍照系统传回的当前场景信息，例如当前场景存在哪些车辆，行人，障碍物，估计速度，估计距离等等。让这个人工智能系统要想实现高度准确判断的前提，是拍照系统传回的当前场景信息尽可能准确无误。

来源：阿里

可以说相比手机这样的大众消费品，自动驾驶更加需要ISP。因为对于手机来说，ISP只是决定照片质量的好坏，无非是一个观感问题，而在高速运动的车辆上，如果ISP不能准确地将场景特征暴露给后继系统部件，导致的结果就可能会是灾难性的。

例如，由于车辆会处在高速运动当中，所以摄像头拍摄到的照片往往会带有一定的“拖尾”或者“重影”，这对于图像处理系统中的后继算法去识别物体特征是不利的，因此ISP的重要职责之一就是减少这种“拖尾”和“重影”。这在ISP当中是一个非常重要的子领域叫做“运动估计”。

来源：阿里

再例如，如果是在夜间行车，那么由于当前摄像头传感器技术的限制，夜间的成像往往会暴露比日间成像更多的问题，摄像头传感器为了捕捉更多的场景细节，就不得不延长曝光时间，提高进光量，但这样一来又会带来明显的噪点。例如在这组对比图片中，左图经过处理后明显暴露出了更多的场景信息，树木，草地的细节和边缘都更加清晰锐利，但与此同时在背景的夜空中，在远处的建筑上，都存在着更多的噪点。

再考虑到自动驾驶系统中应用的电子元器件还有经过车规级验证，难度又更上一层楼。据笔者所知，一些车规级电子元器件需要耐受125度的工作温度，而一般大众消费级市场上的芯片，例如Intel的CPU，只要求100度，接近这个温度就会触发过热保护，电脑会自动掉电重启。与此同时车规级芯片对可靠性也有额外要求，因此可以毫不夸张地说，ISP在整个自动驾驶系统中的地位是至关重要的，ISP的研发也是非常具有技术含量和挑战性的一个领域。

达摩院为什么要自研ISP？

经过20年的发展，阿里从一家电商公司发展成为一家科技巨头公司，并且今天已经开始扮演全社会数字经济的基础设施。今天的阿里不仅在业务范围上进行横向扩张，同时在业务深度上也在进行纵向扩张。所以我们看到过去几年里，阿里进入了芯片等基础研研究领域，成立了达摩院，设立了平头哥半导体公司，并且在量子计算等很多前沿的领域展开研究。

自动驾驶毫无疑问是未来十年中可能带来颠覆性变化的赛道，阿里没有理由缺席，更不要说阿里的很多业务场景也需要自动化升级。而顶级的自动驾驶系统，必然是软件-硬件的配合（人工智能算法 + 传感器），同样也有硬件-硬件间的配合（多传感器融合）。

理想的自动驾驶系统需要在复杂的道路光线环境/恶劣天气环境下仍然可以得到满足深度学习算法所需要的图像数据，这需要算法设计和硬件设计之间的相互配合，与此同时，预知图像传感器的曝光时间极其重要，可以保证雷达扫描到某一位置时刻同时触发图像传感器曝光，这需要硬件与硬件之间的相互配合。因此达摩院选择了自研ISP去追求这一极致。

从目前接触到的评测结果来看，达摩院的自研ISP已经毫无疑问地跻身业界一流水平，经过自研ISP与深度学习算法的互相配合，夜间场景的识别准确率提升了十个百分点。不要小瞧这十个百分点的提升，这背后有深层算法的创新，对于提升自动驾驶设备的感知能力有着巨大的提升作用。

阿里的战略

来源：阿里

观察一家企业的战略，需要一个长时段的维度。从这个角度出发，阿里自研ISP处理器，可能是阿里“芯”战略的关键一步。

阿里已经先后发布了自研RISCV CPU，自研AI加速芯片，再加上自研ISP处理器的面世，一颗片上系统芯片（SoC）需要的几大件都摆到了台面上。

所以，现在这几个大件已经可以很明显地拼出阿里在芯片战略领域的初步轮廓：阿里将会拿出自研的AliSoC，进一步地与同样正在深耕硬件领域的Google，Amazon等国际顶级厂商展开更多竞争。

十年前的阿里，大众认知里还只有电商淘宝。差不多五年前，大家认知里加上了金融（支付宝），拉近到三年前，大家又接纳了阿里云计算。从达摩院宣布成立到现在短短几年时间，阿里又在极度依赖技术积累的核心硬件领域开始弯道超车，可能用不了几年，大家又会接纳阿里成了一家成功的芯片公司，一家拥有核心技术的新经济基础设施公司。

唯一不变的是变化。且待阿里“芯”光灿烂。