超速全时智能电眼 超速全时视觉感知芯片

眼睛是心灵的窗户，在我们的生活中占据着重要的位置，视觉的形成更可追溯到生命的起源时期，幽居于人类颅骨之中的大脑，通过 300 多万根神经纤维实时感知外部世界，其中连接每只眼睛的就有 100 多万根，承担了我们感知外部信息的重要功能。

视频即静止图像的序列，是随着电影电视技术发展起来的一个人造概念。视频之所以给观众以连续感，正是利用了人类视觉系统的视觉暂留现象：两幅画面刷新的时间间隔小于 50 毫秒，视觉暂留就能接续起来，产生连续视觉感受。

为了能够精细成像，常年研究视觉信息处理和类脑智能的黄铁军教授团队借鉴灵长类视网膜中央凹的神经网络结构和视觉信息加工机理，发明了新的视觉信息表达模型，研制了速度相当于传统视频4万帧的视觉芯片，成本与手机摄像头相当，有望重塑机器视觉技术体系，颠覆整个视频产业，为我国新一代人工智能实现国际领先做出重大贡献。

凤凰网： 超速全时视觉感知芯片的工作原理是什么？关键优势体现在哪里？

北京智源人工智能研究院院长黄铁军:“超速全时视觉感知芯片”是一颗用于摄像的芯片，它的每个感知单元都可以根据接收的光线强度直接生成比特序列，这样一来每秒钟可以记录4万帧画面，实现了对外在物体的“超速感知”。

它对信息的表示的方式跟传统的相机有根本的不同。我们这个相机现在是每秒钟产生4万个脉冲，所以它的时间精度、信息的时间密度以及灵敏度就很高。同时，“超速全时视觉感知芯片”采用了与手机摄像头同样的芯片工艺，成本与手机摄像头相当。利用这个技术，将来在普通手机我们普通消费者就可以实现拍高速现象，所以我们使用普通的硬件实现了超高速相机的功能。

凤凰网：有数据显示：超速全时视觉感知芯片有望重塑机器视觉技术体系，颠覆整个视频产业，为什么会这么说？

黄铁军:超速全时视觉感知芯片推翻了百年来的视频模型，创建了采用脉冲序列阵列表示光线时空变化过程的新模型，重构出任意时刻的图像，实现了对外在物体的“全时感知”。超速全时视觉感知芯片迈出了新一代智能机器视觉第一步，芯片以及背后的一套视觉信息表示、编码、分析、识别技术体系是专为新一代人工智能设计的，主要包括两类：一类是现在已经在用的智能视频监控系统，一类是将来会大规模应用的无人驾驶、无人机等，这种面向未来需求的技术设计和全新思路，是领先于国际的。

凤凰网：超速全时视觉感知芯片对传统视频芯片的颠覆主要在于“超速”和“全时”，“超速”和“全时”分别体现在哪里？

黄铁军:眼睛是亿万年进化而成的精密器官，信息处理机制优越，但是受限于生理限制，视网膜发放神经脉冲的频率不可能超过一百赫兹。超速全时视觉感知芯片采用光电技术，发放频率达到了4万赫兹，“超速”人眼百倍，能够“看清”高速旋转叶片的文字。“全时”是个新概念，是指从芯片采集的神经脉冲序列中重构出任意时刻的画面，这是实现真正机器视觉的基础。相比之下，传统摄像头每秒采集数十幅画面，两幅画面之间的视觉信息实际上丢失了，采用传统摄像头的自动驾驶系统高速运行时，就必然存在时域盲区。因此，无人驾驶、机器人、视频监控等需要实时视觉的智能系统，都需要配备这种新型芯片。

凤凰网： 超速全时视觉感知芯片将为无人驾驶、机器人、视频监控等领域带来重大变革，预计会是一场什么样的变革？

黄铁军:以无人驾驶为例，目前的无人驾驶汽车，装的还是传统摄像头，高速行驶时不可能像人一样有那么灵敏的反应速度。而超速全时视觉感知芯片应用在无人驾驶汽车上，可以提升无人驾驶汽车在高速行驶下的反应速度。另外，目前现在所有摄像头，上面如果蒙上一层灰尘，影像马上发生受到影响，但反观我们的眼睛，接收到的光实际上已经多层遮挡，但是生物视觉神经网络有巧妙的弥补功能。超速全时视觉感知芯片要仿造这个机制，这样装上这种摄像头的自动驾驶汽车即使行进在沙尘暴中，或溅上泥点时，照样还能看清楚周围世界。

凤凰网： 超速全时仿视网膜芯片的成功研制，打响了新一代人工智能创新突破的第一枪，人工智能是社会发展的必然趋势吗？

黄铁军:从目前科技发展的基本规律以及产业结构升级的趋势来看，人工智能将成为社会发展的必然趋势。人工智能之所以受到广泛的关注，不仅在于AI技术的先进性，更重要的是人工智能技术将在诸多领域对人类的社会生活产生深远的影响，可能改变甚至颠覆我们传统的行为方式和认知方式。同时，人工智能也是继互联网之后又一个非常重要的价值空间，会带动大量创新，从而推动经济发展，因此人工智能也会成为国际上各国博弈的一个重要衡量指标。

凤凰网： 神经形态计算在未来会迎来爆发吗？神经形态芯片研究的难点在哪里？

黄铁军:神经形态计算是未来一个必然的发展方向。因为神经形态计算在某种意义上超越了经典计算的概念。神经形态计算的“计算”并非经典的计算，把这个方向称为神经形态信息处理更合适，它是将外界的时空信号转换成神经脉冲，然后经神经网络加工产生结果。这种方式比传统计算方式在处理时空信息的时候更直接，可以节省掉很多不必要的算力。另外，抛弃传统计算，用光电器件直接进行信息处理，可以比生物神经网络速度更快，实现千倍乃至更多数量级的提升。

但目前神经形态计算还没有巨大的突破，主要是因为时空信息处理的复杂度比传统的冯诺依曼计算架构的串流形式更复杂，比并行计算也更为复杂。神经形态计算也需要感知芯片和处理芯片，感知芯片负责采集各种物理和化学信号，处理芯片把获得的脉冲序列进行加工。神经形态感知芯片需要采集和感知不同类型的信号。目前光的感知和采集不是大问题，但对于其他信号的采集，比如触觉和味觉，虽然可以探测，但是要以一种阵列方式精细地感知还有一定挑战。简而言之，神经形态感知芯片的重要挑战在于物理化学信号的高精度高效采集。

至于神经形态处理芯片，要处理神经脉冲序列就需要根据不同的任务，构建类似于生物的神经网络，这本身就比传统的网络构建难度更大。另外，生物的神经系统包含大量神经元和突触，神经形态就是要用光电器件模拟生物的神经单元和结构。目前是采用比较复杂的电路来实现，业界还在寻找各种功能材料，直接实现类似生物神经元或神经突触的功能，它不再是一个电路，而是一个物理器件，这样才能以与生物相当或更小的尺度实现大规模神经形态网络。这也是目前神经形态芯片研究的一个热点，现在已经找到了一些材料，但还不够成熟。一旦材料上有了突破，神经形态的大规模应用才能迎来大规模的商业化。

凤凰网： 您在研制超速全时视觉感知芯片期间，政府部门给予了您们什么样的支持和帮助？

黄铁军:该研究属于探索性研究，存在失败的可能性，但一旦成功就是对整个产业的替代。北京市对这种颠覆性技术具有很大的包容度，北京市科委支持我们承担“大脑初级视觉系统解析仿真”科技计划项目，同时对后续成果的示范应用也给予了大力支持与指导。

凤凰网：说一说您对全国科技创新中心的希冀和祝福吧！

黄铁军:希望北京市加快推进全国科技创新中心建设，超前部署通用人工智能基础前沿研究，抢占未来世界智能科技发展制高点，同时加大人工智能顶尖人才培养，聚集一批创新人才，产出一批具有国际影响力的原创科技成果，早日建设成为全球人工智能原始创新策源地。

相信随着科技的发展，“超速电眼”的应用将涉及各行各业，给新一代人工智能的飞速发展带来强有力地支撑。