新型感知芯片及其系统技术优化

1.研究背景

感知是智能的源头，是大脑智能的重要组成部分，可作为机器智能仿脑的优先突破口。20世纪50年代即有学者开始开展对生物视觉神经机理的研究（黄铁军，2017）。70年代，大卫·马尔（David Marr）在对神经计算建模研究的基础上，开辟了计算机视觉方向。1978年，美国神经学家弗农·蒙特卡斯特（Vernon Mountcastle）（1978）提出，大脑皮层处理视、听、触等感知信息的原理是一样的。一旦发现了大脑的视觉“算法”，也适合其他感知通道。

受益于视频技术和计算机技术的广泛应用以及性能的不断提升，基于传统摄像头和经典计算平台的计算机视觉研究汇聚了大量人力，但是，伴随电影电视发展起来的视频系统处理信息的方式与生物视觉相距甚远，把视觉过程转化为计算机算法往往是削足适履。随着大规模视频监控、无人驾驶、智能传感、脑机融合等应用需求的出现，更灵敏、更智能和复杂度更低的新型机器感知算法成为必然发展方向。为了模拟生物神经系统的感知机理，神经脉冲信号表达和脉冲神经网络必将成为感知智能芯片与系统的主流。本节将简要介绍基于类脑原则的视觉、听觉、触觉等感知芯片与系统。

2.研究现状

在神经形态视觉感知芯片与视觉智能方面，生物视网膜的结构复杂性和处理智能性远远超过我们的预期（Gollisch et al.，2010）。受生物视网膜中神经元传输信息方式的启发，加州理工学院的Carver Mead在20世纪90年代初提出了神经形态工程概念，在硬件上采用一种称为地址事件表达（address event representation，AER）的异步信号传输方式来模拟神经元的异步通信。基于这一原理，瑞士苏黎世大学研发了动态视觉传感器（dynamic vision sensor，DVS）（Lichtsteiner et al.，2008），法国视觉研究所的Ryad Benosman团队开发了异步时间域图像传感器（asynchronous time-based image sensor，ATIS）（Posch et al.，2008），新加坡南洋理工大学陈守顺教授研制出了时间灵敏度达到25ns的Celex芯片。由于DVS的输出是一系列脉冲，而不是传统的基于像素矩阵的图像帧，需要设计新的后端处理算法，因此脉冲神经网络成为主要建模与识别方法。唐华锦团队提出了一种脉冲层级模型（Zhao B et al.，2015），利用AER视觉传感器的输出中所蕴含的精准时域信息进行对象识别。与上述记录微分信号的方式不同，黄铁军团队从重构任意时刻影像的角度出发，提出采用积分模式进行时域量化的视觉信息编码模型并研制了原型芯片。

在神经形态听觉感知芯片、听觉智能方面，神经形态听觉传感器是一种将输入的声音编码成脉冲输出的硬件设备，包括人工耳蜗。对生物体内听觉神经纤维脉冲序列的进一步的理解，对研发具有鲁棒性的自动语音识别系统有着重要的意义。在语音识别系统中，听觉传感器可以作为传入声音的预处理器。生物学上耳蜗的听觉神经输出由异步的脉冲事件流组成，Jiménez-Fernández提出的神经形态听觉传感器具有生物可解释性，能够产生一种类似于生物耳蜗的脉冲输出的表示形式。Liu S C等（2010）研发了具有64个通道的双路事件驱动耳蜗，Xu Y等（2017）在FPGA上实现了一个实时的自适应耳蜗模型，可以将听觉模型与动态语言和音乐处理与跨感官感知处理相结合。使用脉冲来表示信号，可以提高系统的鲁棒性和对环境中噪声的抗干扰能力。

在柔性触觉传感器及触觉智能方面，柔性皮肤（也称人工皮肤或电子皮肤）触觉传感器被定义为能够通过接触表征出被测物体的性质（表面形貌、重量等）或数值化接触参量（力、温度等）的设备或系统，是触觉传感器的研究热点。柔性触觉传感器（Pan et al.，2014）需要较高的精度和稳定性，通常还必须具有高柔性与高弹性等，至今仍是研究的重点与难点。而触觉感知近年来的最新成果主要集中在研究触觉感知的结构和机理、构建高效的编码和触觉神经网络算法、提出触觉感知的框架体系等方面。

在脉冲编码与学习算法方面，脉冲编码与学习算法是设计仿脑感知芯片与系统的重要组成部分，不同的感知系统（视觉、听觉和触觉）拥有不同的脉冲编码机制。受生物视觉系统的启发，Hu等（2013）提出了有效的视觉编码并结合脉冲神经网络进行学习。Dennis等（2013）从生物的角度出发，提出了一个基于局部频谱特征的声音识别系统（LSF-SNN系统），通过寻找最好匹配单元，对输入的关键点信息进行映射，从而形成一个稀疏的脉冲模式来表达关键声音信息，对噪声具有鲁棒性。触觉的机理来自于触觉神经（默克尔细胞）受到激励时会产生相应的脉冲信息，Maksimovic（2014）总结了提取触觉特征编码的方法。基于脉冲神经元突触可塑性机制的代表性算法有Tempotron（Gütig et al.，2006）和PSD（Yu Q et al.，2015），这两者已被成功应用于视听觉分析，而触觉的识别方法目前主要集中在深度学习（Sohn et al.，2017）上，基于触觉机理的神经网络框架和实现需要进一步研究。

生物感知的最大优势在于其面对复杂多变环境时的自适应处理和响应能力。新型感知芯片与系统需要在结构（如非经典感受野、反馈连接）和性能（如选择性注意、小样本学习）上尽可能接近人类大脑对应皮层的信号处理机制。新型感知芯片与系统应该是生物机理模型与硬件体系结构的完美结合。基于脉冲编码和学习能力的新型感知芯片（如神经形态芯片）处理来自特定仿生感知器件（仿视觉、仿听觉、仿触觉）输出的脉冲数据，实现相应信号的检测与识别等功能。这类芯片具备识别率高、功耗低、延迟低等特征，未来可应用于智能仿生感知单元（如高速智能摄像头）、传统计算机与嵌入式系统内的仿脑视觉感知系统、与传统深度学习芯片或神经形态处理芯片相搭配的仿脑智能系统、与云端结合的泛在感知智能终端等。新型感知芯片研发需要综合运用多学科知识，加大研究力度，取得技术的突破，以满足机器人、医疗健康、航空航天、军事、智能制造、汽车安全、人机交互等领域的需求。(www.zuozong.com)

3.研究内容

机器感知一直是传统人工智能的薄弱环节，因而新型感知芯片与系统的主要研究内容是模拟生物视、听、触等感知通道的信号处理和信息加工机理，研制新型感知芯片并进行系统实验和验证，达到高智能、高灵活和高能效的目标（见图4.22），具体内容包括以下几方面。

图4.22　新型感知芯片与系统研究内容

（1）研制仿视网膜神经网络结构和机理的高灵敏、高动态、高保真仿视网膜视觉芯片。模拟生物视觉事件驱动、稀疏表示和异步传输等机理，提出适合脉冲神经网络的高效编码算法，研制“结构类脑，速度超脑”的高速视觉芯片；模拟大脑的动态非经典感受野、选择性注意等独特视觉机理，建立从复杂视频图像数据中快速、准确搜索目标区域的计算理论、模型和算法，研发超高动态、超低延时、超高能效的感知处理一体化芯片，实现具备小样本下自适应、自学习能力的智能感知系统；借鉴不同生物的独特视觉特性（如夜间活动动物的强大夜视能力），构建针对特殊应用的视觉仿生计算理论、算法和高效芯片。利用脉冲神经网络进行输入信息的分类、识别和学习，需要解决神经信息编码和学习算法这两个主要问题。由神经科学实验提出的神经编码方法包含了关于信息提取的大量冗余信息，因此，直接应用神经编码方法往往不能为脉冲神经网络提供有效的信息表达，需要探索优化的、鲁棒的脉冲编码方法。

（2）研究生物听觉机理，攻克听觉模型建立、编码、自适应特征提取、学习等关键技术，研究关键核心芯片，构建仿生听声通信和探测电子信息系统。研究人耳听觉系统的生物原理，提出高效的听觉编码方法与学习算法。人类能够听到不同的声音是由于不同大小、不同形状的物体通过不同频率的振动，带动空气形成压力波并传播到人耳；人耳的鼓膜在感知到这些压力波之后，即充当滤波器组的作用将声音分解成不同频率的波，并刺激内耳毛细胞的活跃程度发生变化，以产生不同的脉冲模式，同时通过听觉神经传递到脑干中；最后，大脑经过某种复杂的处理流程即可将声音的特征表达出来，使得人们能够轻易地区分不同的声音。通过模拟人耳与大脑处理声音的流程与编码方法，可将声音信号编码为稀疏的脉冲模式，并充分保留信号中的高维信息。在对声音进行脉冲编码之后，需要通过有效的脉冲学习算法来完成对声音脉冲模式的学习。此外，如何将听觉模型在硬件上实现也是研究重点之一。

（3）研究模拟生物皮肤的高灵敏度触觉感知器件和芯片，构建主动接触和精细反馈的触觉传感器和电子皮肤。触觉智能感知的研究重点是研究模拟生物皮肤的高灵敏度触觉感知器件和芯片，并构建触觉传感器、触觉神经网络和触觉反馈融合的电子皮肤系统。触觉传感器的研究重点在于柔性化、弹性化、空间分辨率、灵敏度、快速响应、透明化、轻量化和多功能化等方面，目前的困难主要是难以兼顾高柔性、高弹性和高灵敏度。另外，柔性传感器设计制作工艺复杂、可扩展性差且成本高，因此其元件和芯片规模制造技术也需要提升。基于深度学习的触觉神经网络研究还处于研究初期，需要大量原始触觉数据的积累和验证，并要与触觉的机理相配合，才能建立高效的触觉神经网络软件。触觉反馈技术则研究用电子和机械装置模拟触觉刺激的方法，建立人机触觉交互的功能，需要多种精细的实时控制和触觉模拟。触觉传感器、神经网络和触觉反馈集成融合，将组成具有智能感知、主动接触和精细反馈的人工皮肤，可广泛应用于机器人、医疗健康、航空航天、军事、智能制造和汽车安全等领域。

（4）脉冲神经网络建模与学习算法。神经元之间的可塑性使得生物神经系统具有强大的学习和适应环境的能力，因此在建模中考虑由外界环境变化和神经过程引起的神经突触的变化的调整能力是极为重要的。随着精确脉冲定时（precise spike timing）以及突触前激发和突触后激发之间的时间间隔被发现，脉冲时间依赖的可塑性（spike-timing dependent plasticity，STDP）和精确脉冲驱动的学习算法成为主要研究热点。在对神经元的单脉冲输出和多脉冲输出的对比中发现，神经元的多脉冲输出可以大大提高分类精度和学习容量。因此，基于精确脉冲驱动的多脉冲输入—输出映射的脉冲神经网络学习算法是研究的重点，可广泛应用于视觉、听觉、触觉等不同感知任务中。

（执笔人：黄铁军，北京大学；唐华锦，四川大学；李永杰，电子科技大学；王慰，北京印刷学院）