在传统的机器视觉系统中，物理上分离的传感、内存和处理单元导致了大量的能量耗费和时间延迟，严重限制了其在无人驾驶、机器人和工业制造等实时信息处理场景的应用。受人脑视觉的启发，电子科学系田博博研究员、彭晖教授和段纯刚教授团队提出了一种同时具备感知光信号、存储信号和进行信息预处理功能的视网膜器件，并基于该视网膜器件构建了感存算一体的类脑视觉系统，实现了高效并行的信息处理方式，大大节省了系统能耗。该项成果近日以“Ultralow-Power Machine Vision with Self-Powered Sensor Reservoir”为题发表于Wiley综合性期刊Advanced Science上，博士生劳婕和闫梦阁为文章的共同第一作者，田博博研究员、彭晖教授和段纯刚教授为文章的共同通讯作者，褚君浩院士、北京理工大学孙林锋教授、复旦大学王建禄教授也为该项研究做出了重要贡献。
图文导读：
诸多的神经网络训练算法中，储备池计算（Reservoir Computing）将信号时序地转换到高维空间，继而可以通过简单线性回归有效地提取输入信号的特征。相对于其他神经网络算法，储备池计算只需要训练输出层权重，有效地降低了训练复杂度和训练时间，更有利于超高速和超低功耗的信息处理。然而，由于自供电光电器件的信号响应通常在时序上的耦合较弱，基于自供电光电传感器件的传感内储备池计算至今尚未实现。
图1：传统机器视觉与传感内计算类脑视觉
研究人员设计Cs2AgBiBr6无铅双钙钛矿与铁电聚合物相结合的光生伏特机制的传感器件，该器件不仅可以直接接收光信号，并且可以同时模拟人脑视觉系统中光感受器和突触的功能(图2)。通过在肖特基势垒中设计势阱的方式大大延长了光生载流子在空间电荷区的停留时间，使得器件光电流对时序的光信号刺激产生非常强和高效的非线性耦合(图2g)。这种耦合作用使该自供电光突触器件可以应用为感内储备池器件，直接将时序光信号转为更高维度信息，然后通过简单的矩阵乘硬件获取原光信号中的特征信息。此外，通过改变铁电极化取向，调节能量势阱的形状，可以调节时序信号响应之间的耦合强度（图2h），这使该类型器件也有潜力应用于基于可调节权值实施模拟运算的卷积感存算一体化硬件。
研制的自供电光突触器件在445 nm的光脉冲刺激下可以实现多种脉冲相关的突触功能，例如双脉冲易化（PPF）、脉冲频率依赖可塑性（SRDP）和脉冲数量依赖可塑性（SNDP）等（图3）。通过对28个器件的重复性测试，发现器件有较好的均匀性和鲁棒性（图3h）。
图2：Cs2AgBiBr6无铅双钙钛矿与铁电聚合物相结合的光生伏特型自供电突触器件。
图3：Cs2AgBiBr6自供电光突触器件的性能表征
储备池（RC）运算是一种简单、高效的类脑算法，适用于时序信号的处理。只需训练储备池与输出层之间输出连接的权重，大大降低了类脑神经网络的训练成本。通过将空间像素信息编码为时序光信号，我们将基于Cs2AgBiBr6自供电光突触器件阵列的感内储备池系统应用于图像处理（图4）。例如，对28列×35行像素的灰度人脸图像进行识别。将人脸图像中每一列的35个像素编码为时序光信号ui (t)后输入到对应的光储备池器件，可以获得分别蕴含了一整列像素信息的28个输出值（图4d），后面只需要28×n权值的线性回归忆阻阵列就可以实现对n个人脸图像的识别任务。
图4：基于Cs2AgBiBr6自供电光突触器件的感内储备池计算应用于图像处理的原理流程图
图5：传感内储备池计算视觉系统演示了静态人脸图像分类，识别率高达99.97 %
本论文中演示了对4位作者灰度头像(28×35像素)的识别任务（图5）。经过30次训练，10000次测试显示该传感内储备池计算视觉对4个静态人脸图像分类的识别率高达99.97 %。
此外，我们将传感内储备池计算直接应用于时序视频信号的处理。如图6a和6b所示，5×5的自供电光突触器件阵列组成的储备池层用来映射采集十字路口汽车的运动信息。不同的汽车走向自然的产生相应时序光信号输入到该储备池层，进而实现传感内储备池计算对视频信号的处理。经过24个训练阶段后，识别率达到100%（图6）。
图6：传感内储备池计算视觉系统演示了动态车流方向判别的视觉处理任务，识别率高达100%
该研究得到了国家自然科学基金、上海市科技创新行动计划、之江实验室开放课题和华东师范大学“双一流”人才团队项目的资助以及华东师范大学公共创新服务平台微纳加工中心的支持。
论文信息：
Jie Lao, Mengge Yan, Bobo Tian*, Chunli Jiang, Chunhua Luo, Zhuozhuang Xie, Qiuxiang Zhu, Zhiqiang Bao, Ni Zhong, Xiaodong Tang, Linfeng Sun, Guangjian Wu, Jianlu Wang, Hui Peng*, Junhao Chu and Chungang Duan* “Ultralow-power machine vision with self-powered sensor reservoir”, Advanced Science, 2106092, 2022.
论文链接：
https://onlinelibrary.wiley.com/doi/full/10.1002/advs.202106092
图文：田博博
编辑：王珠凤
