图3：27个光电探测器的光响应值，其中训练数据σ = 0.3。（a，b）：其中（a）为初始时期（epoch）的响应度值，（b）时期为30时的响应度值，训练数据σ = 0.2和σ= 0.4的权重相似。c：在特定的投影字母和三种噪声水平下，所有时期测得的电流。d：三种不同噪声水平的初始和最终响应度值的直方图。
第二个功能是自动编码：即使在存在信号噪声的情况下，传感器计算阵列也可以通过学习图像的关键特征来生成处理后图像的简化表示。编码版本仅包含最基本的信息，但可以解码以重建与原始图像最相似的图像。
这项有前途的技术在投入实际应用之前，还有许多工作要做。用于自动驾驶车辆和机器人技术的神经形态视觉系统需要捕获视场角较大的3D动态图像和视频。当前使用的图像捕获技术通常将3D真实世界转换为2D信息，这样就丢失了运动信息和深度信息。现有的平面图像传感器阵列也限制了广角相机的发展。
作者描述的器件很难在昏暗的光线下成像。需要重新设计以改善薄半导体的光吸收并增加探测光强范围。此外，论文中提到的这种设计需要高电压并消耗大量功耗。相比之下，生物神经网络中每项操作的能量消耗处于亚飞焦耳级（10⁻¹⁵至10⁻¹³焦耳）。这有利于扩展到紫外线和红外光应用，以捕获可见光谱无法提供的信息。
所使用的薄半导体很难实现大面积地均匀生产，加工难度高，因此它们可以与硅电子器件集成在一起，例如用于读出外部电路或反馈控制。使用这些传感器的设备的速度和能效将不取决于图像捕获过程，而是取决于传感器和外部电路之间的数据移动。尽管传感器计算单元在模拟域中收集和计算数据，减少了模数转换，但外围电路仍然遭受其它固有延迟的困扰。传感器和外部电路需要共同开发，以减少整个系统的等待时间。
Mennel及其同事的“在传感器中实现计算”系统会激发对人工智能（AI）硬件的进一步研究。一些企业已经开发了基于硅电子的AI视觉芯片，但是这些芯片的固有数字架构无法解决延迟和功率效率问题。
更广泛地讲，作者的策略不仅限于视觉系统。它可以扩展到用于听觉、触觉、热感或嗅觉的其它物理参数输入。此类智能系统的开发以及5G无线网络的到来，会在将来允许进行实时边缘（低延迟）计算。
论文链接：
https://www.nature.com/articles/s41586-020-2038-x
