康奈尔大学的研究人员开发了一种光学神经网络(ONN)，可以在相机检测到视觉图像之前从场景中过滤相关信息，这种方法可以构建更快，更小，更节能的图像传感器。

在发表在Nature Photonics上的“多层非线性光学神经网络的图像传感”中，康奈尔工程学院应用和工程物理学助理教授Peter McMahon实验室的研究人员已经能够证明ONN预处理器可以实现高达800比1的压缩比 - 相当于将1，600像素的输入压缩为仅4像素 - 同时仍然在几个代表性的计算机视觉中实现高精度。 任务。

在科学博士后研究员Eric和Wendy Schmidt AI和博士生Mandar Sohoni的带领下，研究人员用机器视觉基准测试了ONN图像传感器，使用它对流式细胞仪中的细胞图像进行分类，并进一步展示了其在3D场景中测量和识别物体的能力。

数字系统和光学神经网络之间的区别在于，对于数字系统，图像首先被保存，然后发送到提取信息的数字电子处理器。这种电子处理非常耗电，更重要的是，需要更多的时间来处理和解释数据。

“我们的设置使用光学神经网络，其中进入传感器的光首先通过一系列矩阵矢量乘法进行处理，将数据压缩到所需的最小大小 - 在这种情况下，四个像素，”王说。“这类似于人类视觉的工作方式：我们注意到并记住我们看到的关键特征，但不是所有不重要的细节。通过丢弃不相关或冗余的信息，ONN可以快速整理重要信息，产生原始数据的压缩表示，每个相机像素的信噪比可能更高。

该小组还测试了使用ONN编码器生成的数据重建原始图像，这些编码器仅被训练用于对图像进行分类。

“重建的图像保留了重要的特征，表明压缩数据包含的信息不仅仅是分类，”王说。“虽然不完美，但这是一个令人兴奋的结果，因为它表明，通过更好的训练和改进的模型，ONN可以产生更准确的结果。

Wang和Sohoni认为，他们的工作可以在早期癌症检测研究等领域有实际应用，在这些领域，癌细胞需要从数百万或数十亿个其他细胞中分离出来。使用流式细胞术，细胞快速流过微流体流通道中的检测器。经过训练以识别癌细胞物理特征的ONN可以立即快速检测和分离这些细胞。

“为了生成一个强大的细胞样本，可以进行统计分析，你需要处理大约100亿个细胞，”Sohoni说。“在这种情况下，测试是非常具体的，可以训练光学神经网络，让检测器非常快速地处理这些细胞，这将产生更大，更好的数据集。

Sohoni说，ONN在需要非常低功率的传感或计算的情况下也很有用。例如，在太空卫星上进行图像传感需要一种功耗极低的设备。在这种情况下，ONN 压缩空间信息的能力可以与事件摄像机压缩时态信息的能力相结合，因为后者仅在输入信号更改时触发。