压缩型超透镜编码器用于图像分类

hdy

引言

在图像分类和计算机视觉领域，卷积神经网络(CNN)已经确立了强大的地位，其中像AlexNet这样的模型在该领域标志着重要里程碑。然而，这些网络在延迟和功耗方面面临重大挑战，特别是由于卷积运算的计算成本高昂。最近的研究表明，CNN约80%的运行时间用于执行这些卷积运算，突显了需要更高效方法的必要性。

一种创新解决方案出现在光计算系统形式中，这些系统提供高带宽、空间并行性和低损耗传输等优势。本文探讨了一种突破性方法，使用超透镜光学来光学实现卷积运算，显著降低计算复杂性同时保持高分类准确率[1]。

1

光学非线性的挑战

实现光学CNN的一个基本挑战是创建光学非线性的难度。传统CNN在卷积层之间严重依赖非线性激活函数，如修正线性单元(ReLU)。当这些非线性元素被移除时，分类准确率通常下降约20%。

为克服这一限制，研究人员采用了知识蒸馏(KD)技术，将大型预训练网络("教师")压缩成更紧凑的网络("学生")。通过这种方法，研究人员成功将修改版AlexNet压缩成单一线性卷积层，配合包含两个全连接层的电子后端。

2

超透镜实现

该混合系统的光学部分使用反向设计的超透镜实现。这些超透镜是亚波长散射体阵列，作为相位掩模，对入射光施加空间编码相位移。通过工程设计这些超透镜的点扩散函数(PSF)，研究人员可以光学执行所需的卷积运算。

图1说明了研究中比较的三种网络架构：(a)传统电子多层CNN，(b)全电子压缩CNN，和(c)结合光学超透镜前端与电子后端的混合CNN。部分(d)展示了混合方法实现的乘-加(MAC)运算的显著减少。

3

知识蒸馏过程

知识蒸馏方法是规避光学非线性需求的关键。在本研究中，教师网络(修改版AlexNet或AlexNet-Mod)由五个卷积层和三个全连接层组成，在MNIST数据集上达到98.9%的训练准确率和98.4%的测试准确率。

知识蒸馏将复杂模型中学到的表示转移到更简单的线性网络，该网络只有单一卷积层和单一全连接层。尽管进行了压缩，蒸馏后的电子网络在训练和测试数据上仍保持96%的准确率，仅显示轻微性能下降。

4

使用超透镜的光学卷积

研究人员使用Gerchberg-Saxton相位恢复方法设计了与优化卷积核对应的相位掩模。每个子光学元件都被设计成具有类似相应卷积核的点扩散函数(PSF)。

图2所示，光学系统包括：(a)使用单色点光源的PSF测量设置和使用微型LED显示屏的光学卷积测量，(b)制造的包含16个不同子光学元件并行运行的超透镜照片，(c)示例子光学元件的相位图和SEM图像，(d)示例卷积核的正负部分与相应PSF模拟和实验结果，以及(e)对MNIST输入"7"的模拟和实验卷积输出。

由于电子卷积核包含正负值，每个卷积核被分为正负组件，并为每个组件设计了超透镜。正负图像经计算减法产生净卷积。所有16个光学元件(对应8个卷积核)被制造在单一基板上，允许在单一图像捕获中同时进行16个不同卷积核的卷积。

5

校准和集成

为解决光学实现的卷积核与理想电子对应物之间的差异，研究人员在计算后端引入了校准层。该校准层是单一全连接神经网络层，输入和输出维度均为288(与光学卷积后展平的图像大小匹配)。

校准层仅使用10%的训练数据进行微调，确保计算后端无需重新训练。这种方法成功地将光学表示适配到预设计的电子后端，尽管存在光学噪声和制造缺陷，仍保持了高分类准确率。

6

性能比较

混合网络与教师网络(AlexNet-Mod)和压缩电子网络相比取得了令人印象深刻的结果：

表1所示，AlexNet-Mod在测试集上达到98.4%的准确率，但需要1730万MAC运算。采用知识蒸馏的压缩电子CNN达到96.2%的准确率，需要228,672次MAC运算。混合CNN保持93.4%的准确率，仅需要85,824次MAC运算——只有AlexNet-Mod所需运算的0.5%和压缩电子CNN所需运算的37%。

这代表MAC运算减少了两个数量级以上，转化为延迟和功耗的相应减少。在数字系统中，一次MAC运算通常消耗约1 pJ，意味着混合网络将分类所需功率从17 μJ降低到仅85 nJ。

7

混淆矩阵分析

研究人员使用混淆矩阵分析了三种网络架构的性能：

图3显示以下混淆矩阵：(a)AlexNet-Mod，对角线值高，每个类别准确率超过98.1%；(b)未使用KD压缩的全电子CNN，性能显著降低；(c)使用KD压缩的全电子CNN，保持强健分类，每类至少94.3%准确率；(d)混合光电CNN，尽管由于光学噪声和制造缺陷导致性能有所下降，每类最低准确率仍达87.6%。

8

主成分分析

为更好理解混合系统中每个组件的贡献，研究人员对网络输出进行了主成分分析(PCA)：

图4展示：(a)未校准实验混合CNN分类数据的PCA；(b)校准实验数据的PCA，已重新映射以展示与压缩电子CNN相似的聚类行为；(c)压缩电子CNN数据的PCA。

分析揭示，虽然原始实验数据捕获了分类所需的基本组件(通过特定类别的聚类证明)，校准函数对于将这些光学表示转换为与电子后端兼容的形式是必要的。没有校准，分类准确率下降到16.3%，但有校准后，性能接近全电子网络。

9

PSF工程的优势

研究人员强调了PSF工程方法的两个关键优势：

• 系统简洁性：该方法仅需一个显示屏、单层光学元件和一个相机，形成紧凑、易于执行的系统。使用非相干照明使其适用于真实世界图像分类场景。
• 与电子系统集成：光学设计实现电子优化的卷积核，允许适应电子CNN模型和架构的改进。
  
  

10

局限性和未来方向

尽管有优势，PSF工程方法面临两大局限：

• 无法保证所需PSF能通过单一相位掩模物理实现。然而，电子校准层通过补偿结果PSF的不完美来缓解这一问题。
• 该方法假设PSF空间不变性，这对于大视场系统可能不适用，因为来自不同空间位置的光以各种角度与超透镜相交。
  

未来工作可以探索设计空间变化卷积核光学的技术，或采用偏振敏感超透镜提供焦点阵列，产生与卷积核权重相对应强度的图像。

11

计算效率和扩展性

随着输入分辨率增加，光学实现卷积运算的优势变得更加显著。虽然电子卷积的计算复杂度随输入大小增加(O(HWk²)，其中H和W是输入的高度和宽度，k是卷积核大小)，光学卷积无论输入大小如何都保持恒定复杂度(O(1))。

例如，将MNIST图像大小从28×28像素增加到100×100像素会使电子计算复杂度增加12.76倍，而光学实现不会增加计算时间。这种可扩展性优势使混合网络成为处理不断增加分辨率的真实世界图像的有效解决方案。

12

结论

压缩型超透镜编码器用于图像分类代表了神经网络光计算的重大进步。通过使用知识蒸馏将多个卷积层压缩成单一线性层，并使用超透镜光学实现该层，研究人员在保持高分类准确率的同时实现了99.5%的计算复杂度降低。

这种混合方法与现有CNN架构无缝集成，特别适合扩展到更高分辨率数据集。随着CNN应用持续增加，这项技术为图像分类任务中显著降低功耗和延迟提供了途径，有助于在资源受限环境中实现新应用。