近期，中国科学院上海光学精密机械研究所信息光学与光电技术实验室司徒国海研究员团队在基于深度学习的频谱欠采样及复原方面取得新进展。研究团队通过联合优化频谱采样和频谱重建，在7.5%的极限采样率下成功实现复杂场景的高质量彩色重建。相关研究成果以“Learning-based adaptive under-sampling for Fourier single-pixel imaging”为题发表于Optics Letters上。 

　　自然场景图像往往在频域较空域更具稀疏性。传统成像在空域采样，而傅里叶单像素成像（FSI）通过投影不同频率的正弦条纹对场景编码，可直接使用单像素探测器对场景频谱采样。利用频谱稀疏性，FSI可在不显著牺牲图像质量的条件下减少采样次数，提升信息获取效率。但这种有损压缩方法，难以在极低采样率下应用。通过引入深度学习可对降质的欠采样图像进行增强，但其性能受到手动设计频谱采样方案的限制。 

　　研究人员基于自编码架构（图1a），在编码层引入一个可学习的频域欠采样二值掩膜，并在解码层实现对欠采样重建结果的增强，通过计算网络输出结果和标签值之间的差异，指导欠采样掩膜和解码网络参数协同优化。研究人员还引入一个色彩滤波阵列（图1b），获取Bayer格式图像，经Demosaic算法处理得到彩色图像。仿真和实验结果表明，所提基于人工智能的端到端联合优化方法有望为FSI提供最优编解码策略（图2），从而有望促进其在遥感、显微、特殊波段成像、三维成像等领域的应用。此外，这种引入二值采样掩膜的智能欠采样策略可应用于众多需要按重要性降采样的任务中，如傅里叶叠层成像，计算层析等。

   原文链接

　　图1. 所提方案示意图。（a）利用自编码器协同设计欠采样掩膜和重建网络。（b）使用习得的掩膜来生成照明模式。（c）使用照明模式调制目标，得到的桶信号可以通过预训练的解码网络来重建目标。

　　图2. 实验结果。FSI-learned：使用所提方法的频谱采样策略的傅里叶单像素成像（FSI）结果；FSI-circle：使用均匀圆形欠采样；FSI-DL：均匀圆形欠采样+深度学习；Ours：所提频谱采样与图像重建联合优化。