中国科学院计算机网络信息中心人工智能部研究员杨小渝的博士生郑巳明于近期取得多项学术成果，相关研究成果发表在Patterns和Photonics Research上。
原位电子显微技术（EM）与超快探测器的发展为探索材料的动力学打开了一扇新的大门，然而，这也对透射电镜大数据压缩和存储提出了挑战。开发出一种高效、高保真的大数据压缩策略对推动透射电子技术的广泛应用具有重要意义。该研究成果以Super-compression of large electron microscopy time series by deep compressive sensing learning为题，发表在Patterns上。该研究中，研究人员结合深度学习（deep learning）和时间压缩感知（temporal compressive sensing）提出一种新颖的EM大数据压缩策略。具体而言，时间压缩感知（TCS）首先用作编码器，将多个帧压缩为单帧测量，显著降低了带宽和数据传输、存储的内存要求。然后，构建了端到端的深度学习网络，以极高的速度从单帧测量中重建原始图像系列。由于深度学习框架的压缩效率和内置去噪能力比传统的JPEG压缩显著提高，因此，能够高保真地重建压缩比高达30的原位系列图像或视频。使用这一策略可以节省大量的编码能力、内存和传输带宽。这一技术将有望在电镜和其他成像技术的大数据存储中获得广泛应用。
真实场景光谱丰富。自摄影诞生以来，捕捉颜色和光谱信息一直是核心问题。研究人员提出了一种即插即用（PnP）方法，该方法使用基于深度学习的降噪器作为光谱快照压缩成像（SCI）的正则化先验。该方法有效权衡了压缩图像重建的质量和速度，并且可以灵活地用于不同的压缩编码机制。这为在一个快照中捕获和恢复多光谱或高光谱信息铺平了道路，可能会激发遥感、生物医学科学和材料科学中的应用。相关文章发表于Photonics Research。
图1.用于大数据电子显微镜（EM）的时间压感知-深度学习（TCS-DL）框架结构
图2.典型光谱SCI系统的图像形成过程，即SD-CASSI和使用所提出的深度即插即用（PnP）先验算法的重建过程
来源：中国科学院计算机网络信息中心