版权归原作者所有,如有侵权,请联系我们

FAST助力显微技术,“快速阅读”成为可能?

HyperAI超神经
原创
人工智能说明书,了解 AI 的功效和副作用。
收藏

「我高兴地在北京市的天安门广场上看红色的国旗升起」

快速阅读一下这个句子,大家可能会发现,只需「我在天安门广场看升旗」几个字,就能概述我们需要的信息,也就是说,无需逐字逐句地阅读,抓住重点即可破译全部信息。那么,科学研究是不是也能如此呢?

受此启发,研究人员将人工智能 (AI) 与显微技术结合,训练 AI 主动识别样本中的关键特征,供研究者分析。不同于传统显微技术中对样本的全点式扫描,AI + 显微技术的方法彻底改变了研究人员获取样本数据的方式,显著加快实验进程,实现了微观层面的「快速阅读」。

作者 | 加零

编辑 | 雪菜、三羊

显微镜的原理是通过扫描样品产生空间分辨信号,收集信号进行分析,从而形成样品图像。随着仪器仪表技术的不断进步,显微镜的扫描速度和分辨率都有了很大提升。

但是,高分辨率的显微扫描实验有一些明显的缺点:产生的数据量庞大,且探针对样品的损伤也很大。以在 ≈10 nm 的分辨率下进行 1mm^3 体积的 X 射线成像为例,传统扫描方式会产生 10^15 体素的数据,并且需要相当大剂量的探针。

同时,样本中的大多区域信息密度低、可以直接忽略,反而是少部分的「边界、缺陷、特殊元素」区域包含丰富的信息量,需要重点研究。

精准定位信息密度大的关键区域,传统方法主要依赖经验丰富的操作员分析数据、指导探针扫描,这极大增加了工作量,拖慢实验进度。

那么,有没有可能引入 AI ,让它帮助研究者识别样本中的研究重点,加速数据采集和分析呢?

在 APS 进行自动暗场扫描显微实验的艺术图示

为此,美国阿贡国家实验室 (Argonne National Laboratory) 的研究人员开发了 FAST (Fast Autonomous Scanning Toolkit),它是一个快速自动扫描套件,与传统显微镜研究样本的全点式扫描不同,FAST 允许 AI 自动识别扫描的位置,从而高效精准的获取样本信息。目前相关成果已发表于「Nature Communications」。

相关成果已发表于「Advanced Science」

FAST 科研人员在模拟测试 (simulations) 及暗场 X 射线 (dark-field X-ray) 显微镜实验中,对 WSe2 film 进行了 FAST 扫描,结果表明,<25% 的 FAST 扫描就足以准确地成像并分析样本。

论文链接:

https://www.nature.com/articles/s41467-023-40339-1

实验过程

训练数据:利用通用图像训练算法

FAST 所采用的算法不需要利用大型数据集开展训练,AI 可利用通用图像识别感兴趣的区域。

训练数据由 MIT Libraries,USC-SIPI Image Database 和 Scikit-image software package 公开提供的图像生成。

所用的测试图像示例

FAST:快速自主扫描工具套件

FAST 全称 Fast Autonomous Scanning Toolkit,它结合了 SLADS-Net 方法、路径优化技术以及高效且模块化的硬件控制,是一个快速自主扫描工具套件,可用于基于同步加速器的扫描显微镜 (synchrotron-based scanning microscopy) 的实时采样和扫描路径选择。

FAST 工作流程

A:一组准随机 (quasi-random) 初始测量值被传输到边缘设备,依次生成初始样本估计,计算下一个要测量的候选点 (candidate points),并计算出测量路径。新测量值与现有的测量值结合,计算新估计值,重复该过程直至达到完成标准。

B:候选点运算开始时会检查每个未被测量 point P(半径为 r)的局部邻域,已经测量过的点会高亮,从而生成 6 维特征向量。使用径向基核函数 (RBF) 内核将特征向量转换为 50 维向量,并作为多层神经网络 (NN) 的输入。接下来神经网络 (NN) 会通过测量 point P 对图像预期改进进行预测 (ERD)。选择 ERD 最高的一组未测量像素,作为下次测量的候选。

FAST 的训练不依赖具体的样本数据,就可以动态测量和重构一个复杂的(非二进制)样本,这与现有的基于 SLADS 的工作流程有所不同。此外,与获取时间 (acquisition time) 相比,其计算成本可以忽略不计,即使运行在低功耗边缘计算设备(放在同步加速器束线)上也是如此,这对于更通用的自主实验技术而言具有显著优势。

这些特性使得 FAST 能够应用于 APS hard X-ray nanoprobe beamline 上现有的高精度纳米级扫描 X 射线显微镜仪器。

性能验证

FAST:优于静态取样方法

为了验证 FAST 的性能,研究人员将其与另外 3 种静态取样技术进行了对比实验。

实验对象:即测试数据集,为一张 600 × 400 像素的暗场图像,代表 24 万个可能的测量位置,覆盖 900 × 600 μm 的物理区域,并包含多片不同厚度的 WSe2 切片;

对比方式:3 种静态采样技术分别为栅格 (RG, Raster grid) 采样、均匀随机 (UR, Uniform random) 采样、低差异 (LDR, Low-discrepancy) 准随机采样;

实验过程:在相同的扫描覆盖率下,生成 FAST、RG、UR 和 LDR 采样重建图像。

对比一:

FAST 与静态采样重建图像对比

A :ground truth 图像,颜色刻度代表归一化强度

B-D:10% 扫描覆盖率下 RG、LDR 和 FAST 重建图像

结果显示:FAST 采样能够高保真地再现实验对象中边界、气泡和不同厚度水平之间的过渡区域。

对比二:

不同扫描覆盖率下FAST 与静态采样方法性能对比

A:归一化平方平均数误差 (NRMSE) 随扫描覆盖率的变化,值越低性能越优;

B:结构相似性度量 (SSIM) 随扫描覆盖率的变化,值越高性能越优。

结果显示:FAST 采样效率高,在扫描覆盖率达到 27% 时,实现了稳定重建;静态取样的 3 种方法要达到同样的效果,则需要更长的时间。

对比三:

相同取样条件下,覆盖率 10% 时 FAST 及 2 种静态取样方法的实际测量位置

结果显示,FAST 重建结构相似性高,误差低。

未来可通过在 FAST 方法中使用更复杂的修复技术 (inpainting technique),来进一步改善结果。

以上 3 组对比结果显示:

FAST 优于静态采样技术。FAST 会优先选择具有显著异质性的区域进行采样,而非均匀区域。这极大减少了在空白区域无效取样的时间,对稀疏样本特别有效。

FAST:具备高效、精准的暗场图像重建能力

在同步加速器光束线实验中,FAST 进一步展现了卓越性能。

此实验过程完全由 AI 自驱动进行,研究人员除启动 FAST 脚本外没有进行任何干扰。实验样本是变形的 WSe2 薄片,空间分辨率为 100 nm。

FAST 扫描的演进

A、C、E :5% 、15% 和 20% 扫描覆盖率下 FAST 重建暗场图像;

B、D、F :相应的实际测量点;

G :通过全网格逐点扫描(100% 覆盖率)获得的图像;

A-G:颜色刻度显示了归一化强度;

H:仅显示在 15%-20% 覆盖率之间的采样点。

上图显示,低扫描覆盖率的情况下,FAST 方法优先识别了一些异质性区域,如气泡的边缘;随着扫描覆盖率逐步上升,重建结果越发清晰,在 15%-20% 的扫描覆盖率之间重建图像达到稳定。

20% 扫描覆盖率下,FAST 可清晰、准确地复制全扫描图像中所有主要特征,同时帮助实验节省约 80 分钟 (≈65%) 的时间,大大提高了实验效率。

AI + 显微技术的未来

FAST 流程的优势不仅在提升显微数据采集效率,还在于广泛的应用范围。来自美国阿贡国家实验室的科学家 Tao Zhou 说「从 X 射线显微镜到电子显微镜再到原子探针显微镜,这种技术可以为任何需要二维扫描的显微镜研究赋能」。

未来,AI 技术也将在显微技术领域迎来更深入地应用。通过训练,AI 正逐步接手如自动化图像分析和识别、图像增强和重建、定量分析和疾病诊断等任务。

AI + 显微技术,朝着更清晰、更高效、更精准的未来走去,科学研究的边界也将不断拓宽。

参考链接:

[1]https://www.nature.com/articles/s41467-023-40339-1

[2]https://phys.org/news/2023-10-artificial-intelligence-scientists-self-driving-microscopy.html

[3]A Supervised Learning Approach for Dynamic Sampling

评论
演绎无限精彩!
大学士级
AI 显微技术有望对现有显微镜产生质的变化,并为科研和工业领域的研究铺平道路。相信随着AI技术的进一步发展,显微镜技术会得到更好的进步。
2023-11-07
科普634fdbcebc447
进士级
FAST流程的优势不仅在提升显微数据采集效率,还在于广泛的应用范围。
2023-11-07
科普5d3a538e23e4a
太师级
FAST助力显微技术,“快速阅读”成为可能
2023-11-07