AI 驱动的 μSAM 以前所未有的方式加快显微镜图像分析
快速阅读: 据《AZoAI》最新报道，格廷根大学科学家研发了微SAM，一种基于AI的显微成像工具，显著提升了细胞和组织结构的分割精度和多功能性。该工具集成到napari中，支持自动和交互式分割，已被广泛应用于生物学和医学研究。未来，团队将继续完善模型，扩展应用范围。
格廷根大学 2025年2月25日 科学家们利用微SAM这一尖端的人工智能工具，革新了显微成像技术，该工具超越了现有的方法，使复杂的生物图像分割更快、更精确，并且让全球的研究人员都能使用。我们提供了一个用于分割多维显微镜数据的napari插件。该工具使用SAM，包括我们为光学显微镜（LM）和电子显微镜（EM）改进的模型（见b）。它支持自动和交互式分割以及基于用户数据的模型重新训练。绘制的图展示了一个完整的流程，基于自动分割，通过交互式分割和基于获得注释的模型重新训练来修正分割掩码。工作流程的各个部分也可以单独使用，例如，仅使用交互式分割（如虚线所示）。b，由于我们为LM（上）和EM（下）改进的模型，分割质量得到提升。蓝色方框或蓝点表示用户输入，黄色轮廓表示真实对象，红色覆盖层表示模型预测。
在显微镜图像中识别和描绘细胞结构对于理解生命复杂过程至关重要。这项任务称为“分割”，它允许进行自动和交互式的图像分析，使研究人员能够以最少的手动操作优化和改进结果。它使得一系列应用成为可能，比如分析细胞对药物治疗的反应或比较不同基因型的细胞结构。虽然已经可以对这些生物结构进行自动分割，但专用方法仅适用于特定条件，适应新条件的成本很高。由格廷根大学领导的一个国际研究团队现在开发了一种技术，通过微调现有的基于人工智能的软件Segment Anything（SAM），并结合新的解码器和迭代训练方案，在超过17000张显微镜图像上进行了超过200万个结构的手动标注。他们的新模型称为显微镜下的Segment Anything（微SAM），显著提升了光镜和电子显微镜下的分割精度和多功能性。它可以精确地分割各种环境中的组织、细胞和类似结构。为了使其可供研究人员和医学医生使用，他们还创建了微SAM，这是一个集成到流行显微镜图像查看器napari中的用户友好软件工具。这个工具允许自动和交互式分割，使用户能够在最少的手动干预下优化分割。他们的研究成果发表在《自然方法》杂志上。
为了将现有软件应用于显微镜，研究团队首先在一个大型开源数据集上对其进行了评估，这显示了模型在显微镜分割方面的潜力。为了提高质量，团队实施了一种先进的微调方法，重新训练了大量显微镜数据集。这大幅提升了模型在细胞、细胞核和细胞内称为细胞器的微小结构分割上的性能。与原版SAM相比，微SAM引入了一种更精确的分割方法，通过整合改进的实例分割技术，解决了原版SAM难以区分聚集细胞的问题。然后，团队创建了自己的软件微SAM，使研究人员和医学医生能够在无需手动描绘结构或训练特定的人工智能模型的情况下分析图像。该软件已在国际上广泛应用，例如用于分析耳部神经细胞作为听力恢复项目的一部分，用于人工肿瘤细胞的分割以进行癌症研究，或用于分析火山岩的电子显微镜图像。
“分析细胞或其他结构是显微镜研究中最具有挑战性的任务之一，也是生物学基础研究和医学诊断的重要任务。”格廷根大学计算机科学研究所的青年教授康斯坦丁·帕佩说。“我的团队专门从事自动化此类任务的工具建设，我们经常被研究人员要求帮忙。在显微镜下的Segment Anything（微SAM）开发之前，我们必须让他们先手动标注大量的结构——一个困难且耗时的任务。微SAM改变了这一切！原本需要几周时间的繁琐手动工作现在可以在几小时内自动化完成，因为该模型只需几次点击即可分割任何类型的生物结构，随后可以进一步改进以自动化任务。”
默认SAM和我们的LM通才（ViT-L）交互式分割的定性对比。在相反的方法中，我们展示了当IOU下降最大时的对象，比较了通才和默认模型。在这里，我们可以看到几种不同的效果：在某些情况下，通才模型会分割多个相邻的细胞（证明了先前观察到的一般行为的例外）；而在其他情况下，分割质量较低，因为通才模型分割了较小的子结构。这种系统效应在Covid IF中也可以观察到，其中通才模型通常只分割细胞核，而不是整个细胞。请注意，所有这些数据集的定量分割质量对于通才模型明显更高。
“在比较评估中，微SAM在分割细胞核和细胞器方面表现出优于广泛使用的工具如CellPose、ilastik和TrackMate的分割准确性。这种竞争优势凸显了其作为显微镜图像分析领先工具的潜力。”研究团队承认微SAM存在一些局限性。尽管它在通用分割能力方面取得了重大进展，但开发一个在所有显微镜领域都能同样出色工作的真正通用模型仍然是一个挑战。团队计划进一步完善模型，以增强其在电子显微镜中的性能，并扩大其训练数据集以实现更广泛的应用。“这开启了众多新应用，”帕佩继续说道，“我们已经在从基础细胞生物学到癌症疗法治疗推荐工具开发的广泛项目中使用了它。随着持续改进，我们希望微SAM能成为跨多种成像模式研究的必备工具。”
(以上内容均由Ai生成)
