详情

用 AI 大模子一键解析 MRI、CT 和病理学等九大生物医学成像情势。

不仅复杂、不端正步地对象能高精度识别：

而且通过对象识别阈值建模，模子大约检测无效的教唆肯求，并在图像中不存在指定对象时远离分割。

用户更是无需手动进行标注或鸿沟框操作——

只需通过粗浅的临床谈话教唆指定想法对象，举例"肿瘤鸿沟"或"免疫细胞"，便能让 AI 准确识别、检测并分割图像中的联系区域。

还可一次性同期分割和标记悉数感瞻仰的生物医学对象：

这便是来自微软、华盛顿大学等的商榷团队最新发布的基础模子BiomedParse，已登Nature Methods。

医学图像的成像情势互异雄伟（如 CT、MRI、病理切片、显微镜图像等），传统上需要历练大家模子进行处理。

而 BiomedParse，通过文本运转图像解析将九种医学成像情势整合于一个长入的模子中，结伴预历练处理对象识别、检测与分割任务。

不论是影像级别的器官扫描，依然细胞级别的显微镜图像，BiomedParse 王人不错径直诈骗临床术语进行跨情势操作，为科学家和临床大夫提供了更长入、更智能的多情势图像解析有筹画。

在分割不端正步地的生物医学对象方面，BiomedParse 相较传统模子发扬超卓。通过将图像区域与临床看法关联，比拟手动框选分割精度擢升 39.6%，提高了在要害任务中的可靠性。

现在，商榷团队已将 BiomedParse 开源并提供 Apache 2.0 许可，联系演示 demo 和 Azure API 均已上线。

只需笔墨教唆，精度卓著 SOTA

为搭救 BiomedParse 的预历练，商榷团队诈骗GPT-4从 45 个公开的医学图像分割数据集生成了首个隐私对象识别、检测和分割任务的数据集 BiomedParseData。

该数据集包含朝上 600 万个图像、分割标注与笔墨形色三元组，涵盖64 种主要生物医学对象类型及82 个细分类别，触及 CT、MRI、病理切片等九种成像情势。

通过 GPT-4 的当然谈话生成技艺，商榷东说念主员将洒落在各样现存数据汇聚的分割任务用长入的医学看法停战话形色整合起来，让 BiomedParse 能在更大，更各样的数据中交融贯通。

在测试集上，BiomedParse 在 Dice 悉数上显赫卓著了刻下最优技艺 MedSAM 和 SAM，而且无需对每个对象手动提供鸿沟框教唆。

即使在给 MedSAM 和 SAM 提供精确鸿沟框的情况下，BiomedParse 的纯文本教唆分割性能仍能卓著 5-15 个百分点。

此外，BiomedParse 的性能还优于 SEEM、SegVol、SAT、CellViT、Swin UNETR 等多个模子，尤其在复杂不端正的对象识别上发扬隆起。

生物医学图像中的不端正对象一直是传统模子的清贫，而 BiomedParse 通过结伴对象识别和检测任务，通过文本瓦解杀青了对对象特定步地的建模。对复杂对象的识别精度远超传统模子，且在多模态数据汇聚进一步突显了其上风。

瞻望往日，团队暗示 BiomedParse 领有广袤的发展后劲，可进一步彭胀至更多成像情势和对象类型，并与 LLaVA-Med 等高档多模态框架集成，搭救"对话式"图像分析，杀青数据交互式探索。

作家简介

论文共并吞作及通信作家均为华东说念主学者，分裂来自微软和华盛顿大学。

赵正德（Theodore Zhao），论文一作，为该商榷作出主要时代孝敬。

微软高档应用科学家，现主要商榷标的包括多模态医疗 AI 模子，图像分割与处理，大模子的安全性分析。

本科毕业于复旦大学物理系，博士毕业于华盛顿大学应用数学系，时分商榷希尔伯特 - 黄变换和分数布朗通顺的多范例特征，以及当场优化在医疗鸿沟的应用。

顾禹（Aiden Gu），论文一作。

微软高档应用科学家。本科毕业于北京大学微电子与经济专科。

其商榷标的专注于医疗健康、生物医学，以及机器东说念主多模态模子。代表性使命包括创建首个医学鸿沟特定的大谈话模子 PubMedBERT，以及患者旅程模拟模子 BiomedJourney。

潘海峰（Hoifung Poon），论文通信作家。

王晟（Sheng Wang），论文通信作家。

华盛顿大学诡计机科学与工程系助理教导，微软商榷院打听学者。

他专注于东说念主工智能与医学的交叉商榷，诈骗生成式 AI 处理生物医常识题。其科研服从已在《Nature》《Science》《Nature Biotechnology》《Nature Methods》和《The Lancet Oncology》等顶级期刊上发表十余篇论文，并被 Mayo Clinic、Chan Zuckerberg Biohub、UW Medicine、Providence 等多家著明医疗机构普遍应用。

Mu Wei，论文通信作家。

微软 Health and Life Sciences 首席应用科学家，领有十余年医疗与金融鸿沟的 AI 模子研发与部署警戒。

他的团队聚焦于健康鸿沟的多模态 AI 模子，商榷服从涵盖生物医学图像解析、数字病理学基础模子、临床文档结构化的大模子应用以及大模子不实率臆想等标的。

感瞻仰的童鞋可自行查阅～

论文地址：https://www.nature.com/articles/s41592-024-02499-w

神气网页：https://microsoft.github.io/BiomedParse/

代码：https://aka.ms/biomedparse-release

Azure API 网页：https://ai.azure.com/explore/models/MedImageParse/version/3/registry/azureml?flight=ModelCatalogIndustryFilters&tid=72f988bf-86f1-41af-91ab-2d7cd011db47

—  完  —

投稿请发邮件到：

ai@qbitai.com

标题注明【投稿】，告诉咱们：

你是谁，从哪来，投稿本体‍

附上论文 / 神气主页勾搭，以及联系形势哦

咱们会（尽量）实时回报你

点这里� � 体恤我，牢记标星哦～

一键三连「共享」、「点赞」和「在看」

科技前沿进展日日相遇 ~