刚刚Google Research与Google DeepMind携手发布的关于Med-Gemini最新三个模型家族，分别针对2D医学影像、3D放射学扫描和基因组风险评分任务，3 个新模型开启了医学数据分析的可能性
Med-Gemini-2D
Med-Gemini-3D
Med-Gemini-Polygenic
关于Med-Gemini大家可以我们之前的文章
模型概述与评估
许多临床任务需要理解特殊领域的数据，如医学影像和基因组学，而这些通常不会包含在通用的大规模多模态模型中。基于Gemini的多模态模型，谷歌开发了Med-Gemini系列中的几个新模型，这些模型继承了Gemini的核心能力，并通过结合2D和3D放射学、组织病理学、眼科、皮肤科以及基因组数据的微调优化，专为医疗用途设计
谷歌首次展示了使用Med-Gemini-3D进行3D计算机断层扫描（CT）体积的大型多模态模型报告生成
Med-Gemini-2D/3D/Polygenic 通过自动指标和人类专家的严格评估，在医学 VQA、报告生成（CXR 和 CT）、基因组学疾病风险预测和医学影像分类等方面设定了新的标准，并在一系列基准中表现出色
关键信息解读
深度学习的医疗普及化：
模型打开了医学人工智能的新大门。利用 700 万个样本和 370 万个医疗病例（大部分为自由文本），将其潜力扩展到一系列临床领域！这种方法省去了昂贵的专家标注，使医疗人工智能的发展更加容易
3D医疗数据的新解读：
通过将Gemini视频编码器的时间轴替换为深度维度，研究人员创新性地创建了Med-Gemini-3D模型，首次实现了基于大型多模态模型的3D头部CT体积报告生成。这一技术突破对于理解复杂3D医学数据具有里程碑意义
初步成效：
尽管处于早期阶段，已有53%的头部CT扫描经由美国认证的放射科医师评定，认为其能够提供等同于专业医生的患者护理水平。这预示着在MRI、超声波等其他体积或时间序列数据上的应用前景广阔
胸部X光报告的新标准：
Med-Gemini-2D在胸部X光报告生成方面确立了新标准，两项独立数据集显示，对于正常情况下的报告，AI撰写与放射科医师撰写的报告相比，有57%至96%被认为同样出色或更优；而对于异常情况，这一比例也达到了43%至65%
多领域图像分类的突破：
除了报告生成，Med-Gemini-2D还在医疗视觉问答领域达到新高度，并在组织病理学、眼科、放射学和皮肤科等多个领域的图像分类任务上表现出色，接近特定任务模型的表现
基因组风险预测的飞跃
Med-Gemini-Polygenic是首个利用多基因风险评分预测健康结果的线性混合模型，它超越了传统PRS线性模型，甚至能预测出未被训练过的健康结果，展现了其在精准医疗领域的巨大潜力
结语
Med-Gemini系列研究模型仅仅是个开始，它们展示了Gemini内在多模态技术在医学领域的广泛潜能。这些模型有望极大增强临床医生和患者的决策能力，引领医疗保健进入一个更加智能、高效的时代。随着技术的不断成熟，我们有理由相信，医疗AI将会以前所未有的方式改善人们的生活质量
⭐星标AI寒武纪，好内容不错过⭐
用你的赞和在看告诉我～
精准医疗