中国学者开发了世界上第一个大模型DeepDRR的糖尿病诊疗。-LLM

编辑|王多鱼

Pixabay图片

糖尿病是世界上上升最快的主要慢性疾病，可引起失明、肾衰竭、截肢、中风、心肌梗死等。世界范围内糖尿病患者超过5亿，其中80%居住在中低收入国家。中国现有糖尿病患者约1.4亿，居世界第一，糖尿病防治形势更加严峻。特别是在基层和偏远地区，糖尿病管理缺乏合适的技术，基层医生的数量和经验远远不能满足糖尿病管理的实际需要。随着糖尿病患病率的上升，对中国和世界的公共卫生构成了重大挑战。为了赋能基层医疗，迫切需要构建糖尿病一体化管理的适用性数字解决方案。

2024年7月19日，上海交通大学电院计算机系/教育部人工智能重点实验室盛斌教授团队、上海交通大学医学院附属第六人民医院贾伟平教授团队、李华婷教授团队、新加坡国立大学副教授团队合作。在 Nature Medicine 期刊发表的题目为：Integrated image-based deep learning and language models for primary diabetes care 研究论文。

通过医疗工人的交叉合作研究，研究团队构建了世界上第一个视觉-大语言模型的多模态集成智能系统，用于糖尿病诊疗。——DeepDR-LLM。

DeepDR-结合大语言模型和深度学习技术优势，LLM系统完成了医学影像诊断和诊断意见的多模态生成功能，可提供糖尿病视网膜病变辅助诊断结果和个性化糖尿病综合管理意见。该系统在覆盖亚非欧三大地区的七个中国多中心队列中进行了回顾性验证，并对中国基层医疗实际进行了前瞻性的现实世界验证，首次为糖尿病医疗垂直领域的多模式大模型应用效果提供了高质量的循证证据。研究证明DeepDR-LLM系统可以有效改善糖尿病视网膜病变（DR）对基层糖尿病进行筛查和管理，为未来全球糖尿病治理提供了革命性的数字化解决方案。

人工智能，尤其是深度学习，在糖尿病和疾病管理领域发挥着越来越重要的作用。2017年，时任新加坡国家眼科中心医学主任的黄天荫教授及其团队率先在世界范围内实现了基于深度学习算法的中重度糖尿病视网膜病变自动诊断。（DR）该病例在JAMA中发表，这在智能医疗发展过程中具有里程碑意义。

2018年，贾伟平教授和李华婷教授团队与上海交通大学电子信息与电气工程学院盛斌教授团队合作，与新加坡中国眼科中心等机构合作，开发了多任务深度学习系统DeepDR，转移强化，完成了糖尿病视网膜病变（DR）全病程自动诊断，从轻微到增殖期病变，并且可以实时反馈眼底图像的质量，识别分割眼底病变，这一结果于2021年在Nature上公布。 Communications，该技术同时应用于国际糖尿病联盟“全球中低收入我国糖尿病视网膜病变筛查工程”，已推广至48个国家。

2021年底，黄天荫教授受聘于清华大学担任讲座教授和医学带头人，积极开展人工智能赋能糖尿病和眼病的转化研究。贾伟平教授、李华婷教授、盛斌教授与黄天荫教授持续合作，基于Weibull混合分布模型的深度学习系统DeepDR成功构建。 Plus，在全球率先实现近5年DR进展的风险预警和进展预测的同时，美国谷歌之前拥有的技术可以在大幅降低筛查次数和公共卫生成本的情况下保持极低的漏诊率。这一结果于2024年1月在Nature上公布。 Medicine。

但是，过去人工智能系统的研发主要集中在单一的糖尿病病发症筛查或辅助管理领域。随着以ChatGPT为代表的全球生成型人工智能技术的快速发展，多模式模型正在不断推动医疗领域新的应用领域和模式的出现，但这些模型无法根据患者的医学影像和具体情况提供准确安全的糖尿病综合诊断和治疗建议。鉴于这种情况，如何有效整合糖尿病并发症的精准诊断和糖尿病诊疗意见的一键生成，为支持基层医生提供一站式辅助诊疗服务，构建安全可控的多模态智能模型，已成为国际医疗领域的前沿课题和重大挑战。

根据目前的技术空白和临床实际需求，该研究成功开发了世界上第一个视觉-大语言模型和多模式集成智能系统，用于治疗糖尿病基层。——DeepDR-LLM。这个系统由大语言模型组成（LLM）该模块由DeepDR-Transformer模块组成，研究小组创新性地提出适配器。（Adaptor）适应低秩自适应（Low-Rank Adaptation，LoRA）协同优化技术，构建DeepDR-LLM多模态大模型(图2)，可以适应包括LLaMA在内的大语言模型，LLM模块融合了训练传输层和大语言模型的固有权重参数，突破了低算率资源约束下多模态大模型优化的瓶颈，进一步完成了基于37.2万条基层慢性病诊疗和慢性病管理数据和知识的高效优化训练，使DeepDR-LLM系统能够根据患者个人的临床信息生成准确的糖尿病管理意见。与此同时，DeepDR-Transformer模块引入Transformer模型架构，练习超过50万个眼底图像，准确实现眼底图像的质量检测、病变分割和DR分级诊断。DeepDR-与DR-LLM系统相关的视觉图像特征，如Transformer模块，可以自动输入LLM模块，从而实现DeepDR-LLM系统的一站式多模态诊断和治疗意见集成。

图2. DeepDR-LLM系统概述

DeepDR-自去年开发LLM系统以来，研究小组对该系统进行了安全、可靠、可控、公平等多维评估(图3)。研究小组邀请香港中文大学Juliana C. N. 上海市第六人民医院包玉倩教授Chan教授，澳大利亚Baker心脏病与糖尿病研究所Jonathana E. 美国约翰·霍普金斯大学的Shaw教授 B. Echouffo-新加坡中国眼科中心Gavinin教授Tcheugui教授 Siew Wei 由国际多学科专家委员会组成的Tan教授等糖尿病相关学科的著名学者，首先，专家委员会从覆盖中国31个省份的中国糖尿病慢性并发症研究队列中随机选择了100个病例样本。专家对每个病例形成诊断和治疗共识，以此作为正确答案，对DeepDR-LLM系统和基层医生给出的诊断和治疗意见进行盲法评分。

评分数据显示，DeepDR-LLM系统产出诊断和治疗意见的质量达到或优于基层医生的水平(图3a)。DeepDR-LLM系统通过来自北京、上海、广州、武汉、香港等中国城市和新加坡、印度、泰国、英国、阿尔及利亚、乌兹别克斯坦六个国家的超过50万个眼底图像对DeepDR-LLM系统进行外部检测，其DR诊断能力达到专业眼科专家的水平(图3b)。进一步利用从中国糖尿病慢性并发症研究、新加坡眼病流行病学研究等数据库中提取的眼底图像，通过中国基层医生和新加坡读片人员的读片实验，团队也证明了在DeepDR-LLM的帮助下，基层医生可以更准确地判断DR(图3c)。更重要的是，研究小组在现实世界的临床流程中应用了集成DeepDR-LLM系统，对769名中国基层糖尿病患者进行了前瞻性研究，证明在将DeepDR-LLM系统纳入糖尿病诊疗流程后，可以显著改善新型糖尿病患者的自律性，提高DR患者的转诊依从性(图3d)。

图3. DeepDR-LLM系统评估过程

当前，全球基层糖尿病管理水平参差不齐，中低收入国家面临着医疗资源不足、缺乏训练有素的基层医师等挑战。DeepDR-LLM系统具有DR辅助诊断和推荐糖尿病管理意见的功能。将其纳入基层糖尿病管理的诊断和治疗过程，有望提高基层DR筛查能力和推荐糖尿病管理意见的能力，进而改善糖尿病患者的预后(图4)。

图4. DeepDR-在基层糖尿病诊治过程中，LLM系统列入愿景

美国医学科学院教授、精准医学先驱、世界十大医学领域引用学者、斯克里普斯研究所（Scripps Research）Eric的优点 “Topol教授评价：”For people with diabetes, multimodal AI provided high quality and empathetic guidance with enhanced self-management behaviors beyond the primary care physician alone”。

沃尔夫医学获得者，2023年，GLP-加拿大多伦多大学医学院教授Daniell，研究领域的创始人和杰出领袖 J. “Drucker教授评价：”DeepDR-LLM holds promise as a digital solution for enhancing primary diabetes care and diabetic retinopathy screening”。

ADA国际糖尿病Haroldda亚洲糖尿病协会创始人 香港中文大学陈重娥，Rifkin杰出奖得主（Juliana C. N. Chan）“教授评价：”This is a very innovative project of combining language and image AI models to address a public health problem”。

清华大学黄天荫教授、上海交通大学盛斌教授、上海交通大学医学院附属第六人民医院贾伟平教授、李华婷教授、新加坡国立大学宇宗教授为论文共同交流作者。博士生李佳佳、博士生管洲榆、上海市保健医疗中心王静博士是论文的第一作者。

论文链接：

https://www.nature.com/articles/s41591-024-03139-8

阅读原文

本文仅代表作者观点，版权归原创者所有，如需转载请在文中注明来源及作者名字。

免责声明：本文系转载编辑文章，仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布，请及时与我们联系进行审核处理或删除，您可以发送材料至邮箱：service@tojoy.com