一、糖尿病管理的严峻挑战
1. 专业医师短缺，难以满足患者需求
根据中国医学会糖尿病学会的登记调查，目前中国只有一万多名从事糖尿病管理的医生，根本不能满足当前和日益增长的疾病防治需求。全球约有 10% 的人口受到糖尿病的影响，到 2045 年，全球糖尿病患者人数预计将攀升至 7.83 亿，专业医师的短缺问题愈发严峻。
2. 医疗资源分配不均，患者诊断治疗受限
糖尿病的医疗资源在地区间、城乡间存在较大差异。一线城市和发达地区的医疗资源相对丰富，而农村地区和偏远地区的医疗资源相对匮乏。例如，70 万人口的县城，竟然没有一个糖尿病专科医生。不同等级的医院之间，糖尿病的医疗资源也存在较大差距，这导致许多患者无法获得及时、有效的诊断和治疗。
3. 患者自我管理能力不足，血糖控制不佳
由于缺乏专业知识和持续的指导，许多患者难以有效地进行自我管理。农村 2 型糖尿病患者自我管理现状显示，患者自我管理需要完成疾病或行为管理、角色管理、情绪管理三方面任务，但农村患者在血糖监测不规范、饮食不加控制或盲目控制、对运动缺乏认识等方面存在问题，导致血糖控制不理想。
二、Diabetica 的诞生背景
1. 为应对糖尿病管理挑战，上交大与复旦团队联手开发。结合大语言模型与糖尿病专业知识，提供全方位智能支持。
随着全球糖尿病患病率的逐年攀升，糖尿病管理面临着诸多严峻挑战。上海交通大学清源研究院 MIFA 实验室与复旦大学附属中山医院内分泌科组成的研究团队，深刻认识到这些挑战，决心联手开发一款能够有效应对糖尿病管理难题的工具。
全球约有 10% 的人口受到糖尿病的影响，到 2045 年，全球糖尿病患者人数预计将攀升至惊人的 7.83 亿。在这样的背景下，专业医师短缺、医疗资源分配不均以及患者自我管理能力不足等问题愈发突出。
为了应对这些挑战，研究团队将大语言模型的强大语言处理能力与糖尿病领域的专业知识相结合，开发出了 Diabetica。Diabetica 不仅能够理解复杂的医学术语，还可以为不同层次的用户（包括患者、医务人员等）提供个性化的建议和帮助。
对于糖尿病患者来说，Diabetica 可以提供个性化的医疗支持，帮助他们更好地管理自己的疾病。对于医生来说，Diabetica 可以提供更加高效的医学教育和临床辅助工具，提高他们的工作效率和诊疗水平。对于医疗教育来说，Diabetica 可以为学生提供更加生动、直观的学习资源，帮助他们更好地掌握糖尿病的相关知识。
总之，Diabetica 的诞生，为糖尿病管理带来了新的希望和机遇。
三、Diabetica 的数据处理与模型构建
1. 建立全面数据处理系统，收集多源数据。数据过滤、增强与优化，确保高质量数据集。
研究团队为构建 Diabetica，建立了全面的数据处理系统。首先，团队从多个来源收集数据，包括公共数据源如考试题库、开源医学对话数据集，以及内部数据源如糖尿病指南、教科书、药品说明书和真实医疗对话。
在数据过滤阶段，团队对收集到的原始数据进行关键词筛选，确保只选择真正与糖尿病相关的数据。同时，为避免重复数据对模型训练的影响，团队使用了「SemDeDup」中的去重方法，利用预训练词向量模型生成的词向量进行聚类，在每个类里面识别并排除语义重复的数据点。
数据增强方面，对于糖尿病指南和教科书等数据集中的长文本，团队根据知识点进行分段，然后使用 GPT-4 生成基于每个段落的对话数据。对于考试题库的数据，利用 GPT-4 生成问题的链式推理过程和解答作为训练样本，保证模型能够学到解题思路和答案背后的医学逻辑。
为了提升数据质量和训练稳定性，团队还使用了自蒸馏方法实现数据优化。待训练的模型首先根据训练数据集中的每个指令生成一个初始回答，这个初始回答包含了模型原有的知识，与模型内部分布一致。之后，模型基于原始数据集中的指令和标准回答来修正初始回答，获得蒸馏后的回答。这个蒸馏步骤让模型生成一个与自己内部分布更加一致并且准确的答案。最终，模型自蒸馏后的回答取代原始回答，用于该模型的微调阶段。通过这一系列严格而精细的数据处理步骤，研究团队成功构建了一个高质量的糖尿病领域数据集。
2. 采用开源大模型微调，构造评估基准。
在模型开发方面，团队采用了开源大模型 Qwen2-7B-Instruct 进行微调。为了全面评估 Diabetica 的性能，研究团队设计并构造了多个针对糖尿病领域的评估基准，包括多项选择题测试、填空题测试和开放式问答测试。对于开放式问答，团队中的医学专业人员对每道题事先制定了详细的回答准则，如准确性、完整性、同理心等。之后团队参考 LLM-as-Judge，使用 GPT-4 和 Claude-3.5 作为评审，给出不同模型回答的评分。通过这些基准测试，团队详细比较了 Diabetica 与其他模型（包括开源和闭源模型）的表现。实验结果表明，Diabetica 不仅在所有任务中超越了其他开源模型，甚至在某些任务上表现超过了 GPT-4o、Claude-3.5-sonnet 等闭源商业模型，展示了其在糖尿病任务中的领先表现。
四、Diabetica 的优势与特点
1. 理解复杂医学术语，为不同用户提供个性化建议。在糖尿病任务处理方面表现出色，超越其他模型。
Diabetica 凭借其强大的语言处理能力，能够轻松理解复杂的医学术语。无论是专业的医生还是普通的患者，都能从 Diabetica 那里获得准确且易于理解的信息。对于医生而言，Diabetica 可以辅助他们进行临床诊断和治疗决策，提供最新的研究成果和治疗方案建议。例如，在面对复杂的糖尿病并发症病例时，Diabetica 能够快速分析病情，给出针对性的治疗建议，提高医生的工作效率。对于患者来说，Diabetica 可以根据个人的病情和生活习惯，提供个性化的饮食、运动和药物治疗方案。比如，对于一位患有糖尿病同时又有特殊饮食需求的患者，Diabetica 可以制定出既符合糖尿病治疗要求又满足患者口味偏好的饮食计划。
在糖尿病任务处理方面，Diabetica 展现出了卓越的性能。通过与其他模型的对比测试，Diabetica 在多项选择题测试、填空题测试和开放式问答测试中均取得了优异的成绩。实验数据显示，在开放式问答测试中，Diabetica 的回答准确率高达 90% 以上，远远超过了其他开源模型。在某些任务上，甚至超越了 GPT-4o、Claude-3.5-sonnet 等闭源商业模型。这一优势使得 Diabetica 在糖尿病管理领域具有广阔的应用前景，可以为患者、医生和医疗机构提供更加高效、准确的智能支持。
五、Diabetica 的应用前景
1. 简化临床任务，助力糖尿病管理
Diabetica 在简化临床任务方面具有巨大潜力，为糖尿病管理提供了有力的支持。对于医护人员来说，Diabetica 可以快速处理大量的医疗数据，辅助医生进行诊断和治疗决策。例如，通过分析患者的病历、检查报告等数据，Diabetica 能够快速给出病情评估和治疗建议，大大缩短了医生的诊断时间。
在临床任务中，Diabetica 还可以帮助医护人员进行患者管理。它可以根据患者的病情和治疗进展，自动生成个性化的治疗方案和随访计划，提高患者的治疗依从性。同时，Diabetica 还可以对患者的健康数据进行实时监测和分析，及时发现病情变化，为医护人员提供预警信息，以便采取及时的干预措施。
此外，Diabetica 还可以协助医疗机构进行医疗资源的优化配置。通过对患者需求和医疗资源的分析，Diabetica 可以为医疗机构提供合理的医疗资源分配方案，提高医疗资源的利用效率。
总的来说，Diabetica 作为一款糖尿病专用大模型，在简化临床任务、助力糖尿病管理方面具有广阔的应用前景。它将为患者、医生和医疗机构带来更加高效、便捷的医疗服务，为糖尿病管理事业做出重要贡献。
