一种基于大模型领域迁移的医疗影像报告生成方法
摘要文本
本发明涉及影像报告生成技术领域，公开了一种基于大模型领域迁移的医疗影像报告生成方法；生成模型的训练过程包括：使用视觉编码模块，将放射性图像编码为视觉向量；将视觉向量以及生成提示，输入大模型领域实例迁移模块，得到中间报告以及实例迁移损失；将视觉向量、精细化提示和中间报告，输入大模型精细解码模块，得到最终的影像报告以及交叉熵损失；计算总损失，并使用反向传播算法更新大模型领域实例迁移模块以及大模型精细解码模块的参数。本发明通过域内实例排序的过程，能够实现在少量数据样本前提下，快速地实现将大语言模型向专有领域内特定任务信息的对齐；能够进一步提升大语言模型在医疗影像报告生成任务上的文本生成能力。
申请人信息
- 申请人:中国科学技术大学
- 申请人地址:230026 安徽省合肥市包河区金寨路96号
- 发明人: 中国科学技术大学
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种基于大模型领域迁移的医疗影像报告生成方法 |
| 专利类型 | 发明授权 |
| 申请号 | CN202311401131.6 |
| 申请日 | 2023/10/26 |
| 公告号 | CN117174240B |
| 公开日 | 2024/2/9 |
| IPC主分类号 | G16H15/00 |
| 权利人 | 中国科学技术大学 |
| 发明人 | 宋彦; 刘畅; 田元贺; 陈伟东; 张勇东 |
| 地址 | 安徽省合肥市包河区金寨路96号 |
专利主权项内容
1.一种基于大模型领域迁移的医疗影像报告生成方法，将放射性图像输入生成模型，生成模型根据生成提示和精细化提示生成影像报告；生成模型包括视觉编码模块、大模型领域实例迁移模块以及大模型精细解码模块；生成模型的训练过程，包括以下步骤：步骤一，使用视觉编码模块，将输入的放射性图像编码为视觉向量/>；步骤二，将视觉向量以及生成提示/>，输入大模型领域实例迁移模块，得到中间报告以及实例迁移损失/>；具体包括以下步骤：S21，利用放射性图像、训练数据、公开医疗语料、检索工具，使用相关实例检索过程得到相关实例列表/>；S22，利用视觉向量、生成提示/>以及相关实例列表/>，使用对比语义排序过程得到中间报告/>以及实例迁移损失/>；步骤三，将视觉向量、精细化提示/>和中间报告/>，输入大模型精细解码模块，得到最终的影像报告/>以及交叉熵损失/>，具体包括以下步骤：S31，将视觉向量、精细化提示/>和中间报告/>输入文本生成器，得到最终的影像报告；S32，把文本生成器预测的影像报告中的各个字/>与人工标注的影像报告的各个字对比，并通过损失函数/>计算损失/>；/>损失函数即为交叉熵损失函数；步骤四，计算总损失，并使用反向传播算法更新大模型领域实例迁移模块以及大模型精细解码模块的参数。