一种多模态大模型训练策略确定方法、电子设备及介质
摘要文本
本发明提供了一种多模态大模型训练策略确定方法、电子设备及介质，涉及多模态大模型训练策略确定领域，所述方法包括：获取初始多模态大模型对应的状态列表A；使用预设的一阶段训练策略，对初始多模态大模型进行训练，以得到第一中间多模态大模型列表B；使用预设的两阶段训练策略，分别对处于A中每一状态的初始多模态大模型进行训练，以得到第二中间多模态大模型列表C；获取B对应的第一性能参数列表α＝(α1，α2，α3)以及C对应的第二性能参数列表β＝(β1，β2，β3)；若α1＜β1、α2＜β2且α3＜β3，则将预设的两阶段训练策略确定为初始多模态大模型对应的目标训练策略；本发明能够达到确定出最佳的模型训练策略的目的。
申请人信息
- 申请人:北京中科闻歌科技股份有限公司
- 申请人地址:100080 北京市海淀区北四环西路9号楼7层717室
- 发明人: 北京中科闻歌科技股份有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种多模态大模型训练策略确定方法、电子设备及介质 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311415357.1 |
| 申请日 | 2023/10/27 |
| 公告号 | CN117407754A |
| 公开日 | 2024/1/16 |
| IPC主分类号 | G06F18/24 |
| 权利人 | 北京中科闻歌科技股份有限公司 |
| 发明人 | 罗引; 魏靖烜; 郝艳妮; 陈博; 马先钦; 徐楠; 曹家; 王磊 |
| 地址 | 北京市海淀区北四环西路9号楼7层717室 |
专利主权项内容
1.一种多模态大模型训练策略确定方法，其特征在于，所述方法应用于训练初始多模态大模型，所述初始多模态大模型包括目标大语言模型W1、目标图像编码器W2和初始连接器W3；其中，目标大语言模型用于处理输入的文本信息，目标图像编码器用于处理输入的图像信息，初始连接器用于将目标大语言模型输出的文本信息和目标图像编码器输出的图像信息进行对齐；所述方法包括以下步骤：S100，获取初始多模态大模型对应的每一状态，以得到状态列表A＝(A，A，A)；其中，A、A和A分别为初始多模态大模型对应的第一状态、第二状态和第三状态；初始多模态大模型对应的状态为A时，W1、W2和W3均处于解冻状态；初始多模态大模型对应的状态为A时，W1和W3均处于解冻状态，W2处于冻结状态；初始多模态大模型对应的状态为A时，W2和W3均处于解冻状态，W1处于冻结状态；123123123S200，使用预设的一阶段训练策略，分别对处于A中每一状态的初始多模态大模型进行训练，以得到第一中间多模态大模型列表B＝(B，B，B)；其中，B为对处于A的初始多模态大模型训练得到的中间多模态大模型，B为对处于A的初始多模态大模型训练得到的中间多模态大模型，B为对处于A的初始多模态大模型训练得到的中间多模态大模型；123112233S300，使用预设的两阶段训练策略，分别对处于A中每一状态的初始多模态大模型进行训练，以得到第二中间多模态大模型列表C＝(C，C，C)；其中，C为对处于A的初始多模态大模型训练得到的中间多模态大模型，C为对处于A的初始多模态大模型训练得到的中间多模态大模型，C为对处于A的初始多模态大模型训练得到的中间多模态大模型；123112233S400，获取B中每一中间多模态大模型的性能参数，以得到第一性能参数列表α＝(α，α，α)；并获取C中每一中间多模态大模型的性能参数，以得到第二性能参数列表β＝(β，β，β)；其中，α为B的性能参数，α为B的性能参数，α为B的性能参数，β为C的性能参数，β为C的性能参数，β为C的性能参数；123123112233112233S500，若α＜β、α＜β且α＜β，则将预设的两阶段训练策略确定为初始多模态大模型对应的目标训练策略。112233。微信公众号马克 数据网