← 返回列表
一种大模型计算任务卸载和语义编码优化方法及系统
摘要文本
本发明公开了一种大模型计算任务卸载和语义编码优化方法及系统,接收用户端的大模型计算任务,根据本地计算时延、边缘计算时延和用户传输时延,得到系统总体时延,根据本地计算能耗、边缘计算能耗和用户传输能耗得到系统总体能耗,根据系统总体时延和系统总体能耗计算得到系统综合成本后,构建计算任务卸载模型后,对计算任务卸载模型进行求解,得到最优卸载策略,根据最优卸载策略得到最终带宽和算例资源量,并利用最优卸载策略对语义编码策略进行优化,得到最优语义率,本方法通过对大模型计算任务卸载策略和语义编码策略进行优化,使得系统可以从大模型的高维任务中提取出低维语义信息以进行传输,降低了通信的时延和能耗开销。
申请人信息
- 申请人:广东电网有限责任公司
- 申请人地址:510000 广东省广州市越秀区东风东路757号
- 发明人: 广东电网有限责任公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 一种大模型计算任务卸载和语义编码优化方法及系统 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311421470.0 |
| 申请日 | 2023/10/30 |
| 公告号 | CN117472466A |
| 公开日 | 2024/1/30 |
| IPC主分类号 | G06F9/445 |
| 权利人 | 广东电网有限责任公司 |
| 发明人 | 孙颖; 黄家嘉; 危阜胜 |
| 地址 | 广东省广州市越秀区东风东路757号 |
专利主权项内容
1.一种大模型计算任务卸载和语义编码优化方法,其特征在于,包括:接收用户端的大模型计算任务;选择本地计算模式或边缘计算模式对所述大模型计算任务进行卸载,若选择本地计算模式对所述大模型计算任务进行卸载,则得到本地计算时延和本地计算能耗,若选择边缘计算模式对所述大模型计算任务进行卸载,则得到边缘计算时延和边缘计算能耗;根据所述本地计算时延、所述边缘计算时延和用户传输时延,得到系统总体时延,根据所述本地计算能耗、所述边缘计算能耗和用户传输能耗得到系统总体能耗;根据所述系统总体时延和系统总体能耗计算得到系统综合成本,根据所述系统综合成本构建计算任务卸载模型后,对所述计算任务卸载模型进行求解,得到最优卸载策略;根据所述最优卸载策略得到最终带宽和算例资源量,并利用所述最优卸载策略对语义编码策略进行优化,得到最优语义率,以使系统根据所述最终带宽、所述算例资源量和所述最优语义率对所述大模型计算任务进行卸载和编码。