← 返回列表
机器人轨迹语言描述生成方法、装置和可读存储介质
摘要文本
本发明涉及一种机器人轨迹语言描述生成方法、装置和可读存储介质。涉及机器人技术领域，该方法包括：在连续仿真环境中生成仿真轨迹，并使智能体按照仿真轨迹运行；获取仿真轨迹运行过程中的传感器观察信息和动作序列信息；确定出动作序列信息中的关键动作；根据关键动作确定出传感器观察信息中的视觉观察信息；采用多模态预训练模型来预测视觉观察信息中的名词信息；生成轨迹指令模板；将关键动作和名词信息填入轨迹指令模板，以得到与仿真轨迹对应的自然语言描述。该方法能够极大降低视觉语言导航训练数据的产生成本，扩大数据规模，降低视觉语言导航的训练难度，提升训练效率和训练得到的模型的泛化性及准确度。。来自：
申请人信息
- 申请人:中国科学院自动化研究所
- 申请人地址:100190 北京市海淀区中关村东路95号
- 发明人: 中国科学院自动化研究所
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 机器人轨迹语言描述生成方法、装置和可读存储介质 |
| 专利类型 | 发明申请 |
| 申请号 | CN202410012473.7 |
| 申请日 | 2024/1/4 |
| 公告号 | CN117506940A |
| 公开日 | 2024/2/6 |
| IPC主分类号 | B25J9/16 |
| 权利人 | 中国科学院自动化研究所 |
| 发明人 | 杨旭; 王泽禹 |
| 地址 | 北京市海淀区中关村东路95号 |
专利主权项内容
1.一种机器人轨迹语言描述生成方法，其特征在于，包括：在连续仿真环境中生成仿真轨迹，并使智能体按照所述仿真轨迹运行；获取所述仿真轨迹运行过程中的传感器观察信息和动作序列信息；确定出所述动作序列信息中的关键动作；根据所述关键动作确定出所述传感器观察信息中的视觉观察信息；采用多模态预训练模型来预测所述视觉观察信息中的名词信息；生成轨迹指令模板；将所述关键动作和所述名词信息填入所述轨迹指令模板，以得到与所述仿真轨迹对应的自然语言描述。