唯一性控件区域定位模型训练与定位方法、装置和设备
摘要文本
本发明涉及人工智能领域，提供一种唯一性控件区域定位模型训练与定位方法、装置和设备，训练方法包括：获取初始策略网络，以及包含目标控件区的第一界面图像；将目标控件区的第一状态信息、第一定位信息、第一定位信息的奖励以及目标划定区的第二状态信息作为一组训练数据；基于多组训练数据，采用强化学习方法对初始策略网络进行参数迭代直至满足迭代终止条件，并将完成参数迭代后的初始策略网络作为控件区域定位模型。本发明提供的唯一性控件区域定位模型训练与定位方法、装置和设备，利用交互截图的方式获取多组训练数据，从而可以省去数据标注过程，能够自动截取到具有唯一识别性且包含目标控件区的控件区域，提高自动化测试脚本的编写效率。
申请人信息
- 申请人:北京城建智控科技股份有限公司
- 申请人地址:101320 北京市顺义区仁和园1号院1号楼101室
- 发明人: 北京城建智控科技股份有限公司
专利详细信息
| 项目 | 内容 |
|---|---|
| 专利名称 | 唯一性控件区域定位模型训练与定位方法、装置和设备 |
| 专利类型 | 发明申请 |
| 申请号 | CN202311435873.0 |
| 申请日 | 2023/10/31 |
| 公告号 | CN117454968A |
| 公开日 | 2024/1/26 |
| IPC主分类号 | G06N3/092 |
| 权利人 | 北京城建智控科技股份有限公司 |
| 发明人 | 张辉; 吴正中; 李月强; 刘喆; 王晓东; 张东东; 邓能文 |
| 地址 | 北京市顺义区仁和园1号院1号楼101室 |
专利主权项内容
1.一种唯一性控件区域定位模型训练方法，其特征在于，包括：获取初始策略网络，以及包含目标控件区的第一界面图像；基于所述目标控件区在所述第一界面图像中的位置信息和唯一性信息，以及所述目标控件区的图像特征，确定所述目标控件区的第一状态信息；所述唯一性信息表征所述目标控件区在所述第一界面图像中是否具备唯一识别性；基于所述目标控件区的第一状态信息和所述初始策略网络，确定第一定位信息；基于所述第一定位信息对所述第一界面图像进行控件区域定位，得到目标划定区，并基于所述目标划定区在所述第一界面图像中的位置信息和唯一性信息，确定所述第一定位信息的奖励；基于所述目标划定区在所述第一界面图像中的位置信息和唯一性信息，以及所述目标划定区的图像特征，确定所述目标划定区的第二状态信息；将所述目标控件区的第一状态信息、所述第一定位信息、所述第一定位信息的奖励以及所述目标划定区的第二状态信息作为一组训练数据；基于多组所述训练数据，采用强化学习方法对所述初始策略网络进行参数迭代直至满足迭代终止条件，并将完成参数迭代后的所述初始策略网络作为控件区域定位模型。