基于强化学习的自主超声扫描系统、方法、存储器和设备

专利主权项内容

（来自 马克数据网） 1.一种基于强化学习的自主超声扫描系统，其特征在于，包括：超声扫描模拟模块，用于模拟超声探头、超声扫描目标以及与超声探头连接的机械臂，还用于模拟机械臂在控制策略下自动移动，以模拟超声探头与超声扫描目标进行交互并产生超声图像；强化学习决策模块，用于进行强化学习以得到所述超声扫描模拟模块中机械臂自动移动的控制策略；在强化学习中，将所述超声扫描模拟模块产生的超声图像作为环境输入状态，将所述超声扫描模拟模块中的机械臂向目标位置的移动作为动作输出，将所述超声扫描模拟模块产生的超声图像的质量评分作为奖励；所述超声扫描目标包括具有跳动特性的心脏；所述超声扫描模拟模块包括超声图像产生模拟模块以及机械臂移动模拟模块；所述超声图像产生模拟模块包括超声探头模型和超声扫描目标模型，用于实现超声探头模型与超声扫描目标模型进行交互并产生超声图像；所述机械臂移动模拟模块包括机械臂模型，用于实现机械臂在控制策略下自动移动；所述超声图像产生模拟模块是基于Unity游戏引擎搭建的，搭建的内容包括：超声探头模型与超声扫描目标模型的导入、包含超声探头模型与超声扫描目标模型的场景的构建、超声探头模型的位置和姿态的控制、超声探头模型与超声扫描目标模型的交互、模拟超声切面的获取、超声扫描目标模型的跳动以及各模型的参数设置；所述机械臂移动模拟模块是利用机器人建模软件Mujoco搭建的，搭建的内容包括：机械臂模型的导入、病人模型和病床模型的导入、控制策略对机械臂模型末端位置的控制、对病床模型高度的调整、病人模型姿态的调整以及机械臂模型在移动过程中对病人模型的表面追踪。