首页 > 医药医疗 专利正文
图像检测方法及相关的模型训练方法、设备、装置与流程

时间:2022-02-17 阅读: 作者:专利查询

图像检测方法及相关的模型训练方法、设备、装置与流程

1.本技术涉及人工智能技术领域,特别是涉及一种图像检测方法及相关的模型训练方法、设备、装置。


背景技术:

2.目前,利用神经网络对人和动物的骨骼进行分割、标记,进而促进人们对骨骼自身情况的了解,以及关于骨骼的疾病判断等方面,是研究的热点,应用前景广泛。例如,针对包含人体肋骨的ct图像,对肋骨进行分割、标记的技术,能够帮助医生快速判断肋骨骨折等问题,这极大地减轻了医生的负担。
3.然而,在利用神经网络对人和动物的骨骼进行分割、标记时,需要采集到完整的骨骼图像。目前,对于骨骼图像是否完整,只能依靠人工来进行识别和判断,而人工判断的过程,耗时耗力,效率较低,同时也极大的限制了神经网络对骨骼进行分割、标记这一技术的进一步发展。
4.因此,如何快速对骨骼的完整性进行判断,具有非常重要的意义。


技术实现要素:

5.本技术至少提供一种图像检测方法及相关的模型训练方法、设备、装置。
6.本技术第一方面提供了一种图像检测方法,该方法包括:获取包含目标对象的目标医学图像,其中,目标对象包括若干骨骼;基于目标医学图像,确定至少一张待检测图像,其中,待检测图像包括至少部分的目标医学图像;利用检测模型对至少一张待检测图像进行检测,得到目标医学图像的第一检测结果,其中,第一检测结果包括目标对象在至少一个方向上的完整性信息。
7.因此,通过利用检测模型来对待检测图像中的目标对象进行完整性检测,从而不必再利用人工来阅读图像并判断目标对象的完整性,以此可以加快检测速度,提高检测效率。
8.其中,上述利用检测模型对至少一张待检测图像进行检测,得到目标医学图像的第一检测结果,具体包括:利用检测模型对每张待检测图像进行检测,得到每张待检测图像的第二检测结果;其中,第二检测结果包括待检测图像中目标对象在至少一个方向上的存在情况;基于每张待检测图像的第二检测结果,得到目标医学图像的第一检测结果,其中,第二检测结果中各方向上的存在情况用于得到目标对象在对应方向上的完整性信息。
9.因此,通过从不同的方向上利用目标对象的存在情况来判断目标对象的完整性,实现待检测图像中目标对象在不同方向上的完整性检测,提高检测的全面性和准确度。
10.其中,上述检测模型包括特征提取网络和检测网络。上述利用检测模型对每张待检测图像进行检测,得到每张待检测图像的第二检测结果,具体包括:利用特征提取网络分别对每张待检测图像进行特征提取,得到每张待检测图像的特征信息;利用检测网络分别对每张待检测图像的特征信息进行检测,得到每张待检测图像的第二检测结果。
11.因此,通过检测模型对待检测图像进行特征提取和检测,可以得到待检测图像的第二检测结果。
12.其中,第一检测结果包括目标对象在多个方向上的完整性信息,第二检测结果包括待检测图像中目标对象分别在多个方向上的存在情况,其中,不同方向的存在情况是由检测网络中的不同子网络对待检测图像的特征信息进行检测得到的。
13.因此,利用检测网络中的不同子网络对待检测图像的特征信息进行检测,以得到待检测图像中目标对象在不同方向的存在情况,进而实现目标对象在不同方向的完整性检测,故通过不同子网络实现多任务检测,而且不同子网络共用同一特征提取网络的特征信息,可减少特征信息的来源数量和减少模型的参数规模。
14.其中,上述的目标对象在第一方向上排布有多根骨头,且多个骨头划分至若干个骨区间。待检测图像为目标医学图像在第一方向上的不同位置截取的图像。第一检测结果包括目标对象在第一方向的完整性信息,且第二检测结果包括待检测图像中目标对象在第一方向的第一存在情况,第一存在情况表示待检测图像中目标对象的骨区间的存在情况。
15.因此,在目标对象排布多个骨区间的情况下,可实现对目标对象排布的各骨区间的存在情况进行检测。
16.其中,第一检测结果包括目标对象在第二方向的完整性信息,且第二检测结果包括待检测图像中目标对象在第二方向的第二存在情况,第二方向垂直于第一方向,第二存在情况表示待检测图像中目标对象在第二方向是否完整存在。
17.因此,可实现对目标对象在非骨区间排布的方向上的完整性检测。
18.其中,上述的基于每张待检测图像的第二检测结果,得到目标医学图像的第一检测结果,包括:统计每张待检测图像的第一存在情况;在至少一张待检测图像中存在目标对象的所有骨区间的情况下,确定目标医学图像在第一方向是完整的;在至少一张待检测图像中不存在目标对象的所有骨区间的情况下,确定目标医学图像在第一方向是不完整的;和/或,统计每张待检测图像的第二存在情况;在连续预设数量张待检测医学图像对应的第二存在情况为不完整存在的情况下,则目标医学图像在第二方向为不完整的;否则确定目标医学图像在第二方向为完整的。
19.因此,通过对待检测图像中的目标对象在各个方向的存在情况进行检测,再基于得到的各个方向的存在情况,来对目标医学图像中目标对象的各个方向的完整性进行判断,实现了对目标医学图像中的目标对象整体完整性判断。
20.其中,上述的若干骨区间包括依序排布的第一骨区间、第二骨区间、第三骨区间,每张待检测图像的第一存在情况为以下任一中:待检测图像不存在骨区间且靠近第一骨区间、待检测图像存在第一骨区间、待检测图像存在第二骨区间,待检测图像存在第三骨区间、待检测图像不存在骨区间且靠近第三骨区间。
21.因此,通过将若干骨区间的存在情况进行多种情况的细分,能够方便后续对目标对象的检测。
22.其中,在上述的统计每张待检测图像的第一存在情况之前,方法还包括:对比不同待检测图像对应的第一存在情况,以确定每张待检测图像对应的第一存在情况的合理性;对不合理的第一存在情况进行调整。
23.因此,通过对不同待检测图像对应的第一存在情况进行调整,可以提高待检测图
像中的第一存在情况合理性,进而可以提高第一检测结果的合理性和准确性。
24.其中,上述的目标医学图像为三维图像,待检测图像为二维图像。上述的基于目标医学图像,确定至少一张待检测图像,包括:沿第一方向对目标医学图像进行取至少一层,得到至少一张待检测图像;和/或,在基于目标医学图像,确定至少一张待检测图像之后,方法还包括以下至少一个步骤:统一至少一张待检测图像的空间分辨率;分别对每张待检测图像的像素进行归一化处理。
25.因此,通过对待检测图像进行进一步的处理,可以提高待检测图像的一致性,以便于后续检测模型对图像的处理,提高检测效果。
26.其中,上述的图像检测方法还包括以下步骤,以对检测模型进行训练:获取至少一张样本检测图像,其中,样本检测图像是从包含目标对象的样本医学图像截取得到,且标注有对象实际结果,对象实际结果包括样本检测图像中目标对象在至少一个方向上的实际存在情况;利用检测模型对至少一张样本检测图像进行检测,得到每张样本检测图像的第三检测结果,其中,第三检测结果包括样本检测图像中目标对象在至少一个方向上的预测存在情况;利用对象实际结果和第三检测结果,调整检测模型的网络参数。
27.因此,通过利用包含目标对象的样本检测图像对检测模型进行训练,以此使得检测模型可以检测样本检测图像中的目标对象的存在情况,进而,后续就可以利用目标对象的存在情况来判断目标对象的完整性。
28.其中,上述的样本医学图像为三维图像。上述的获取至少一张样本检测图像,包括:沿第一方向对样本医学图像进行取至少一层,得到至少一张第一二维图像;将第一二维图像作为样本检测图像;或者,从第一二维图像中截取预设形状的图像部分作为第二二维图像,并将第一二维图像和第二二维图像作为样本检测图像。
29.因此,通过对样本医学图像进行取层,可以获得样本训练数据,便于开展对检测模型的训练,另外,通过截取操作,可以获得目标对象不完整的样本图像,作为训练的素材,进一步地提高训练的效果。
30.其中,上述的目标对象在第一方向上排布有多根骨头,且多个骨头划分至若干个骨区间;实际存在情况和预测存在情况均包括目标对象的骨区间的存在情况;利用对象实际结果和第三检测结果,调整检测模型的网络参数,包括:将实际存在情况为存在骨区间的样本检测图像,作为参考检测图像;利用参考检测图像的对象实际结果和第三检测结果,调整检测模型中的特征提取网络和特定检测子网络的网络参数,其中,特定检测子网络用于获得目标对象在第二方向的预测存在情况,第二方向不同于第一方向。
31.因此,只利用存在骨区间的图像(即存在目标对象的图像)的检测结果,来调整用于对目标对象在非骨区间排布的方向上的完整性检测的特定检测子网络的参数,直接舍弃利用不存在目标对象的图像的检测结果对特定检测子网络的参数,减少了模型参数调整的复杂度和计算量,加快训练的速度。
32.其中,上述的目标对象为人体肋骨,和/或,第一检测结果包括目标对象分别在相互垂直的两个方向上的完整性信息。
33.因此,通过限定目标对象为人体肋骨,可以对人体肋骨进行不同方向的完整性检测。
34.本技术第二方面提供了一种检测模型的训练方法,该方法包括:获取至少一张样
本检测图像,其中,样本检测图像是从包含目标对象的样本医学图像截取得到,且标注有对象实际结果,目标对象包括若干骨骼,对象实际结果包括样本检测图像中目标对象在至少一个方向上的实际存在情况;利用检测模型对至少一张样本检测图像进行检测,得到每张样本检测图像的第三检测结果,其中,第三检测结果包括样本检测图像中目标对象在至少一个方向上的预测存在情况;利用对象实际结果和第三检测结果,调整检测模型的网络参数。
35.因此,通过利用包含目标对象的样本检测图像对检测模型进行训练,以此使得检测模型可以检测样本检测图像中的目标对象的存在情况,进而,后续就可以利用目标对象的存在情况来判断目标对象的完整性。
36.其中,上述的样本医学图像为三维图像。上述的获取至少一张样本检测图像,包括:沿第一方向对样本医学图像进行取至少一层,得到至少一张第一二维图像;将第一二维图像作为样本检测图像;或者,从第一二维图像中截取预设形状的图像部分作为第二二维图像,并将第一二维图像和第二二维图像作为样本检测图像。
37.其中,检测模型包括特征提取网络和至少一个检测子网络,不同检测子网络用于获得样本检测图像中目标对象在不同方向上的预测存在情况,利用对象实际结果和第三检测结果,调整检测模型的网络参数,包括:利用对象实际结果和第三检测结果,调整特征提取网络和至少一个检测子网络的网络参数。
38.因此,利用检测网络中的不同子网络对样本测图像的特征信息进行检测,以得到样本检测图像中目标对象在不同方向的存在情况,进而实现目标对象在不同方向的完整性检测,故通过不同子网络实现多任务检测,而且不同子网络共用同一特征提取网络的特征信息,可减少特征信息的来源数量和减少模型的参数规模,加快训练的进度。
39.因此,通过对样本医学图像进行取层,可以获得样本训练数据,便于开展对检测模型的训练,另外,通过截取操作,可以获得目标对象不完整的样本图像,作为训练的素材,进一步地提高训练的效果。
40.其中,上述的目标对象在第一方向上排布有多根骨头,且多个骨头划分至若干个骨区间;实际存在情况和预测存在情况均包括目标对象的骨区间的存在情况;利用对象实际结果和第三检测结果,调整特征提取网络和至少一个检测子网络的网络参数,包括:将实际存在情况为存在骨区间的样本检测图像,作为参考检测图像;利用参考检测图像的对象实际结果和第三检测结果,调整检测模型中的特征提取网络和特定检测子网络的网络参数,其中,特定检测子网络用于获得目标对象在第二方向的预测存在情况,第二方向不同于第一方向。
41.因此,通过利用参考检测图像作为训练用的样本数据,可以减少训练数据的种类,加快训练的速度。
42.本技术第三方面提供了一种图像检测装置,该装置包括:获取模块、确定模块和检测模块。获取模块用于获取包含目标对象的目标医学图像,目标对象包括若干骨骼;确定模块用于基于目标医学图像,确定至少一张待检测图像,其中,待检测图像包括至少部分的目标医学图像;检测模块用于利用检测模型对至少一张待检测图像进行检测,得到目标医学图像的第一检测结果,其中,第一检测结果包括目标对象在至少一个方向上的完整性信息。
43.本技术第四方面提供了一种检测模型的训练装置,该装置包括:获取模块、检测模
块和调整模块。获取模块用于获取至少一张样本检测图像,其中,样本检测图像是从包含目标对象的样本医学图像截取得到,且标注有对象实际结果,目标对象包括若干骨骼,对象实际结果包括样本检测图像中目标对象在至少一个方向上的实际存在情况。检测模块用于利用检测模型对至少一张样本检测图像进行检测,得到每张样本检测图像的第三检测结果,其中,第三检测结果包括样本检测图像中目标对象在至少一个方向上的预测存在情况。调整模块,用于利用对象实际结果和第三检测结果,调整检测模型的网络参数。
44.本技术第五方面提供了一种电子设备,包括相互耦接的存储器和处理器,处理器用于执行存储器中存储的程序指令,以实现上述第一方面中的图像检测方法,或实现上述第二方面的检测模型的训练方法。
45.本技术第六方面提供了一种计算机可读存储介质,其上存储有程序指令,程序指令被处理器执行时实现上述第一方面中的图像检测方法,或实现上述第二方面的检测模型的训练方法。
46.上述方案,通过利用检测模型来对待检测图像中的目标对象进行完整性检测,从而不必再利用人工来阅读图像并判断目标对象的完整性,以此可以加快检测速度,提高检测效率。或者,通过利用包含目标对象的样本检测图像对检测模型进行训练,以此使得检测模型可以检测样本检测图像中的目标对象的存在情况,进而,后续就可以利用目标对象的存在情况来判断目标对象的完整性。
47.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本技术。
附图说明
48.此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本技术的实施例,并与说明书一起用于说明本技术的技术方案。
49.图1是本技术图像检测方法一实施例的第一流程示意图;
50.图2是本技术图像检测方法一实施例的第二流程示意图;
51.图3是本技术图像检测方法一实施例的第三流程示意图;
52.图4是本技术图像检测方法另一实施例的流程示意图;
53.图5是本技术检测模型的训练方法的一实施例;
54.图6是本技术图像检测装置一实施例的框架示意图;
55.图7是本技术检测模型的训练装置一实施例的框架示意图;
56.图8是本技术电子设备一实施例的框架示意图;
57.图9为本技术计算机可读存储介质一实施例的框架示意图。
具体实施方式
58.下面结合说明书附图,对本技术实施例的方案进行详细说明。
59.以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、接口、技术之类的具体细节,以便透彻理解本技术。
60.本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。另外,本文
中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,本文中的“多”表示两个或者多于两个。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括a、b、c中的至少一种,可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。
61.请参阅图1,图1是本技术图像检测方法一实施例的第一流程示意图。具体而言,可以包括如下步骤:
62.步骤s11:获取包含目标对象的目标医学图像。
63.在本技术中,目标对象包括若干骨骼。目标对象可以是人体的骨骼,也可以是动物的骨骼。例如,目标对象为人体的肋骨、下肢骨,或是狗的四肢骨骼。目标医学图像是包含目标对象的图像。具体而言,可以利用电子计算机断层扫描(computed tomography,ct)成像技术,或是利用核磁共振成像(nuclear magnetic resonance imaging,nmri)技术来获取目标医学图像。目标医学图像可以是三维图像,例如是利用三维ct成像技术得到的三维图像,也可以是二维图像。可以理解的,目标医学图像只要包含目标对象即可,其成像方式不受限制。
64.步骤s12:基于目标医学图像,确定至少一张待检测图像。
65.在得到目标医学图像以后,可以基于目标医学图像确定至少一张待检测图像,以此来获得包括目标医学图像中的至少部分内容的待检测图像。
66.待检测图像是与目标医学图像对应的二维图像。例如,当目标医学图像是人体肋骨的三维图像,或是狗的肋骨的三维图像时,可以基于该三维图像,沿着某一方向取层,以此来获得待检测图像;当目标医学图像是人体肋骨的二维图像时,可以从该二维图像中截取一部分图像,以此来获得待检测图像。沿着某一方向取层获得待检测图像。例如可以是沿着垂直轴方向取层,获得横断面的图像,并将得到的横断面图像作为待检测图像。又如,可以沿着矢状轴方向取层,获得冠状面的图像,并将得到的冠状面图像作为待检测图像。
67.在一个实施例中,待检测图像是目标医学图像在第一方向上的不同位置截取的图像。具体的,目标医学图像是三维图像时,可以是沿着某一方向进行取层,以截取待检测图像。目标医学图像是二维图像时,则可以是沿着一个方向,截取部分的图像,作为待检测图像。对于人体肋骨的三维图像而言,第一方向可以是沿着人体的垂直轴方向,进行取层,来获得待检测图像;或是沿着冠状轴取层,获得待检测图像。其中,垂直轴、冠状轴是人体解剖学姿势的专用术语。
68.步骤s13:利用检测模型对至少一张待检测图像进行检测,得到目标医学图像的第一检测结果。
69.在获得待检测图像后,可以利用检测模型对至少一张待检测图像进行检测,以此获得目标医学图像的第一检测结果。关于第一检测结果,该结果包括目标对象在至少一个方向上的完整性信息。检测模型是神经网络,可以对待检测图像中目标对象进行完整性的检测。
70.目标对象在至少一个方向上的完整性信息,可以理解为目标对象在某一方向上,骨骼的分布情况。例如,对于人体的肋骨而言,可以是沿着人体的垂直轴这一方向,是否包含第一肋骨到第十二肋骨,若包含第一肋骨到第十二肋骨,则这一方向上,人体的肋骨是完整的。又比如,可以沿着人体的冠状轴方向,检测某一根肋骨的左肋骨和右肋骨是否完整,
若存在左肋骨和右肋骨,则这一根肋骨在冠状轴方向上,也是完整的。
71.在一个公开实施例中,可以针对多张待检测图像,在多个方向上的对目标对象的完整性进行检测。例如,第一检测结果就可以包括目标对象分别在相互垂直的两个方向上的完整性信息,相互垂直的两个方向例如是人体的垂直轴方向和冠状轴方向。通过在不同的方向对目标对象的完整性进行检测,可以提高检测结果的准确率。
72.因此,通过利用检测模型来对待检测图像中的目标对象进行完整性检测,从而不必再利用人工来阅读图像并判断目标对象的完整性,以此可以加快检测速度,提高检测效率。
73.请参阅图2,图2是本技术图像检测方法一实施例的第二流程示意图。该实施例是对上述步骤s12的进一步的扩展,具体而言,步骤“基于目标医学图像,确定至少一张待检测图像”具体包括:
74.步骤s121:沿第一方向对目标医学图像进行取至少一层,得到至少一张待检测图像。
75.在本实施中,目标医学图像是三维图像,待检测图像为二维图像。第一方向可以是任意的一个方向,例如,针对包含人体肋骨的目标医学图像(下称三维肋骨医学图像),第一方向可以是垂直轴的方向、冠状轴的方向以及其他的方向。对于包含狗的肋骨的目标医学图像,第一方向可以是从狗的头部指向尾巴的方向。
76.对目标医学图像进行取层,即获取目标医学图像在某一层的图像。例如,对于三维肋骨医学图像,沿着垂直轴,获取横切面的图像,或是沿着冠状轴,获取矢状面的图像。横切面、矢状面是人体解剖学姿势的专用术语。
77.在取层时,可以沿着某一方向,连续取数层,以此获得连续的待检测图像。通过沿着某一方向连续取层,可以获取目标对象的在一定范围内的完整性情况。
78.在获得待检测图像以后,可以对待检测图像进行进一步的处理,提高待检测图像的一致性,以提高检测效果,因此,可以继续执行以下步骤s122-s123。
79.步骤s122:统一至少一张待检测图像的空间分辨率。
80.由于获得的待检测图像的可能空间分辨率可能不同,因此,为了提高检测效果,可以通过对获得全部的待检测图像进行空间分辨率的调整,以统一全部待检测图像的空间分辨率。例如,可以将全部待检测图像的空间分辨率设置为15lp/cm。
81.步骤s123:分别对每张待检测图像的像素进行归一化处理。
82.对待检测图像的像素进行归一化处理,例如是将待检测图像的像素值转换到某一区间。通过归一化处理,在后续图像处理时,会更加方便快捷,也可以提高检测速度。
83.请参阅图3,图3是本技术图像检测方法一实施例的第三流程示意图。该实施例是对上述步骤s13的进一步的扩展,具体而言,步骤“利用检测模型对至少一张待检测图像进行检测,得到目标医学图像的第一检测结果”具体包括:
84.步骤s131:利用检测模型对每张待检测图像进行检测,得到每张待检测图像的第二检测结果。
85.在本公开实施例中,第二检测结果会包括待检测图像中目标对象在至少一个方向上的存在情况。存在情况可以理解为,目标对象在某一个方向上存在什么骨头。例如,当目标对象为人体肋骨时,第二检测结果可以是在垂直轴方向上肋骨的存在情况,如是否存在
第一根肋骨,是否存在第十到第十二根肋骨,以及是否存在第二根肋骨到第九根肋骨;或是可以针对每一个肋骨的情况进行单独判断,如是否存在第一根肋骨到第十二根肋骨中的任意一根肋骨,以及,每一根肋骨是否存在左肋骨和右肋骨。又如,当目标对象是人体的下肢骨时,第二检测结果可以是在垂直轴方向上的存在情况,如是否存在股骨、髌骨、胫骨、腓骨等等。通过判断目标对象在某一方向上的存在情况,可以为后续判断目标对象的完整性提供依据。可以理解的,也可以获取目标对象在数个不同方向上的存在情况,以此可以从不同的方向上利用目标对象的存在情况来判断目标对象的完整性,提高检测的准确率。
86.在一个公开实施例中,检测模型包括特征提取网络和检测网络。特征提取网络用于提取待检测图像中的特征信息,检测网络用于根据特征提取网络提取的特征信息,对目标对象的完整性进行检测。
87.具体而言,本步骤(步骤s131)提及的“利用检测模型对每张待检测图像进行检测,得到每张待检测图像的第二检测结果”,具体可以包括步骤s1311-步骤s1312(图中未示出)。
88.步骤s1311:利用特征提取网络分别对每张待检测图像进行特征提取,得到每张待检测图像的特征信息。
89.可以利用特征提取网络分别对每张待检测图像进行特征提取,以得到每张待检测图像的特征信息。提取的特征信息例如是目标对象的图像中是否存在骨骼的特征信息,骨骼的位置分布特征信息,骨骼的形状信息,或是骨骼旁边的器官或是皮肤的特征信息等等。例如,目标对象为人体肋骨时,提取的特征信息就是图像中是否存在肋骨的特征信息,肋骨的位置分布特征信息以及肋骨的形状信息等等。
90.步骤s1312:利用检测网络分别对每张待检测图像的特征信息进行检测,得到每张待检测图像的第二检测结果。
91.在得到特征信息后,可以利用检测网络分别对每张待检测图像的特征信息进行检测,得到每张待检测图像的第二检测结果。也即,针对每张待检测图像,都可以得到目标对象在至少一个方向上的存在情况。
92.可以理解的,因为待检测图像是对目标医学图像进行取层得到的,通过获得多张待检测图像的目标对象的在至少一个方向上的存在情况,并根据多张待检测图像的存在情况,就可以从整体上判断目标对象在至少一个方向上的完整性信息。
93.在一个公开实施例中,可以利用检测网络得到两个或以上的方向上的存在情况。因此,第二检测结果可以包括待检测图像中目标对象分别在多个方向上的存在情况。另外,在一个具体实施场景中,不同方向的存在情况是由检测网络的不同子网络对待检测图像的特征信息进行检测得到的。当需要获得目标对象在不同方向上的存在情况,可以在检测网络中,设置对应数量个的子网络来对待检测图像的特征信息进行检测,以此来得到目标对象在不同方向上的存在情况。例如,需要获得目标对象在两个不同方向上的存在情况,可以在检测网络中设置两个子网络,每个子网络分别获得一个方向上的存在情况。
94.另外,还可以针对目标对象的骨头排布情况进行分类。具体的。当目标对象在第一方向上排布有多根骨头时,可以将多个骨头划分至若干个骨区间。具体的,目标对象是人体肋骨时,第一方向为人体的垂直轴方向时,可以将第一根肋骨划分为一个骨区间,将第二根肋骨到第九根肋骨划分为一个骨区间,将第十根肋骨到第十二根肋骨划分为一个骨区间。
又如,目标对象是人体下肢骨时,可以将下肢带骨划分为一个骨区间,将自由下肢骨划分为一个骨区间。
95.通过将目标对象划分为若干个骨区间,在判断目标对象的完整性时,就可以通过判断全部待检测图像中的骨区间分类是否完整,以此来确定目标对象是否完整。
96.在一个公开实施例中,目标对象的骨区间包括依序排布的第一骨区间、第二骨区间、第三骨区间,也即,将目标对象划分为依序排布的三个区间。具体的,目标对象是人体肋骨时,将第一根肋骨确定为第一骨区间,将第二根肋骨到第九根肋骨确定为第二骨区间,将第十根肋骨到第十二根肋骨确定为第三骨区间。
97.第二检测结果可以包括目标对象的存在情况。目标对象的存在情况可以理解为,目标对象在某一个方向上存在什么骨头。在本公开实施例中,目标对象的存在情况可以分为第一存在情况和第二存在情况。
98.第二检测结果包括待检测图像中目标对象在第一方向的第一存在情况,第一存在情况可以用于表示待检测图像中目标对象的骨区间的存在情况。
99.具体而言,对应于将目标对象划分为依序排布的三个骨区间的公开实施例,因为待检测图像是沿着第一方向取层得到的,因此,待检测图像中目标对象的第一存在情况可能会出现不存在骨区间的情况。不存在骨区间,即是待检测图像中不存在目标对象,因此也就不存在对应的骨区间。此时,不存在骨区间的待检测图像,可能是靠近第一骨区间或是靠近第三骨区间的一侧进行取层得到的。因此,可以将第一存在情况分为以下5种情况,分别是:
100.情况1:待检测图像不存在骨区间且靠近第一骨区间;
101.情况2:待检测图像存在第一骨区间;
102.情况3:待检测图像存在第二骨区间;
103.情况4:待检测图像存在第三骨区间;
104.情况5:待检测图像不存在骨区间且靠近第三骨区间。
105.在一个公开实施例中,当目标对象是人体肋骨,如上述提及的,将肋骨划分依序排布的三个骨区间以后,就可以对第一存在情况进行具体的分类。具体的,上述情况1即为待检测图像不存在骨区间且靠近第一根肋骨;上述情况2即为待检测图像存在第一根肋骨;上述情况3即为待检测图像存在第二根肋骨到第九根肋骨;上述情况4即为待检测图像存在第十根肋骨到第十二根肋骨;上述第5种情况即为待检测图像不存在骨区间且靠近第十根肋骨到第十二根肋骨。当待检测图像中存在第一根肋骨,且同时存在第二根肋骨至第九根肋骨中的任意一根时,此时将该待检测图像确定为属于情况2。当待检测图像中同时存在第二根肋骨至第九根肋骨中的任意一根,且存在第十根肋骨至第十二根肋骨中的任意一根时,此时将该待检测图像确定为属于情况4。
106.在一个公开实施例中,第二检测结果还包括第二存在情况。第二存在情况表示待检测图像中目标对象在第二方向是否完整存在。第二方向与第一方向相互垂直。对于第二存在情况,可以分为完整存在或是不完整存在。完整存在,意味着该待检测图像中包含的目标对象,是完整存在。不完整存在,意味着该待检测图像中包含的目标对象,是不完整的,是缺少了部分骨骼,或是没有目标对象的。
107.具体的,当目标对象是人体肋骨,第一方向是人体的垂直轴方向时,第二方向可以
是人体的冠状轴方向。待检测图像中目标对象在第二方向是否完整存在,即是待检测图像中肋骨是否左肋骨和右肋骨,例如第一个肋骨是否存在左肋骨和右肋骨,第十根肋骨是否存在左肋骨和右肋骨。对应于全部肋骨,即是第一个肋骨至第十二根肋骨,是否都存在左肋骨和右肋骨。
108.请继续参阅图3。在得到每张待检测图像的第二检测结果以后,可以进一步判断的目标对象的完整性信息。
109.步骤s132:基于每张待检测图像的第二检测结果,得到目标医学图像的第一检测结果。
110.因为第二检测结果包括了至少一张待检测图像中目标对象在至少一个方向上的存在情况,因此可以利用这些存在情况来获得第一检测结果。具体而言,第二检测结果中各方向上的存在情况可以用于得到目标对象在对应方向上的完整性信息。例如,获得了10张待检测图像的第二检测结果,第二检测结果包括人体肋骨在垂直轴方向上的存在情况和在冠状轴方向上的存在情况,以此就可以根据10张待检测图像上人体肋骨在垂直轴方向上的存在情况,得到肋骨在垂直轴方向上的完整性信息;根据10张待检测图像上人体肋骨在冠状轴方向上的存在情况,得到肋骨在冠状轴方向上的完整性信息。
111.因此,根据获得的第二检测结果中的多个不同方向的存在情况,可以获得目标对象在多个方向上的完整性信息。也即,第一检测结果可以包括目标对象在多个方向上的完整性信息。
112.当第二检测结果包括待检测图像中目标对象在第一方向的第一存在情况时,就可以根据第二检测结果中的第一存在情况,得到目标对象在第一方向的完整性信息。也即,第一检测结果可以包括目标对象在第一方向的完整性信息。
113.当第二检测结果包括待检测图像中目标对象在第二方向的第二存在情况时,可以根据第二检测结果中的第二存在情况,得到目标对象在第二方向的完整性信息。也即,第一检测结果还可以包括目标对象在第二方向的完整性信息。
114.具体的,可以执行以下步骤s1321和s1322(图中未示出),来得到目标医学图像的第一检测结果。
115.步骤s1321:统计每张待检测图像的第一存在情况;在至少一张待检测图像中存在目标对象的所有骨区间的情况下,确定目标医学图像在第一方向是完整的;在至少一张待检测图像中不存在目标对象的所有骨区间的情况下,确定目标医学图像在第一方向是不完整的。
116.在获得了每张待检测图像的第一存在情况以后,可以统计每张待检测图像的第一存在情况,并由此从整体上确定目标医学图像在第一方向是完整性,也就是确定目标对象在在第一方向是完整性。
117.当在全部的待检测图像中,存在目标对象的所有骨区间的情况下,即可以认定目标医学图像在第一方向是完整的。全部的待检测图像中存在目标对象的所有骨区间,即,全部待检测图像的第一存在情况的骨区间分类,包括了目标对象的所有骨区间。例如,如上述提及的,目标对象的骨区间划分为依序排布的三个骨区间,在待检测图像,有若干张待检测图像存在第一骨区间,有若干张待检测图像存在第二骨区间,有若干张待检测图像存在第三骨区间,此即全部待检测图像中存在目标对象的所有骨区间。因此,当全部待检测图像中
存在目标对象的所有骨区间,即可以认定目标医学图像在第一方向是完整的。
118.当在全部的待检测图像中,不存在目标对象的所有骨区间的情况下,即认定目标医学图像在第一方向是不完整的。在全部的待检测图像的第一存在情况中,不存在目标对象的所有骨区间,即意味着在待检测图像中,会有部分的人体骨骼没有出现,而待检测图像是根据目标医学图像得到的,因此就可以认定目标医学图像中,也没有出现部分的人体骨骼,因此可以认定目标医学图像在第一方向是不完整的。例如,如上述提及的,目标对象的骨区间划分为依序排布的三个骨区间,若没有出现第一骨区间、第二骨区间和第三骨区间中的任意一个或数个,即可以认定目标医学图像在第一方向是不完整的。
119.以人体肋骨为例,目标对象是人体肋骨,目标医学图像是包含人体肋骨的图像,若全部待检测图像中的第一存在情况没有包括第一骨区间、第二骨区间和第三骨区间,则意味着在全部待检测图像中,有部分肋骨没有出现,因此,就可以认为人体肋骨是不完整的,也即包含人体肋骨的目标医学图像在第一方向是不完整的。
120.在一个公开实施例中,在确定目标医学图像在第一方向是否完整以后,可以对应的输出判断结果,供用户参考。若目标医学图像在第一方向是完整的,则实输出目标医学图像在第一方向为完整的结果。若目标医学图像在第一方向不完整,则输出目标医学图像在第一方向不完整的结果,且在哪个骨区间不完整,即缺少哪个骨区间。
121.在一个公开实施例中,在执行步骤s132之前,可以先对由步骤s131得到的第二检测结果中的第一存在情况进行调整,使得第一存在情况可以更加的合理,提高第二检测结果中的第一存在情况的准确率。具体而言,可以执行以下步骤1和步骤2(图中未示出),来对第一存在情况进行调整。
122.步骤1:对比不同待检测图像对应的第一存在情况,以确定每张待检测图像对应的第一存在情况的合理性。
123.可以获取不同待检测图像对应的第一存在情况,再从整体上判断获得的第一存在情况是否合理。具体方法例如是运用动态规划算法来对不同待检测图像对应的第一存在情况的合理性进行检测,以此来确定待检测图像对应的第一存在情况的合理性。动态规划算法例如是维特比算法。通过利用动态规划算法,可以获得关于待检测图像对应的第一存在情况的合理性的整体上的最优解。
124.步骤2:对不合理的第一存在情况进行调整。
125.在确定每张待检测图像对应的第一存在情况的合理性之后,可以对不不合理的第一存在情况进行调整。例如,根据维特比算法对待检测图像对应的第一存在情况进行处理以后,发现部分待检测图像的第一存在情况不合理,则可以根据维特比算法的结果,对应的调整不合理的第一存在情况。
126.因此,通过对不同待检测图像对应的第一存在情况进行调整,可以提高待检测图像中的第一存在情况合理性,进而可以提高第一检测结果的合理性。
127.步骤s1322:统计每张待检测图像的第二存在情况;在连续预设数量张待检测医学图像对应的第二存在情况为不完整存在的情况下,则目标医学图像在第二方向为不完整的;否则确定目标医学图像在第二方向为完整的。
128.在获得了每张待检测图像的第二存在情况以后,可以统计每张待检测图像的第二存在情况。一般而言,如果一张待检测图像中的第二存在情况是不完整存在,可能不是因为
待检测图像中的目标对象不完整,但若是连续预设数量张待检测医学图像对应的第二存在情况为不完整存在,则可以认为目标医学图像在第二方向为不完整的。例如,可以认为连续5张待检测图像的中的目标对象不完整,即认定目标医学图像在第二方向为不完整。
129.以人体肋骨为例,目标对象是人体肋骨,目标医学图像是包含人体肋骨的图像,待检测图像中在第二方向不完整,即意味着有肋骨的左肋骨和右肋骨不存在,若连续预设数量张的第二存在情况都是不完整的情况,则可以认为该目标医学图像是不完整的。反之,则可以认为目标医学图像在第二方向是完整的。
130.在一个公开实施例中,输入到检测模型的待检测图像,是连续的,即是沿第一方向对目标医学图像进行取层时,按其取层的顺序,顺序输入到检测模型中。例如,第一次取层得到第一待检测图像,第二次取层得到第二待检测图像,则输入到检测模型的待检测图像,也是先输入第一待检测图像,再输入第二待检测图像,并以此类推。
131.在一个公开实施例中,判断目标医学图像在第二方向为不完整的条件也可以是:若全部待检测图像中,超过预设数量张的待检测图像的第二存在情况是不完整存在,则判断目标医学图像在第二方向为不完整。
132.在一个公开实施例中,在确定目标医学图像在第二方向是否完整时,可以根据第一存在情况对待检测图像进行过滤。具体地,在训练时,如果用于检测第二存在情况的检测子网络没有利用属于上述情况1和情况5的图像进行训练,则在确定目标医学图像在第二方向是否完整时,对于属于上述情况1和情况5的待检测图像在第二方向的存在情况不予考虑,仅利用属于上述情况2、情况3和情况4的待检测图像的在第二方向的存在情况来确定目标医学图像在第二方向是否完整。
133.在一个公开实施例中,在确定目标医学图像在第二方向是否完整以后,可以对应的输出判断结果,供用户参考。若目标医学图像在第二方向是完整的,则实输出目标医学图像在第二方向为完整的结果。若目标医学图像在第二方向不完整,则输出目标医学图像在第二方向不完整的结果,并且是缺少了哪部分的骨骼。
134.因此,通过对待检测图像中的目标对象在各个方向的存在情况进行检测,再基于得到的各个方向的存在情况,来对目标医学图像中目标对象的各个方向的完整性进行判断,实现了对目标医学图像中的目标对象整体完整性判断。
135.参阅图4,图4是本技术图像检测方法另一实施例的流程示意图。本实施例的内容是关于对上述实施例提及的检测模型进行训练的内容。具体而言,可以执行以下步骤,以对上述实施例提及的检测模型进行训练。
136.步骤s21:获取至少一张样本检测图像。
137.在对检测模型进行训练时,需要获取样本检测图像。样本检测图像是二维图像。具体而言,样本检测图像是从包含目标对象的样本医学图像截取得到,且标注有对象实际结果。样本医学图像可以是三维图像,例如是利用三维ct成像技术得到的三维图像。样本医学图像也可以是二维图像。
138.对包含目标对象的样本医学图像进行截取,可以根据样本医学图像的类型不同而不同。当样本医学图像是三维图像时,可以沿着某一方向,例如是沿着垂直轴方向对样本医学图像进行取层,以此来获得二维的样本检测图像。当样本医学图像是二维图像时,可以直接截取部分样本医学图像,以此作为样本检测图像,或是直接将样本医学图像作为样本检
测图像。
139.关于样本检测图像的对象实际结果,该结果可以包括样本检测图像中目标对象在至少一个方向上的实际存在情况。目标对象的存在情况用于表示待检测图像中,目标对象中的骨骼是否存在。目标对象在至少一个方向上的实际存在情况,可以理解为在该方向上,目标对象是否存在。样本检测图像标注有对象实际结果,即表示样本检测图像中,在某一方向中骨骼的实际存在情况是已知的。
140.以目标对象是人体肋骨为例,人体肋骨在垂直轴方向上的实际存在情况,即是该人体肋骨是否包含人体的第一根肋骨至第十二根肋骨;人体肋骨在冠状轴方向上的实际存在情况,即是该人体肋骨是否包含左肋骨和右肋骨。
141.在一个公开实施例中,目标对象在第一方向上排布有多根骨头,且多个骨头划分至若干个骨区间。具体将目标对象划分为若干个骨区间的方法,请参阅上述步骤s1312中的相关描述,此处不再赘述。
142.在将目标对象划分至若干个骨区间后,样本检测图像的对象实际结果,可以包括目标对象的骨区间的存在情况。也即,对象实际结果会包括目标对象具体包括有哪些骨区间。
143.在一个公开实施例中,目标对象在至少一个方向上的实际存在情况包括第一实际存在情况和第二实际存在情况。第一实际存在情况和第二实际存在情况对应于上述实施例描述的第一存在情况和第二存在情况。第一实际存在情况表示目标对象在第一方向的实际存在情况,第二实际存在情况表示目标对象在第二方向的实际存在情况。
144.对于样本医学图像为三维图像,获取至少一张样本检测图像,具体可以包括以下步骤s211和s212(图中未示出)。
145.s211:沿第一方向对样本医学图像进行取至少一层,得到至少一张第一二维图像。
146.因为样本医学图像为三维图像,因此可以对样本医学图像进行取层操作,具体可以是沿着第一方向取层,以此来得到至少一张第一二维图像。当样本医学图像的目标对象是人体肋骨时,第一方向可以是垂直轴方向。
147.步骤s212:将第一二维图像作为样本检测图像;或者,从第一二维图像中截取预设形状的图像部分作为第二二维图像,并将第一二维图像和第二二维图像作为样本检测图像。
148.得到的第一二维图像,可以直接作为样本检测图像。另外,还可以从第一二维图像中截取预设形状的图像部分作为第二二维图像。预设形状例如是圆形、矩形等等。同时,也将第二二维图像作为样本检测图像,来训练检测模型。
149.可以理解的,出于对检测模型训练更加完善的考虑,样本医学图像的目标对象一般是完整的,以此,待检测图像中的目标对象才会是完整的。但是,进行训练时,仍然需要目标对象不完整的样本图像,作为训练的样本,来提高训练的效果。因此,可以通过上述的“从第一二维图像中截取预设形状的图像部分作为第二二维图像”这一操作,来获得待检测图像中的目标对象不完整的样本训练图像。
150.在一个公开实施例中,还可以对样本检测图像进行统一空间分辨率和归一化处理的操作,具体可以参阅上述步骤s122-s123,此处不再赘述。
151.步骤s22:利用检测模型对至少一张样本检测图像进行检测,得到每张样本检测图
像的第三检测结果。
152.获得样本检测图像以后,利用检测模型对至少一张样本检测图像进行检测,以此来获得每张样本检测图像的第三检测结果。其中,第三检测结果包括样本检测图像中目标对象在至少一个方向上的预测存在情况。预测存在情况即为在某一方向,检测模型关于样本检测图像中是否存在目标对象,以及具体存在的目标对象。以目标对象是人体肋骨为例,人体肋骨在垂直轴方向上的预测存在情况,即是检测模型确定该人体肋骨是否包含人体的第一根肋骨至第十二根肋骨。
153.第三检测结果是与对象实际结果对应。例如,对象实际结果包含两个方向上的目标对象的实际存在情况,则第三检测结果也会包括这两个方向上的目标对象的预测存在情况。
154.当对象实际结果包括在第一方向的第一实际存在情况和在第二方向的第二实际存在情况时,第三检测结果也会包括在第一方向的第一预测存情况和在第二方向的第二预测存情况。
155.在一个公开实施例中,检测模型包括特征提取网络和至少一个检测子网络,其中,不同检测子网络用于获得样本检测图像中目标对象在不同方向上的预测存在情况。特征提取网络用于从样本检测图像提取特征信息。检测子网络用于根据提取的特征信息来得到样本检测图像的第三检测结果。当需要对多个方向进行预测时,可以设置多个子网络来分别预测。
156.在一个公开实施例中,上述全部实施例中提及的检测模型中的特征提取网络的类型是残差网络,检测网络的类型是全连接层网络。将特征提取网络设置为残差网络,可以加快训练的速度,并提高准确率。
157.步骤s23:利用对象实际结果和第三检测结果,调整检测模型的网络参数。
158.利用对象实际结果和第三检测结果,具体是比对每张样本检测图像的对象实际结果和第三检测结果。调整检测模型的网络参数,就是根据对象实际结果和第三检测结果的差异,得到检测模型的损失值,并根据损失值来调整检测模型的网络参数。
159.例如,当对象实际结果包括在第一方向的第一实际存在情况和在第二方向的第二实际存在情况,第三检测结果也会包括在第一方向的第一预测存情况和在第二方向的第二预测存情况时,利用第一实际存在情况与第一预测存情况的差异,以及第二实际存在情况与第二预测存情况的差异,来得到检测模型的损失值。
160.检测模型的损失值计算,可以是利用交叉熵函数作为损失函数,来计算得到,利用其他损失函数来计算损失值也可以。
161.在一个公开实施例中,当检测模型包括特征提取网络和至少一个检测子网络时,则是利用对象实际结果和第三检测结果,调整特征提取网络和至少一个检测子网络的网络参数。例如,第一子网络用于得到第一方向的第一预测存情况时,则是利用第一方向的第一预测存情况与第一方向的第一实际存在情况的差异,调整特征提取网络和第一子网络的网络参数。当第二子网络用于得到第二方向的第二预测存情况时,则是利用第二方向的第二预测存情况与第二方向的第二实际存在情况的差异,调整特征提取网络和第二子网络的网络参数。
162.以此可以针对单个子网络进行训练,提高每个方向的预测结果的准确率。另外,由
于多个检测子网络是共用同一个特征提取网络提取的特征信息,因此可以减少整个模型网络参数的数量,能够加快训练的速度。
163.在一个公开实施例中,对应于将目标对象划分为若干个骨区间的实施例,可以执行以下的步骤s231和s232(图中未示出)来得到检测模型的网络参数进行调整。
164.步骤s231:将实际存在情况为存在骨区间的样本检测图像,作为参考检测图像。
165.选择实际情况为存在骨区间的样本检测图像为参考检测图像,可以理解为从样本检测图像中,选择出包含目标对象的样本检测图像。
166.步骤s232:利用参考检测图像的对象实际结果和第三检测结果,调整检测模型中的特征提取网络和特定检测子网络的网络参数。
167.特定检测子网络是用于获得目标对象在第二方向的预测存在情况,并且第二方向不同于第一方向。第二方向例如是与第一方向相互垂直的方向。
168.不包含目标对象的样本检测图像,因为不包含目标对象,其在第二方向上的第三检测结果肯定也是不存在的,因此没有必要利用这些样本检测图像来进行训练,只需要直接利用包含目标对象的样本检测图像来进行检测即可。以此,可以减少训练数据的种类,加快训练的速度。
169.步骤s231和s232所描述的训练方法,与上述步骤s1322提及的“利用根据第一存在情况对待检测图像进行过滤”是相互对应的。也即,如果在训练中,训练特定检测子网络时,仅利用了包含目标对象的参考检测图像(即属于上述情况2、情况3和情况4的待检测图像),则在实际的对待检测图像的检测中,仅利用属于上述情况2、情况3和情况4的待检测图像的存在情况来确定目标医学图像在第二方向是否完整。
170.可以理解的,可以重复上述的步骤s21-s23,直到损失值满足要求以后,即可停止训练,此时可以认为检测模型已经训练完成。
171.上述方案,通过利用包含目标对象的样本检测图像对检测模型进行训练,以此使得检测模型可以检测样本检测图像中的目标对象的存在情况,进而,后续就可以利用目标对象的存在情况来判断目标对象的完整性。
172.参阅图5,图5是本技术检测模型的训练方法的一实施例。本实施例的训练方法与上述图像检测方法的第二实施例的步骤相同,同样为对检测模型的训练。具体的,本实施例包括以下步骤:
173.步骤s31:获取至少一张样本检测图像。
174.具体请参阅步骤s21,此处不再赘述。
175.在一个实施方式中,步骤s31可以包括步骤s311和s312(图中未示出)。
176.s311:沿第一方向对样本医学图像进行取至少一层,得到至少一张第一二维图像。
177.具体请参阅步骤s211,此处不再赘述。
178.s312:将第一二维图像作为样本检测图像;或者,从第一二维图像中截取预设形状的图像部分作为第二二维图像,并将第一二维图像和第二二维图像作为样本检测图像。
179.具体请参阅步骤s211,此处不再赘述。
180.步骤s32:利用检测模型对至少一张样本检测图像进行检测,得到每张样本检测图像的第三检测结果。
181.具体请参阅步骤s22,此处不再赘述。
182.步骤s33:利用对象实际结果和第三检测结果,调整检测模型的网络参数。
183.具体请参阅步骤s23,此处不再赘述。
184.在一个实施方式中,步骤s33可以包括步骤s331和s332(图中未示出)。
185.步骤s331:将实际存在情况为存在骨区间的样本检测图像,作为参考检测图像。
186.具体请参阅步骤s231,此处不再赘述。
187.步骤s332:利用参考检测图像的对象实际结果和第三检测结果,调整检测模型中的特征提取网络和特定检测子网络的网络参数。
188.具体请参阅步骤s232,此处不再赘述。
189.上述方案,可以利用包含目标对象的样本检测图像对检测模型进行训练,以此使得检测模型可以检测样本检测图像中的目标对象的存在情况,进而,后续就可以利用目标对象的存在情况来判断目标对象的完整性。
190.本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
191.请参阅图6,图6是本技术图像检测装置一实施例的框架示意图。图像检测装置60包括获取模块61、确定模块62和检测模块63。获取模块61用于执行获取包含目标对象的目标医学图像。确定模块62用于执行基于目标医学图像,确定至少一张待检测图像,其中,待检测图像包括至少部分的目标医学图像。检测模块63用于执行利用检测模型对至少一张待检测图像进行检测,得到目标医学图像的第一检测结果,其中,第一检测结果包括目标对象在至少一个方向上的完整性信息。
192.其中,检测模块63用于执行利用检测模型对至少一张待检测图像进行检测,得到目标医学图像的第一检测结果,其中,第一检测结果包括目标对象在至少一个方向上的完整性信息,具体包括:利用检测模型对每张待检测图像进行检测,得到每张待检测图像的第二检测结果;其中,第二检测结果包括待检测图像中目标对象在至少一个方向上的存在情况;基于每张待检测图像的第二检测结果,得到目标医学图像的第一检测结果,其中,第二检测结果中各方向上的存在情况用于得到目标对象在对应方向上的完整性信息。
193.其中,上述的检测模型包括特征提取网络和检测网络。检测模块63用于执行利用检测模型对每张待检测图像进行检测,得到每张待检测图像的第二检测结果,具体包括:利用特征提取网络分别对每张待检测图像进行特征提取,得到每张待检测图像的特征信息;利用检测网络分别对每张待检测图像的特征信息进行检测,得到每张待检测图像的第二检测结果。
194.其中,上述的第一检测结果包括目标对象在多个方向上的完整性信息,第二检测结果包括待检测图像中目标对象分别在多个方向上的存在情况,其中,不同方向的存在情况是由检测网络中的不同子网络对待检测图像的特征信息进行检测得到的。
195.其中,上述的目标对象在第一方向上排布有多根骨头,且多个骨头划分至若干个骨区间;待检测图像为目标医学图像在第一方向上的不同位置截取的图像。上述的第一检测结果包括目标对象在第一方向的完整性信息,且第二检测结果包括待检测图像中目标对象在第一方向的第一存在情况,第一存在情况表示待检测图像中目标对象的骨区间的存在情况;和/或,第一检测结果包括目标对象在第二方向的完整性信息,且第二检测结果包括
待检测图像中目标对象在第二方向的第二存在情况,第二方向垂直于第一方向,第二存在情况表示待检测图像中目标对象在第二方向是否完整存在。
196.其中,上述的检测模块63用于执行基于每张待检测图像的第二检测结果,得到目标医学图像的第一检测结果,具体包括:统计每张待检测图像的第一存在情况;在至少一张待检测图像中存在目标对象的所有骨区间的情况下,确定目标医学图像在第一方向是完整的;在至少一张待检测图像中不存在目标对象的所有骨区间的情况下,确定目标医学图像在第一方向是不完整的;和/或,统计每张待检测图像的第二存在情况;在连续预设数量张待检测医学图像对应的第二存在情况为不完整存在的情况下,则目标医学图像在第二方向为不完整的;否则确定目标医学图像在第二方向为完整的。
197.其中,上述的若干骨区间包括依序排布的第一骨区间、第二骨区间、第三骨区间,每张待检测图像的第一存在情况为以下任一中:待检测图像不存在骨区间且靠近第一骨区间、待检测图像存在第一骨区间、待检测图像存在第二骨区间,待检测图像存在第三骨区间、待检测图像不存在骨区间且靠近第三骨区间。
198.其中,图像检测装置60还包括调整模块(图未示)。在检测模块63用于执行统计每张待检测图像的第一存在情况之前,调整模块用于执行对比不同待检测图像对应的第一存在情况,以确定每张待检测图像对应的第一存在情况的合理性;对不合理的第一存在情况进行调整。
199.其中,上述的目标医学图像为三维图像,待检测图像为二维图像。上述的确定模块62用于执行基于目标医学图像,确定至少一张待检测图像,具体包括:沿第一方向对目标医学图像进行取至少一层,得到至少一张待检测图像。和/或,在确定模块62用于执行为目标医学图像确定至少一张待检测图像之后,还用于执行包括以下至少一个步骤:统一至少一张待检测图像的空间分辨率;分别对每张待检测图像的像素进行归一化处理。
200.其中,图像检测装置60还包括训练模块(图未示)。训练模块用于执行以下步骤,来对上述的检测模型进行训练。具体的,训练模块用于执行获取至少一张样本检测图像,其中,样本检测图像是从包含目标对象的样本医学图像截取得到,且标注有对象实际结果,对象实际结果包括样本检测图像中目标对象在至少一个方向上的实际存在情况;利用检测模型对至少一张样本检测图像进行检测,得到每张样本检测图像的第三检测结果,其中,第三检测结果包括样本检测图像中目标对象在至少一个方向上的预测存在情况;利用对象实际结果和第三检测结果,调整检测模型的网络参数。
201.其中,上述的样本医学图像为三维图像。上述的训练模块用于执行获取至少一张样本检测图像,包括:沿第一方向对样本医学图像进行取至少一层,得到至少一张第一二维图像;将第一二维图像作为样本检测图像;或者,从第一二维图像中截取预设形状的图像部分作为第二二维图像,并将第一二维图像和第二二维图像作为样本检测图像。
202.其中,上述的检测模型包括特征提取网络和至少一个检测子网络,不同检测子网络用于获得样本检测图像中目标对象在不同方向上的预测存在情况,利用对象实际结果和第三检测结果,调整检测模型的网络参数,包括:利用对象实际结果和第三检测结果,调整特征提取网络和至少一个检测子网络的网络参数。
203.其中,上述的目标对象在第一方向上排布有多根骨头,且多个骨头划分至若干个骨区间;实际存在情况和预测存在情况均包括目标对象的骨区间的存在情况。上述的训练
模块用于执行利用对象实际结果和第三检测结果,调整特征提取网络和至少一个检测子网络的网络参数,包括:将实际存在情况为存在骨区间的样本检测图像,作为参考检测图像;利用参考检测图像的对象实际结果和第三检测结果,调整检测模型中的特征提取网络和特定检测子网络的网络参数,其中,特定检测子网络用于获得目标对象在第二方向的预测存在情况,第二方向不同于第一方向。
204.其中,上述的目标对象为人体肋骨,和/或,第一检测结果包括目标对象分别在相互垂直的两个方向上的完整性信息。
205.上述方案,通过利用检测模型来对待检测图像中的目标对象进行完整性检测,从而不必再利用人工来阅读图像并判断目标对象的完整性,以此可以加快检测速度,提高检测效率。
206.参阅图7,图7是本技术检测模型的训练装置一实施例的框架示意图。检测模型的训练装置70包括获取模块71、检测模块72、调整模块73。获取模块71用于执行获取至少一张样本检测图像,其中,样本检测图像是从包含目标对象的样本医学图像截取得到,且标注有对象实际结果,对象实际结果包括样本检测图像中目标对象在至少一个方向上的实际存在情况。检测模块72用于执行利用检测模型对至少一张样本检测图像进行检测,得到每张样本检测图像的第三检测结果,其中,第三检测结果包括样本检测图像中目标对象在至少一个方向上的预测存在情况。调整模块73用于执行利用对象实际结果和第三检测结果,调整检测模型的网络参数。
207.其中,上述的样本医学图像为三维图像。上述的获取模块71用于执行获取至少一张样本检测图像,具体包括:沿第一方向对样本医学图像进行取至少一层,得到至少一张第一二维图像;将第一二维图像作为样本检测图像;或者,从第一二维图像中截取预设形状的图像部分作为第二二维图像,并将第一二维图像和第二二维图像作为样本检测图像。
208.其中,上述的目标对象在第一方向上排布有多根骨头,且多个骨头划分至若干个骨区间;实际存在情况和预测存在情况均包括目标对象的骨区间的存在情况。上述的调整模块73用于执行利用对象实际结果和第三检测结果,调整检测模型的网络参数,具体包括:将实际存在情况为存在骨区间的样本检测图像,作为参考检测图像;利用参考检测图像的对象实际结果和第三检测结果,调整检测模型中的特征提取网络和特定检测子网络的网络参数,其中,特定检测子网络用于获得目标对象在第二方向的预测存在情况,第二方向不同于第一方向。
209.上述方案,通过利用包含目标对象的样本检测图像对检测模型进行训练,以此使得检测模型可以检测样本检测图像中的目标对象的存在情况,进而,后续就可以利用目标对象的存在情况来判断目标对象的完整性。
210.请参阅图8,图8是本技术电子设备一实施例的框架示意图。电子设备80包括相互耦接的存储器81和处理器82,处理器82用于执行存储器81中存储的程序指令,以实现上述任一图像检测方法实施例的步骤,或实现上述任一检测模型的训练方法实施例中的步骤。在一个具体的实施场景中,电子设备80可以包括但不限于:微型计算机、服务器,此外,电子设备80还可以包括笔记本电脑、平板电脑等移动设备,在此不做限定。
211.具体而言,处理器82用于控制其自身以及存储器81以实现上述任一图像检测模型的训练方法实施例的步骤,或实现上述任一图像检测方法实施例中的步骤。处理器82还可
以称为cpu(central processing unit,中央处理单元)。处理器82可能是一种集成电路芯片,具有信号的处理能力。处理器82还可以是通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field-programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外,处理器82可以由集成电路芯片共同实现。
212.请参阅图9,图9为本技术计算机可读存储介质一实施例的框架示意图。计算机可读存储介质90存储有能够被处理器运行的程序指令901,程序指令901用于实现上述任一图像检测方法实施例的步骤,或实现上述任一检测模型的训练方法实施例中的步骤。
213.上述方案,通过利用检测模型来对待检测图像中的目标对象进行完整性检测,从而不必再利用人工来阅读图像并判断目标对象的完整性,以此可以加快检测速度,提高检测效率。或者,通过利用包含目标对象的样本检测图像对检测模型进行训练,以此使得检测模型可以检测样本检测图像中的目标对象的存在情况,进而,后续就可以利用目标对象的存在情况来判断目标对象的完整性。
214.在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
215.上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考,为了简洁,本文不再赘述。
216.在本技术所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。
217.另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
218.集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本技术各个实施方式方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。