基于素描图的图像视频语义编解码方法和装置

专利主权项内容

1.一种基于素描图的图像视频语义编解码方法，其特征在于，所述方法包括：获取原始图像，所述原始图像为视频帧或其它图像；获取所述原始图像的素描图，所述素描图的各个素描点用于表征物体结构；将所述原始图像输入语义分割网络，得到语义分割结果，所述语义分割结果用于确定所述原始图像的各个像素点所属的类别；将所述素描图转化为二维张量，得到素描图张量，所述素描图张量中的张量元素表征：所述原始图像的各个像素点是否为所述素描点；将所述语义分割结果转化为二维张量，得到分割结果张量，所述分割结果张量中的张量元素表征：所述原始图像的各个像素点所属的类别；根据所述分割结果张量，对所述素描图张量进行修改，得到修改后的素描图张量，所述修改后的素描图张量表征：各个所述素描点所属的类别；根据所述修改后的素描图张量，生成编码图像；以所述编码图像为附加条件，将所述附加条件和随机噪声输入生成对抗网络中的生成器，得到解码图像。