Nothing Special   »   [go: up one dir, main page]

CN102270093A - 基于视频图像分辨率的视频自适应方法 - Google Patents

基于视频图像分辨率的视频自适应方法 Download PDF

Info

Publication number
CN102270093A
CN102270093A CN2011101576861A CN201110157686A CN102270093A CN 102270093 A CN102270093 A CN 102270093A CN 2011101576861 A CN2011101576861 A CN 2011101576861A CN 201110157686 A CN201110157686 A CN 201110157686A CN 102270093 A CN102270093 A CN 102270093A
Authority
CN
China
Prior art keywords
video image
expression
scaling
principal axis
cutting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011101576861A
Other languages
English (en)
Other versions
CN102270093B (zh
Inventor
薛银珠
刘志
杜欢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI UNIVERSITY
Original Assignee
SHANGHAI UNIVERSITY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI UNIVERSITY filed Critical SHANGHAI UNIVERSITY
Priority to CN201110157686.1A priority Critical patent/CN102270093B/zh
Publication of CN102270093A publication Critical patent/CN102270093A/zh
Application granted granted Critical
Publication of CN102270093B publication Critical patent/CN102270093B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明公开了一种基于视频图像分辨率的视频自适应方法，具体步骤如下：(1)输入原始视频图像，提取图像关注度；(2)设定的裁剪缩放比例，找出视频保留的总能量最大的每帧的最佳裁剪窗口区域；(3)调整裁剪缩放比例，找出最佳的裁剪缩放比例，得到最佳裁剪窗口区域，裁剪视频图像，缩放视频图像到预定的目标分辨率。该方法在预定的视频图像的目标分辨率下，能保留视频图像的主要信息，当目标分辨率比原始分辨率小很多的时候，原始视频图像中主要物体也不会变得很小；当目标分辨率的宽高比与原始分辨率的宽高比不一样的时候，物体长宽比例也不会发生改变，按照最佳的裁剪缩放比例的最佳裁剪窗口区域裁剪和缩放视频图像，为观看者提供良好的视觉效果。

Description

基于视频图像分辨率的视频自适应方法
技术领域
本发明涉及一种基于视频图像分辨率的视频自适应方法，属于计算机视觉、视频处理技术领域。
背景技术
随着信息时代的来临和科技的日新月异，多媒体的传播途径日益广泛，人们逐渐通过手机、iPhone等便携设备观看视频。由于手机、iPhone的屏幕尺寸和分辨率都比传统的显示器更多样化，在手机、iPhone上播放视频时，通常会引起视频图像的信息损失和视频图像的内容失真，例如，播放的视频图像中所显示的小物体看不清楚，或者播放的视频图像中所显示的物体长宽比例发生改变。为此，视频自适应方法在这种环境下应运而生，它旨在将视频图像重新修正，在新的视频图像分辨率下保留原始视频图像的主要信息。目前的视频自适应方法，例如，Rubinstein等人在2008年8月出版的计算机协会图形学报第27卷第3期上发表的“适用于视频自适应的改进的缝切割算法”一文，该算法中将图像的切缝法扩展到视频图像，不断地移除视频图像时空域能量最小的切面对应的像素点，直到视频图像的目标分辨率。但是，该算法对于复杂的镜头晃动和物体移动，很难保证不丢失图像的主要信息。其他视频自适应方法，例如，Liu等人在加拿大举办的第14届计算机协会多媒体国际会议上发表的“视频自适应：自动地平移和扫描”一文，该方法中自动地平移和扫描视频，能对视频图像的每个帧计算最佳的裁剪窗口，但是它并没有很好的保持视频时域的连贯性。Yuan等人在香港举行的2010图像处理国际会议上发表的“视频自适应：视觉友好的动态规划算法”，该算法虽然取得了较佳的视频时域连贯性，但该算法的计算复杂度增大。在上述各视频自适应方法中是用图像梯度或者图像关注度找出视频图像的主要信息，而申请人在中国发明专利申请中提出了一种“基于图像的多特征融合提取图像关注度的方法”（专利申请号为：201010215691.9），该方法具体步骤如下：(1)、输入原始图像，分别提取每个区域的多个特征； (2)、进行多个特征融合，计算区域关注度； (3)、通过图像中每个像素点的像素值与每个区域的均值的相近程度，将上述区域关注度转化为图像中每个像素点                                                
Figure 759578DEST_PATH_IMAGE001
的关注度，提取图像关注度。该方法可应用于机器视觉、对象分割、目标跟踪等领域。
 
发明内容
本发明的目的在于针对已有技术中存在的缺陷提出一种基于视频图像分辨率的视频自适应方法，该方法在预定的视频图像的目标分辨率下，不仅能够保留视频图像的主要信息，而且能等比例缩放视频的宽度和高度，能真实地显示物体，为观看者提供良好的视觉效果。
为了达到上述目的，本发明所采用的技术方案是：
一种基于视频图像分辨率的视频自适应方法，其具体步骤如下：
(1)、输入原始视频图像，提取视频图像关注度； 
(2)、设定裁剪缩放比例，找出视频保留的总能量最大的每帧的最佳裁剪窗口区域； 
(3)、调整裁剪缩放比例，找出最佳的裁剪缩放比例，得到最佳裁剪窗口区域，裁剪视频图像，缩放视频图像到预定的目标分辨率。
上述步骤(1)所述的输入原始视频图像，提取视频图像关注度，其具体步骤如下：
(1-1)、输入原始图像，分别提取每个区域的多个特征；
(1-2)、进行多个特征融合，计算区域关注度；
(1-3)、将上述区域关注度转化为图像中每个像素点 的关注度，提取视频图像关注度。
上述步骤(2)所述的设定裁剪缩放比例，找出视频保留的总能量最大的每帧的最佳裁剪窗口区域，其具体步骤如下：
(2－1)、设定裁剪缩放比例，计算每帧图像的任一裁剪窗口区域保留的能量，其具体步骤如下：
首先，设定裁剪缩放比例
Figure 265351DEST_PATH_IMAGE002
，然后，计算裁剪窗口区域的宽度
Figure 814144DEST_PATH_IMAGE003
和高度
Figure 964502DEST_PATH_IMAGE004
，其计算表达式为：
                            (1)
Figure 430436DEST_PATH_IMAGE006
                             (2)
其中，
Figure 896052DEST_PATH_IMAGE007
、
Figure 154995DEST_PATH_IMAGE008
、
Figure 971641DEST_PATH_IMAGE009
、
Figure 708653DEST_PATH_IMAGE010
分别表示原始视频图像的宽度和高度、目标视频图像的宽度和高度，然后，计算每帧图像的任一裁剪窗口区域在x轴方向和y轴方向上保留的能量，其计算表达式为：
Figure 294355DEST_PATH_IMAGE011
   (3)
   (4) 
其中，
Figure 762563DEST_PATH_IMAGE013
表示第
Figure 303266DEST_PATH_IMAGE014
帧图像的裁剪窗口区域的起始坐标点，
Figure 946737DEST_PATH_IMAGE015
表示以
Figure 344220DEST_PATH_IMAGE016
为起始坐标点、宽度为
Figure 73141DEST_PATH_IMAGE003
、高度为
Figure 214273DEST_PATH_IMAGE008
的裁剪窗口区域内的关注度之和, 
表示以
Figure 218318DEST_PATH_IMAGE018
为起始坐标点、宽度为
Figure 499782DEST_PATH_IMAGE007
、高度为
Figure 382288DEST_PATH_IMAGE008
的裁剪窗口区域内的关注度之和, 
Figure 797088DEST_PATH_IMAGE019
表示以
Figure 739637DEST_PATH_IMAGE016
为起始坐标点、宽度为
Figure 239888DEST_PATH_IMAGE020
、高度为
Figure 660505DEST_PATH_IMAGE008
的裁剪窗口区域内的关注度之和,
 
Figure 133075DEST_PATH_IMAGE021
表示以
Figure 43262DEST_PATH_IMAGE022
为起始坐标点、宽度为、高度为
Figure 255117DEST_PATH_IMAGE008
的裁剪窗口区域内的关注度之和, 
Figure 582194DEST_PATH_IMAGE023
表示以
Figure 866544DEST_PATH_IMAGE024
为起始坐标点、宽度为
Figure 341388DEST_PATH_IMAGE007
、高度为
Figure 103808DEST_PATH_IMAGE025
的裁剪窗口区域内的关注度之和，
Figure 347707DEST_PATH_IMAGE026
表示以
Figure 802959DEST_PATH_IMAGE024
为起始坐标点、宽度为
Figure 702782DEST_PATH_IMAGE007
、高度为的裁剪窗口区域内的关注度之和，
Figure 367299DEST_PATH_IMAGE028
表示以
Figure 58699DEST_PATH_IMAGE029
为起始坐标点、宽度为
Figure 445818DEST_PATH_IMAGE007
、高度为
Figure 550040DEST_PATH_IMAGE027
的裁剪窗口区域内的关注度之和；
 (2－2)、找出使视频保留的总能量最大的每帧的最佳裁剪窗口区域，其具体步骤如下：
计算第i帧图像在x轴方向和y轴方向上的累积能量，其计算表达式为：
Figure 768532DEST_PATH_IMAGE030
           (5)
Figure 565586DEST_PATH_IMAGE031
          (6)
其中，和表示第
Figure 420913DEST_PATH_IMAGE014
帧图像以
Figure 451186DEST_PATH_IMAGE013
为起始坐标点的裁剪窗口区域在x轴方向和y轴方向上的累积能量，和
Figure 55660DEST_PATH_IMAGE035
表示第
Figure 186427DEST_PATH_IMAGE036
帧图像以
Figure 325284DEST_PATH_IMAGE037
为起始坐标点的裁剪窗口区域在x轴方向和y轴方向上的累积能量，
Figure 971029DEST_PATH_IMAGE038
和
Figure 220745DEST_PATH_IMAGE039
表示第
Figure 268335DEST_PATH_IMAGE036
帧图像以为起始坐标点的裁剪窗口区域在x轴方向和y轴方向上的累积能量，
Figure 648818DEST_PATH_IMAGE041
和
Figure 764541DEST_PATH_IMAGE042
表示第
Figure 604321DEST_PATH_IMAGE036
帧图像以
Figure 161947DEST_PATH_IMAGE043
为起始坐标点的裁剪窗口区域在x轴方向和y轴方向上的累积能量，
然后，找出最后一帧的累积能量的最大值
Figure 454388DEST_PATH_IMAGE044
及其对应坐标
Figure 311485DEST_PATH_IMAGE045
，其计算表达式为：
Figure 68089DEST_PATH_IMAGE046
                         (7)
Figure 719650DEST_PATH_IMAGE047
                    (8)
其中，
Figure 827283DEST_PATH_IMAGE048
表示最后一帧图像，视频图像最后一帧的最佳裁剪窗口区域就是以
Figure 222492DEST_PATH_IMAGE045
为起始坐标点，宽度为
Figure 833602DEST_PATH_IMAGE003
，高度为的窗口区域，然后，计算视频图像其他帧的最佳裁剪窗口区域的起始坐标点，其计算表达式为：
Figure 250994DEST_PATH_IMAGE049
(9)
Figure 246632DEST_PATH_IMAGE051
    (10)
其中，
Figure 915511DEST_PATH_IMAGE052
和
Figure 174454DEST_PATH_IMAGE053
表示第
Figure 725521DEST_PATH_IMAGE014
帧和第
Figure 728112DEST_PATH_IMAGE054
帧图像的最佳裁剪窗口区域的起始坐标点，
Figure 313814DEST_PATH_IMAGE055
和
Figure 478079DEST_PATH_IMAGE056
表示第
Figure 719705DEST_PATH_IMAGE054
帧图像以
Figure 325654DEST_PATH_IMAGE057
为起始坐标点的裁剪窗口区域在x轴方向和y轴方向上的累积能量，
Figure 703546DEST_PATH_IMAGE058
和
Figure 366608DEST_PATH_IMAGE059
表示第
Figure 829951DEST_PATH_IMAGE054
帧图像以
Figure 174344DEST_PATH_IMAGE053
为起始坐标点的裁剪窗口区域在x轴方向和y轴方向上的累积能量，
和表示第
Figure 519241DEST_PATH_IMAGE054
帧图像以
Figure 401746DEST_PATH_IMAGE062
为起始坐标点的裁剪窗口区域在x轴方向和y轴方向上的累积能量，
当裁剪缩放比例为
Figure 754230DEST_PATH_IMAGE002
时，视频保留的总能量最大的每帧的最佳裁剪窗口区域是以
Figure 493516DEST_PATH_IMAGE052
为起始坐标点，宽度为
Figure 931451DEST_PATH_IMAGE003
，高度为
Figure 679964DEST_PATH_IMAGE004
的窗口区域。
上述步骤(3)所述的调整裁剪缩放比例，找出最佳的裁剪缩放比例，得到最佳裁剪窗口区域，裁剪视频图像，缩放视频图像到预定的目标分辨率，其具体步骤如下：
(3-1)、 调整裁剪缩放比例，找出最佳的裁剪缩放比例，其具体步骤如下：
调整裁剪缩放比例
Figure 886954DEST_PATH_IMAGE002
，计算每个裁剪缩放比例的最后一帧的累积能量的最大值
Figure 404DEST_PATH_IMAGE044
，找出最佳的裁剪缩放比例，其计算表达式为：
 (11)
 (3-2)、 按步骤(2)得到的最佳的裁剪缩放比例
Figure 212259DEST_PATH_IMAGE064
的最佳裁剪窗口区域裁剪视频图像,缩放视频图像到预定的目标分辨率。
本发明的基于视频图像分辨率的视频自适应方法与现有的技术相比，具有如下优点：该方法能从最佳的裁剪缩放比例
Figure 601652DEST_PATH_IMAGE064
的最佳裁剪窗口区域裁剪视频图像, 在预定的视频图像的目标分辨率下，能有效地保留视频图像的主要信息，当目标分辨率比原始分辨率小很多的时候，原始视频图像中的主要物体也不会变得很小，而且当目标分辨率的宽高比与原始分辨率的宽高比不一样的时候，物体长宽比例也不会发生改变，按照最佳的裁剪缩放比例的最佳裁剪窗口区域裁剪和缩放视频图像为观看者提供良好的视觉效果。
附图说明                   
图1是本发明的基于视频图像分辨率的视频自适应方法的流程图；
图2(a)是步骤(1-1)中的输入图像；
图2(b)是步骤(1-1)中的区域分割图像；
图2(c)是步骤(1-1)中的任一区域内的边缘的图；
图3是步骤(1-2)中的区域关注度的图；
图4是步骤(1-3)中的图像关注度的图；
图5是部分输入视频图像及其输出视频图像。
具体实施方式
下面结合附图对本发明的实施例作进一步详细说明。
本发明的仿真实验是在CPU为2.0GHz、内存为1G的PC测试平台上编程实现。
如图1所示，本发明的基于视频图像分辨率的视频自适应方法，其技术方案是：输入原始视频图像，提取视频图像关注度；然后设定裁剪缩放比例，找出视频图像保留的总能量最大的每帧的最佳裁剪窗口区域；最后调整裁剪缩放比例，找出最佳的裁剪缩放比例，得到最佳裁剪窗口区域，裁剪视频图像，缩放视频图像到预定的目标分辨率，具体步骤如下：
(1)、输入原始视频图像，提取视频图像关注度，其具体如下：
(1-1)、输入原始图像，分别提取每个区域的多个特征，
如图2所示，其中，图2(a) 为原始图像，图2(b)为分割原始图像后的区域分割图像，在图2(b)中的任一区域内所有像素点的颜色用该区域的均值表示、区域的中心位置用一个圆点表示，图2(c)为任一区域内的边缘的图像，图中，属于同一集合的边缘像素颜色相同，属于不同集合的边缘像素颜色不同；
(1-2)、进行多个特征融合，计算区域关注度；
利用步骤(1-1)提取的多个特征，分别计算区域与相邻区域和图像均值的差异、图像边缘的差异、区域位置的差异，然后进行融合计算区域关注度，如图3所示，图中，颜色越接近白色表示关注度越大，灰度图中颜色越接近黑色表示关注度越小；
(1-3)、将上述区域关注度转化为图像中每个像素点的关注度，提取视频图像关注度，如图4所示，图中，鱼所在的区域关注度最大，轮廓分明；
(2)、设定裁剪缩放比例，找出视频保留的总能量最大的每帧的最佳裁剪窗口区域，其具体步骤如下：
(2－1)、设定裁剪缩放比例，计算每帧图像的任一裁剪窗口区域保留的能量，其具体步骤如下： 
首先，设定裁剪缩放比例
Figure 32951DEST_PATH_IMAGE065
，按公式(1)(2)计算出裁剪窗口区域的宽度
Figure 126196DEST_PATH_IMAGE003
=640和高度
Figure 307779DEST_PATH_IMAGE004
=360，其中、、
Figure 291281DEST_PATH_IMAGE068
、
Figure 389687DEST_PATH_IMAGE069
，
然后，根据公式(3)、公式(4)计算每帧图像的任一裁剪窗口区域在x轴方向和y轴方向上保留的能量；
(2－2)、找出使视频保留的总能量最大的每帧的最佳裁剪窗口区域，其具体如下：
根据公式(5)、公式(6)计算出第i帧图像在x轴方向和y轴方向上的累积能量，然后根据公式(7)、公式(8)找出最后一帧的累积能量的最大值
Figure 15841DEST_PATH_IMAGE070
及其对应坐标
Figure 199697DEST_PATH_IMAGE071
，再根据公式(9)、公式(10)得到视频图像其他帧的最佳裁剪窗口区域的起始坐标点，都为
Figure 569499DEST_PATH_IMAGE018
，
当裁剪缩放比例为0时，视频保留的总能量最大的每帧的最佳裁剪窗口区域是以为起始坐标点，宽度为640，高度为360的窗口区域；
(3)、调整裁剪缩放比例，找出最佳的裁剪缩放比例,得到最佳裁剪窗口区域，裁剪视频图像，缩放视频图像到预定的目标分辨率，其具体步骤如下：
(3-1)、 调整裁剪缩放比例，找出最佳的裁剪缩放比例，其具体步骤如下：
根据公式(11)调整裁剪缩放比例
Figure 585045DEST_PATH_IMAGE072
，计算每个裁剪缩放比例的最后一帧的累积能量的最大值，找出最佳的裁剪缩放比例
Figure 193881DEST_PATH_IMAGE073
为 ； 
(3-2)、 按步骤(2)得到的最佳的裁剪缩放比例
Figure 174792DEST_PATH_IMAGE064
的最佳裁剪窗口区域裁剪视频图像,缩放视频图像到预定的目标分辨率，其具体如下：
按步骤(2)得到的在裁剪缩放比例为
Figure 205065DEST_PATH_IMAGE075
时的最佳裁剪窗口区域，裁剪视频图像，然后缩放到目标分辨率360×270，如图5所示，其中，第一行是部分输入视频图像，第二行是输出视频图像。

Claims (4)

1.一种基于视频图像分辨率的视频自适应方法，其具体步骤如下：
(1)、输入原始视频图像，提取视频图像关注度； 
(2)、设定裁剪缩放比例，找出视频保留的总能量最大的每帧的最佳裁剪窗口区域； 
(3)、调整裁剪缩放比例，找出最佳的裁剪缩放比例，得到最佳裁剪窗口区域，裁剪视频图像，缩放视频图像到预定的目标分辨率。
2.根据权利要求1所述的基于视频图像分辨率的视频自适应方法，其特征在于，上述步骤(1)所述的输入原始视频图像，提取视频图像关注度，其具体步骤如下：
(1-1)、输入原始图像，分别提取每个区域的多个特征；
(1-2)、进行多个特征融合，计算区域关注度；
(1-3)、将上述区域关注度转化为图像中每个像素点                                                
Figure 133143DEST_PATH_IMAGE001
的关注度，提取视频图像关注度。
3.根据权利要求2所述的基于视频图像分辨率的视频自适应方法，其特征在于，上述步骤(2)所述的设定裁剪缩放比例，找出视频保留的总能量最大的每帧的最佳裁剪窗口区域，其具体步骤如下：
(2－1)、设定裁剪缩放比例，计算每帧图像的任一裁剪窗口区域保留的能量，其具体步骤如下：
首先，设定裁剪缩放比例
Figure 314725DEST_PATH_IMAGE002
，然后，计算裁剪窗口区域的宽度
Figure 832294DEST_PATH_IMAGE003
和高度
Figure 466538DEST_PATH_IMAGE004
，其计算表达式为：
                            (1)
Figure 396634DEST_PATH_IMAGE006
                             (2)
其中，
Figure 22787DEST_PATH_IMAGE007
、
Figure 206644DEST_PATH_IMAGE008
、
Figure 576445DEST_PATH_IMAGE009
、
Figure 794937DEST_PATH_IMAGE010
分别表示原始视频图像的宽度和高度、目标视频图像的宽度和高度，然后，计算每帧图像的任一裁剪窗口区域在x轴方向和y轴方向上保留的能量，其计算表达式为：
Figure 591992DEST_PATH_IMAGE011
   (3)
Figure 200828DEST_PATH_IMAGE012
   (4) 
其中，
Figure 171058DEST_PATH_IMAGE013
表示第
Figure 181739DEST_PATH_IMAGE014
帧图像的裁剪窗口区域的起始坐标点，
Figure 226660DEST_PATH_IMAGE015
表示以
Figure 322792DEST_PATH_IMAGE016
为起始坐标点、宽度为
Figure 34396DEST_PATH_IMAGE003
、高度为
Figure 961901DEST_PATH_IMAGE008
的裁剪窗口区域内的关注度之和, 
Figure 100758DEST_PATH_IMAGE017
表示以
Figure 746503DEST_PATH_IMAGE018
为起始坐标点、宽度为
Figure 261798DEST_PATH_IMAGE007
、高度为
Figure 981493DEST_PATH_IMAGE008
的裁剪窗口区域内的关注度之和, 
Figure 353568DEST_PATH_IMAGE019
表示以
Figure 424292DEST_PATH_IMAGE016
为起始坐标点、宽度为
Figure 540016DEST_PATH_IMAGE020
、高度为
Figure 379796DEST_PATH_IMAGE008
的裁剪窗口区域内的关注度之和,
 表示以
Figure 480793DEST_PATH_IMAGE022
为起始坐标点、宽度为
Figure 72311DEST_PATH_IMAGE020
、高度为
Figure 828915DEST_PATH_IMAGE008
的裁剪窗口区域内的关注度之和, 
Figure 746055DEST_PATH_IMAGE023
表示以
Figure 525792DEST_PATH_IMAGE024
为起始坐标点、宽度为
Figure 983319DEST_PATH_IMAGE007
、高度为
Figure 797691DEST_PATH_IMAGE025
的裁剪窗口区域内的关注度之和，
Figure 685400DEST_PATH_IMAGE026
表示以
Figure 952433DEST_PATH_IMAGE024
为起始坐标点、宽度为
Figure 213650DEST_PATH_IMAGE007
、高度为
Figure 882529DEST_PATH_IMAGE027
的裁剪窗口区域内的关注度之和，
Figure 875893DEST_PATH_IMAGE028
表示以为起始坐标点、宽度为、高度为
Figure 15253DEST_PATH_IMAGE027
的裁剪窗口区域内的关注度之和；
 (2－2)、找出使视频保留的总能量最大的每帧的最佳裁剪窗口区域，其具体步骤如下：
计算第i帧图像在x轴方向和y轴方向上的累积能量，其计算表达式为：
           (5)
Figure 686723DEST_PATH_IMAGE031
          (6)
其中，
Figure 24163DEST_PATH_IMAGE032
和
Figure 667634DEST_PATH_IMAGE033
表示第
Figure 65117DEST_PATH_IMAGE014
帧图像以
Figure 794039DEST_PATH_IMAGE013
为起始坐标点的裁剪窗口区域在x轴方向和y轴方向上的累积能量，
Figure 872854DEST_PATH_IMAGE034
和
Figure 433148DEST_PATH_IMAGE035
表示第
Figure 204795DEST_PATH_IMAGE036
帧图像以
Figure 217750DEST_PATH_IMAGE037
为起始坐标点的裁剪窗口区域在x轴方向和y轴方向上的累积能量，和
Figure 452739DEST_PATH_IMAGE039
表示第
Figure 460534DEST_PATH_IMAGE036
帧图像以
Figure 898469DEST_PATH_IMAGE040
为起始坐标点的裁剪窗口区域在x轴方向和y轴方向上的累积能量，
Figure 381403DEST_PATH_IMAGE041
和
Figure 853972DEST_PATH_IMAGE042
表示第
Figure 967422DEST_PATH_IMAGE036
帧图像以
Figure 954969DEST_PATH_IMAGE043
为起始坐标点的裁剪窗口区域在x轴方向和y轴方向上的累积能量，
然后，找出最后一帧的累积能量的最大值及其对应坐标
Figure 303091DEST_PATH_IMAGE045
，其计算表达式为：
Figure 587442DEST_PATH_IMAGE046
                         (7)
Figure 999969DEST_PATH_IMAGE047
                    (8)
其中，
Figure 90285DEST_PATH_IMAGE048
表示最后一帧图像，视频图像最后一帧的最佳裁剪窗口区域就是以
Figure 271867DEST_PATH_IMAGE045
为起始坐标点，宽度为
Figure 523857DEST_PATH_IMAGE003
，高度为
Figure 423680DEST_PATH_IMAGE004
的窗口区域，然后，计算视频图像其他帧的最佳裁剪窗口区域的起始坐标点，其计算表达式为：
Figure 989790DEST_PATH_IMAGE049
(9)
Figure 353776DEST_PATH_IMAGE050
    (10)
其中，和
Figure 163786DEST_PATH_IMAGE052
表示第
Figure 533587DEST_PATH_IMAGE014
帧和第
Figure 614063DEST_PATH_IMAGE053
帧图像的最佳裁剪窗口区域的起始坐标点，
Figure 411118DEST_PATH_IMAGE054
和
Figure 82271DEST_PATH_IMAGE055
表示第
Figure 255763DEST_PATH_IMAGE053
帧图像以
Figure 328761DEST_PATH_IMAGE056
为起始坐标点的裁剪窗口区域在x轴方向和y轴方向上的累积能量，
和表示第
Figure 166770DEST_PATH_IMAGE053
帧图像以为起始坐标点的裁剪窗口区域在x轴方向和y轴方向上的累积能量，
和
Figure 816560DEST_PATH_IMAGE060
表示第帧图像以为起始坐标点的裁剪窗口区域在x轴方向和y轴方向上的累积能量，
当裁剪缩放比例为
Figure 601787DEST_PATH_IMAGE002
时，视频保留的总能量最大的每帧的最佳裁剪窗口区域是以
Figure 672511DEST_PATH_IMAGE051
为起始坐标点，宽度为
Figure 788234DEST_PATH_IMAGE003
，高度为
Figure 628015DEST_PATH_IMAGE004
的窗口区域。
4.根据权利要求3所述的基于视频图像分辨率的视频自适应方法，其特征在于，上述步骤(3)所述的调整裁剪缩放比例，找出最佳的裁剪缩放比例，得到最佳裁剪窗口区域，裁剪视频图像，缩放视频图像到预定的目标分辨率，其具体步骤如下：
(3-1)、 调整裁剪缩放比例，找出最佳的裁剪缩放比例，其具体步骤如下：
调整裁剪缩放比例
Figure 108674DEST_PATH_IMAGE002
，计算每个裁剪缩放比例的最后一帧的累积能量的最大值
Figure 463432DEST_PATH_IMAGE044
，找出最佳的裁剪缩放比例，其计算表达式为：
Figure 320530DEST_PATH_IMAGE062
 (11)
 (3-2)、 按步骤(2)得到的最佳的裁剪缩放比例
Figure 77133DEST_PATH_IMAGE063
的最佳裁剪窗口区域裁剪视频图像,缩放视频图像到预定的目标分辨率。
CN201110157686.1A 2011-06-14 2011-06-14 基于视频图像分辨率的视频自适应方法 Expired - Fee Related CN102270093B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110157686.1A CN102270093B (zh) 2011-06-14 2011-06-14 基于视频图像分辨率的视频自适应方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110157686.1A CN102270093B (zh) 2011-06-14 2011-06-14 基于视频图像分辨率的视频自适应方法

Publications (2)

Publication Number Publication Date
CN102270093A true CN102270093A (zh) 2011-12-07
CN102270093B CN102270093B (zh) 2014-04-09

Family

ID=45052406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110157686.1A Expired - Fee Related CN102270093B (zh) 2011-06-14 2011-06-14 基于视频图像分辨率的视频自适应方法

Country Status (1)

Country Link
CN (1) CN102270093B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102662563A (zh) * 2012-03-14 2012-09-12 广东威创视讯科技股份有限公司 窗口分辨率自适应处理方法与装置
CN104349112A (zh) * 2013-07-31 2015-02-11 波利康公司 视频会议装置及其方法
CN104778023A (zh) * 2015-03-26 2015-07-15 小米科技有限责任公司 数据传输方法及装置
CN105141866A (zh) * 2015-09-06 2015-12-09 青岛海信信芯科技有限公司 一种投影图像校正方法和装置
CN108184099A (zh) * 2018-01-18 2018-06-19 武汉至为科技有限公司 一种视频监控的优化方法及装置
CN108363606A (zh) * 2018-03-15 2018-08-03 上海哔哩哔哩科技有限公司 闪屏显示方法、装置及计算机可读存储介质
CN108737882A (zh) * 2018-05-09 2018-11-02 腾讯科技（深圳）有限公司 图像的显示方法、装置、存储介质及电子装置
CN108924561A (zh) * 2018-07-30 2018-11-30 西安安国软件有限公司 基于h.264视频压缩标准的实时视频快速压缩方法
CN110191369A (zh) * 2019-06-06 2019-08-30 广州酷狗计算机科技有限公司 图像截取方法、装置、设备及存储介质
CN110189378A (zh) * 2019-05-23 2019-08-30 北京奇艺世纪科技有限公司 一种视频处理方法、装置及电子设备
CN110418162A (zh) * 2019-08-20 2019-11-05 成都索贝数码科技股份有限公司 一种同时制作不同幅面比的短视频的方法
CN110418195A (zh) * 2019-08-09 2019-11-05 华南理工大学 一种基于最佳裁剪的实时视频缩略方法
CN110505234A (zh) * 2019-08-30 2019-11-26 湖南快乐阳光互动娱乐传媒有限公司 一种基于b/s架构的直播转点播方法及装置
CN110662001A (zh) * 2019-09-27 2020-01-07 深圳市大拿科技有限公司 一种视频投影显示方法、装置及存储介质
CN112752158A (zh) * 2020-12-29 2021-05-04 北京达佳互联信息技术有限公司 一种视频展示的方法、装置、电子设备及存储介质
CN112887702A (zh) * 2021-01-11 2021-06-01 杭州灵伴科技有限公司 一种近眼显示设备的摄像头数据的传输方法及近眼显示设备
WO2021115386A1 (en) * 2019-12-11 2021-06-17 Mediatek Inc. Video encoding or decoding methods and apparatuses with scaling ratio constraint

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090251594A1 (en) * 2008-04-02 2009-10-08 Microsoft Corporation Video retargeting
WO2011026850A1 (en) * 2009-09-01 2011-03-10 Markus Gross Method for art-directable retargeting for streaming video

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090251594A1 (en) * 2008-04-02 2009-10-08 Microsoft Corporation Video retargeting
WO2011026850A1 (en) * 2009-09-01 2011-03-10 Markus Gross Method for art-directable retargeting for streaming video

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
《ACM Transactions on Graphics》 20080831 M.Rubinstein,et al Improved Seam Carving for Video Retargeting 第27卷, 第3期 *
《ACM Transactions on Graphics》 20090831 M.Rubinstein,et al Multi-operator Media Retargeting 第28卷, 第3期 *
《Multimedia and Expo, 2009. ICME 2009. IEEE International》 20090703 Tongwei Ren et al Image retargeting based on global energy optimization 406-409 1 , *
《计算机辅助设计与图形学学报》 20110531 施美玲,徐 丹 主体大小能控的内容感知图像缩放 第23卷, 第5期 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102662563A (zh) * 2012-03-14 2012-09-12 广东威创视讯科技股份有限公司 窗口分辨率自适应处理方法与装置
CN102662563B (zh) * 2012-03-14 2015-03-25 广东威创视讯科技股份有限公司 窗口分辨率自适应处理方法与装置
CN104349112A (zh) * 2013-07-31 2015-02-11 波利康公司 视频会议装置及其方法
CN104778023A (zh) * 2015-03-26 2015-07-15 小米科技有限责任公司 数据传输方法及装置
CN104778023B (zh) * 2015-03-26 2018-05-22 小米科技有限责任公司 数据传输方法及装置
CN105141866A (zh) * 2015-09-06 2015-12-09 青岛海信信芯科技有限公司 一种投影图像校正方法和装置
CN105141866B (zh) * 2015-09-06 2018-10-16 青岛海信电器股份有限公司 一种投影图像校正方法和装置
CN108184099A (zh) * 2018-01-18 2018-06-19 武汉至为科技有限公司 一种视频监控的优化方法及装置
CN108363606A (zh) * 2018-03-15 2018-08-03 上海哔哩哔哩科技有限公司 闪屏显示方法、装置及计算机可读存储介质
CN108737882A (zh) * 2018-05-09 2018-11-02 腾讯科技（深圳）有限公司 图像的显示方法、装置、存储介质及电子装置
CN108924561A (zh) * 2018-07-30 2018-11-30 西安安国软件有限公司 基于h.264视频压缩标准的实时视频快速压缩方法
CN110189378A (zh) * 2019-05-23 2019-08-30 北京奇艺世纪科技有限公司 一种视频处理方法、装置及电子设备
CN110191369A (zh) * 2019-06-06 2019-08-30 广州酷狗计算机科技有限公司 图像截取方法、装置、设备及存储介质
CN110418195A (zh) * 2019-08-09 2019-11-05 华南理工大学 一种基于最佳裁剪的实时视频缩略方法
CN110418162B (zh) * 2019-08-20 2021-10-22 成都索贝数码科技股份有限公司 一种同时制作不同幅面比的短视频的方法
CN110418162A (zh) * 2019-08-20 2019-11-05 成都索贝数码科技股份有限公司 一种同时制作不同幅面比的短视频的方法
CN110505234A (zh) * 2019-08-30 2019-11-26 湖南快乐阳光互动娱乐传媒有限公司 一种基于b/s架构的直播转点播方法及装置
CN110505234B (zh) * 2019-08-30 2022-07-26 湖南快乐阳光互动娱乐传媒有限公司 一种基于b/s架构的直播转点播方法及装置
CN110662001B (zh) * 2019-09-27 2021-11-16 深圳市海雀科技有限公司 一种视频投影显示方法、装置及存储介质
CN110662001A (zh) * 2019-09-27 2020-01-07 深圳市大拿科技有限公司 一种视频投影显示方法、装置及存储介质
WO2021115386A1 (en) * 2019-12-11 2021-06-17 Mediatek Inc. Video encoding or decoding methods and apparatuses with scaling ratio constraint
CN112752158A (zh) * 2020-12-29 2021-05-04 北京达佳互联信息技术有限公司 一种视频展示的方法、装置、电子设备及存储介质
US11490164B2 (en) 2020-12-29 2022-11-01 Beijing Dajia Internet Information Technology Co., Ltd Method and electronic device for displaying video
CN112752158B (zh) * 2020-12-29 2023-06-20 北京达佳互联信息技术有限公司 一种视频展示的方法、装置、电子设备及存储介质
CN112887702A (zh) * 2021-01-11 2021-06-01 杭州灵伴科技有限公司 一种近眼显示设备的摄像头数据的传输方法及近眼显示设备

Also Published As

Publication number Publication date
CN102270093B (zh) 2014-04-09

Similar Documents

Publication Publication Date Title
CN102270093B (zh) 基于视频图像分辨率的视频自适应方法
Wang et al. Deep online video stabilization with multi-grid warping transformation learning
CN107516319B (zh) 一种高精度简易交互式抠图方法、存储设备及终端
CN101859433B (zh) 图像拼接设备和方法
CA2926235C (en) Image blur with preservation of detail
WO2018103244A1 (zh) 直播视频处理方法、装置及电子设备
Yen et al. Maintaining temporal coherence in video retargeting using mosaic-guided scaling
CN106709931B (zh) 一种脸谱映射至人脸的方法、脸谱映射装置
CN103366352A (zh) 用于产生背景被虚化的图像的设备和方法
CN103503455A (zh) 针对视频自适应和重定目标进行视频字幕重新覆盖的系统和方法
KR102145220B1 (ko) 딥러닝을 활용하여 2차원 이미지를 3차원 이미지로 변환하는 방법 및 장치
CN111652807B (zh) 眼部的调整、直播方法、装置、电子设备和存储介质
CN109361880A (zh) 一种展示静态图片对应的动态图片或视频的方法及系统
US8983188B1 (en) Edge-aware smoothing in images
CN106447718B (zh) 一种2d转3d深度估计方法
CN103226824A (zh) 维持视觉显著性的视频重定向系统
CN109600667B (zh) 一种基于网格与帧分组的视频重定向的方法
CN107093165A (zh) 一种递归图像的快速显示方法及装置
CN115294055A (zh) 图像处理方法、装置、电子设备和可读存储介质
WO2016199418A1 (en) Frame rate conversion system
Kawai et al. AR marker hiding based on image inpainting and reflection of illumination changes
CN106851167A (zh) 一种用于虚拟现实设备的显示方法、系统及虚拟现实设备
Kawai et al. From image inpainting to diminished reality
JP2016071496A (ja) 情報端末装置、方法及びプログラム
Du et al. Video retargeting based on spatiotemporal saliency model

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140409

Termination date: 20200614