CN107146198A - 一种照片智能裁剪方法及装置 - Google Patents
一种照片智能裁剪方法及装置 Download PDFInfo
- Publication number
- CN107146198A CN107146198A CN201710256861.XA CN201710256861A CN107146198A CN 107146198 A CN107146198 A CN 107146198A CN 201710256861 A CN201710256861 A CN 201710256861A CN 107146198 A CN107146198 A CN 107146198A
- Authority
- CN
- China
- Prior art keywords
- sliding window
- aesthetic feeling
- aesthetics
- clipping region
- original scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000013210 evaluation model Methods 0.000 claims description 34
- 230000008569 process Effects 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 abstract description 4
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种照片智能裁剪方法及装置。该方法包括:获取智能设备照片图像;在照片图像中生成若干子区域,计算若干子区域的美学评分,根据所述美学评分得到最佳美感裁剪区域;根据最佳美感裁剪区域的坐标裁剪照片图像。本发明实施例的照片智能裁剪方法及装置通过图像美学评价技术实现照片的智能裁剪,使得从美学角度裁剪出更加符合应用场景的照片;本发明适用的照片类型更加普遍,且操作方便、效率高,所以,本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
Description
技术领域
本发明涉及图像处理技术领域,特别涉及一种照片智能裁剪方法及装置。
背景技术
随着智能终端设备拍照性能的不断增强,人们热衷于随手记录下生活中的美丽瞬间,并分享至社交网络中。但是通常我们拍摄完的照片并不适合直接上传至互联网,需要进行一些后期处理。例如,拍照时手指不小心遮挡了镜头边缘或镜头边缘有人误入;只想截取照片中的部分画面用作突出显示;有一张很美的矩形自拍照,而微信头像却要求是正方形。上述这些情况下通常需要进行照片裁剪,目前主流拍照/修图类应用已提供的照片裁剪功能是通过自由/固定比例手动编辑截图,但由于普通用户通常并不具备构图等专业的摄影知识,因此手动裁剪出的照片美学质量不能保证,另外,手动裁剪出照片的比例可能也不符合应用要求。申请号为CN201410681308.7的发明对拍摄的图像进行人脸检测获得人脸检测框;以人脸检测框中心点为原点,按照面积与人脸检测框的面积比例10:7生成长宽比为4:3的矩形裁剪框;将图像中所述矩形裁剪框以外的部分裁剪掉。该发明从人脸检测的角度对证件照等人脸为主照片的裁剪具有较好效果,但对于大量的普通照片却无法实现智能裁剪。
发明内容
鉴于上述问题,本发明提供了一种照片智能裁剪方法及装置。
本发明提供的照片智能裁剪方法,包括以下步骤:
获取智能设备照片图像;
在所述照片图像中生成若干子区域,计算所述若干子区域的美学评分,根据所述美学评分得到最佳美感裁剪区域;
根据所述最佳美感裁剪区域的坐标裁剪所述照片图像。
本发明还提供了一种照片智能裁剪装置,包括:图像获取模块、计算模块、裁剪模块:
所述图像获取模块,用于获取智能设备照片图像;
所述计算模块,用于在所述照片图像中生成若干子区域,计算所述若干子区域的美学评分,根据所述美学评分得到最佳美感裁剪区域;
所述裁剪模块,用于根据所述最佳美感裁剪区域的坐标裁剪所述照片图像。
本发明有益效果如下:
本发明实施例的照片智能裁剪方法及装置通过图像美学评价技术实现照片的智能裁剪,使得从美学角度裁剪出更加符合应用场景的照片;本发明适用的照片类型更加普遍,且操作方便、效率高。所以,本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
附图说明
图1是本发明方法实施例的照片智能裁剪方法的流程图;
图2是本发明装置实施例的照片智能裁剪装置的结构示意图;
图3是本发明实例1的照片智能裁剪方法的流程图;
图4是本发明实例2的照片智能裁剪方法的流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
为了解决现有技术剪出的照片美学质量不能保证、或除人脸为主的照片外大量的普通照片却无法实现智能裁剪的问题,本发明提供了一种照片智能裁剪方法及装置,以下结合附图以及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不限定本发明。
根据本发明的方法实施例,提供了一种照片智能裁剪方法,图1是本发明方法实施例的照片智能裁剪方法的流程图,如图1所示,根据本发明方法实施例的照片智能裁剪方法包括如下处理:
步骤101,获取智能设备照片图像。
具体的,智能设备包括个人电脑、智能手机、平板电脑、智能眼镜,以及其他具有摄像头及数据处理功能的设备。
步骤102,在所述照片图像中生成若干子区域,计算所述若干子区域的美学评分,根据所述美学评分得到最佳美感裁剪区域。具体的,在照片图像中生成若干子区域包括用预设的滑动窗口遍历所述照片图像,得到若干个子区域。
其中,步骤102包括以下两种技术方案。第一种技术方案包括以下步骤:使用第一滑动窗口遍历所述照片图像,利用预设的美学评价模型得到在遍历的过程中所述第一滑动窗口对应的若干个美学评分,选取最高美学评分,以最高美学评分对应的位置作为最佳美感裁剪区域;其中,第一滑动窗口选取以下中的一种或几种:原始比例滑动窗口、标准比例滑动窗口、预设比例滑动窗口。
更加具体的,当所述第一滑动窗口中包括所述预设比例滑动窗口时,所述使用第一滑动窗口遍历所述照片图像,利用预设的美学评价模型得到在遍历的过程中所述第一滑动窗口对应的若干个美学评分,包括以下步骤:
使用预设比例滑动窗口遍历所述照片图像,利用预设的美学评价模型得到在遍历的过程中所述第一滑动窗口对应的若干个美学评分。
更加具体的,当所述第一滑动窗口包括原始比例滑动窗口和标准比例滑动窗口时,使用第一滑动窗口遍历所述照片图像,利用预设的美学评价模型得到在遍历的过程中所述第一滑动窗口对应的若干个美学评分,选取最高美学评分,包括以下方案A和方案B。
具体的,方案A包括以下步骤:
使用原始比例滑动窗口遍历所述照片图像,利用预设的美学评价模型得到在遍历的过程中所述原始比例滑动窗口对应的若干个美学评分;
使用标准比例滑动窗口遍历所述照片图像,利用预设的美学评价模型得到在遍历的过程中所述标准比例滑动窗口对应的若干个美学评分;
在所述原始比例滑动窗口对应的若干个美学评分、及所述标准比例滑动窗口对应的若干个美学评分中选取最高美学评分。
具体的,方案B包括以下步骤:
使用原始比例滑动窗口遍历所述照片图像,利用预设的美学评价模型得到在遍历的过程中所述原始比例滑动窗口对应的若干个美学评分;
选取原始比例滑动窗口对应的若干个美学评分中最高的美学评分,根据最高的美学评分对应的原始比例滑动窗口的坐标得到原始比例下的最佳美感裁剪区域;
计算所述标准比例滑动窗口与所述原始比例下的最佳美感裁剪区域的最大交并比,将产生最大交并比的位置作为标准比例下的最佳美感裁剪区域;
按照指令选择原始比例下的最佳美感裁剪区域或标准比例下的最佳美感裁剪区域中的一个作为图像最佳美感裁剪区域。
更加具体的,在方案A和方案B中,原始比例滑动窗口和标准比例滑动窗口可选用为几个尺度。例如当原始比例滑动窗口选用3个尺度,各尺度的缩放比为1.2,最小尺度滑动窗口的水平方向边长为原始图像水平方向长边的1/4时,即表示选用以下三种尺度的原始比例图像:大小为原始图像大小的0.25倍、大小为原始图像大小的0.25×1.2倍、大小为原始图像大小的0.25×1.2×1.2倍。
步骤102的第二种技术方案包括以下步骤:使用第二滑动窗口遍历所述照片图像,得到在遍历的过程中所述第二滑动窗口对应的若干个美学评分,以所述若干个美学评分作为遍历过程中若干个第二滑动窗口中心点坐标的美学质量值,根据若干个美学质量值生成美学质量图谱;其中,所述第二滑动窗口为照片图像原始比例,且第二滑动窗口小于或等于第一滑动窗口,第二滑动窗口步长小于或等于第一滑动窗口;
使用预设的聚类算法得到所述美学质量图谱中的能量最高区域,以所述能量最高区域的最小外接矩形作为图像最佳美感区域;
计算所需裁剪比例的窗口与所述图像最佳美感区域的最大交并比,将产生最大交并比的位置作为最佳美感裁剪区域。
具体的,当所述第一滑动窗口包括原始比例滑动窗口和标准比例滑动窗口时,计算第一滑动窗口与所述图像最佳美感区域的最大交并比,将产生最大交并比的位置作为最佳美感裁剪区域,包括以下步骤:
计算原始比例滑动窗口与所述图像最佳美感区域的最大交并比,将产生最大交并比的位置作为原始比例下的最佳美感裁剪区域;
计算标准比例滑动窗口与所述图像最佳美感区域的最大交并比,将产生最大交并比的位置作为标准比例下的最佳美感裁剪区域;
在所述原始比例下的最佳美感裁剪区域、及标准比例下的最佳美感裁剪区域中选取中心与所述图像最佳美感区域中心最近的一个作为图像最佳美感裁剪区域。
作为本发明方法实施例的另一实施例,还包括以下步骤:获取指定的目标裁剪区域种子点;进一步的,所述使用预设的滑动窗口遍历所述照片图像,得到在遍历的过程中所述预设的滑动窗口对应的若干个美学评分,包括以下步骤:
使用预设的滑动窗口遍历所述目标裁剪区域种子点邻域,得到在遍历的过程中所述预设的滑动窗口对应的若干个美学评分。
步骤103,根据所述最佳美感裁剪区域的坐标裁剪所述照片图像,得到所述照片图像的最佳裁剪区域。
本发明实施例的照片智能裁剪方法通过图像美学评价技术实现照片的智能裁剪,使得从美学角度裁剪出更加符合应用场景的照片;本发明适用的照片类型更加普遍,且操作方便、效率高。所以,本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
与本发明的方法实施例相对应,本发明还提供了一种照片智能裁剪装置,图2是本发明装置实施例的照片智能裁剪装置的结构示意图,如图2所示,根据本发明装置实施例的照片智能裁剪装置包括:图像获取模块20、计算模块22、裁剪模块24,以下对本发明实施例的各个模块进行详细的说明。
具体的,所述图像获取模块20,用于获取智能设备照片图像。
所述计算模块22,用于在所述照片图像中生成若干子区域,计算所述若干子区域的美学评分,根据所述美学评分得到最佳美感裁剪区域。
具体的,在照片图像中生成若干子区域包括用预设的滑动窗口遍历所述照片图像,得到若干个子区域。
所述计算模块具体用于:使用第一滑动窗口遍历所述照片图像,利用预设的美学评价模型得到在遍历的过程中所述第一滑动窗口对应的若干个美学评分,选取最高美学评分,以最高美学评分对应的位置作为最佳美感裁剪区域;其中,第一滑动窗口选取以下中的一种或几种:原始比例滑动窗口、标准比例滑动窗口、预设比例滑动窗口;
或者,用于使用第二滑动窗口遍历所述照片图像,得到在遍历的过程中所述第二滑动窗口对应的若干个美学评分,以所述若干个美学评分作为遍历过程中若干个第二滑动窗口中心点坐标的美学质量值,根据若干个美学质量值生成美学质量图谱;其中,所述第二滑动窗口为照片图像原始比例,且第二滑动窗口小于或等于第一滑动窗口,第二滑动窗口步长小于或等于第一滑动窗口;
使用预设的聚类算法得到所述美学质量图谱中的能量最高区域,以所述能量最高区域的最小外接矩形作为图像最佳美感区域;
计算所需裁剪比例的窗口与所述图像最佳美感区域的最大交并比,将产生最大交并比的位置作为最佳美感裁剪区域。
更加具体的,当所述第一滑动窗口包括原始比例滑动窗口和标准比例滑动窗口时,所述计算模块具体用于:
使用原始比例滑动窗口遍历所述照片图像,利用预设的美学评价模型得到在遍历的过程中所述原始比例滑动窗口对应的若干个美学评分;
使用标准比例滑动窗口遍历所述照片图像,利用预设的美学评价模型得到在遍历的过程中所述标准比例滑动窗口对应的若干个美学评分;
在所述原始比例滑动窗口对应的若干个美学评分、及所述标准比例滑动窗口对应的若干个美学评分中选取最高美学评分;
或者使用原始比例滑动窗口遍历所述照片图像,利用预设的美学评价模型得到在遍历的过程中所述原始比例滑动窗口对应的若干个美学评分;
选取原始比例滑动窗口对应的若干个美学评分中最高的美学评分,根据最高的美学评分对应的原始比例滑动窗口的坐标得到原始比例下的最佳美感裁剪区域;
计算所述标准比例滑动窗口与所述原始比例下的最佳美感裁剪区域的最大交并比,将产生最大交并比的位置作为标准比例下的最佳美感裁剪区域;
按照指令选择原始比例下的最佳美感裁剪区域或标准比例下的最佳美感裁剪区域中的一个作为图像最佳美感裁剪区域;
或者计算第一滑动窗口与所述图像最佳美感区域的最大交并比,将产生最大交并比的位置作为最佳美感裁剪区域,包括以下步骤:
计算原始比例滑动窗口与所述图像最佳美感区域的最大交并比,将产生最大交并比的位置作为原始比例下的最佳美感裁剪区域;
计算标准比例滑动窗口与所述图像最佳美感区域的最大交并比,将产生最大交并比的位置作为标准比例下的最佳美感裁剪区域;
在所述原始比例下的最佳美感裁剪区域、及标准比例下的最佳美感裁剪区域中选取中心与所述图像最佳美感区域中心最近的一个作为图像最佳美感裁剪区域。
所述裁剪模块24,用于根据所述最佳美感裁剪区域的坐标裁剪所述照片图像,得到所述照片图像的最佳裁剪区域。
所述预设的美学评价模型通过训练得到,使用的机器学习方法包括卷积神经网络、受限玻尔兹曼机、深度置信网络等。更进一步的,本发明装置实施例还包括模型训练模块,所述模型训练模块用于:
获取已知美学评分的若干个图像;
利用已知美学评分的若干个图像对预设的美学评价模型进行训练,得到训练后的美学评价模型。
本发明的照片智能裁剪方法及系统,具有以下有益效果:
1、本发明可以从最佳美学的角度智能地裁剪出标准比例的照片,解决了人工手动裁剪照片可能出现低美感以及裁剪出的照片比例非标准的情况,以符合实际应用需求。
2、支持交互功能,可以在人工指定点的邻域范围内裁剪出最佳美学的照片,以更好地满足用户的定制化裁剪需求。
为了更加详细的说明本发明的实施例,给出实例1和实例2。
如图3所示,实例1包括以下步骤:
步骤S1:从智能设备相册中获取照片图像。
步骤S2:系统判断是否人工指定有图像中的某一坐标作为目标裁剪区域种子点。
步骤S3:若没有人工指定的目标裁剪区域种子点,使用多尺度的原始比例及标准比例(1:1、5:3、4:3、5:4、16:9、3:2、7:5)滑动窗口遍历图像,并使用卷积神经网络美学评价模型计算得到各窗口内的美学评分。选取原始比例及标准比例窗口的最高美学评分对应的位置,作为原始比例及标准比例下最佳美感裁剪区域;
若存在人工指定的目标裁剪区域种子点,使用多尺度原始比例及标准比例(1:1、5:3、4:3、5:4、16:9、3:2、7:5)滑动窗口遍历种子点邻域,确保各滑动窗口包含种子点,并使用卷积神经网络美学评价模型计算得到各窗口内的美学评分。选取原始比例及标准比例窗口的最高美学评分对应的位置,作为原始比例及标准比例下最佳美感裁剪区域。
步骤S4:智能设备分别根据原始比例及标准比例下最佳美感裁剪区域的坐标裁剪原始图像,得到原始比例及标准比例下图像最佳裁剪区域。多比例图像裁剪结果供用户选择。若最佳美感裁剪区域坐标即为原始图像坐标,则无需裁剪。
在步骤S1中,从智能设备相册中获取照片图像。
在步骤S2中,系统判断是否人工指定有图像中的某一坐标作为目标裁剪区域种子点。
在步骤S3中,若没有人工指定图像中的某一坐标作为目标裁剪区域种子点,使用多尺度的原始比例及标准比例(1:1、5:3、4:3、5:4、16:9、3:2、7:5)滑动窗口以一定步长遍历图像,并使用卷积神经网络美学评价模型计算得到各窗口内的美学评分(1-10分)。选取原始比例及标准比例窗口的最高美学评分对应的位置,作为原始比例及标准比例下最佳美感裁剪区域。
需要说明的是,美学评价模型通过训练得到,避免了人工规则模型的主观性和片面性。检测原始比例与多种标准比例(1:1、5:3、4:3、16:9、16:9、3:2、7:5)下最佳美感裁剪区域时,除去使用所有比例下的滑动窗口遍历图像外,亦可只用原始比例窗口遍历一次图像得到原始比例下最佳美感裁剪区域,随后计算多种标准比例窗口与原始比例下最佳美感裁剪区域的最大交并比,将产生最大交并比的位置作为标准比例下的最佳美感裁剪区域。
优选地,滑动窗口共7个尺度,各尺度缩放比为1.2,最小尺度滑动窗口的水平方向边长设为原始图像水平方向长边的1/4,滑动窗口的水平方向步长设为原始图像水平方向边长的1/16,滑动窗口的竖直方向步长设为原始图像竖直方向边长的1/16。
在所述步骤S3中,若人工指定图像中的某一坐标作为目标裁剪区域种子点,使用多尺度原始比例及标准比例(1:1、5:3、4:3、5:4、16:9、3:2、7:5)滑动窗口遍历种子点邻域,并确保各滑动窗口包含种子点。使用卷积神经网络美学评价模型计算得到各窗口内的美学评分(1-10分),选取原始比例及标准比例窗口的最高美学评分对应的位置,作为原始比例及标准比例下最佳美感裁剪区域。
需要说明的是,美学评价模型通过训练得到,避免了人工规则模型的主观性和片面性。检测原始比例与多种标准比例(1:1、5:3、4:3、16:9、16:9、3:2、7:5)下最佳美感裁剪区域时,除去使用所有比例下的滑动窗口遍历图像外,亦可只用原始比例窗口遍历一次图像得到原始比例下最佳美感裁剪区域,随后计算多种标准比例窗口与原始比例下最佳美感裁剪区域的最大交并比,将产生最大交并比的位置作为标准比例下的最佳美感裁剪区域。
优选地,滑动窗口共7个尺度,各尺度缩放比为1.2,最小尺度滑动窗口的水平方向边长设为原始图像水平方向长边的1/4,滑动窗口的水平方向步长设为原始图像水平方向边长的1/16,滑动窗口的竖直方向步长设为原始图像竖直方向边长的1/16。优选地,在种子点邻域内使用物体识别算法,确保种子点邻域包含种子点物体的轮廓。现有技术中已经有很多成熟的物体识别算法,故在此不再赘述。
在所述步骤S4中,智能设备分别根据原始比例及标准比例下最佳美感裁剪区域的坐标裁剪原始图像,得到原始比例及标准比例下图像最佳裁剪区域。多比例图像裁剪结果供用户选择。若最佳美感裁剪区域坐标即为原始图像坐标,则无需裁剪。
需要说明的是,亦可由用户指定所需裁剪比例,本方法及系统将根据用户指定裁剪比例裁剪出最佳图像区域。
如图4所示,实例2包括以下步骤:
步骤S1:从智能设备相册中获取照片图像。
步骤S2:使用卷积神经网络美学评价模型生成照片图像的美学质量图谱。
步骤S3:系统判断是否人工指定有图像中的某一坐标作为目标裁剪区域种子点。
步骤S4:若没有人工指定图像中的某一坐标作为目标裁剪区域种子点,使用聚类算法得到美学质量图谱中能量最高区域,得到能量最高区域的最小外接矩形的坐标,其对应图像最佳美感区域坐标。分别计算得到多尺度原始比例及标准比例(1:1、5:3、4:3、5:4、16:9、3:2、7:5)窗口与图像最佳美感区域的最大交并比的坐标位置,作为原始比例及标准比例下最佳美感裁剪区域。
若人工指定图像中的某一坐标作为目标裁剪区域种子点,使用聚类算法得到种子点邻域内美学质量图谱中能量最高区域,并确保能量最高区域范围包含种子点,得到能量最高区域的最小外接矩形的坐标,其对应图像最佳美感区域坐标。分别计算得到多尺度原始比例及标准比例(1:1、5:3、4:3、5:4、16:9、3:2、7:5)窗口与图像最佳美感区域的最大交并比的坐标位置,作为原始比例及标准比例下最佳美感裁剪区域。
步骤S5:智能设备分别根据原始比例及标准比例下最佳美感裁剪区域的坐标裁剪原始图像,得到原始比例及标准比例下图像最佳裁剪区域。多比例图像裁剪结果供用户选择。若最佳美感裁剪区域坐标即为原始图像坐标,则无需裁剪。
在步骤S1中,从智能设备相册中获取照片图像。
在步骤S2中,使用卷积神经网络美学评价模型生成照片图像的美学质量图谱。以一定大小和步长的滑动窗口遍历图像,使用卷积神经网络美学评价模型计算每个滑动窗口的美学评分(1-10分)作为滑动窗中心点坐标的美学质量值,随着滑动窗口遍历完成,即生成美学质量图谱。
需要说明的是,美学评价模型通过训练得到,避免了人工规则模型的主观性和片面性。
优选地,滑动窗口的长宽比与原始图像相同,滑动窗口的水平方向边长设为原始图像水平方向长边的1/4,滑动窗口的竖直方向边长设为原始图像竖直方向长边的1/4,滑动窗口的水平方向步长设为原始图像水平方向边长的1/32,滑动窗口的竖直方向步长设为原始图像竖直方向边长的1/32。
在步骤S3中,系统判断是否人工指定有图像中的某一坐标作为目标裁剪区域种子点。
在步骤S4中,若没有人工指定图像中的某一坐标作为目标裁剪区域种子点,使用聚类算法得到美学质量图谱中能量最高区域,得到能量最高区域的最小外接矩形的坐标,其对应图像最佳美感区域坐标。分别计算得到多尺度原始比例及标准比例(1:1、5:3、4:3、5:4、16:9、3:2、7:5)窗口与图像最佳美感区域的最大交并比的坐标位置,作为原始比例及标准比例下最佳美感裁剪区域。
需要说明的是,当多尺度原始比例及标准比例窗口与图像最佳美感区域产生的最大交并比的坐标位置不唯一时,选取窗口中心与图像最佳美感区域中心最近的窗口作为最佳美感裁剪区域。
在步骤S4中,若人工指定图像中的某一坐标作为目标裁剪区域种子点,使用聚类算法得到种子点邻域内美学质量图谱中能量最高区域,并确保能量最高区域范围包含种子点,得到能量最高区域的最小外接矩形的坐标,其对应图像最佳美感区域坐标。分别计算得到多尺度原始比例及标准比例(1:1、5:3、4:3、5:4、16:9、3:2、7:5)窗口与图像最佳美感区域的最大交并比的坐标位置,作为原始比例及标准比例下最佳美感裁剪区域。
需要说明的是,当多尺度原始比例及标准比例窗口与图像最佳美感区域产生的最大交并比的坐标位置不唯一时,选取窗口中心与图像最佳美感区域中心最近的窗口作为最佳美感裁剪区域。优选地,在种子点邻域内使用物体识别算法,确保种子点邻域包含种子点物体的轮廓。现有技术中已经有很多成熟的物体识别算法,故在此不再赘述。
在所述步骤S5中,智能设备分别根据原始比例及标准比例下最佳美感裁剪区域的坐标裁剪原始图像,得到原始比例及标准比例下图像最佳裁剪区域。多比例图像裁剪结果供用户选择。若最佳美感裁剪区域坐标即为原始图像坐标,则无需裁剪。
需要说明的是,亦可由用户指定所需裁剪比例,本方法及系统将根据用户指定裁剪比例裁剪出最佳图像区域。
本发明可自动裁剪出照片中最美区域,而且提供用户交互的操作方式,可裁剪出用户指定位置附近最美照片,同时预先对相册照片进行场景分类,提升美学评价准确性,采用卷积神经网络美学评价模型,避免人工规则特征的主观性和片面性。本方法及系统可以适用的范围广,可在智能设备中广泛适用。
以上所述仅为本发明的实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的权利要求范围之内。
Claims (10)
1.一种照片智能裁剪方法,其特征在于,包括以下步骤:
获取智能设备照片图像;
在所述照片图像中生成若干子区域,计算所述若干子区域的美学评分,根据所述美学评分得到最佳美感裁剪区域;
根据所述最佳美感裁剪区域的坐标裁剪所述照片图像。
2.如权利要求1所述的照片智能裁剪方法,其特征在于,所述在所述照片图像中生成若干子区域,计算所述若干子区域的美学评分,根据所述美学评分得到最佳美感裁剪区域,包括以下步骤:
使用第一滑动窗口遍历所述照片图像,利用预设的美学评价模型得到在遍历的过程中所述第一滑动窗口对应的若干个美学评分,选取最高美学评分,以最高美学评分对应的位置作为最佳美感裁剪区域;
其中,第一滑动窗口选取以下中的一种或几种:原始比例滑动窗口、标准比例滑动窗口、预设比例滑动窗口。
3.如权利要求1所述的照片智能裁剪方法,其特征在于,所述在所述照片图像中生成若干子区域,计算所述若干子区域的美学评分,根据所述美学评分得到最佳美感裁剪区域,包括以下步骤:
使用第二滑动窗口遍历所述照片图像,得到在遍历的过程中所述第二滑动窗口对应的若干个美学评分,以所述若干个美学评分作为遍历过程中若干个第二滑动窗口中心点坐标的美学质量值,根据若干个美学质量值生成美学质量图谱;其中,所述第二滑动窗口为照片图像原始比例,且第二滑动窗口小于或等于第一滑动窗口,第二滑动窗口步长小于或等于第一滑动窗口;
使用预设的聚类算法得到所述美学质量图谱中的能量最高区域,以所述能量最高区域的最小外接矩形作为图像最佳美感区域;
计算所需裁剪比例的窗口与所述图像最佳美感区域的最大交并比,将产生最大交并比的位置作为最佳美感裁剪区域。
4.如权利要求1~3任一项所述的照片智能裁剪方法,其特征在于,还包括以下步骤:获取指定的目标裁剪区域种子点;
所述使用预设的滑动窗口遍历所述照片图像,得到在遍历的过程中所述预设的滑动窗口对应的若干个美学评分,包括以下步骤:
使用预设的滑动窗口遍历所述目标裁剪区域种子点邻域,得到在遍历的过程中所述预设的滑动窗口对应的若干个美学评分。
5.如权利要求2所述的照片智能裁剪方法,其特征在于,
当所述第一滑动窗口包括原始比例滑动窗口和标准比例滑动窗口时;
使用第一滑动窗口遍历所述照片图像,利用预设的美学评价模型得到在遍历的过程中所述第一滑动窗口对应的若干个美学评分,选取最高美学评分,包括以下步骤:
使用原始比例滑动窗口遍历所述照片图像,利用预设的美学评价模型得到在遍历的过程中所述原始比例滑动窗口对应的若干个美学评分;
使用标准比例滑动窗口遍历所述照片图像,利用预设的美学评价模型得到在遍历的过程中所述标准比例滑动窗口对应的若干个美学评分;
在所述原始比例滑动窗口对应的若干个美学评分、及所述标准比例滑动窗口对应的若干个美学评分中选取最高美学评分;
或者使用原始比例滑动窗口遍历所述照片图像,利用预设的美学评价模型得到在遍历的过程中所述原始比例滑动窗口对应的若干个美学评分;
选取原始比例滑动窗口对应的若干个美学评分中最高的美学评分,根据最高的美学评分对应的原始比例滑动窗口的坐标得到原始比例下的最佳美感裁剪区域;
计算所述标准比例滑动窗口与所述原始比例下的最佳美感裁剪区域的最大交并比,将产生最大交并比的位置作为标准比例下的最佳美感裁剪区域;
按照指令选择原始比例下的最佳美感裁剪区域或标准比例下的最佳美感裁剪区域中的一个作为图像最佳美感裁剪区域。
6.如权利要求3所述的照片智能裁剪方法,其特征在于,
当所述第一滑动窗口包括原始比例滑动窗口和标准比例滑动窗口时;
计算第一滑动窗口与所述图像最佳美感区域的最大交并比,将产生最大交并比的位置作为最佳美感裁剪区域,包括以下步骤:
计算原始比例滑动窗口与所述图像最佳美感区域的最大交并比,将产生最大交并比的位置作为原始比例下的最佳美感裁剪区域;
计算标准比例滑动窗口与所述图像最佳美感区域的最大交并比,将产生最大交并比的位置作为标准比例下的最佳美感裁剪区域;
在所述原始比例下的最佳美感裁剪区域、及标准比例下的最佳美感裁剪区域中选取中心与所述图像最佳美感区域中心最近的一个作为图像最佳美感裁剪区域。
7.一种照片智能裁剪装置,其特征在于,包括图像获取模块、计算模块、裁剪模块:
所述图像获取模块,用于获取智能设备照片图像;
所述计算模块,用于在所述照片图像中生成若干子区域,计算所述若干子区域的美学评分,根据所述美学评分得到最佳美感裁剪区域;
所述裁剪模块,用于根据所述最佳美感裁剪区域的坐标裁剪所述照片图像。
8.如权利要求7所述的照片智能裁剪装置,其特征在于,
所述计算模块,用于使用第一滑动窗口遍历所述照片图像,利用预设的美学评价模型得到在遍历的过程中所述第一滑动窗口对应的若干个美学评分,选取最高美学评分,以最高美学评分对应的位置作为最佳美感裁剪区域;其中,第一滑动窗口选取以下中的一种或几种:原始比例滑动窗口、标准比例滑动窗口、预设比例滑动窗口;
或者,用于使用第二滑动窗口遍历所述照片图像,得到在遍历的过程中所述第二滑动窗口对应的若干个美学评分,以所述若干个美学评分作为遍历过程中若干个第二滑动窗口中心点坐标的美学质量值,根据若干个美学质量值生成美学质量图谱;其中,所述第二滑动窗口为照片图像原始比例,且第二滑动窗口小于或等于第一滑动窗口,第二滑动窗口步长小于或等于第一滑动窗口;
使用预设的聚类算法得到所述美学质量图谱中的能量最高区域,以所述能量最高区域的最小外接矩形作为图像最佳美感区域;
计算所需裁剪比例的窗口与所述图像最佳美感区域的最大交并比,将产生最大交并比的位置作为最佳美感裁剪区域。
9.如权利要求7或8所述的照片智能裁剪装置,其特征在于,还包括种子点获取模块:
所述种子点获取模块,用于获取指定的目标裁剪区域种子点;
进一步的,所述计算模块用于:
使用预设的滑动窗口遍历所述目标裁剪区域种子点邻域,得到在遍历的过程中所述预设的滑动窗口对应的若干个美学评分。
10.如权利要求8所述的照片智能裁剪装置,其特征在于,
当所述第一滑动窗口包括原始比例滑动窗口和标准比例滑动窗口时,所述计算模块用于:
使用原始比例滑动窗口遍历所述照片图像,利用预设的美学评价模型得到在遍历的过程中所述原始比例滑动窗口对应的若干个美学评分;
使用标准比例滑动窗口遍历所述照片图像,利用预设的美学评价模型得到在遍历的过程中所述标准比例滑动窗口对应的若干个美学评分;
在所述原始比例滑动窗口对应的若干个美学评分、及所述标准比例滑动窗口对应的若干个美学评分中选取最高美学评分;
或者使用原始比例滑动窗口遍历所述照片图像,利用预设的美学评价模型得到在遍历的过程中所述原始比例滑动窗口对应的若干个美学评分;
选取原始比例滑动窗口对应的若干个美学评分中最高的美学评分,根据最高的美学评分对应的原始比例滑动窗口的坐标得到原始比例下的最佳美感裁剪区域;
计算所述标准比例滑动窗口与所述原始比例下的最佳美感裁剪区域的最大交并比,将产生最大交并比的位置作为标准比例下的最佳美感裁剪区域;
按照指令选择原始比例下的最佳美感裁剪区域或标准比例下的最佳美感裁剪区域中的一个作为图像最佳美感裁剪区域;
或者计算第一滑动窗口与所述图像最佳美感区域的最大交并比,将产生最大交并比的位置作为最佳美感裁剪区域,包括以下步骤:
计算原始比例滑动窗口与所述图像最佳美感区域的最大交并比,将产生最大交并比的位置作为原始比例下的最佳美感裁剪区域;
计算标准比例滑动窗口与所述图像最佳美感区域的最大交并比,将产生最大交并比的位置作为标准比例下的最佳美感裁剪区域;
在所述原始比例下的最佳美感裁剪区域、及标准比例下的最佳美感裁剪区域中选取中心与所述图像最佳美感区域中心最近的一个作为图像最佳美感裁剪区域。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710256861.XA CN107146198B (zh) | 2017-04-19 | 2017-04-19 | 一种照片智能裁剪方法及装置 |
PCT/CN2017/116058 WO2018192244A1 (zh) | 2017-04-19 | 2017-12-14 | 一种智能设备的拍摄引导方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710256861.XA CN107146198B (zh) | 2017-04-19 | 2017-04-19 | 一种照片智能裁剪方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107146198A true CN107146198A (zh) | 2017-09-08 |
CN107146198B CN107146198B (zh) | 2022-08-16 |
Family
ID=59774749
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710256861.XA Active CN107146198B (zh) | 2017-04-19 | 2017-04-19 | 一种照片智能裁剪方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107146198B (zh) |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107520881A (zh) * | 2017-10-19 | 2017-12-29 | 国海芝 | 一种照片自动裁剪机器人 |
CN108062755A (zh) * | 2017-11-02 | 2018-05-22 | 广东数相智能科技有限公司 | 一种图片智能裁剪方法及装置 |
CN108062739A (zh) * | 2017-11-02 | 2018-05-22 | 广东数相智能科技有限公司 | 一种基于主体位置的图片智能裁剪方法及装置 |
CN109146892A (zh) * | 2018-07-23 | 2019-01-04 | 北京邮电大学 | 一种基于美学的图像裁剪方法及装置 |
CN109523503A (zh) * | 2018-09-11 | 2019-03-26 | 北京三快在线科技有限公司 | 一种图像裁剪的方法和装置 |
CN110147833A (zh) * | 2019-05-09 | 2019-08-20 | 北京迈格威科技有限公司 | 人像处理方法、装置、系统和可读存储介质 |
CN110188652A (zh) * | 2019-05-24 | 2019-08-30 | 北京字节跳动网络技术有限公司 | 人脸图像的处理方法、装置、终端及存储介质 |
CN111095293A (zh) * | 2017-12-15 | 2020-05-01 | 华为技术有限公司 | 图像美学处理方法及电子设备 |
CN111460929A (zh) * | 2020-03-17 | 2020-07-28 | 稿定(厦门)科技有限公司 | 不特定图框图像填充方法及装置 |
CN111696112A (zh) * | 2020-06-15 | 2020-09-22 | 携程计算机技术(上海)有限公司 | 图像自动裁剪方法、系统、电子设备及存储介质 |
CN112839167A (zh) * | 2020-12-30 | 2021-05-25 | Oppo(重庆)智能科技有限公司 | 图像处理方法、装置、电子设备及计算机可读介质 |
CN112884781A (zh) * | 2021-02-24 | 2021-06-01 | 北京小米松果电子有限公司 | 图像裁剪方法、装置、电子设备及存储介质 |
CN113066008A (zh) * | 2020-01-02 | 2021-07-02 | 杭州喔影网络科技有限公司 | 一种拼图生成方法和设备 |
CN113205522A (zh) * | 2021-04-28 | 2021-08-03 | 华中科技大学 | 一种基于对抗域适应的图像智能裁剪方法及系统 |
CN113379749A (zh) * | 2021-06-10 | 2021-09-10 | 北京房江湖科技有限公司 | 图像处理方法、可读存储介质及计算机程序产品 |
WO2021254510A1 (zh) * | 2020-06-20 | 2021-12-23 | 华为技术有限公司 | 一种确定截图区域的方法及相关装置 |
CN114170187A (zh) * | 2021-12-08 | 2022-03-11 | Oppo广东移动通信有限公司 | 图像美学评分方法、装置、电子设备及存储介质 |
CN114911551A (zh) * | 2021-02-08 | 2022-08-16 | 花瓣云科技有限公司 | 显示方法及电子设备 |
CN116030280A (zh) * | 2023-02-22 | 2023-04-28 | 青岛创新奇智科技集团股份有限公司 | 一种模板匹配方法、装置、存储介质及设备 |
CN117893988A (zh) * | 2024-01-19 | 2024-04-16 | 元橡科技(北京)有限公司 | 一种全地形场景路面识别方法及训练方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103996186A (zh) * | 2014-04-29 | 2014-08-20 | 小米科技有限责任公司 | 图像裁剪方法及装置 |
CN104717413A (zh) * | 2013-12-12 | 2015-06-17 | 北京三星通信技术研究有限公司 | 拍照辅助方法及设备 |
CN105528757A (zh) * | 2015-12-08 | 2016-04-27 | 华南理工大学 | 一种基于内容的图像美学质量提升方法 |
CN105787966A (zh) * | 2016-03-21 | 2016-07-20 | 复旦大学 | 一种计算机图像的美学评估方法 |
-
2017
- 2017-04-19 CN CN201710256861.XA patent/CN107146198B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104717413A (zh) * | 2013-12-12 | 2015-06-17 | 北京三星通信技术研究有限公司 | 拍照辅助方法及设备 |
CN103996186A (zh) * | 2014-04-29 | 2014-08-20 | 小米科技有限责任公司 | 图像裁剪方法及装置 |
CN105528757A (zh) * | 2015-12-08 | 2016-04-27 | 华南理工大学 | 一种基于内容的图像美学质量提升方法 |
CN105787966A (zh) * | 2016-03-21 | 2016-07-20 | 复旦大学 | 一种计算机图像的美学评估方法 |
Non-Patent Citations (3)
Title |
---|
MASASHI NISHIYAMA 等: "Sensation-based Photo Cropping", 《PROCEEDINGS OF THE 17TH ACM INTERNATIONAL CONFERENCE ON MULTIMEDIA》 * |
YONG JIN 等: "Aesthetic photo composition by optimal crop-and-warp", 《COMPUTERS & GRAPHICS》 * |
YUN LIANG 等: "Optimised image retargeting using aesthetic-based cropping and scaling", 《IET IMAGE PROCESSING》 * |
Cited By (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107520881A (zh) * | 2017-10-19 | 2017-12-29 | 国海芝 | 一种照片自动裁剪机器人 |
CN108062755B (zh) * | 2017-11-02 | 2020-10-02 | 广东数相智能科技有限公司 | 一种图片智能裁剪方法及装置 |
CN108062755A (zh) * | 2017-11-02 | 2018-05-22 | 广东数相智能科技有限公司 | 一种图片智能裁剪方法及装置 |
CN108062739A (zh) * | 2017-11-02 | 2018-05-22 | 广东数相智能科技有限公司 | 一种基于主体位置的图片智能裁剪方法及装置 |
CN111095293B (zh) * | 2017-12-15 | 2023-09-12 | 华为技术有限公司 | 图像美学处理方法及电子设备 |
CN111095293A (zh) * | 2017-12-15 | 2020-05-01 | 华为技术有限公司 | 图像美学处理方法及电子设备 |
CN109146892A (zh) * | 2018-07-23 | 2019-01-04 | 北京邮电大学 | 一种基于美学的图像裁剪方法及装置 |
CN109146892B (zh) * | 2018-07-23 | 2020-06-19 | 北京邮电大学 | 一种基于美学的图像裁剪方法及装置 |
CN109523503A (zh) * | 2018-09-11 | 2019-03-26 | 北京三快在线科技有限公司 | 一种图像裁剪的方法和装置 |
US20210201445A1 (en) * | 2018-09-11 | 2021-07-01 | Beijing Sankuai Online Technology Co., Ltd | Image cropping method |
WO2020052523A1 (zh) * | 2018-09-11 | 2020-03-19 | 北京三快在线科技有限公司 | 一种图像裁剪的方法和装置 |
CN110147833A (zh) * | 2019-05-09 | 2019-08-20 | 北京迈格威科技有限公司 | 人像处理方法、装置、系统和可读存储介质 |
CN110188652A (zh) * | 2019-05-24 | 2019-08-30 | 北京字节跳动网络技术有限公司 | 人脸图像的处理方法、装置、终端及存储介质 |
CN113066008A (zh) * | 2020-01-02 | 2021-07-02 | 杭州喔影网络科技有限公司 | 一种拼图生成方法和设备 |
CN111460929A (zh) * | 2020-03-17 | 2020-07-28 | 稿定(厦门)科技有限公司 | 不特定图框图像填充方法及装置 |
CN111460929B (zh) * | 2020-03-17 | 2022-07-19 | 稿定(厦门)科技有限公司 | 不特定图框图像填充方法及装置 |
CN111696112A (zh) * | 2020-06-15 | 2020-09-22 | 携程计算机技术(上海)有限公司 | 图像自动裁剪方法、系统、电子设备及存储介质 |
CN111696112B (zh) * | 2020-06-15 | 2023-04-07 | 携程计算机技术(上海)有限公司 | 图像自动裁剪方法、系统、电子设备及存储介质 |
WO2021254510A1 (zh) * | 2020-06-20 | 2021-12-23 | 华为技术有限公司 | 一种确定截图区域的方法及相关装置 |
CN112839167A (zh) * | 2020-12-30 | 2021-05-25 | Oppo(重庆)智能科技有限公司 | 图像处理方法、装置、电子设备及计算机可读介质 |
CN114911551A (zh) * | 2021-02-08 | 2022-08-16 | 花瓣云科技有限公司 | 显示方法及电子设备 |
CN112884781A (zh) * | 2021-02-24 | 2021-06-01 | 北京小米松果电子有限公司 | 图像裁剪方法、装置、电子设备及存储介质 |
CN113205522B (zh) * | 2021-04-28 | 2022-05-13 | 华中科技大学 | 一种基于对抗域适应的图像智能裁剪方法及系统 |
CN113205522A (zh) * | 2021-04-28 | 2021-08-03 | 华中科技大学 | 一种基于对抗域适应的图像智能裁剪方法及系统 |
CN113379749A (zh) * | 2021-06-10 | 2021-09-10 | 北京房江湖科技有限公司 | 图像处理方法、可读存储介质及计算机程序产品 |
CN114170187A (zh) * | 2021-12-08 | 2022-03-11 | Oppo广东移动通信有限公司 | 图像美学评分方法、装置、电子设备及存储介质 |
CN116030280A (zh) * | 2023-02-22 | 2023-04-28 | 青岛创新奇智科技集团股份有限公司 | 一种模板匹配方法、装置、存储介质及设备 |
CN117893988A (zh) * | 2024-01-19 | 2024-04-16 | 元橡科技(北京)有限公司 | 一种全地形场景路面识别方法及训练方法 |
CN117893988B (zh) * | 2024-01-19 | 2024-06-18 | 元橡科技(北京)有限公司 | 一种全地形场景路面识别方法及训练方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107146198B (zh) | 2022-08-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107146198A (zh) | 一种照片智能裁剪方法及装置 | |
US11321385B2 (en) | Visualization of image themes based on image content | |
US8692830B2 (en) | Automatic avatar creation | |
CN107771336B (zh) | 基于颜色分布的图像中的特征检测和掩模 | |
US20190164248A1 (en) | Image grid with selectively prominent images | |
KR101605983B1 (ko) | 얼굴 검출을 이용한 이미지 재구성 | |
EP3077898B1 (en) | Editing options for image regions | |
KR20190018483A (ko) | 인터넷에 기반하는 얼굴 미화 시스템 | |
US9256950B1 (en) | Detecting and modifying facial features of persons in images | |
CN111222433B (zh) | 自动人脸稽核方法、系统、设备及可读存储介质 | |
CN106326823A (zh) | 一种获取图片中头像的方法和系统 | |
TW201526604A (zh) | 自動尋景拍攝方法及其系統 | |
US20240070976A1 (en) | Object relighting using neural networks | |
CN112839167B (zh) | 图像处理方法、装置、电子设备及计算机可读介质 | |
CN108319937A (zh) | 人脸检测方法及装置 | |
WO2021051605A1 (zh) | 基于表情驱动的虚拟视频合成方法、装置及存储介质 | |
CN113781408A (zh) | 一种图像拍摄智能指导系统及方法 | |
US12079927B2 (en) | Light estimation using neural networks | |
WO2018192244A1 (zh) | 一种智能设备的拍摄引导方法 | |
CN111898525B (zh) | 烟雾识别模型的构建方法、进行烟雾检测的方法及装置 | |
CN108537165A (zh) | 用于确定信息的方法和装置 | |
KR102565225B1 (ko) | 얼굴 인식 기능을 이용한 촬영 모드 추천 및 선택 시스템, 및 이를 이용한 촬영 장치 | |
CN112633252B (zh) | 一种证件照标准化处理方法及装置 | |
CN113240573A (zh) | 一种针对千万级像素数字图像的基于局部和全局并行学习的风格变换方法及系统 | |
TW202143173A (zh) | 智能影像拼接系統及拼接方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |