CN110795925B - 基于人工智能的图文排版方法、图文排版装置及电子设备 - Google Patents
基于人工智能的图文排版方法、图文排版装置及电子设备 Download PDFInfo
- Publication number
- CN110795925B CN110795925B CN201910969513.6A CN201910969513A CN110795925B CN 110795925 B CN110795925 B CN 110795925B CN 201910969513 A CN201910969513 A CN 201910969513A CN 110795925 B CN110795925 B CN 110795925B
- Authority
- CN
- China
- Prior art keywords
- candidate
- clipping
- typesetting
- image
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本公开提供了一种基于人工智能的图文排版方法、装置以及电子设备。该方法包括:获取待排版的背景图像和用于裁剪背景图像的目标尺寸,并确定背景图像的主体中心坐标;根据目标尺寸和主体中心坐标在背景图像上确定多个候选裁剪框,并基于候选裁剪框确定多个候选裁剪图像;根据多个候选版式模板对待排版的文字信息和多个候选裁剪图像进行排版,以得到多个候选排版方案;对多个候选排版方案进行特征提取,并根据特征提取结果确定多个候选排版方案的排版评分;根据排版评分确定目标裁剪图像以及用于对目标裁剪图像和文字信息进行排版的目标版式模板。本公开简化操作流程,自动化程度高;并且,版式模板得选取更加精准,丰富了图文排版的应用场景。
Description
技术领域
本公开涉及人工智能技术领域,具体而言,涉及一种基于人工智能的图文排版方法、基于人工智能的图文排版装置以及电子设备。
背景技术
海报广告应用广泛,已经成为一种普遍的广告宣传模式。其中,banner图由于其良好的表达效果,广泛应用于互联网的各种宣传场景中。传统的banner图的设计均是由设计师人工完成,以满足个性化和定制化的需求。
随着计算机技术的发展,各种banner图自动生成系统普遍应用,使得非专业的设计人员也可以快速设计banner图。但是,这些banner图自动生成系统通常只能提供固定的背景图像,并且,文案的版式和位置也是不变的,无法很好地满足用户的场景化需求。
鉴于此,本领域亟需开发一种新的图文排版方法。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种基于人工智能的图文排版方法、基于人工智能的图文排版装置以及电子设备,进而至少在一定程度上克服banner图设计效果单一且图文融合效果不佳等技术问题。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开实施例的一个方面,提供一种基于人工智能的图文排版方法,该方法包括:获取待排版的背景图像和用于裁剪所述背景图像的目标尺寸,并确定所述背景图像的主体中心坐标;根据所述目标尺寸和所述主体中心坐标在所述背景图像上确定多个候选裁剪框,并基于所述候选裁剪框确定多个候选裁剪图像;根据多个候选版式模板对待排版的文字信息和所述多个候选裁剪图像进行排版,以得到多个候选排版方案;对所述多个候选排版方案进行特征提取,并根据特征提取结果确定所述多个候选排版方案的排版评分;根据所述排版评分确定目标裁剪图像以及用于对所述目标裁剪图像和所述文字信息进行排版的目标版式模板。
根据本公开实施例的一个方面,提供一种基于人工智能的图文排版装置,该装置包括:中心检测模块,被配置为获取待排版的背景图像和用于裁剪所述背景图像的目标尺寸,并确定所述背景图像的主体中心坐标;图像确定模块,被配置为根据所述目标尺寸和所述主体中心坐标在所述背景图像上确定多个候选裁剪框,并基于所述候选裁剪框确定多个候选裁剪图像;方案确定模块,被配置为根据多个候选版式模板对待排版的文字信息和所述多个候选裁剪图像进行排版,以得到多个候选排版方案;评分获取模块,被配置为对所述多个候选排版方案进行特征提取,并根据特征提取结果确定所述多个候选排版方案的排版评分;图文排版模块,被配置为根据排版评分确定目标裁剪图像以及用于对所述目标裁剪图像和所述文字信息进行排版的目标版式模板。
在本公开的一些实施例中,基于以上技术方案,所述中心检测模块包括:人脸识别单元,被配置为对所述背景图像进行人脸识别以确定一个或者多个人脸框;人脸信息获取单元,被配置为获取所述人脸框的人脸尺寸信息和人脸中心坐标;人脸信息计算单元,被配置为以所述人脸尺寸信息为权重对所述人脸中心坐标进行加权平均以得到所述背景图像的主体中心坐标。
在本公开的一些实施例中,基于以上技术方案,所述中心检测模块包括:关键点识别单元,被配置为对所述背景图像进行关键点识别以确定多个关键点;关键点计算单元,被配置为根据各个所述关键点的坐标确定所述背景图像的主体中心坐标。
在本公开的一些实施例中,基于以上技术方案,所述中心检测模块包括:主体识别单元,被配置为对所述背景图像进行人脸识别以确定一个或者多个人脸框,并对所述背景图像进行关键点识别以确定多个关键点;坐标计算单元,被配置为根据所述人脸框的人脸尺寸信息和人脸中心坐标确定区域中心坐标,并根据各个所述关键点的坐标确定特征中心坐标;主体计算单元,被配置为根据所述区域中心坐标的区域权值,以及所述特征中心坐标的特征权值,进行加权平均以得到所述背景图像的主体中心坐标。
在本公开的一些实施例中,基于以上技术方案,所述图像确定模块包括:属性区间确定单元,被配置为根据所述目标尺寸和所述主体中心坐标,确定用于裁剪所述背景图像的候选裁剪框的属性区间;属性信息确定单元,被配置为获取与所述属性区间对应的节点数量,并按照所述节点数量划分所述属性区间,以确定多个候选属性信息;裁剪框确定单元,被配置为根据所述多个候选属性信息在所述背景图像上确定多个候选裁剪框。
在本公开的一些实施例中,基于以上技术方案,所述属性区间包括所述候选裁剪框的候选裁剪属性对应的候选裁剪区间、所述候选裁剪框的顶点横坐标的横坐标区间和所述候选裁剪框的顶点纵坐标的纵坐标区间。
在本公开的一些实施例中,基于以上技术方案,所述属性区间确定单元包括:图像信息获取子单元,被配置为获取所述背景图像的图像宽度和图像高度,并确定与所述图像宽度对应的宽度比值计算结果,以及与所述图像高度和所述目标裁剪比例对应的高度比值计算结果;裁剪下限值确定子单元,被配置为根据所述目标裁剪属性、所述宽度比值计算结果和所述高度比值计算结果,确定所述候选裁剪区间的裁剪下限值;裁剪上限值确定子单元,被配置为确定与所述图像高度和所述目标裁剪比例对应的比例计算结果,并根据所述图像宽度和所述比例计算结果确定所述候选裁剪区间的裁剪上限值;裁剪区间确定子单元,被配置为根据所述裁剪上限值和所述裁剪下限值,确定所述候选裁剪区间。
在本公开的一些实施例中,基于以上技术方案,所述属性区间确定单元包括:横坐标下限值确定子单元,被配置为确定与所述主体中心横坐标和所述候选裁剪属性对应的属性计算结果,并根据目标数值和所述属性计算结果确定所述横坐标区间的横坐标下限值;横坐标计算结果确定子单元,被配置为确定与所述主体中心横坐标对应的横坐标计算结果,并确定与所述图像宽度和所述候选裁剪属性对应的宽度计算结果;横坐标上限值确定子单元,被配置为根据所述横坐标计算结果和所述宽度计算结果确定所述横坐标区间的横坐标上限值;横坐标区间确定子单元,被配置为根据所述横坐标下限值和所述横坐标上限值,确定所述横坐标区间。
在本公开的一些实施例中,基于以上技术方案,所述属性区间确定单元包括:纵坐标下限值确定子单元,被配置为确定与所述主体中心纵坐标、所述候选裁剪属性和所述目标裁剪比例对应的比例比值计算结果,并根据目标数值和所述比例比值计算结果确定所述纵坐标区间的纵坐标下限值;纵坐标计算结果确定子单元,被配置为确定与所述主体中心纵坐标对应的纵坐标计算结果,并确定与所述候选裁剪属性、所述目标裁剪比例和所述图像高度对应的高度计算结果;纵坐标上限值确定子单元,被配置为根据所述纵坐标计算结果和所述高度计算结果确定所述纵坐标区间的纵坐标上限值;纵坐标区间确定子单元,被配置为根据所述纵坐标下限值和所述纵坐标上限值,确定所述纵坐标区间。
在本公开的一些实施例中,基于以上技术方案,所述属性信息确定单元包括:裁剪区间划分子单元,被配置为获取与所述候选裁剪区间对应的节点数量,并按照所述节点数量划分所述候选裁剪区间,确定多个所述候选裁剪属性;横坐标区间划分子单元,被配置为获取与所述横坐标区间对应的所述节点数量,并按照所述节点数量划分所述横坐标区间,确定多个所述顶点横坐标;纵坐标区间划分子单元,被配置为获取与所述纵坐标区间对应的所述节点数量,并按照所述节点数量划分所述纵坐标区间,确定多个所述顶点纵坐标。
在本公开的一些实施例中,基于以上技术方案,所述裁剪框确定单元包括:顶点坐标确定子单元,被配置为根据所述顶点横坐标与所述顶点纵坐标,确定所述多个候选裁剪框的顶点坐标;尺寸信息确定子单元,被配置为根据所述目标裁剪比例与所述候选裁剪属性,确定所述多个候选裁剪框的尺寸信息;裁剪框确定子单元,被配置为根据所述顶点坐标和所述尺寸信息,在所述背景图像上确定多个候选裁剪框。
在本公开的一些实施例中,基于以上技术方案,所述匹配检测模块包括:文字信息获取单元,被配置为获取待排版的文字信息,并在所述多个候选裁剪图像上添加所述文字信息,得到多个图文图像;图像匹配单元,被配置为将所述多个图文图像分别与所述多个候选版式模板进行匹配,以得到多个候选排版方案。
在本公开的一些实施例中,基于以上技术方案,所述结果输出单元包括:特征提取子单元,被配置为将所述多个候选排版方案输入至预先训练好的特征提取模型,对所述多个候选排版方案进行特征提取,得到对应的图像特征;结果输出子单元,被配置为将所述图像特征输入至预先训练好的评分模型,对所述图像特征进行评分,得到对应的排版评分。
根据本公开实施例的一个方面,提供一种计算机可读介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如以上技术方案中的基于人工智能的图文排版方法。
根据本公开实施例的一个方面,提供一种电子设备,该电子设备包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器被配置为经由执行所述可执行指令来执行如以上技术方案中的基于人工智能的图文排版方法。
在本公开实施例提供的技术方案中,通过获取到的待排版的背景图像、目标尺寸和文字信息,与多个候选版式模板进行检测匹配,以选取目标版式模板进行图文排版。一方面,无需对背景图像进行预处理,即可得到候选裁剪图像,简化操作流程,自动化程度更高,处理速度更快;另一方面,版式模板多样化,可以根据场景需求选择排版版式,版式选取更加精准,同时也丰富了图文排版的应用场景。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1示意性示出了现有技术中的杂志封面的时尚类型版式的界面示意图;
图2示意性示出了现有技术中的杂志封面的时尚类型版式的排版效果示意图;
图3示意性地示出了应用本公开技术方案的示例性系统架构示意图;
图4示意性地示出了本公开的一些实施例中基于人工智能的图文排版方法的步骤流程图;
图5示意性地示出了在本公开的一些实施例中一种确定背景图像的主体中心坐标的方法的步骤流程图;
图6示意性地示出了在本公开的一些实施例中另一种确定背景图像的主体中心坐标的方法的步骤流程图;
图7示意性地示出了在本公开的一些实施例中再一种确定背景图像的主体中心坐标的方法的步骤流程图;
图8示意性地示出了在本公开的一些实施例中确定多个候选裁剪框的方法的步骤流程图;
图9示意性地示出了在本公开的一些实施例中确定候选裁剪区间的方法的步骤流程图;
图10示意性地示出了在本公开的一些实施例中确定横坐标区间的方法的步骤流程图;
图11示意性地示出了在本公开的一些实施例中确定纵坐标区间的方法的步骤流程图;
图12示意性地示出了在本公开的一些实施例中确定多个候选属性信息的方法的步骤流程图;
图13示意性地示出了在本公开的一些实施例中确定多个候选裁剪框的方法的步骤流程图;
图14示意性地示出了在本公开的一些实施例中确定候选排版方案的方法的步骤流程图;
图15示意性地示出了在本公开的一些实施例中得到排版评分的方法的步骤流程图;
图16(a)示意性地示出了在本公开的一些实施例中一种应用场景下图文排版的效果示意图;
图16(b)示意性地示出了在本公开的一些实施例中另一种应用场景下图文排版的效果示意图;
图16(c)示意性地示出了在本公开的一些实施例中再一种应用场景下图文排版的效果示意图;
图17示意性地示出了在本公开的一些实施例中在应用场景中的图文排版方法的步骤流程图;
图18(a)示意性地示出了在本公开的一些实施例中在应用场景中一种背景图像示意图;
图18(b)示意性地示出了在本公开的一些实施例中在应用场景中另一种背景图像示意图;
图18(c)示意性地示出了在本公开的一些实施例中在应用场景中确定的多个候选裁剪图像示意图;
图19(a)示意性地示出了在本公开的一些实施例中第一种候选版式模板的界面示意图;
图19(b)示意性地示出了在本公开的一些实施例中第二种候选版式模板的界面示意图;
图19(c)示意性地示出了在本公开的一些实施例中第三种候选版式模板的界面示意图;
图19(d)示意性地示出了在本公开的一些实施例中第四种候选版式模板的界面示意图;
图19(e)示意性地示出了在本公开的一些实施例中第五种候选版式模板的界面示意图;
图19(f)示意性地示出了在本公开的一些实施例中第六种候选版式模板的界面示意图;
图19(g)示意性地示出了在本公开的一些实施例中第七种候选版式模板的界面示意图;
图19(h)示意性地示出了在本公开的一些实施例中第八种候选版式模板的界面示意图;
图19(i)示意性地示出了在本公开的一些实施例中第九种候选版式模板的界面示意图;
图20(a)示意性地示出了在本公开的一些实施例中一种匹配检测效果的示意图;
图20(b)示意性地示出了在本公开的一些实施例中另一种候选版式模板的界面示意图;
图21示意性地示出了在本公开的一些实施例中一种图文排版的效果示意图;
图22示意性地示出了在本公开一些实施例中的基于人工智能的图文排版装置的结构框图;
图23示意性地示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。
此外,所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中,提供许多具体细节从而给出对本公开的实施例的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而没有特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
附图中所示的方框图仅仅是功能实体,不一定必须与物理上独立的实体相对应。即,可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解,而有的操作/步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。
在本领域的相关技术中,传统的图文排版总是无法很好地满足用户的场景化需求。为改善该问题,在对杂志封面进行排版的应用场景中,可以采用各种时尚版式设计进行排版。图1示出了杂志封面的一种时尚类型版式的界面示意图,如图1所示,使用该排版方式进行排版可以通过三步实现。首先,根据主题在多种时尚版式中选择一种,该版式对在其中添加的文字信息等各种属性进行了限制。然后,根据该版式对文字信息的要求,例如字体和字号等,进行文案填充;最后,根据图片的背景图片和文案内容,计算能量函数,该能量函数表征了整幅图的视觉平衡和整体美学。并且,还可以进一步调整文案的文字字体、字号和显示位置,以使能量函数最小化来生成最终的排版。图2示出了时尚类型板式的排版效果图,如图2所示,是在已选择的时尚版式中进行图文排版的最终效果。可以看出,该背景图片需要进行预先处理,并且,由于背景图片十分多样化,但主题版式单一,大量背景图片无法匹配到设定的主题版式。除此之外,文案的排版方式也不尽相同。鉴于此,该方法中的杂志封面的版式设计并不适用于其他应用场景中的海报广告。
基于以上方案存在的问题,本公开提供了一种基于人工智能的图文排版方法、图文排版装置以及电子设备。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
其中,计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
利用计算机视觉技术和机器学习对待排版的背景图像和文字信息进行排版,可以使图文相互适配,优化图文融合的排版效果。
图3示出了应用本公开技术方案的示例性系统架构示意图。
如图3所示,系统架构300可以包括终端设备310、320、330中的一个或多个,网络340和服务器350。其中,终端设备310、320、330可以是具有显示屏的各种电子设备,具体可以是台式终端或移动终端,移动终端具体可以是手机、平板电脑、笔记本电脑等中的至少一种。应该理解,图3中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。网络340可以是能够在终端设备310、320、330和服务器350之间提供通信链路的各种连接类型的通信介质,例如可以是有线通信链路、无线通信链路或者光纤电缆等。服务器350可以用独立的服务器,或者多个服务器组成的服务器集群来实现。
本公开实施例所提供的基于人工智能的图文排版方法一般由服务器350执行,相应地,基于人工智能的图文排版装置一般设置于服务器350中。但本领域技术人员容易理解的是,本公开实施例所提供的基于人工智能的图文排版方法也可以由终端设备310、320、330执行,相应的,基于人工智能的图文排版装置也可以设置于终端设备310、320、330中,本示例性实施例中对此不做特殊限定。
举例而言,在一种示例性实施例中,可以是用户通过终端设备310、320或者330将待排版的背景图像、文字信息和用于裁剪背景图像的目标尺寸上传至服务器350,服务器通过本公开实施例所提供的基于人工智能的图文排版方法将待排版的文字信息分别与所述多个候选裁剪图像以及多个候选版式模板进行匹配检测,并将根据检测匹配结果确定的目标裁剪图像和目标版式模板,传输给终端设备310、320、330等。
下面结合具体实施方式对本公开提供的基于人工智能的图文排版方法、基于人工智能的图文排版装置以及电子设备做出详细说明。
图4示意性地示出了本公开的一些实施例中基于人工智能的图文排版方法的步骤流程图。如图4所示,基于人工智能的图文排版方法主要可以包括以下步骤:
步骤S410.获取待排版的背景图像和用于裁剪背景图像的目标尺寸,并确定背景图像的主体中心坐标。
步骤S420.根据目标尺寸和主体中心坐标在背景图像上确定多个候选裁剪框,并基于候选裁剪框确定多个候选裁剪图像。
步骤S430.根据多个候选版式模板对待排版的文字信息和多个候选裁剪图像进行排版,以得到多个候选排版方案。
步骤S440.对多个候选排版方案进行特征提取,并根据特征提取结果确定多个候选排版方案的排版评分。
步骤S450.根据排版评分确定目标裁剪图像以及用于对目标裁剪图像和文字信息进行排版的目标版式模板。
在本公开的示例性实施例中,通过获取到的待排版的背景图像、目标尺寸和文字信息,与多个候选版式模板进行检测匹配,以选取目标版式模板进行图文排版。一方面,无需对背景图像进行预处理,即可得到候选裁剪图像,简化操作流程,自动化程度更高,处理速度更快;另一方面,版式模板多样化,可以根据场景需求选择排版版式,版式选取更加精准,同时也丰富了图文排版的应用场景。
下面对基于人工智能的图文排版方法的各个步骤进行详细说明。
在步骤S410中,获取待排版的背景图像和用于裁剪背景图像的目标尺寸,并确定背景图像的主体中心坐标。
在本公开的示例性实施例中,待排版的背景图像以及裁剪该背景图像的目标尺寸可以是由用户输入的,也可以是通过其他方式获取到的,本示例性实施例对此不做特殊限定。
考虑到背景图像中的主体可以是仅包括人脸的主体、仅包括关键点的主体和同时包括人脸和其他关键点的主体,对应的,给出这三种情况下的获取主体中心坐标的方法。图5可以是背景图像中的主体仅包括人脸的情况下,获取主体中心坐标的示意图;图6可以是背景图像中的主体仅包括关键点的情况下,获取主体中心坐标的示意图;图7可以是背景图像中的主体同时包括人脸和其他关键点的情况下,获取主体中心坐标的示意图。
在可选的实施例中,图5示出了一种确定背景图像的主体中心坐标的方法的步骤流程图,如图5所示,该方法至少包括以下步骤:在步骤S510中,对背景图像进行人脸识别以确定一个或者多个人脸框。人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流,并自动在图像中检测和跟踪人脸,进而对检测到的人脸进行脸部识别的一系列相关技术,通常也叫作人像识别、面部识别。对背景图像进行人脸识别的方法可以是使用人脸识别算法在背景图像中识别。人脸识别算法可以有基于人脸特征点的识别算法、基于整幅人脸图像的识别算法、基于模板的识别算法和利用神经网络进行识别的算法等。具体的,应用于本步骤的人脸识别算法具体可以包括:基于AdaBoost的方法和基于深度学习的方法,除此之外,还可以包括其他人脸识别算法,本示例性实施例对此不做特殊限定。
使用人脸识别算法可以在背景图像中自动识别出人脸区域,或者用户也可以在背景图像中自行识别出人脸区域。在识别出人脸区域时,可以通过存储在客户端本地或者网络侧的人脸检测库,采用人脸检测技术对背景图像进行人脸检测,输出人脸在背景图像中的位置信息。并且,这些位置信息可以通过人脸框的形式显示在背景图像上,以供用户调整。
用户可以对生成的人脸框进行编辑操作,举例而言,具体的编辑操作可以包括拖动人脸框、缩放人脸框和删除人脸框等,本示例性实施例对此不做特殊限定。当生成多个人脸框的时候,可以通过拖动人脸框对各个人脸框的位置进行调整,使得人脸框之间不会产生重叠。
在步骤S520中,获取人脸框的人脸尺寸信息和人脸中心坐标。通过人脸框的位置信息可以确定人脸框的人脸尺寸信息和人脸中心坐标。其中,该人脸尺寸信息可以包括人脸框的长和宽的尺寸信息,人脸中心坐标可以是人脸框的几何中心的坐标。
在步骤S530中,以人脸尺寸信息为权重对人脸中心坐标进行加权平均以得到背景图像的主体中心坐标。对人脸尺寸信息与人脸中心坐标进行计算,举例而言,可以将人脸框的长和宽的乘积作为权重,对人脸中心坐标进行加权平均计算,并将计算结果作为背景图像的主体中心坐标。该计算方式适用
于有一个或者多个人脸框的情况。具体的,可以参考公式(1):
其中,wi表示第i个人脸框的长,hi表示第i个人脸框的宽,pi表示第i个人脸框的人脸中心坐标,wj表示第j个人脸框的长,hj表示第j个人脸框的宽,Cface表示以人脸为主体的情况下的主体中心坐标。
在本示例性实施例中,通过人脸识别算法可以识别并计算出背景图像的主体中心坐标,避免了裁剪背景图像中的人脸的情况发生,保证了背景图像的完整性和图文融合的排版效果。
在可选的实施例中,图6示出了另一种确定背景图像的主体中心坐标的方法的步骤流程图,如图6所示,该方法至少包括以下步骤:在步骤S610中,对背景图像进行关键点识别以确定多个关键点。在背景图像的处理中,关键点本质上是一种特征。它是对一个固定区域或者空间物理关系的抽象描述,描述的是一定邻域范围内的组合或上下文关系。它不仅仅是一个点信息,或代表一个位置,更代表着上下文与周围邻域的组合关系。以人体为例,关键点可以包括肩膀、髋部、手肘、手腕、膝盖和脚腕等;以车位为例,关键点可以是车位的各个顶点等。对关键点的检测可以通过检测图像焦点和检测图片轮廓等,本示例性实施例对此不做特殊限定。
在步骤S620中,根据各个关键点的坐标确定背景图像的主体中心坐标。其中,关键点的位置信息可以是在空间中映射的坐标。对背景图像进行关键点识别和定位可以得到关键点的坐标。通过对关键点的坐标和关键点的数量进行计算,可以确定背景图像的主体中心坐标。举例而言,可以通过对关键点的坐标进行求和运算,再将计算结果和关键点的数量进行除法运算,求得的商即为主体中心坐标。具体的,可以参考公式(2):
其中,qi表示第i个关键点的坐标,nfeature表示关键点的数量,Cfeature表示以关键点为主体的情况下的主体中心坐标。
在本示例性实施例中,通过检测到的关键点可以确定背景图像的主体中心坐标。在背景图像未包含人脸的情况下,通过关键特征捕捉背景图像的主体,确保背景图像的裁剪效果,满足用户排版的场景化需求。
在可选的实施例中,图7示出了再一种确定背景图像的主体中心坐标的方法的步骤流程图,如图7所示,该方法至少包括以下步骤:在步骤S710中,对背景图像进行人脸识别以确定一个或者多个人脸框,并对背景图像进行关键点识别以确定多个关键点。使用人脸识别算法可以在背景图像中自动识别出人脸区域,或者用户也可以在背景图像中自行识别出人脸区域。在识别出人脸区域时,可以通过存储在客户端本地或者网络侧的人脸检测库,采用人脸检测技术对背景图像进行人脸检测,输出人脸在背景图像中的位置信息。并且,这些位置信息可以通过人脸框的形式显示在背景图像上,以供用户调整。
用户可以对生成的人脸框进行编辑操作,举例而言,具体的编辑操作可以包括拖动人脸框、缩放人脸框和删除人脸框等,本示例性实施例对此不做特殊限定。当生成多个人脸框的时候,可以通过拖动人脸框对各个人脸框的位置进行调整,使得人脸框之间不会产生重叠。
以人体为例,关键点可以包括肩膀、髋部、手肘、手腕、膝盖和脚腕等;以车位为例,关键点可以是车位的各个顶点等。对关键点的检测可以通过检测图像焦点和检测图片轮廓等,本示例性实施例对此不做特殊限定。
在步骤S720中,根据人脸框的人脸尺寸信息和人脸中心坐标确定区域中心坐标,并根据各个关键点的坐标确定特征中心坐标。其中,该人脸尺寸信息可以包括人脸框的长和宽的尺寸信息,人脸中心坐标可以是人脸框的几何中心的坐标。举例而言,可以是将人脸框的长和宽的乘积作为权重,对人脸中心坐标进行加权平均计算,并将计算结果确定为背景图像的区域中心坐标。
通过对关键点的坐标和关键点的数量进行计算,可以确定背景图像的主体中心坐标。举例而言,可以通过对关键点的坐标进行求和运算,再将计算结果和关键点的数量进行除法运算,求得的商即为背景图像的特征中心坐标。
在步骤S730中,根据区域中心坐标的区域权值,以及特征中心坐标的特征权值,进行加权平均以得到背景图像的主体中心坐标。与区域中心坐标对应的区域权值可以是预设的,该区域权值可以是与人脸框的数量相关权值,举例而言,可以将人脸框数量与一数值的乘积设置为区域权值,其中,该数值可以为10,也可以为其他数值,本示例性实施例对此不做特殊限定;与特征中心坐标对应的特征权值也可以是预设的,该特征权值可以是与特征点的那个相关的权值,举例而言,可以将特征点的数量设置为特征权值。除此之外,还可以设置其他数值为区域权值和特征权值,本示例性实施例对此不做特殊限定。以区域权值为区域中心坐标的权重,并以特征权值为特征中心的权值,进行加权平均计算,可以得到背景图像的主体中心坐标。具体的,可以参考公式(3):
其中,Ccrop表示同时包括人脸和关键点的情况下的主体中心坐标,wface表示区域权值,wfeature表示特征权值,Cface表示区域中心坐标,Cfeature表示特征中心坐标。
优选的,设置wface=10*nface,wfeature=nfeature。
其中,nface表示人脸框的数量,nfeature为关键点的数量。
在本示例性实施例中,在背景图像中既包括人脸,又包括除人脸之外的关键点的情况下,通过人脸识别和关键点识别可以确定背景图像的主体中心坐标,保证了背景图像的完整性和图文融合的排版效果,丰富了图文排版的场景化需求。
在步骤S420中,根据目标尺寸和主体中心坐标在背景图像上确定多个候选裁剪框,并基于候选裁剪框确定多个候选裁剪图像。
在本公开的示例性实施例中,图8示出了确定多个候选裁剪框的方法的步骤流程图,如图8所示,该方法至少包括以下步骤:在步骤S810中,根据目标尺寸和主体中心坐标,确定用于裁剪背景图像的候选裁剪框的属性区间。在可选的实施例中,属性区间包括候选裁剪框的候选裁剪属性对应的候选裁剪区间、候选裁剪框的顶点横坐标的横坐标区间和候选裁剪框的顶点纵坐标的纵坐标区间。其中,该候选裁剪属性可以是候选裁剪框的宽度。除此之外,该候选裁剪属性也可以是候选裁剪框的高度,本示例性实施例对此不做特殊限定。
在可选的实施例中,目标尺寸包括目标裁剪属性和目标裁剪比例。优选的,目标裁剪属性可以是用于裁剪背景图像的目标裁剪宽度。除此之外,该目标裁剪属性也可以是目标裁剪高度,本示例性实施例对此不做特殊限定。其中,该目标裁剪比例可以是用于裁剪背景图像的目标裁剪框的宽高比,亦即目标裁剪框的宽度和高度的比值,也可以是其他的裁剪比例信息,本示例性实施例对此不做特殊限定。
针对候选裁剪区间、横坐标区间和纵坐标区间三种不同的属性区间,可以有对应的确定方法,分别在图9、图10和图11中示出了确定候选裁剪区间、横坐标区间和纵坐标区间的确定方法。
其中,图9示出了确定候选裁剪区间的方法的步骤流程图,如图9所示,该方法至少包括以下步骤:在步骤S910中,获取背景图像的图像宽度和图像高度,并确定与图像宽度对应的宽度比值计算结果,以及与图像高度和目标裁剪比例对应的高度比值计算结果。当用户输入待排版的背景图像之后,可以获取到该背景图像的图像宽度和图像高度,并进行相应的计算。举例而言,与图像宽度对应的宽度比值计算结果可以是图像宽度与一数值进行除法运算得到的计算结果,优选的,该数值可以是2。除此之外,该数值也可以是其他数值,本示例性实施例对此不做特殊限定。
针对图像高度进行的计算,可以是与图像高度和目标裁剪比例对应的高度比值计算结果。举例而言,该高度比值计算结果可以是图像高度和目标裁剪比例的乘积,与一数值进行除法运算得到的计算结果,优选的,该数值可以是2。除此之外,该数值也可以是其他数值,本示例性实施例对此不做特殊限定。
在步骤S920中,根据目标裁剪属性、宽度比值计算结果和高度比值计算结果,确定候选裁剪区间的裁剪下限值。将目标裁剪属性、宽度比值计算结果和高度比值计算结果进行比较,根据比较结果可以确定出候选裁剪区间的裁剪下限值。举例而言,可以选择目标裁剪属性、宽度比值计算结果和高度比值计算结果三者中的最大值确定为裁剪下限值,也可以根据其他筛选条件选择其他比较结果作为裁剪下限值,本示例性实施例对此不做特殊限定。
在步骤S930中,确定与图像高度和目标裁剪比例对应的比例计算结果,并根据图像宽度和比例计算结果确定候选裁剪区间的裁剪上限值。举例而言,与图像高度和目标裁剪比例对应的计算结果可以是图像高度和目标裁剪比值的乘积。除此之外,也可以根据其他方式确定比例计算结果,本示例性实施例对此不做特殊限定。并且,可以将图像高度和该比例计算结果进行比较,根据比较结果确定候选裁剪区间的裁剪上限值。举例而言,可以将图像高度和比例计算结果中的最小值确定为候选裁剪区间的裁剪上限值,也可以根据其他筛选条件选择其他比较结果作为裁剪上限值,本示例性实施例对此不做特殊限定。
在步骤S940中,根据裁剪上限值和裁剪下限值,确定候选裁剪区间。将已确定的裁剪上限值和裁剪下限值分别作为候选裁剪区间的两个端点的值,因此,可以确定出候选裁剪区间。具体的,可以参考公式(4):
其中,tw表示目标裁剪属性,tr表示目标裁剪比例,w表示图像宽度,h表示图像高度,cw表示候选裁剪属性。
在本示例性实施例中,给出了一种确定属性区间中的候选裁剪区间的方法,确定方式简单,易于操作,便于用户使用,提高了排版效率。
在可选的实施例中,主体中心坐标包括主体中心横坐标。其中,图10示出了确定横坐标区间的方法的步骤流程图,如图10所示,该方法至少包括以下步骤:在步骤S1010中,确定与主体中心横坐标和候选裁剪属性对应的属性计算结果,并根据目标数值和属性计算结果确定横坐标区间的横坐标下限值。举例而言,与主体中心横坐标和候选裁剪属性对应的属性计算结果可以是根据主体中心横坐标和候选裁剪属性进行求差运算得到的计算结果,与一数值进行求和运算得到的,优选的,该数值可以是50。除此之外,该数值也可以是其他数值,本示例性实施例对此不做特殊限定。并且,将该属性计算结果与预设的目标数值进行比较,根据比较结果确定横坐标区间的横坐标下限值。优选的,该目标数值可以预设为0。除此之外,可以设置该目标数值为其他数值,本示例性实施例对此不做特殊限定。举例而言,可以将属性计算结果和目标数值中的最大值确定为横坐标下限值,也可以根据其他筛选条件选择其他比较结果作为横坐标下限值,本示例性实施例对此不做特殊限定。
在步骤S1020中,确定与主体中心横坐标对应的横坐标计算结果,并确定与图像宽度和候选裁剪属性对应的宽度计算结果。举例而言,与主体中心横坐标对应的横坐标计算结果可以是主体中心横坐标与一数值进行求差运算得到的计算结果,优选的,该数值可以是50。除此之外,该数值也可以是其他数值,本示例性实施例对此不做特殊限定。与图像宽度和候选裁剪属性对应的宽度计算结果可以是图像宽度与候选裁剪属性进行求差运算求得的计算结果,也可以是图像宽度与候选裁剪属性对应的其他计算结果,本示例性实施例对此不做特殊限定。
在步骤S1030中,根据横坐标计算结果和宽度计算结果确定横坐标区间的横坐标上限值。将横坐标计算结果和宽度计算结果进行比较,根据比较结果确定出横坐标区间的横坐标上限值。举例而言,可以选择横坐标计算结果和宽度计算结果中的最小值确定为横坐标上限值,也可以根据其他筛选条件选择其他比较结果作为横坐标上限值,本示例性实施例对此不做特殊限定。
在步骤S1040中,根据横坐标下限值和横坐标上限值,确定横坐标区间。将已确定的横坐标上限值和横坐标下限值分别作为横坐标区间的两个端点的值,因此,可以确定出横坐标区间。具体的,可以参考公式(5):
max{cx+50-cw,0}≤ci≤min{(cx-50),(w-cw)} (5)
其中,cw表示候选裁剪属性,cx表示主体中心横坐标,ci表示顶点横坐标,w表示图像宽度。
在本示例性实施例中,给出了一种确定属性区间中的横坐标区间的方法,确定方式简单,易于操作,便于用户使用,提高了排版效率。
在可选的实施例中,主体中心坐标包括主体中心纵坐标。其中,图11示出了确定纵坐标区间的方法的步骤流程图,如图11所示,该方法至少包括以下步骤:在步骤S1110中,确定与主体中心纵坐标、候选裁剪属性和目标裁剪比例对应的比例比值计算结果,并根据目标数值和比例比值计算结果确定纵坐标区间的纵坐标下限值。举例而言,与主体中心纵坐标、候选裁剪属性和目标裁剪比例对应的比例比值计算结果可以是候选裁剪属性和目标裁剪比例进行除法运算,并将主体中心纵坐标与该除法运算的结果进行求差运算,再将该求差运算的结果与一数值进行求和运算得到的计算结果,优选的,该数值可以是50。除此之外,该数值还可以是其他数值,本示例性实施例对此不做特殊限定。进一步的,将该比例比值计算结果与预设的数值进行比较,根据比较结果确定纵坐标区间的纵坐标下限值。优选的,该目标数值可以预设为0。除此之外,可以设置该目标数值为其他数值,本示例性实施例对此不做特殊限定。举例而言,可以将比例比值计算结果和目标素质中的最大值确定为纵坐标下限值,也可以根据其他筛选条件选择其他比较结果作为纵坐标下限值,本示例性实施例对此不做特殊限定。
在步骤S1120中,确定与主体中心纵坐标对应的纵坐标计算结果,并确定与候选裁剪属性、目标裁剪比例和图像高度对应的高度计算结果。举例而言,与主体中心纵坐标对应的纵坐标计算结果可以是主体中心纵坐标与一数值进行求差运算得到的计算结果,优选的,该数值可以是50。除此之外,该数值也可以是其他数值,本示例性实施例对此不做特殊限定。与候选裁剪属性、目标裁剪比例和图像高度对应的高度计算结果可以是候选裁剪属性与目标裁剪比例进行除法运算得到的计算结果,与图像高度进行求差运算对应的计算结果,也可以是与候选裁剪属性、目标裁剪比例和图像高度对应的其他高度计算结果,本示例性实施例对此不做特殊限定。
在步骤S1130中,根据纵坐标计算结果和高度计算结果确定纵坐标区间的纵坐标上限值。将纵坐标计算结果和高度计算结果进行比较,根据比较结果确定出纵坐标区间的纵坐标上限值。举例而言,可以选择纵坐标计算结果和高度计算结果中的最小值确定为纵坐标上限值,也可以根据其他筛选条件选择其他比较结果作为纵坐标上限值,本示例性实施例对此不做特殊限定。
在步骤S1140中,根据纵坐标下限值和纵坐标上限值,确定纵坐标区间。将已确定的纵坐标下限值和纵坐标上限值分别作为纵坐标区间的两个端点的值,因此,可以确定出纵坐标区间。具体的,可以参考公式(6):
其中,tr表示目标裁剪比例,cw表示候选裁剪属性,cy表示主体中心纵坐标,cj表示顶点纵坐标,h表示图像高度。
在本示例性实施例中,给出了一种确定属性区间的纵坐标区间的方法,确定方式简单,易于操作,便于用户使用,提高了排版效率。
在步骤S820中,获取与属性区间对应的节点数量,并按照节点数量划分属性区间,以确定多个候选属性信息。在可选的实施例中,图12示出了确定多个候选属性信息的方法的步骤流程图,如图12所示,该方法至少包括以下步骤:在步骤S1210中,获取与候选裁剪区间对应的节点数量,并按照节点数量划分候选裁剪区间,确定多个候选裁剪属性。鉴于有三个维度的属性区间的限制,优选的,可以预设每个维度的节点数量为10个。除此之外,该节点数量也可以是根据实际情况设置的其他数量,本示例性实施例对此不做特殊限定。因此,与候选裁剪区间对应的节点数量可以是10个。进一步的,可以按照10个节点的节点数量均匀地划分该候选裁剪区间,确定出多个候选裁剪属性。
在步骤S1220中,获取与横坐标区间对应的节点数量,并按照节点数量划分横坐标区间,确定多个顶点横坐标。优选的,与横坐标区间对应的节点数量可以为10个。除此之外,也可以是根据实际情况设置的其他数量,本示例性实施例对此不做特殊限定。进一步的,可以按照10个节点的节点数量均匀地划分该横坐标区间,确定出多个顶点横坐标。
在步骤S1230中,获取与纵坐标区间对应的节点数量,并按照节点数量划分纵坐标区间,确定多个顶点纵坐标。优选的,与纵坐标区间对应的节点数量可以为10个。除此之外,也可以是根据实际情况设置的其他数量,本示例性实施例对此不做特殊限定。进一步的,可以按照10个节点的节点数量均匀地划分该纵坐标区间,确定出多个顶点纵坐标。
在本示例性实施例中,通过对三个属性区间的划分,可以分别得到对应的多个属性信息,易于划分,并且确定方式简单,便于后续生成多个候选裁剪框。
在步骤S830中,根据多个候选属性信息在背景图像上确定多个候选裁剪框。在可选的实施例中,图13示出了确定多个候选裁剪框的方法的步骤流程图,如图13所示,该方法至少包括以下步骤:在步骤S1310中,根据顶点横坐标与顶点纵坐标,确定多个候选裁剪框的顶点坐标。将已确定的多个顶点横坐标和多个顶点纵坐标进行一一组合,可以确定出多个候选裁剪框的顶点坐标。举例而言,若横坐标区间和纵坐标区间的节点数量均为10个,根据顶点横坐标和顶点纵坐标可以组合确定出100个顶点坐标。值得说明的是,该顶点坐标可以是候选裁剪框的左上角的坐标,也可以是其他三个顶点的坐标,本示例性实施例对此不做特殊限定。
在步骤S1320中,根据目标裁剪比例与候选裁剪属性,确定多个候选裁剪框的尺寸信息。举例而言,该候选裁剪属性可以是候选裁剪框的宽度,并且,该目标裁剪比例可以是用于裁剪背景图像的目标裁剪框的宽高比,因此,目标裁剪比例和候选裁剪属性的乘积是候选裁剪框的高度。当候选裁剪框的宽度和高度确定时,亦即确定出多个候选裁剪框的尺寸信息。若候选裁剪属性为候选裁剪框的高度时,也可以根据同样的实施方式确定出候选裁剪框的尺寸信息。
在步骤S1330中,根据顶点坐标和尺寸信息,在背景图像上确定多个候选裁剪框。当候选裁剪框的顶点坐标和尺寸信息确定时,亦即确定出了候选裁剪框在背景图像上的位置信息和尺寸信息,因此,可以在背景图像上确定多个候选裁剪框。举例而言,当候选裁剪区间、横坐标区间和纵坐标区间的节点数量均为10时,可以确定出1000个候选裁剪框。
在本示例性实施例中,通过确定出的顶点坐标和尺寸信息可以确定多个候选裁剪框,扩大了单一属性的确定数量,保证了确定候选裁剪框的精准性。
因此,根据候选裁剪框在背景图像上的裁剪位置进行裁剪,对应的,可以得到多个候选裁剪图像。
在步骤S430中,根据多个候选版式模板对待排版的文字信息和多个候选裁剪图像进行排版,以得到多个候选排版方案。
在本公开的示例性实施例中,图14示出了确定候选排版方案的方法的步骤流程图,如图14所示,该方法至少包括以下步骤:在步骤S1410中,获取待排版的文字信息,并在多个候选裁剪图像上添加文字信息,得到多个图文图像。待排版的文字信息可以是由用户输入的,也可以是通过其他方式提取到的,本示例性实施例对此不做特殊限定。并且,可以将文字信息添加在候选裁剪图像上,以得到与候选裁剪图像对应的图文图像。
在步骤S1420中,将多个图文图像分别与多个候选版式模板进行匹配,以得到多个候选排版方案。多个候选版式模板可以是预先设置的,设置条件可以是图文的相对位置,此时,对应有九种候选版式模板。除此之外,还可以根据其他预设条件设置候选版式模板,本示例性实施例对此不做特殊限定。进一步的,将多个图文图像与多个候选版式模板一一进行匹配,以得到对应的多个候选排版方案。在步骤S440中,对多个候选排版方案进行特征提取,并根据特征提取结果确定多个候选排版方案的排版评分。
在本公开的示例性实施例中,图15示出了得到排版评分的方法的步骤流程图,如图15所示,该方法至少包括以下步骤:在步骤S1510中,将多个候选排版方案输入至预先训练好的特征提取模型,对多个候选排版方案进行特征提取,得到对应的图像特征。图像特征可以包括版式类型、文案区域占比、主体区域占比、主体中心与文案中心的距离以及文案边缘距离。其中,版式类型可以是候选版式模板的类型,使用独热编码(One-hot Encoding)加入该特征;文案区域占比可以是文字信息的面积与候选版式模板中的文案区域的面积之比;主体区域占比可以是人脸框和/或关键点的区域面积与版式中的背景区域的面积之比;主体中心可以是主体中心坐标,文案中心可以是文字信息形成的图片的像素几何中心,主体中心与文案中心的距离可以是主体中心坐标与该图片像素几何中心之间的距离;文案边缘距离可以是文字信息距离候选版式模板边缘的距离。除此之外,也可以提取其他图像特征,本示例性实施例对此不做特殊限定。
在步骤S1520中,将图像特征输入至预先训练好的评分模型,对图像特征进行评分,得到对应的排版评分。该评分模型的学习方法可以有多种,优选的,可以是逻辑回归算法。除此之外,也可以是神经网络,还可以是其他算法,本示例性实施例对此不做特殊限定。
在本示例性实施例中,通过提取的图像特征以得到与候选排版方案对应的排版评分,使得排版评分更加准确,确保图文融合效果更好。
在步骤S450中,根据排版评分确定目标裁剪图像以及用于对目标裁剪图像和文字信息进行排版的目标版式模板。
在本公开的示例性实施例中,通过该排版评分可以对各候选排版方案进行排序,可以筛选出评分最高的匹配结果对应的候选裁剪图像,并确定为目标裁剪图像。并且,将与目标裁剪图像对应的候选版式模板确定为目标版式模板,以对目标裁剪图像和文字信息进行排版。
下面结合一具体应用场景对本公开实施例中提供的基于人工智能的图文排版方法做出详细说明。
图16(a)示出了一种应用场景下图文排版的效果示意图,如图16(a)所示,采用该图文排版生成的海报广告是由背景图像裁剪得到的,并进一步添加文字信息,匹配该场景的目标尺寸生成,生成的banner图在区域1610中进行展示。图16(b)示出了另一种应用场景下图文排版的效果示意图,如图16(b)所示,采用该图文排版生成的海报广告可以是由背景图像裁剪得到,与文字信息进行融合,并匹配该场景的目标尺寸生成的,生成的banner图在区域1620中进行展示。图16(c)示出了再一种应用场景下图文排版的效果示意图,如图16(c)所示,采用该图文排版生成的海报广告是由背景图像裁剪得到,并进一步添加文字信息,匹配该应用场景的目标尺寸得到,得到的banner图在区域1630中展示。
图17示出了在应用场景中的图文排版方法的步骤流程图,如图17所示,该方法至少包括以下步骤:
在步骤S1710中,获取用户输入背景图像和用于裁剪背景图像的目标尺寸。并且,对目标图像进行人脸识别和关键点识别,以确定一个或者多个人脸框,以及多个关键点。图18(a)示出了在应用场景中一种用户输入的背景图像示意图,如图18(a)所示,该背景图像中包括与人物相关的关键点,这些关键点可以为区域1810的轮廓关键点,也可以为区域1810的其他关键点,本示例性实施例对此不做特殊限定。图18(b)示出了在应用场景中另一种用户输入的背景图像示意图,如图18(b)所示,该背景图像中包括与房屋相关的关键点,这些关键点可以为区域1820的轮廓关键点,也可以为区域1820的其他关键点,本示例性实施例对此不做特殊限定。根据人脸框的人脸尺寸信息和人脸中心坐标可以确定区域中心坐标,根据关键点坐标可以确定特征中心坐标。并且,根据区域中心坐标和特征中心坐标的计算结果可以确定该背景图像的主体中心坐标。
在步骤S1720中,根据目标尺寸和主体中心坐标可以在背景图像上确定多个候选裁剪框,对背景图像进行自动裁剪,以确定多个候选裁剪图像。图18(c)示出了确定的多个候选裁剪图像,如图18(c)所示,根据对候选裁剪区间、横坐标区间和纵坐标区间三个维度的划分,可以得到1000个候选裁剪图像。并且,在图18(c)的点1830处还示出了该背景图像的主体中心。
在步骤S1730中,获取用户输入的文字信息,亦即文案内容。并在预设的候选版式模板中选择排版版式。其中,候选版式模板可以是根据图文的相对位置设定的九种版式,选择排版版式的方法可以是对九种候选版式模板进行遍历。
其中,图19(a)示出了第一种候选版式模板的界面示意图,如图19(a)所示,区域1911为背景区域,区域1912为主体区域,区域1913为文案区域,该候选版式模板的主体区域1912位于模板的右下方,文案区域1913位于模板的左上方;图19(b)示出了第二种候选版式模板的界面示意图,如图19(b)所示,区域1921为背景区域,区域1922为主体区域,区域1923为文案区域,该候选版式模板的主体区域1922位于模板的正下方,文案区域1923位于模板的正上方;图19(c)示出了第三种候选版式模板的界面示意图,如图19(c)所示,区域1931为背景区域,区域1932为主体区域,区域1933为文案区域,该候选版式模板的主体区域1932位于模板的左下方,文案区域1933位于模板的右上方;图19(d)示出了第四种候选版式模板的界面示意图,如图19(d)所示,区域1941为背景区域,区域1942为主体区域,区域1943为文案区域,该候选版式模板的主体区域1942位于模板的正右方,文案区域1943位于模板的正左方;图19(e)示出了第五种候选版式模板的界面示意图,如图19(e)所示,区域1951为主体区域,区域1952为文案区域,该候选版式模板中未包含背景区域,并且文案区域1952位于主体区域1951的正中间;图19(f)示出了第六种候选版式模板的界面示意图,如图19(f)所示,区域1961为背景区域,区域1962为主体区域,区域1963为文案区域,该候选版式模板的主体区域1962位于模板的正左方,文案区域1963位于模板的正右方;图19(g)示出了第七种候选版式模板的界面示意图,如图19(g)所示,区域1971为背景区域,区域1972为主体区域,区域1973为文案区域,该候选版式模板的主体区域1972位于模板的右上方,文案区域1973位于模板的左下方;图19(h)示出了第八种候选版式模板的界面示意图,如图19(h)所示,区域1981为背景区域,区域1982为主体区域,区域1983为文案区域,该候选版式模板的主体区域1982位于模板的正上方,文案区域1983位于模板的正下方;图19(i)示出了第九种候选版式模板的界面示意图,如图19(i)所示,区域1991为背景区域,区域1992为主体区域,区域1993为文案区域,该候选版式模板的中心区域1992位于模板的左上方,文案区域1993位于模板的右下方。
在步骤S1740中,将获取到的文字信息添加在候选裁剪图像中,并与九种候选版式板进行匹配检测。图20(a)示出了一种匹配检测的效果示意图,如图20(a)所示,该效果示意图是选取第一种候选版式模板的示意图,区域2011为匹配检测时的背景区域,区域2012为匹配检测时的主体区域,区域2013为匹配检测时的文案区域。值得说明的是,在提取对应的图像特征时,由于该图文图像的主体中心坐标在候选裁剪框的左上区域,当文字信息的文案框的文案中心不在左上区域时,可以将主体中心和文案中心的距离这一图像特征设置为负数。并且,文案边缘距离这一图像特征可以是文字信息距离上边边沿和左边边沿的距离。
图20(b)示出了另一种匹配检测的效果示意图,如图20(b)所示,示出了选取第二种候选版式模板的效果示意图,区域2014为匹配检测时的背景区域,区域2015为匹配检测时的主体区域,区域2016为匹配检测时的文案区域。在提取对应的图像特征时,文案边缘距离这一图像特征可以是文字信息距离上边边沿和左边边沿的距离。
在步骤S1750中,基于匹配检测得到的的排版评分,用户可以选择目标裁剪图像,以及用于对目标裁剪图像和文字信息进行排版的目标版式模板。用户可以根据实际情况选择其中的一种排版效果,也可以选择多种。
在步骤S1760中,输出最终的图文排版效果。图21示出了一种图文排版的效果示意图,如图21所示,根据预先输入的目标尺寸,对背景图像进行裁剪,并与输入的文字信息进行融合,得到该图文排版效果。
基于以上应用场景可知,本公开实施例提供的基于人工智能的图文排版方法通过获取到的待排版的背景图像、目标尺寸和文字信息,与多个候选版式模板进行检测匹配,以选取目标版式模板进行图文排版。一方面,无需对背景图像进行预处理,即可得到候选裁剪图像,简化操作流程,自动化程度更高,处理速度更快;另一方面,版式模板多样化,可以根据场景需求选择排版版式,版式选取更加精准,同时也丰富了图文排版的应用场景。
应当注意,尽管在附图中以特定顺序描述了本公开中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
以下介绍本公开的装置实施例,可以用于执行本公开上述实施例中的基于人工智能的图文排版方法。对于本公开装置实施例中未披露的细节,请参照本公开上述的基于人工智能的图文排版方法的实施例。
图22示意性地示出了在本公开一些实施例中的基于人工智能的图文排版装置的结构框图。如图22所示,基于人工智能的图文排版装置2200主要可以包括:中心检测模块2210、图像确定模块2220、方案确定模块2230、评分获取模块2240和图文排版模块2250。
中心检测模块2210,被配置为获取待排版的背景图像和用于裁剪背景图像的目标尺寸,并确定背景图像的主体中心坐标;图像确定模块2220,被配置为根据目标尺寸和主体中心坐标在背景图像上确定多个候选裁剪框,并基于候选裁剪框确定多个候选裁剪图像;方案确定模块2230,被配置为根据多个候选版式模板对待排版的文字信息和多个候选裁剪图像进行排版,以得到多个候选排版方案;评分获取模块2240,被配置为对多个候选排版方案进行特征提取,并根据特征提取结果确定多个候选排版方案的排版评分;图文排版模块2250,被配置为根据排版评分确定目标裁剪图像以及用于对目标裁剪图像和文字信息进行排版的目标版式模板。
在本公开的一些实施例中,中心检测模块包括:人脸识别单元,被配置为对背景图像进行人脸识别以确定一个或者多个人脸框;人脸信息获取单元,被配置为获取人脸框的人脸尺寸信息和人脸中心坐标;人脸信息计算单元,被配置为以人脸尺寸信息为权重对人脸中心坐标进行加权平均以得到背景图像的主体中心坐标。
在本公开的一些实施例中,中心检测模块包括:关键点识别单元,被配置为对背景图像进行关键点识别以确定多个关键点;关键点计算单元,被配置为根据各个关键点的坐标确定背景图像的主体中心坐标。
在本公开的一些实施例中,中心检测模块包括:主体识别单元,被配置为对背景图像进行人脸识别以确定一个或者多个人脸框,并对背景图像进行关键点识别以确定多个关键点;坐标计算单元,被配置为根据人脸框的人脸尺寸信息和人脸中心坐标确定区域中心坐标,并根据各个关键点的坐标确定特征中心坐标;主体计算单元,被配置为根据区域中心坐标的区域权值,以及特征中心坐标的特征权值,进行加权平均以得到背景图像的主体中心坐标。
在本公开的一些实施例中,图像确定模块包括:属性区间确定单元,被配置为根据目标尺寸和所述主体中心坐标,确定用于裁剪背景图像的候选裁剪框的属性区间;属性信息确定单元,被配置为获取与属性区间对应的节点数量,并按照节点数量划分所述属性区间,以确定多个候选属性信息;裁剪框确定单元,被配置为根据多个候选属性信息在背景图像上确定多个候选裁剪框。
在本公开的一些实施例中,属性区间包括候选裁剪框的候选裁剪属性对应的候选裁剪区间、候选裁剪框的顶点横坐标的横坐标区间和候选裁剪框的顶点纵坐标的纵坐标区间。
在本公开的一些实施例中,属性区间确定单元包括:图像信息获取子单元,被配置为获取背景图像的图像宽度和图像高度,并确定与图像宽度对应的宽度比值计算结果,以及与图像高度和目标裁剪比例对应的高度比值计算结果;裁剪下限值确定子单元,被配置为根据目标裁剪属性、宽度比值计算结果和高度比值计算结果,确定候选裁剪区间的裁剪下限值;裁剪上限值确定子单元,被配置为确定与图像高度和目标裁剪比例对应的比例计算结果,并根据图像宽度和比例计算结果确定候选裁剪区间的裁剪上限值;裁剪区间确定子单元,被配置为根据裁剪上限值和裁剪下限值,确定候选裁剪区间。
在本公开的一些实施例中,属性区间确定单元包括:横坐标下限值确定子单元,被配置为确定与主体中心横坐标和候选裁剪属性对应的属性计算结果,并根据目标数值和属性计算结果确定横坐标区间的横坐标下限值;横坐标计算结果确定子单元,被配置为确定与主体中心横坐标对应的横坐标计算结果,并确定与图像宽度和候选裁剪属性对应的宽度计算结果;横坐标上限值确定子单元,被配置为根据横坐标计算结果和宽度计算结果确定横坐标区间的横坐标上限值;横坐标区间确定子单元,被配置为根据横坐标下限值和横坐标上限值,确定横坐标区间。
在本公开的一些实施例中,属性区间确定单元包括:纵坐标下限值确定子单元,被配置为确定与主体中心纵坐标、候选裁剪属性和目标裁剪比例对应的比例比值计算结果,并根据目标数值和比例比值计算结果确定纵坐标区间的纵坐标下限值;纵坐标计算结果确定子单元,被配置为确定与主体中心纵坐标对应的纵坐标计算结果,并确定与候选裁剪属性、目标裁剪比例和图像高度对应的高度计算结果;纵坐标上限值确定子单元,被配置为根据纵坐标计算结果和高度计算结果确定纵坐标区间的纵坐标上限值;纵坐标区间确定子单元,被配置为根据纵坐标下限值和纵坐标上限值,确定纵坐标区间。
在本公开的一些实施例中,属性信息确定单元包括:裁剪区间划分子单元,被配置为获取与候选裁剪区间对应的节点数量,并按照节点数量划分候选裁剪区间,确定多个候选裁剪属性;横坐标区间划分子单元,被配置为获取与横坐标区间对应的所述节点数量,并按照节点数量划分横坐标区间,确定多个顶点横坐标;纵坐标区间划分子单元,被配置为获取与纵坐标区间对应的节点数量,并按照节点数量划分纵坐标区间,确定多个顶点纵坐标。
在本公开的一些实施例中,裁剪框确定单元包括:顶点坐标确定子单元,被配置为根据顶点横坐标与顶点纵坐标,确定多个候选裁剪框的顶点坐标;尺寸信息确定子单元,被配置为根据目标裁剪比例与候选裁剪属性,确定多个候选裁剪框的尺寸信息;裁剪框确定子单元,被配置为根据顶点坐标和尺寸信息,在背景图像上确定多个候选裁剪框。
在本公开的一些实施例中,匹配检测模块包括:文字信息获取单元,被配置为获取待排版的文字信息,并在多个候选裁剪图像上添加文字信息,得到多个图文图像;图像匹配单元,被配置为将多个图文图像分别与多个候选版式模板进行匹配,以得到多个候选排版方案。
在本公开的一些实施例中,结果输出单元包括:特征提取子单元,被配置为将多个候选排版方案输入至预先训练好的特征提取模型,对多个候选排版方案进行特征提取,得到对应的图像特征;结果输出子单元,被配置为将图像特征输入至预先训练好的评分模型,对图像特征进行评分,得到对应的排版评分。
本公开各实施例中提供的基于人工智能的图文排版装置的具体细节已经在对应的方法实施例中进行了详细的描述,因此此处不再赘述。
图23示出了适于用来实现本公开实施例的电子设备的计算机系统的结构示意图。
需要说明的是,图23示出的电子设备的计算机系统2300仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图23所示,计算机系统2300包括中央处理单元(Central ProcessingUnit,CPU)2301,其可以根据存储在只读存储器(Read-Only Memory,ROM)2302中的程序或者从存储部分2308加载到随机访问存储器(Random Access Memory,RAM)2303中的程序而执行各种适当的动作和处理。在RAM 2303中,还存储有系统操作所需的各种程序和数据。CPU 2301、ROM2302以及RAM 2303通过总线2304彼此相连。输入/输出(Input/Output,I/O)接口2305也连接至总线2304。
以下部件连接至I/O接口2305:包括键盘、鼠标等的输入部分2306;包括诸如阴极射线管(Cathode Ray Tube,CRT)、液晶显示器(Liquid Crystal Display,LCD)等以及扬声器等的输出部分2307;包括硬盘等的存储部分2308;以及包括诸如LAN(Local AreaNetwork,局域网)卡、调制解调器等的网络接口卡的通信部分2309。通信部分2309经由诸如因特网的网络执行通信处理。驱动器2310也根据需要连接至I/O接口2305。可拆卸介质2311,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器2310上,以便于从其上读出的计算机程序根据需要被安装入存储部分2308。
特别地,根据本公开的实施例,各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分2309从网络上被下载和安装,和/或从可拆卸介质2311被安装。在该计算机程序被中央处理单元(CPU)2301执行时,执行本申请的系统中限定的各种功能。
需要说明的是,本公开实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (13)
1.一种基于人工智能的图文排版方法,其特征在于,所述方法包括:
获取待排版的背景图像和用于裁剪所述背景图像的目标尺寸,并确定所述背景图像的主体中心坐标;
根据所述目标尺寸和所述主体中心坐标,确定用于裁剪所述背景图像的候选裁剪框的属性区间;其中,所述目标尺寸包括目标裁剪属性和目标裁剪比例;所述属性区间包括所述候选裁剪框的候选裁剪属性对应的候选裁剪区间、所述候选裁剪框的顶点横坐标的横坐标区间和所述候选裁剪框的顶点纵坐标的纵坐标区间;
获取与所述属性区间对应的节点数量,并按照所述节点数量划分所述属性区间,以确定多个候选属性信息;
根据所述多个候选属性信息在所述背景图像上确定多个候选裁剪框,并基于所述候选裁剪框确定多个候选裁剪图像;
根据多个候选版式模板对待排版的文字信息和所述多个候选裁剪图像进行排版,以得到多个候选排版方案;
对所述多个候选排版方案进行特征提取,并根据特征提取结果确定所述多个候选排版方案的排版评分;
根据所述排版评分确定目标裁剪图像以及用于对所述目标裁剪图像和所述文字信息进行排版的目标版式模板;
其中,所述根据所述目标尺寸和所述主体中心坐标,确定用于裁剪所述背景图像的候选裁剪框的属性区间,包括:
获取所述背景图像的图像宽度和图像高度,并确定与所述图像宽度对应的宽度比值计算结果,以及与所述图像高度和所述目标裁剪比例对应的高度比值计算结果;
根据所述目标裁剪属性、所述宽度比值计算结果和所述高度比值计算结果,确定所述候选裁剪区间的裁剪下限值;
确定与所述图像高度和所述目标裁剪比例对应的比例计算结果,并根据所述图像宽度和所述比例计算结果确定所述候选裁剪区间的裁剪上限值;
根据所述裁剪上限值和所述裁剪下限值,确定所述候选裁剪区间。
2.根据权利要求1所述的基于人工智能的图文排版方法,其特征在于,所述确定所述背景图像的主体中心坐标,包括:
对所述背景图像进行人脸识别以确定一个或者多个人脸框;
获取所述人脸框的人脸尺寸信息和人脸中心坐标;
以所述人脸尺寸信息为权重对所述人脸中心坐标进行加权平均以得到所述背景图像的主体中心坐标。
3.根据权利要求1所述的基于人工智能的图文排版方法,其特征在于,所述确定所述背景图像的主体中心坐标,包括:
对所述背景图像进行关键点识别以确定多个关键点;
根据各个所述关键点的坐标确定所述背景图像的主体中心坐标。
4.根据权利要求1所述的基于人工智能的图文排版方法,其特征在于,所述确定所述背景图像的主体中心坐标,包括:
对所述背景图像进行人脸识别以确定一个或者多个人脸框,并对所述背景图像进行关键点识别以确定多个关键点;
根据所述人脸框的人脸尺寸信息和人脸中心坐标确定区域中心坐标,并根据各个所述关键点的坐标确定特征中心坐标;
根据所述区域中心坐标的区域权值,以及所述特征中心坐标的特征权值,进行加权平均以得到所述背景图像的主体中心坐标。
5.根据权利要求1所述的基于人工智能的图文排版方法,其特征在于,所述主体中心坐标包括主体中心横坐标;
所述根据所述目标尺寸和所述主体中心坐标,确定用于裁剪所述背景图像的候选裁剪框的属性区间,包括:
确定与所述主体中心横坐标和所述候选裁剪属性对应的属性计算结果,并根据目标数值和所述属性计算结果确定所述横坐标区间的横坐标下限值;
确定与所述主体中心横坐标对应的横坐标计算结果,并确定与所述图像宽度和所述候选裁剪属性对应的宽度计算结果;
根据所述横坐标计算结果和所述宽度计算结果确定所述横坐标区间的横坐标上限值;
根据所述横坐标下限值和所述横坐标上限值,确定所述横坐标区间。
6.根据权利要求5所述的基于人工智能的图文排版方法,其特征在于,所述主体中心坐标包括主体中心纵坐标;
所述根据所述目标尺寸和所述主体中心坐标,确定用于裁剪所述背景图像的候选裁剪框的属性区间,包括:
确定与所述主体中心纵坐标、所述候选裁剪属性和所述目标裁剪比例对应的比例比值计算结果,并根据目标数值和所述比例比值计算结果确定所述纵坐标区间的纵坐标下限值;
确定与所述主体中心纵坐标对应的纵坐标计算结果,并确定与所述候选裁剪属性、所述目标裁剪比例和所述图像高度对应的高度计算结果;
根据所述纵坐标计算结果和所述高度计算结果确定所述纵坐标区间的纵坐标上限值;
根据所述纵坐标下限值和所述纵坐标上限值,确定所述纵坐标区间。
7.根据权利要求6所述的基于人工智能的图文排版方法,其特征在于,所述获取与所述属性区间对应的节点数量,并按照所述节点数量划分所述属性区间,以确定多个候选属性信息,包括:
获取与所述候选裁剪区间对应的节点数量,并按照所述节点数量划分所述候选裁剪区间,确定多个所述候选裁剪属性;
获取与所述横坐标区间对应的所述节点数量,并按照所述节点数量划分所述横坐标区间,确定多个所述顶点横坐标;
获取与所述纵坐标区间对应的所述节点数量,并按照所述节点数量划分所述纵坐标区间,确定多个所述顶点纵坐标。
8.根据权利要求7所述的基于人工智能的图文排版方法,其特征在于,所述根据所述多个候选属性信息在所述背景图像上确定多个候选裁剪框,包括:
根据所述顶点横坐标与所述顶点纵坐标,确定所述多个候选裁剪框的顶点坐标;
根据所述目标裁剪比例与所述候选裁剪属性,确定所述多个候选裁剪框的尺寸信息;
根据所述顶点坐标和所述尺寸信息,在所述背景图像上确定多个候选裁剪框。
9.根据权利要求1所述的基于人工智能的图文排版方法,其特征在于,所述根据多个候选版式模板对待排版的文字信息和所述多个候选裁剪图像进行排版,以得到多个候选排版方案,包括:
获取待排版的文字信息,并在所述多个候选裁剪图像上添加所述文字信息,得到多个图文图像;
将所述多个图文图像分别与所述多个候选版式模板进行匹配,以得到多个候选排版方案。
10.根据权利要求9所述的基于人工智能的图文排版方法,其特征在于,所述对所述多个候选排版方案进行特征提取,并根据特征提取结果确定所述多个候选排版方案的排版评分,包括:
将所述多个候选排版方案输入至预先训练好的特征提取模型,对所述多个候选排版方案进行特征提取,得到对应的图像特征;
将所述图像特征输入至预先训练好的评分模型,对所述图像特征进行评分,得到对应的排版评分。
11.一种基于人工智能的图文排版装置,其特征在于,所述装置包括:
中心检测模块,被配置为获取待排版的背景图像和用于裁剪所述背景图像的目标尺寸,并确定所述背景图像的主体中心坐标;
图像确定模块,被配置为根据所述目标尺寸和所述主体中心坐标在所述背景图像上确定多个候选裁剪框,并基于所述候选裁剪框确定多个候选裁剪图像;
方案确定模块,被配置为根据多个候选版式模板对待排版的文字信息和所述多个候选裁剪图像进行排版,以得到多个候选排版方案;
评分获取模块,被配置为对所述多个候选排版方案进行特征提取,并根据特征提取结果确定所述多个候选排版方案的排版评分;
图文排版模块,被配置为根据所述排版评分确定目标裁剪图像以及用于对所述目标裁剪图像和所述文字信息进行排版的目标版式模板;
其中,所述图像确定模块包括:属性区间确定单元,被配置为根据所述目标尺寸和所述主体中心坐标,确定用于裁剪所述背景图像的候选裁剪框的属性区间;属性信息确定单元,被配置为获取与所述属性区间对应的节点数量,并按照所述节点数量划分所述属性区间,以确定多个候选属性信息;裁剪框确定单元,被配置为根据所述多个候选属性信息在所述背景图像上确定多个候选裁剪框;所述属性区间包括所述候选裁剪框的候选裁剪属性对应的候选裁剪区间、所述候选裁剪框的顶点横坐标的横坐标区间和所述候选裁剪框的顶点纵坐标的纵坐标区间;
所述属性区间确定单元包括:图像信息获取子单元,被配置为获取所述背景图像的图像宽度和图像高度,并确定与所述图像宽度对应的宽度比值计算结果,以及与所述图像高度和所述目标裁剪比例对应的高度比值计算结果;裁剪下限值确定子单元,被配置为根据所述目标裁剪属性、所述宽度比值计算结果和所述高度比值计算结果,确定所述候选裁剪区间的裁剪下限值;裁剪上限值确定子单元,被配置为确定与所述图像高度和所述目标裁剪比例对应的比例计算结果,并根据所述图像宽度和所述比例计算结果确定所述候选裁剪区间的裁剪上限值;裁剪区间确定子单元,被配置为根据所述裁剪上限值和所述裁剪下限值,确定所述候选裁剪区间。
12.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1至10中任一项所述的基于人工智能的图文排版方法。
13.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至10中任一项所述的基于人工智能的图文排版方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910969513.6A CN110795925B (zh) | 2019-10-12 | 2019-10-12 | 基于人工智能的图文排版方法、图文排版装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910969513.6A CN110795925B (zh) | 2019-10-12 | 2019-10-12 | 基于人工智能的图文排版方法、图文排版装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110795925A CN110795925A (zh) | 2020-02-14 |
CN110795925B true CN110795925B (zh) | 2023-05-02 |
Family
ID=69439031
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910969513.6A Active CN110795925B (zh) | 2019-10-12 | 2019-10-12 | 基于人工智能的图文排版方法、图文排版装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110795925B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111353419B (zh) * | 2020-02-26 | 2023-08-11 | 北京百度网讯科技有限公司 | 图像比对方法、装置、电子设备及存储介质 |
CN113362424A (zh) * | 2020-03-04 | 2021-09-07 | 阿里巴巴集团控股有限公司 | 图像合成、商品广告图像合成方法、设备及存储介质 |
CN112308859A (zh) * | 2020-09-01 | 2021-02-02 | 北京小米松果电子有限公司 | 生成缩略图的方法、装置、相机以及存储介质 |
CN112434487B (zh) * | 2020-10-27 | 2024-01-30 | 北京奇艺世纪科技有限公司 | 一种图文排版方法、装置及电子设备 |
CN112686738B (zh) * | 2021-01-20 | 2023-10-13 | 杭州网易再顾科技有限公司 | 一种对象展示方法、装置、电子设备及存储介质 |
CN112884787B (zh) * | 2021-01-28 | 2023-09-15 | 北京有竹居网络技术有限公司 | 图像剪裁方法、装置、可读介质及电子设备 |
CN114926705B (zh) * | 2022-05-12 | 2024-05-28 | 网易(杭州)网络有限公司 | 封面设计模型训练方法、介质、装置和计算设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102103592A (zh) * | 2009-12-18 | 2011-06-22 | 北京大学 | 一种自动排版方法及系统 |
CN107622134A (zh) * | 2017-10-16 | 2018-01-23 | 杭州时间线信息科技有限公司 | 一种视觉识别和人工智能相结合的自动设计排版式详情页制作方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7162102B2 (en) * | 2001-12-19 | 2007-01-09 | Eastman Kodak Company | Method and system for compositing images to produce a cropped image |
US8180178B2 (en) * | 2009-06-24 | 2012-05-15 | Hewlett-Packard Development Company, L.P. | Autocropping and autolayout method for digital images |
-
2019
- 2019-10-12 CN CN201910969513.6A patent/CN110795925B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102103592A (zh) * | 2009-12-18 | 2011-06-22 | 北京大学 | 一种自动排版方法及系统 |
CN107622134A (zh) * | 2017-10-16 | 2018-01-23 | 杭州时间线信息科技有限公司 | 一种视觉识别和人工智能相结合的自动设计排版式详情页制作方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110795925A (zh) | 2020-02-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110795925B (zh) | 基于人工智能的图文排版方法、图文排版装置及电子设备 | |
CN110796031B (zh) | 基于人工智能的表格识别方法、装置及电子设备 | |
CN111858954B (zh) | 面向任务的文本生成图像网络模型 | |
CN109618222B (zh) | 一种拼接视频生成方法、装置、终端设备及存储介质 | |
CN111062871B (zh) | 一种图像处理方法、装置、计算机设备及可读存储介质 | |
Ni et al. | Learning to photograph: A compositional perspective | |
Wu et al. | Deep portrait image completion and extrapolation | |
CN111898696A (zh) | 伪标签及标签预测模型的生成方法、装置、介质及设备 | |
US11704357B2 (en) | Shape-based graphics search | |
CN112131978A (zh) | 一种视频分类方法、装置、电子设备和存储介质 | |
CN110798636A (zh) | 字幕生成方法及装置、电子设备 | |
CN111814620A (zh) | 人脸图像质量评价模型建立方法、优选方法、介质及装置 | |
US12118787B2 (en) | Localization of narrations in image data | |
KR20200059993A (ko) | 웹툰 제작을 위한 콘티를 생성하는 장치 및 방법 | |
CN117033609B (zh) | 文本视觉问答方法、装置、计算机设备和存储介质 | |
Chu et al. | Optimized comics-based storytelling for temporal image sequences | |
Zhang et al. | Retargeting semantically-rich photos | |
WO2023056835A1 (zh) | 视频封面生成方法、装置、电子设备及可读介质 | |
CN116977992A (zh) | 文本信息识别方法、装置、计算机设备和存储介质 | |
CN116703797A (zh) | 图像融合方法、图像融合系统、计算机设备及存储介质 | |
CN117830537B (zh) | 一种弱监督的3d场景图生成方法、装置、设备及介质 | |
CN113569809A (zh) | 一种图像处理方法、设备及计算机可读存储介质 | |
CN113537187A (zh) | 文本识别方法、装置、电子设备及可读存储介质 | |
Shu et al. | Visual Text Meets Low-level Vision: A Comprehensive Survey on Visual Text Processing | |
CN113516735A (zh) | 图像处理方法、装置、计算机可读介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40022177 Country of ref document: HK |
|
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |