Nothing Special   »   [go: up one dir, main page]

CN105659286A - 自动化图像裁剪和分享 - Google Patents

自动化图像裁剪和分享 Download PDF

Info

Publication number
CN105659286A
CN105659286A CN201380078957.1A CN201380078957A CN105659286A CN 105659286 A CN105659286 A CN 105659286A CN 201380078957 A CN201380078957 A CN 201380078957A CN 105659286 A CN105659286 A CN 105659286A
Authority
CN
China
Prior art keywords
main body
imaging device
subgraph
digital picture
social network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380078957.1A
Other languages
English (en)
Other versions
CN105659286B (zh
Inventor
S·沙
M·梅因加斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN105659286A publication Critical patent/CN105659286A/zh
Application granted granted Critical
Publication of CN105659286B publication Critical patent/CN105659286B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24575—Query processing with adaptation to user needs using context
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

用于图像的自动化裁剪和分享的技术包括配置成捕捉数字图像，识别图像中表示的一个或更多个主体，确定与数字图像的主体相关联的社交网络群，以及裁剪数字图像以生成一个或更多个子图像的成像装置。每个子图像包括与特定社交网络群相关联的主体。每个子图像可与相关社交网络群分享。主体可包括人、对象或事件，并且可通过计算机视觉技术及使用情景数据识别。成像装置可接收来自一个或更多个社交网络服务器的社交网络数据，该数据可用于确定相关社交网络群。成像装置也可基于一个或更多个内容策略，从裁剪的子图像排除主体。本文也描述并要求保护其它实施例。

Description

自动化图像裁剪和分享
背景技术
数字图像和媒体在许多人的生活中变得越来越重要。图像和媒体由许多人用于沟通和自我表现。通过数字图像和媒体的使用，人们可与包括家庭、朋友和广大公众的其他人建立情感纽带。
许多人越来越希望与其他人分享其个人体验，例如，通过社交网站。具体而言，许多人喜欢在此类网站上分享数字图像。然而，在保持个人隐私的同时分享图像是许多人担心的问题。一般情况下，在分享图像前，人们必须手动指定特定的联系人或联系人群。另外，在分享前，如果要确保隐私，人们一般必须手动裁剪或修改数字图像。
附图说明
本文中所述的概念在附图中以示例而非限制的方式示出。为确保示图的简明和清晰起见，图中所示元件不一定按比例画出。在认为视当之处，标号已在图中重复以指示一致或类似的元件。
图1是用于自动化图像裁剪和分享的系统的至少一个实施例的简化框图；
图2是可由图1的系统的建立的各种环境的至少一个实施例的简化框图；
图3是可由图1和2的系统的成像装置执行，用于自动化图像裁剪和分享的方法的至少一个实施例的简化流程图；
图4是可由图1和2的系统的成像装置执行，用于使用构图规则的图像裁剪的方法的至少一个实施例的简化流程图；
图5是可由图1和2的成像装置捕捉的图像的图示；以及
图6A-6C是可由图1和2的成像装置生成的子图像的图示。
具体实施方式
虽然本公开内容易于实现各种修改和备选形式，但其特定实施例已通过附图中的示例显示并将在本文中详细描述。然而，应理解的是，无意限制公开内容的概念为公开的特殊形式，而是与此相反，本发明将涵盖与本公开内容和随附权利要求一致的所有修改、等效物和替代。
说明书中对“一个实施例”、“一实施例”、“一说明性实施例”等的引用指所述实施例可包括特定特征、结构或特性，但每个实施例可包括或不包括该特定特征、结构或特性。另外，此类词语不一定指同一实施例。此外，在结合实某个施例描述某个特定特征、结构或特性时，认为结合无论是否明确描述的其它实施例来实现此类特征、结构或特性是在本领域技术人员的认知之内。另外，应领会的是，在“A、B和C至少之一”形式的列表中包括的项能够表示：(A)、(B)、(C)；（A和B）；（A和C）；（B和C）或（A、B和C）。类似地，“A、B或C至少之一”形式中所列的项能够表示：(A)、(B)、(C)、（A和B）、（A和C）、（B和C）或（A、B和C）。
公开的实施例可在一些情况下以硬件、固件、软件或其任何组合的形式实现。公开的实施例也可实现为可由一个或多个处理器读取和执行的暂时性或非暂时性机器可读（例如，计算机可读）介质上携带或存储的指令。机器可读存储介质可实施为用于以机器可读的形式存储或传送信息的任何存储装置、机制或其它物理结构（例如，易失性或非易失性存储器、介质盘或其它介质装置）。
在图中，一些结构或方法特征可以特定布置和/或顺序示出。然而，应领会的是，此类特定布置和/或顺序可不是必需的。相反，在一些实施例中，此类特征可以与说明性图形所示不同的方式和/或顺序布置。另外，特定图形中包括的结构或方法无意暗示在所有实施例中要求此类特征，并且在一些实施例中，此类特征可不包括或者可与其它特征组合。
现在参照图1，在一个实施例中，用于自动化图像裁剪和分享的系统100包括成像装置102，并且在一些实施例中，包括一个或更多个社交网络服务器104和图像存储库服务器106。成像装置102、社交网络服务器104和图像存储库服务器106可通过网络108相互进行通信。在使用中，如下面更详细讨论的一样，成像装置102捕捉数字图像，并且处理数字图像以检测和识别图像内表示的主体。主体可包括图像中示出的人、对象或事件。成像装置102将在图像中识别的主体与成像装置102的用户的相关社交网络群相关联。社交网络群可实施为从用户的社交网络数据生成的联系人的集合（例如，在社交网站上或在用户的联系人列表中的联系人）。社交网络数据可在成像装置102上本地存储，或者存储在一个或更多个社交网络服务器104上。在关联社交网络群后，成像装置102为每个相关社交网络群生成子图像，裁剪图像以包括有关主体，并且排队无关主体。成像装置102使用一个或更多个构图规则自动化生成在审美上令人愉悦的子图像。在子图像已生成后，成像装置102与相关社交网络群分享子图像。例如，成像装置102可将子图像传送到社交网络服务器104或图像存储库服务器106以分享子图像。
自动化图像裁剪和分享因此允许分享图像而无乏味的手动裁剪和分类。相应地，用户可与更多接收人分享更多图像。另外，用户可对分享图像更有信心，这是因为自动化图像分享有助于将分享的图像限定到适当的受众，具体而言，防止分享令人反感的内容，并且由此在一些情况下保护隐私。
成像装置102可实施为能够执行本文中所述功能的任何类型的装置，包括但不限于数字相机、智能电话、蜂窝电话、手持机、计算机、平板计算机、膝上型计算机、笔记本计算机、通讯装置、车载远距离通信装置、网络家电、web家电、分布式计算系统、多处理器系统、基于处理器的系统和/或消费者电子装置。如图1所示，成像装置102包括处理器120、输入/输出子系统122、存储器124、数据存储装置126及通信电路132。当然，在其它实施例中，成像装置102可包括其它或另外的组件，如通常在移动成像装置（例如，各种输入/输出装置）中存在的那些组件。另外，在一些实施例中，一个或更多个说明性组件可包含在另一组件中，或者形成另一组件的一部分。例如，在一些实施例中，存储器124或其部分可包含在处理器120中。
处理器120可实施为能够执行本文中所述功能的任何类型的处理器。例如，处理器120可实施为单或多核处理器、数字信号处理器、微控制器或其它处理器或处理/控制电路。类似地，存储器124可实施为能够执行本文中所述功能的任何类型的易失性或非易失性存储器。在操作中，存储器124可存储在成像装置102的操作期间使用的各种数据和软件，如操作系统、应用程序、程序、库及驱动程序。存储器124以通信方式耦合经I/O子系统122到处理器120，子系统104可实施为电路和/或组件以有利于与成像装置102的处理器120、存储器124和其它组件的输入/输出操作。例如，I/O子系统122可实施为或者包括存储器控制器集线器、输入/输出控制集线器、固件装置、通信链路（即，点到点链路、总线链路、导线、电缆、光导、印刷电路板迹线等）和/或组件和子系统以有利于输入/输出操作。在一些实施例中，I/O子系统122可形成系统芯片(SoC)的一部分，并且与成像装置102的处理器120、存储器124和其它组件一起包含在单个集成电路芯片上。
数据存储装置126可实施为配置用于数据的短期或长期存储的任何类型的装置，如存储器装置和电路、存储器卡、硬盘驱动器、固态驱动器或其它数据存储装置。数据存储装置126可存储用于识别可能令人反感的内容的一个或更多个内容策略128和用于自动化成像裁剪的一个或更多个构图规则130。
成像装置102的通信电路132可实施为能够允许通过网络108在成像装置102、社交网络服务器104、图像存储库服务器106和/或其它远程装置之间进行通信的任何通信电路、装置或其集合。通信电路132可配置成使用任何一个或更多个通信技术（例如，无线或有线通信）及相关联协议（例如，以太网、Bluetooth®、Wi-Fi®、WiMAX等）以实现此类通信。
在该说明性实施例中，成像装置102还包括显示器134、多个情景传感器136和相机140。成像装置102的显示器134可实施为能够显示数字信息的任何类型的显示器，如液晶显示器(LCD)、发光二极管(LED)、等离子显示器、阴极射线管(CRT)或其它类型的显示装置。在一些实施例中，显示器134可耦合到触摸屏以允许与成像装置102的用户交互。
情景传感器136可实施为能够生成数字数据，指示成像装置102的情景和/或成像装置102的用户的任何类型的传感器。例如，在该说明性实施例中，情景传感器136包括定位电路138。定位电路138可实施为能够确定成像装置102的精确或近似位置的任何类型的传感器或电路。例如，定位电路138可实施为能够确定成像装置102的精确坐标的全球定位系统（“GPS”）接收器。在其它实施例中，定位电路138可使用三边测量和/或三角测量以使用到通信电路132提供的位置已知的蜂窝网络塔或其它结构的距离和/或角度，确定成像装置102的位置。在其它实施例中，定位电路138可使用通信电路132，基于到位置已知的无线网络和/或接入点的关联，确定成像装置102的近似位置。
相机140可实施为与成像装置102集成在一起或者以通信方式耦合到其的数字相机或其它数字成像装置。相机140可包括诸如有源像素传感器(APS)等电子图像传感器，例如，互补型金属氧化物半导体(CMOS)传感器或电荷耦合装置(CCD)。相机140可以能够捕捉静态图像和/或视频。在一些实施例中，相机140可能够捕捉描述场景的三维深度图像，例如，使用深度相机、立体相机、结构光传感器、测距仪、光场传感器或能够捕捉深度信息的任何其它传感器。
每个社交网络服务器104配置成存储和允许检索成像装置102的用户的社交网络数据。每个社交网络服务器104可实施为能够执行本文中所述功能的任何类型的服务器计算装置或装置的集合。因此，每个社交网络服务器104可实施为单个服务器计算装置或服务器和相关联装置的集合。例如，在一些实施例中，每个社交网络服务器104可实施为从跨网络108分布并且在公共或私有云中操作的多个计算装置形成的“虚拟服务器”。相应地，虽然社交网络服务器104在图1中示为实施为单个服务器计算装置，但应领会的是，每个社交网络服务器104可实施为一起协作以有利于下面描述的功能性的多个装置。此外，每个社交网络服务器104可包括为本描述清晰起见而在图1中未示出的与成像装置102和/或典型数据服务器类似的组件和特征，如处理器、I/O子系统、存储器、数据存储装置、通信电路及各种外设装置。
图像存储库服务器106配置成存储成像装置102产生的裁剪的图像并且允许其分享。图像存储库服务器106可实施为能够执行本文中所述功能的任何类型的服务器计算装置或装置的集合。因此，与社交网络服务器104类似，图像存储加服务器106可实施为单个服务器计算装置或服务器和相关联装置的集合。例如，在一些实施例中，图像存储库服务器106可实施为从跨网络108分布并且在公共或私有云中操作的多个计算装置形成的“虚拟服务器”。相应地，虽然图像存储库服务器106在图1中示为实施为单个服务器计算装置，但应领会的是，图像存储库服务器106可实施为一起协作以有利于下面描述的功能性的多个装置。此外，图像存储库服务器106可包括为本描述清晰起见而在图1中未示出的与成像装置102和/或社交网络服务器104类似的组件和特征，如处理器、I/O子系统、存储器、数据存储装置、通信电路及各种外设装置。另外或备选，在一些实施例中，图像存储库服务器106或图像存储库服务器106的功能性可包含在一个或更多个社交网络服务器104中。
如下面更详细讨论的一样，成像装置102、社交网络服务器104和图像存储库服务器106可配置成通过网络108相互传送和接收数据和/或与系统100的其它装置传送和接收数据。网络108可实施为任何数量的各种有线和/或无线网络。例如，网络108可实施为或者包括有线或无线局域网(LAN)、有线或无线宽域网(WAN)、蜂窝网络和/或诸如因特网等可公开访问的全球网络。因此，网络108可包括任何数量的另外装置，如另外的计算机、路由器和交换器，以有利于在系统100的装置之间的通信。
现在参照图2，在说明性实施例中，成像装置102在操作期间建立环境200。说明性环境200包括图像捕捉模块202、主体识别模块204、社交网络模块210、图像裁剪模块212及图像分享模块214。环境200还包括内容策略216、构图规则218，并且在一些实施例中，还包括社交网络数据220。环境200的各种模块可实施为硬件、固件、软件或其组合。
图像捕捉模块202配置成捕捉在用户方向上的数字图像。图像捕捉模块202可使用诸如相机140等图像捕捉硬件，直接捕捉图像。另外或备选，图像捕捉模块202可通过接收来自诸如单独的专用数字相机、网络文件服务器或其它图像源等外部装置的图像，捕捉图像。在此类实施例中，图像捕捉模块202可允许例如使用在显示器134上显示的用户界面，选择要捕捉的图像。
主体识别模块204配置成检测和识别数字图像数据中表示的主体，如人、对象或事件。如下进一步描述的一样，主体可使用计算机视觉技术识别，如脸部识别算法或对象识别和分类算法。在一些实施例中，那些功能可由子模块执行，例如，由脸部检测和识别模块206或对象/事件检测和识别模块208执行。
社交网络模块210配置成将社交网络群与数字图像中识别的主体相关联。例如，社交网络模块210可将识别的人与他们作为成员的社交网络群相关联。社交网络模块210也可将对象或事件与和该对象/事件或对象/事件的类有关的群相关联。如下所述，社交网络群可在社交网络数据220中定义。
如下更详细讨论的一样，图像裁剪模块212配置成基于用于相关社交网络群的捕捉的数字图像，生成子图像。例如，对于每个相关社交网络群，图像裁剪模块212生成裁剪包含目标和裁剪排除目标，分别列出在对应子图像中包括和从中排除的主体。图像裁剪模块212可参考内容策略216，以识别要从子图像排除的主体，例如，为每个社交网络群识别可能令人反感或令人不快的对象或事件。生成子图像时，图像裁剪模块212应用一个或更多个构图规则218以控制生成的子图像的外观。
社交网络数据220可包括描述或分类成像装置102的用户的社交联系人的任何数据。社交网络数据220将用户的联系人组织成社交网络群的集合。社交网络群可由用户例如通过将联系人编组成诸如朋友、家人、同事等群或其它群来定义。在一些实施例中，可基于在社交网络数据220中存储的联系人之间的关系，确定社交网络群。另外，社交网络数据220可定义在社交网络群与各种对象或事件之间的关联。例如，社交网络群可包括喜欢某个特定对象或事件的联系人，如体育迷、汽车爱好者、影院观众和其它类似的关联。在一些实施例中，社交网络数据220可实施为定向图，节点表示特定联系人、对象、事件或社交网络群，边缘表示在节点之产是关系。另外或备选，社交网络数据220可实施为联系人信息的数据库或平面列表，如联系人列表、地址簿或类似的数据结构。社交网络数据220可由成像装置102在本地存储，或者可存储在一个或更多个远程社交网络服务器104上。
内容策略216可包括基于相关联社交网络群，是在裁剪的子图像中包括识别的主体还是从中排除识别的主体的规则集。例如，内容策略216可包括对于每个社交网络群，令人反感、令人不快、不相关或者不合需要的对象或事件集。因此，图像裁剪模块212可基于子图像的受从，从子图像自动过滤不当的内容。内容策略216可由成像装置102的用户配置和/或随时间的过去而了解到或者进行更新。
构图规则218可实施为描述在审美上令人愉悦的图像构图的规则或策略集。每个构图规则218可包括描述生成的子图像内主体的适当位置、适当的图像分辨率和纵横比、子图像内主体的适当大小和数量和/或生成的子图像的构图的其它方面的规则或策略。如下更详细讨论的一样，图像裁剪模块212可查询构图规则218以确定哪些构图规则218在应用到特定数字图像时将成功生成可接受的子图像。可以优先级的预确定顺序应用，或者如成像装置102的用户指定般应用构图规则218。构图规则218可基于传统全息摄影技术，例如包括三分规则和肖像构图规则。在其它构图规则218不能生成可接受的子图像时，构图规则218也可包括后退规则。
仍参照图2，成像装置102可与一个或更多个社交网络服务器104进行通信，每个社交网络服务器可在操作期间建立环境240。说明性环境240包括社交网络数据220，并且可包括裁剪的图像数据242。社交网络数据220配置成执行与如上所述相同的功能。裁剪的图像数据242配置成存储由成像装置102生成和由其接收的裁剪的子图像。裁剪的图像数据242将对子图像的接入限制到适当社交网络群的成员。环境240的各种模块可实施为硬件、固件、软件或其组合。
另外，成像装置102可与图像存储库服务器106进行通信，图像存储库服务器可在操作期间建立环境260。说明性环境260包括配置成执行与如上所述相同的功能的裁剪的图像数据242。环境260的各种模块可实施为硬件、固件、软件或其组合。
现在参照图3，在使用中，成像装置102可执行用于自动化图像裁剪和分享的方法300。方法300从框302开始，在该框中，成像装置102捕捉数字图像。成像装置102可使用相机140捕捉新图像，或者成像装置102可选择现有图像。现有图像可以前已由成像装置102使用相机140捕捉，或者可已从诸如单独的数字相机等另一装置接收。
在框304中，成像装置102处理数字图像。例如，在框306中，成像装置102处理数字图像以检测数字图像中表示的主体。检测到的主体可包括由数字图像表示，可提供诸如人脸、人、对象或事件等用于组织或分享的基础的任何特征。主体的检测包括确定数字图像中主体的存在以及确定数字图像中主体的相对位置。主体的位置可通过边界框描述，边界框是包含检测到的主体的数字图像的最小矩形区域。在框308中，成像装置102处理数字图像以识别检测到的主体。通过将识别信息与特定主体相关联，可识别主体。例如，通过确定诸如姓名或社交网络配置文件等识别信息，可识别检测到的人。通过分类，标记或以其它方式将语义信息与检测到的主体（例如，对象的形状）相关联，可识别检测到的对象或事件。成像装置102可执行任何已知算法以检测和/或识别数字图像内的主体。在一些实施例中，成像装置102可使用数字图像数据外的另外数据以检测和/或识别主体。例如，成像装置102可使用从情景传感器136收到的情景数据，或者从深度相机收到的三维深度数据。
在框310中，在一些实施例中，成像装置102可执行脸部检测和识别，以检测和识别数字图像中表示的主体。可使用用于脸部检测和识别的任何已知机器学习技术，如从简单特征的增强级联的快速检测。在Paul Viola和Michael J.Jones所著“鲁棒的实时脸部检测”(Robust Real-Time Face Detection, 57 Int'l J.Comp.Vision 137 (2004))、Andrew Wagner等人所著“关于实用脸部识别系统：通过稀疏表示的鲁棒对齐和照明”(Towards a Practical Face Recognition System: Robust Alignment andIllumination by Sparse Representation, 34 IEEE Transactions on PatternAnalysis & Machine Intelligence 372 (2012))中描述了示例脸部检测和识别算法。识别的脸部可与社交网络数据220中所述的特定人员或配置文件相关联。
在框312中，在一些实施例中，成像装置102可执行对象和/或事件识别和/或检测。可使用用于检测，分类或识别对象和事件的任何已知机器学习技术。例如，使用包括例如Naive Bayes、Latent Dirichlet分配(Latent Dirichlet Allocation)和有关特征分层结构的提升(Boosting on a feature hierarchy)等基于特征和统计技术的词袋(Bags ofwords)的算法，能够检测和识别对象和事件，如在Gabriella Csurka等人所著“通过关键点袋的视觉分类”(Visual Categorization with Bags of Keypoints, Proc.of ECCV Int'l Workshop on Statistical Learning in Computer Vision (2004))、Li Fei-Fei和Pietro Perona等人所著“用于学习自然场景类别的贝叶斯分层模型”(A BayesianHierarchial Model for Learning Natural Scene Categories, Proc.of IEEEComputer Vision & Pattern Recognition 524 (2005))。成像装置102也可使用由情景传感器136或由成像装置102的应用程序生成的另外情景数据以识别图像中示出的对象或事件。例如，考虑图像示出被识别为与“体育”或“棒球”相关联的对象，如运动场、体育馆、棒球运动员等。成像装置102可使用由定位电路138生成的位置信息，以确定在图像中表示的特定体育馆的身份。成像装置102可使用票务、支付或调度信息确定图像中表示的特定体育事件或体育队。该情景信息可由在成像装置102上执行的应用程序生成，如日历应用程序、票务应用程序或移动支付应用程序。
现在参照图5，图中示出包括几个识别的主体的示例数字图像500。图像500包括三个识别的脸502、504和506。脸502已被识别为用户的朋友，脸504已被识别为用户，以及脸506已被识别为用户的父亲。图像500也包括两个识别的对象和/或事件508、510。对象508已被识别为棒球运动员。事件510已被识别为棒球比赛。当然，棒球运动员508也是某个人，并且在一些实施例中，棒球运动员508的脸也可以是识别的主体。
再参照图3，在框314中，成像装置102基于识别的主体，将相关社交网络群关联到数字图像。如上所述，社交网络数据220描述在用户已知的人之间的关系。那些关系可包括人的分组，例如，用户的家人和朋友。社交网络数据220也可描述人或人群的属性或兴趣。成像装置102基于在图像中识别的主体，确定相关社交网络群。如上所述，成像装置102可接收来自一个或更多个社交网络服务器104的社交网络数据220。
在框316中，在一些实施例中，成像装置102将图像中识别的脸与社交网络群关联。成像装置102可确定与每个识别的脸相关联的社交网络配置文件，并且又将用于该社交网络配置文件的所有社交网络群关联到识别的脸。那些分组可由用户预定义，或者可由成像装置102基于社交网络数据220确定。例如，成像装置102可基于在社交网络数据220中描述的关系，确定与数字图像中表示的每个主体有直接关系的一群人。换而言之，成像装置102可确定在用户的社交网络内与数字图像的主体具有关系的所有人。例如，再次参照图5，成像装置102可将识别的朋友502和用户504与社交网络数据220的“朋友”社交网络群相关联。成像装置102可还将识别的用户504和父亲506与社交网络数据220的“家人”社交网络群相关联。
再参照图3，在框318中，在一些实施例中，成像装置102可将识别的对象和/或事件与社交网络群相关联。如上所述，社交网络数据220可将对象、兴趣、位置或其它语义信息与社交网络群相关联。例如，参照图5，成像装置102可将棒球运动员508和棒球赛510与和棒球关联的一个或更多个社交网络群相关联。在一些实施例中，成像装置102可在不同级别的特异性将对象和事件508、510与几个社交网络群相关联：例如，大众体育群、更具体的棒球群和针对棒球赛510的特定队的高度具体的球迷群。
再参照图3，在框320中，成像装置102为识别为与图像相关联的每个社交网络群确定裁剪包括目标和裁剪排除目标。裁剪包括和排除目标基于相关联的社交网络群，定义将包括在每个子图像中或者从中排除的在图像中识别的特定主体。在框322中，在一些实施例中，成像装置102基于社交网络数据220，包括和排除主体。例如，成像装置102可包括来自相同社交网络群的识别的人，并且排除不在相同社交网络群的人。另外或备选，成像装置102可包括与特定社交网络群相关联的对象或事件，并且排除在图像中所有突出的脸。
现在参照图6A，图中示出图像500的说明性生成的子图像602。子图像602与上述朋友社交网络群相关联。相应地，裁剪包括目标说明性地包括朋友502和用户504，并且裁剪排除目标包括父亲506。对象或事件508、510可包括或未包括在裁剪排除目标中。现在参照图6B，另一说明性生成的子图像604与如上所述体育社交网络群相关联。相应地，用于子图像604的裁剪包括目标说明性地包括棒球运动员508和棒球赛510，并且裁剪排除目标包括所有脸502、504、506。现在参照图6C，说明性生成的子图像606与上述家庭社交网络群相关联。相应地，用于子图像606的裁剪包括目标说明性地包括用户504和父亲506，并且裁剪排除目标包括朋友502。对象或事件508、510可包括或未包括在裁剪包括目标中。
再参照图3，在一些实施例中，在框324中，成像装置102可基于与每个社交网络群相关联的内容策略216，包括和排除对象。内容策略216可为每个社交网络群定义用户不想与社交网络群分享的令人反感的内容、不相关内容或其它对象。例如，内容策略216可定义诸如啤酒瓶等酒精有关的对象不应与家人社交网络群分享。在此类示例中，成像装置102可将检测到的啤酒瓶添加到用于与家人社交网络群相关联的子图像的裁剪排除目标。
在框326中，成像装置102基于裁剪目标，裁剪数字图像以生成用于相关社交网络群的子图像。在框328中，成像装置102在生成子图像的同时应用一个或更多个构图规则218。构图规则218允许成像装置102基于要包括在每个子图像中和/或从中排除的特定主体，自动生成在审美上令人愉悦的子图像。下面结合图4，进一步描述用于应用构图规则218的方法的一个实施例。
在一些实施例中，在框330中，成像装置102可显示交互式图像裁剪选择。成像装置102可生成要生成的子图像的一个或更多个预览表示，并且使用显示器134显示预览。可使用一个或更多个构图规则218，生成预览子图像。用户可使用成像装置102的用户界面，接受，拒绝或修改提议的裁剪的子图像。在一些实施例中，在框332中，成像装置102可添加注释到生成的子图像。例如，成像装置102可基于识别的主体，将文本或图像标签添加到生成的子图像。在一些实施例中，例如通过添加卡通人物、新颖陈述或诸如此类，可注释图像以实现幽默效应。
在框334中，成像装置102分享生成的数字图像。分享生成的子图像使子图像可用于特定的一组人或特定社交网络群。为分享子图像，成像装置102可将子图像传送到一个或更多个社交网络服务器104或图像存储库服务器106。生成的子图像可作为裁剪的图像242存储在服务器104、106上。备选或另外，生成的子图像可由成像装置102直接传送到最终用户。例如，成像装置102可通过电子邮件、即时消息、文本消息、直接文件传送或类似技术，将生成的子图像传送到与接收人相关联的一个或更多个计算装置。在一些实施例中，在框336中，成像装置102可与相关社交网络群分享每个生成的子图像。例如，成像装置102可与在子图像中识别的人的社交网络群分享生成的子图像。又如，成像装置102可与在子图像中识别的对象和/或事件相关联的社交网络群分享生成的子图像。在一些实施例中，在框338中，成像装置102可与用户定义的接收人的群分享生成的子图像。例如，用户可选择与其分享特定子图像的联系人的任意群。在分享子图像后，方法300环回到框302以捕捉另外的图像。
现在参照图4，在使用中，成像装置102可执行用于使用一个或更多个构图规则218生成子图像的方法400。如上所述，成像装置102可为与数字图像相关的每个社交网络群生成裁剪包括目标集和裁剪排除目标集。方法400从框402开始，在该框中，成像装置102从裁剪排除目标检索用于子图像的下一排除的主体。如上所述，排除的主体可包括与特定社交网络群不相关联的识别的人、要从聚焦在对象或事件的子图像排除的突出的脸或基于策略216要排除的对象。
在框404中，成像装置102缩小边界框以裁剪排除的主体。边界框是对应于要生成的子图像的数字图像的矩形或其它几何形状的区域。边界框最初设置为整个数字图像，并且因此包括所有裁剪包括目标及裁剪排除目标。边界框大小缩小以不包括排除的主体，同时仍包括所有裁剪包括目标。在一些实施例中，不可能在边界框中仍包括所有裁剪包括目标的同时，不包括排除的主体；例如，要排除的人周围可以是在子图像中要包括的人。在一些实施例中，成像装置102可确定边界框不存在。另外，在一些实施例中，成像装置102可利用其它方法如选择的图像模糊来裁剪或去除排除的主体。
在框406中，成像装置102确定要排除的另外主体是否仍在裁剪排除目标中。如果另外的主体仍存在，则方法400环回到框402以继续调整边界框。如果无另外的主体仍存在，则方法400前进到框408。虽然描述和示为按顺序发生，但在一些实施例中，可平行处理排除列表。
在框408中，成像装置102确定三分规则构图规则218是否匹配子图像，即，三分规则构图规则218是否基于边界框和包括的主体，生成可接受的子图像。所谓的“三分规则”是用于构成在审美上令人愉悦的图像的熟知准则。根据三分规则，带有定位在沿某个图像维的大约三分之一路线的主体的图像往往在审美上令人愉悦。例如，参照图6C，根据三分规则构成说明性子图像606。主体504、506定位在跨子图像606的宽度608的路线的大约三分之一处。再参照图4，成像装置102可通过临时缩小边界框的大小，直至满足三分规则构图规则218，并且随后确定生成的子图像是否具有充分的分辨率，包括裁剪包括列表的所有主体，或其它图像准则，确定三分规则构图规则218是否生成可接受的子图像。如果边界框不存在，则如上所述，成像装置102可确定三分规则构图策略不匹配子图像。在一些实施例中，成像装置102可例如使用显示器向用户显示临时子图像，并且允许用户确定三分规则构图规则218是否生成可接受的子图像。如果三分规则构图规则218匹配，则方法400转到分支框410，其中，成像装置102根据三分规则构图规则218，调整边界框。在调整边界框后，方法400前进到下述框418。再参照框408，如果三分规则构图规则218不匹配，方法400前进到框412。
在框412中，成像装置102确定肖像构图规则218是否匹配子图像，即，肖像构图规则218是否基于边界框和包括的主体，生成可接受的子图像。肖像构图规则218指定主体应大致居中在生成的子图像中。例如，参照图6A和6B，根据肖像构图规则218构成说明性子图像602、604。在子图像602中，脸502、504居中在大约子图像602的中心610。在子图像604中，棒球赛510定位在大约子图像604的中心610。再参照图4，成像装置102可通过临时缩小边界框的大小，直至满足肖像构图规则218，并且随后确定生成的子图像是否具有充分的分辨率，具有可接受的图像纵横比，包括是人脸的多个主体，或其它图像准则，确定肖像构图规则218是否生成可接受的子图像。如果边界框不存在，则如上所述，成像装置102可确定肖像构图策略不匹配子图像。在一些实施例中，成像装置102可例如使用显示器向用户显示临时子图像，并且允许用户确定肖像构图规则218是否生成可接受的子图像。如果肖像构图规则218匹配，则方法400转到分支框414，其中，成像装置102根据肖像构图规则218，调整边界框。在调整边界框后，方法400前进到下述框418。再参照框412，如果肖像构图规则218不匹配，方法400前进到框416。
在框416中，成像装置102设置边界框以包括包含裁剪包括列表的所有主体的最小边界框，并且对边界框内的任何排除的主体进行模糊处理。成像装置102可通过对排除的主体进行模糊处理，或者通过在排除的主体内画出图像，如黑条、卡通人物、新颖图像或类似图像，对排除的主体进行模糊处理。在其它实施例中，在其它构图规则218均未产生可接受的子图像时，成像装置102可执行任何其它后退操作以生成可接受的子图像。
在框418中，在一些实施例中，成像装置102可将图像重新聚焦到对应于在子图像中包括的一个或更多个主体的深度层。例如，光场相机140或类似的相机阵列可以能够将图像重新聚焦在特定深度，从而允许在将图像的其它部分渲染为失焦的同时凸显要渲染的包括的主体。在一些实施例中，成像装置102可基于深度相机140确定的深度信息，在算法上对部分图像进行模糊处理或凸显处理。
在框420中，成像装置102基于边界框，裁剪数字图像以生成子图像。成像装置102可渲染用于子图像的新图像文件，或者可记录边界框和渲染子图像要求的其它参数。在生成用于社交网络群的子图像后，方法400结束。可为其它社交网络群多次调用方法400。
说明性方法400包括以优先级的预确定顺序评估的三个构图规则218 - 三分规则、肖像规则和后退规则。在其它实施例中，成像装置102可评估另外的构图规则218。例如，成像装置102可评估一半一半构图规则218以生成半个子图像专用于前景主体，半个子图像专用于背景主体的子图像。另外或备选，在一些实施例中，构图规则218的优先级或适用性可取决于子图像的社交网络群和/或子图像的特定主体。例如，对于基于喜欢体育的社交网络群，成像装置102可优选用于包括体育图像的子图像的肖像构图规则218。又如，对于包括在相同社交网络群中多人的子图像（例如，群体像），成像装置102可优选肖像构图规则218。
示例
下面提供了本文中公开的技术的说明性示例。技术的一实施例可包括一个或更多个下述示例及其任何组合。
示例1包括一种用于自动化图像裁剪的成像装置，成像装置包括：捕捉数字图像的图像捕捉模块；识别数字图像中表示的第一主体的主体识别模块；确定第一主体关联的第一社交网络群的社交网络模块；以及基于内容规则策略，裁剪数字图像以生成包括第一主体的子图像的图像裁剪模块，构图规则策略包括基于识别的第一主体，定义子图像的构图的规则集。
示例2包括示例1的主题，并且还包括图像分享模块以便与第一社交网络群分享子图像。
示例3包括示例1和2任一项的主题，并且其中识别第一主体包括检测数字图像中表示的人脸的位置和特征；检测数字图像中表示的对象的位置和身份；或者检测在数字图像中表示的事件。
示例4包括示例1-3任一项的主题，并且其中识别第一主体包括基于从成像装置的情景传感器收到的情景数据，识别数字图像中表示的事件。
示例5包括示例1-4任一项的主题，并且其中识别事件包括基于数字图像的捕捉位置或数字图像的捕捉日期，识别事件。
示例6包括示例1-5任一项的主题，并且其中识别第一主体包括基于由成像装置的应用程序生成的情景数据，识别数字图像中表示的事件。
示例7包括示例1-6任一项的主题，并且其中基于情景数据，识别事件包括基于由成像装置的应用程序生成的票务数据、移动支付数据或日历数据，识别事件。
示例8包括示例1-7任一项的主题，并且其中社交网络模块还要接收来自社交网络服务器的社交网络数据，社交网络数据将第一主体和第一社交网络群相关联；其中确定第一社交网络群包括基于社交网络数据，确定第一社交网络群。
示例9包括示例1-8任一项的主题，并且其中主体识别模块还将识别数字图像中表示的第二主体；以及确定第二主体与第一社交网络群不相关联；其中裁剪数字图像还包括从子图像排除第二主体。
示例10包括示例1-9任一项的主题，并且其中社交网络模块还将确定第二主体关联的第二社交网络群，其中第一主体与第二社交网络群不相关联；图像裁剪模块还将基于构图规则策略，裁剪数字图像以生成包括第二主体并且排除第一主体的第二子图像，构图规则策略包括基于识别的第二主体，定义第二子图像的构图的规则集；以及成像装置还包括图像分享模块以便(i)与第一社交网络群分享子图像和(ii)与第二社交网络群分享第二子图像。
示例11包括示例1-10任一项的主题，并且其中主体识别模块还将识别数字图像中表示的第二主体；其中裁剪数字图像还包括根据在成像装置上存储的内容策略，从子图像排除第二主体，内容策略包括基于第一社交网络群，定义是包括还是排除第二主体的规则集。
示例12包括示例1-11任一项的主题，并且其中识别第二主体包括识别数字图像中表示的对象。
示例13包括示例1-12任一项的主题，并且其中构图规则策略包括三分规则构图规则策略；并且基于内容规则策略，裁剪数字图像包括调整子图像的大小以便将第一主体定位在沿子图像的某个维三分之一的位置。
示例14包括示例1-13任一项的主题，并且其中构图规则策略包括肖像构图规则策略；并且基于构图规则策略，裁剪数字图像包括调整子图像的大小以使第一主体居中在子图像中。
示例15包括示例1-14任一项的主题，并且其中主体识别模块还将识别数字图像中表示的第二主体；并且社交网络模块还将确定第二主体与第一社交网络群不相关联；其中基于构图规则策略，裁剪数字图像包括确定三分规则构图规则策略是否生成包括第一主体并且排除第二主体的可接受的子图像；确定肖像构图规则策略是否生成包括第一主体并且排除第二主体的可接受的子图像；以及响应确定三分规则构图规则策略未生成可接受的子图像和确定肖像构图规则策略未生成可接受的子图像，应用后退构图规则策略，其中应用后退构图规则策略包括裁剪数字图像以基于包含第一主体的最小边界框，生成子图像；以及对子图像中的第二主体进行模糊处理。
示例16包括示例1-15任一项的主题，并且其中对第二主体进行模糊处理包括对第二主体进行模糊处理，或者在第二主体内画出图像。
示例17包括示例1-16任一项的主题，并且还包括深度相机，其中捕捉数字图像包括使用深度相机捕捉与数字图像相关联的深度数据；并且识别第一主体包括使用与数字图像相关联的深度数据，识别第一主体。
示例18包括示例1-17任一项的主题，并且其中裁剪数字图像还包括对数字图像进行重新聚焦以聚焦在第一主体上。
示例19包括一种用于自动化图像裁剪的方法，方法包括由成像装置捕捉数字图像；由成像装置识别数字图像中表示的第一主体；由成像装置确定第一主体关联的第一社交网络群；以及由成像装置并且基于内容规则策略，裁剪数字图像以生成包括第一主体的子图像的图像裁剪模块，构图规则策略包括基于识别的第一主体，定义子图像的构图的规则集。
示例20包括示例19的主题，并且还包括由成像装置与第一社交网络群分享子图像。
示例21包括示例19和20任一项的主题，并且其中识别第一主体包括检测数字图像中表示的人脸的位置和特征；检测数字图像中表示的对象的位置和身份；或者检测在数字图像中表示的事件。
示例22包括示例19-21任一项的主题，并且其中识别第一主体包括基于从成像装置的情景传感器收到的情景数据，识别数字图像中表示的事件。
示例23包括示例19-22任一项的主题，并且其中识别事件包括基于数字图像的捕捉位置或数字图像的捕捉日期，识别事件。
示例24包括示例19-23任一项的主题，并且其中识别第一主体包括基于由成像装置的应用程序生成的情景数据，识别数字图像中表示的事件。
示例25包括示例19-24任一项的主题，并且其中基于情景数据，识别事件包括基于由成像装置的应用程序生成的票务数据、移动支付数据或日历数据，识别事件。
示例26包括示例19-25任一项的主题，并且还包括由成像装置接收来自社交网络服务器的社交网络数据，社交网络数据将第一主体和第一社交网络群相关联；其中确定第一社交网络群包括基于社交网络数据，确定第一社交网络群。
示例27包括示例19-26任一项的主题，并且还包括由成像装置识别数字图像中表示的第二主体；以及由成像装置确定第二主体与第一社交网络群不相关联；其中裁剪数字图像还包括从子图像排除第二主体。
示例28包括示例19-27任一项的主题，并且其中还包括由成像装置确定第二主体关联的第二社交网络群，其中第一主体与第二社交网络群不相关联；由成像装置并且基于构图规则策略，裁剪数字图像以生成包括第二主体并且排除第一主体的第二子图像，构图规则策略包括基于识别的第二主体，定义第二子图像的构图的规则集；以及由成像装置与第一社交网络群分享子图像；以及由成像装置与第二社交网络群分享第二子图像。
示例29包括示例19-28任一项的主题，还包括由成像装置识别数字图像中表示的第二主体；其中裁剪数字图像还包括根据在成像装置上存储的内容策略，从子图像排除第二主体，内容策略包括基于第一社交网络群，定义是包括还是排除第二主体的规则集。
示例30包括示例19-29任一项的主题，并且其中识别第二主体包括识别数字图像中表示的对象。
示例31包括示例19-30任一项的主题，并且其中基于构图规则策略，裁剪数字图像包括应用三分规则构图规则策略，其中应用三分规则构图规则策略包括调整子图像的大小以便将第一主体定位在沿子图像的某个维三分之一的位置。
示例32包括示例19-31任一项的主题，并且其中基于构图规则策略，裁剪数字图像包括应用肖像构图规则策略，其中应用肖像构图规则策略包括调整子图像的大小以使第一主体居中在子图像中。
示例33包括示例19-32任一项的主题，并且还包括由成像装置识别数字图像中表示的第二主体；并且由成像装置确定第二主体与第一社交网络群不相关联；其中基于构图规则策略，裁剪数字图像包括：确定三分规则构图规则策略是否生成包括第一主体并且排除第二主体的可接受的子图像；确定肖像构图规则策略是否生成包括第一主体并且排除第二主体的可接受的子图像；以及响应确定三分规则构图规则策略未生成可接受的子图像和确定肖像构图规则策略未生成可接受的子图像，应用后退构图规则策略，其中应用后退构图规则策略包括裁剪数字图像以基于包含第一主体的最小边界框，生成子图像；以及对子图像中的第二主体进行模糊处理。
示例34包括示例19-33任一项的主题，并且其中对第二主体进行模糊处理包括对第二主体进行模糊处理，或者在第二主体内画出图像。
示例35包括示例18-34任一项的主题，并且其中捕捉数字图像包括使用成像装置的深度相机，捕捉与数字图像相关联的深度数据；并且识别第一主体包括使用与数字图像相关联的深度数据，识别第一主体。
示例36包括示例19-35任一项的主题，并且其中裁剪数字图像还包括对数字图像进行重新聚焦以聚焦在第一主体上。
示例37包括计算装置，计算装置包括处理器和其中存储有多个指令的存储器，指令在由处理器执行时，促使计算装置执行如示例19-36任一项所述的方法。
示例38包括一个或更多个机器可读存储介质，存储介质包括在其上存储的多个指令，指令响应被执行，促使计算装置执行如示例19-36任一项所述的方法。
示例39包括一种计算装置，计算装置包括用于执行如示例19-36任一项的方法的部件。

Claims (25)

1.一种用于自动化图像裁剪的成像装置，所述成像装置包括：
用来捕捉数字图像的图像捕捉模块；
用来识别所述数字图像中表示的第一主体的主体识别模块；
用来确定所述第一主体关联的第一社交网络群的社交网络模块；以及
用来基于内容规则策略，裁剪所述数字图像以生成包括所述第一主体的子图像的图像裁剪模块，构图规则策略包括基于所述识别的第一主体，定义所述子图像的所述构图的规则集。
2.如权利要求1所述的成像装置，还包括图像分享模块以便与所述第一社交网络群分享所述子图像。
3.如权利要求1所述的成像装置，其中识别所述第一主体包括：
检测所述数字图像中表示的人脸的位置和特征；
检测所述数字图像中表示的对象的位置和身份；或者检测所述数字图像中表示的事件。
4.如权利要求1所述的成像装置，其中识别所述第一主体包括基于从所述成像装置的情景传感器收到的情景数据，识别所述数字图像中表示的事件。
5.如权利要求4所述的成像装置，其中识别所述事件包括基于所述数字图像的捕捉位置或所述数字图像的捕捉日期，识别事件。
6.如权利要求1所述的成像装置，其中识别所述第一主体包括基于由所述成像装置的应用程序生成的情景数据，识别所述数字图像中表示的事件。
7.如权利要求6所述的成像装置，其中基于所述情景数据识别所述事件包括基于由所述成像装置的应用程序生成的票务数据、移动支付数据或日历数据识别所述事件。
8.如权利要求1所述的成像装置，其中所述社交网络模块还要接收来自社交网络服务器的社交网络数据，所述社交网络数据将所述第一主体和所述第一社交网络群相关联；
其中确定所述第一社交网络群包括基于所述社交网络数据，确定所述第一社交网络群。
9.如权利要求1-8任一项所述的成像装置，其中所述主体识别模块还将：
识别所述数字图像中表示的第二主体；以及
确定所述第二主体与所述第一社交网络群不相关联；
其中裁剪所述数字图像还包括从所述子图像排除所述第二主体。
10.如权利要求9所述的成像装置，其中：
所述社交网络模块还将确定所述第二主体关联的第二社交网络群，其中，所述第一主体与所述第二社交网络群不相关联；
所述图像裁剪模块还将基于构图规则策略，裁剪所述数字图像以生成包括所述第二主体并且排除所述第一主体的第二子图像，所述构图规则策略包括基于所述识别的第二主体，定义所述第二子图像的所述构图的规则集；以及
所述成像装置还包括图像分享模块以便(i)与所述第一社交网络群分享所述子图像和(ii)与所述第二社交网络群分享所述第二子图像。
11.如权利要求1-8任一项所述的成像装置，其中所述主体识别模块还将识别所述数字图像中表示的第二主体：
其中裁剪所述数字图像还包括根据在所述成像装置上存储的内容策略，从所述子图像排除所述第二主体，所述内容策略包括基于所述第一社交网络群，定义是包括还是排除所述第二主体的规则集。
12.如权利要求1-8任一项所述的成像装置，其中：
所述主体识别模块还将识别所述数字图像中表示的第二主体；以及
所述社交网络模块还将确定所述第二主体与所述第一社交网络群不相关联；
其中基于所述构图规则策略，裁剪所述数字图像包括：
确定三分规则构图规则策略是否生成包括所述第一主体并且排除所述第二主体的可接受的子图像；
确定肖像构图规则策略是否生成包括所述第一主体并且排除所述第二主体的可接受的子图像；以及
响应确定所述三分规则构图规则策略未生成可接受的子图像和确定所述肖像构图规则策略未生成可接受的子图像，应用后退构图规则策略，其中应用所述后退构图规则策略包括：
裁剪所述数字图像以基于包含所述第一主体的最小边界框，生成所述子图像；以及
对所述子图像中的所述第二主体进行模糊处理。
13.如权利要求1-8任一项所述的成像装置，还包括深度相机，其中：
捕捉所述数字图像包括使用所述深度相机，捕捉与所述数字图像相关联的深度数据；
识别所述第一主体包括使用与所述数字图像相关联的所述深度数据，识别所述第一主体；以及
裁剪所述数字图像还包括对所述数字图像进行重新聚焦，以聚焦在所述第一主体上。
14.一种用于自动化图像裁剪的方法，所述方法包括：
由成像装置捕捉数字图像；
由所述成像装置识别所述数字图像中表示的第一主体；
由所述成像装置确定所述第一主体关联的第一社交网络群；以及
由所述成像装置并且基于内容规则策略，裁剪所述数字图像以生成包括所述第一主体的子图像，构图规则策略包括基于所述识别的第一主体，定义所述子图像的所述构图的规则集。
15.如权利要求14所述的方法，还包括由所述成像装置与所述第一社交网络群分享所述子图像。
16.如权利要求14所述的方法，其中识别所述第一主体包括：
检测所述数字图像中表示的人脸的位置和特征；
检测所述数字图像中表示的对象的位置和身份；或者
检测所述数字图像中表示的事件。
17.如权利要求14所述的方法，其中识别所述第一主体包括基于由所述成像装置的应用程序生成的情景数据，识别所述数字图像中表示的事件。
18.如权利要求14所述的方法，还包括：
由所述成像装置识别所述数字图像中表示的第二主体；以及
由所述成像装置确定所述第二主体与所述第一社交网络群不相关联；
其中裁剪所述数字图像还包括从所述子图像排除所述第二主体。
19.如权利要求18所述的方法，还包括：
由所述成像装置确定所述第二主体关联的第二社交网络群，其中，所述第一主体与所述第二社交网络群不相关联；
由所述成像装置并且基于构图规则策略，裁剪所述数字图像以生成包括所述第二主体并且排除所述第一主体的第二子图像，所述构图规则策略包括基于所述识别的第二主体，定义所述第二子图像的所述构图的规则集；以及
由所述成像装置与所述第一社交网络群分享所述子图像；以及
由所述成像装置与所述第二社交网络群分享所述第二子图像。
20.如权利要求14所述的方法，还包括：
由所述成像装置识别所述数字图像中表示的第二主体；
其中裁剪所述数字图像还包括根据在所述成像装置上存储的内容策略，从所述子图像排除所述第二主体，所述内容策略包括基于所述第一社交网络群，定义是包括还是排除所述第二主体的规则集。
21.如权利要求14所述的方法，其中基于所述构图规则策略，裁剪所述数字图像包括：
应用三分规则构图规则策略，其中应用所述三分规则构图规则策略包括调整所述子图像大小以便将所述第一主体定位在沿所述子图像的某个维三分之一的位置；或者
应用肖像构图规则，其中应用所述肖像构图规则策略包括调整所述子图像以使所述第一主体居中在所述子图像中。
22.如权利要求14所述的方法，还包括：
由所述成像装置识别所述数字图像中表示的第二主体；以及
由所述成像装置确定所述第二主体与所述第一社交网络群不相关联；
其中基于所述构图规则策略，裁剪所述数字图像包括：
确定三分规则构图规则策略是否生成包括所述第一主体并且排除所述第二主体的可接受的子图像；
确定肖像构图规则策略是否生成包括所述第一主体并且排除所述第二主体的可接受的子图像；以及
响应确定所述三分规则构图规则策略未生成可接受的子图像和确定所述肖像构图规则策略未生成可接受的子图像，应用后退构图规则策略，其中应用所述后退构图规则策略包括：
裁剪所述数字图像以基于包含所述第一主体的最小边界框，生成所述子图像；以及
对所述子图像中的所述第二主体进行模糊处理。
23.一种计算装置，包括：
处理器；以及
其中存储有多个指令的存储器，所述指令在由所述处理器执行时，促使所述计算装置执行如权利要求14-22任一项所述的方法。
24.一个或更多个机器可读存储介质，包括在其上存储的多个指令，所述指令响应被执行，促使计算装置执行如权利要求14-22任一项所述的方法。
25.一种计算装置，包括用于执行如权利要求14-22任一项所述的方法的部件。
CN201380078957.1A 2013-09-18 2013-09-18 自动化图像裁剪和分享 Active CN105659286B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2013/060340 WO2015041641A1 (en) 2013-09-18 2013-09-18 Automated image cropping and sharing

Publications (2)

Publication Number Publication Date
CN105659286A true CN105659286A (zh) 2016-06-08
CN105659286B CN105659286B (zh) 2021-09-28

Family

ID=52689181

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380078957.1A Active CN105659286B (zh) 2013-09-18 2013-09-18 自动化图像裁剪和分享

Country Status (5)

Country Link
US (2) US9633046B2 (zh)
EP (2) EP3413263A1 (zh)
KR (1) KR101759453B1 (zh)
CN (1) CN105659286B (zh)
WO (1) WO2015041641A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106875433A (zh) * 2017-03-09 2017-06-20 广东欧珀移动通信有限公司 裁剪构图的控制方法、控制装置及电子装置
CN107317962A (zh) * 2017-05-12 2017-11-03 广东网金控股股份有限公司 一种智能拍照裁剪构图系统及使用方法
CN108566512A (zh) * 2018-03-21 2018-09-21 珠海市魅族科技有限公司 一种智能拍摄方法、装置、计算机设备及可读存储介质
CN109919156A (zh) * 2019-03-13 2019-06-21 网易传媒科技（北京）有限公司 图像裁剪预测模型的训练方法、介质、装置及计算设备
CN110612531A (zh) * 2017-04-28 2019-12-24 微软技术许可有限责任公司 数字图像的智能自动裁剪
CN111010590A (zh) * 2018-10-08 2020-04-14 传线网络科技（上海）有限公司 一种视频裁剪方法及装置
CN112057872A (zh) * 2020-09-10 2020-12-11 重庆五诶科技有限公司 一种隐私信息保护系统及方法
CN112424738A (zh) * 2018-05-18 2021-02-26 利玛格有限公司 在网络协作工作空间中通过网络套接字连接来传播裁剪图像的方法，装置和计算机可读介质
CN112446255A (zh) * 2019-08-31 2021-03-05 华为技术有限公司 一种视频图像处理方法及装置
CN116088740A (zh) * 2022-05-30 2023-05-09 荣耀终端有限公司 界面处理方法和装置
CN116543004A (zh) * 2023-07-05 2023-08-04 荣耀终端有限公司 图像裁切方法、装置、终端设备及计算机可读存储介质

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10289863B2 (en) 2013-10-10 2019-05-14 Elwha Llc Devices, methods, and systems for managing representations of entities through use of privacy beacons
US10013564B2 (en) 2013-10-10 2018-07-03 Elwha Llc Methods, systems, and devices for handling image capture devices and captured images
US9799036B2 (en) 2013-10-10 2017-10-24 Elwha Llc Devices, methods, and systems for managing representations of entities through use of privacy indicators
US10102543B2 (en) 2013-10-10 2018-10-16 Elwha Llc Methods, systems, and devices for handling inserted data into captured images
US10834290B2 (en) 2013-10-10 2020-11-10 Elwha Llc Methods, systems, and devices for delivering image data from captured images to devices
US10346624B2 (en) * 2013-10-10 2019-07-09 Elwha Llc Methods, systems, and devices for obscuring entities depicted in captured images
EP3151535A1 (en) * 2015-09-29 2017-04-05 Thomson Licensing Plenoptic camera having an array of sensors for generating digital images and method of capturing an image using a plenoptic camera
CN105528786B (zh) * 2015-12-04 2019-10-01 小米科技有限责任公司 图像处理方法及装置
CN105872193A (zh) * 2015-12-08 2016-08-17 乐视移动智能信息技术（北京）有限公司 分享壁纸图片的方法、装置及移动终端
US9886651B2 (en) * 2016-05-13 2018-02-06 Microsoft Technology Licensing, Llc Cold start machine learning algorithm
CN106447862B (zh) * 2016-10-13 2018-08-24 凌美芯（北京）科技有限责任公司 一种基于计算机视觉技术的智能闸机验票方法
US10165495B1 (en) 2017-06-22 2018-12-25 Microsoft Technology Licensing, Llc Connectivity using a geographic phone number
KR101972331B1 (ko) * 2017-08-29 2019-04-25 키튼플래닛 주식회사 영상 얼라인먼트 방법 및 그 장치
US10642867B2 (en) * 2017-09-15 2020-05-05 Adobe Inc. Clustering based on a directed graph
US10623694B2 (en) * 2018-03-16 2020-04-14 Lenovo (Singapore) Pte Ltd Appropriate modification of video call images
US10979669B2 (en) * 2018-04-10 2021-04-13 Facebook, Inc. Automated cinematic decisions based on descriptive models
US20200151453A1 (en) * 2018-11-08 2020-05-14 International Business Machines Corporation Reducing overlap among a collection of photographs
US10834465B1 (en) 2019-06-28 2020-11-10 Netflix, Inc. Automated video cropping
CN110611768B (zh) * 2019-09-27 2021-06-29 北京小米移动软件有限公司 多重曝光摄影方法及装置
KR20220075028A (ko) 2020-11-26 2022-06-07 삼성전자주식회사 다중 크롭 기능을 갖는 이미지 센서를 포함하는 전자 장치
WO2023249195A1 (en) * 2022-06-20 2023-12-28 Samsung Electronics Co., Ltd. Method and system for context-aware crop in camera preview

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070076979A1 (en) * 2005-10-03 2007-04-05 Microsoft Corporation Automatically cropping an image
US20110069085A1 (en) * 2009-07-08 2011-03-24 Apple Inc. Generating Slideshows Using Facial Detection Information
CN102016882A (zh) * 2007-12-31 2011-04-13 应用识别公司 利用脸部签名来标识和共享数字图像的方法、系统和计算机程序
US20130156341A1 (en) * 2008-03-17 2013-06-20 Xerox Corporation Automatic generation of a photo guide
US20130194438A1 (en) * 2011-08-18 2013-08-01 Qualcomm Incorporated Smart camera for sharing pictures automatically
WO2016006584A1 (ja) * 2014-07-07 2016-01-14 ダイキン工業株式会社 パーフルオロ（ポリ）エーテル変性アミドシラン化合物を含む組成物

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2370438A (en) 2000-12-22 2002-06-26 Hewlett Packard Co Automated image cropping using selected compositional rules.
GB0116877D0 (en) * 2001-07-10 2001-09-05 Hewlett Packard Co Intelligent feature selection and pan zoom control
US7171058B2 (en) * 2003-07-31 2007-01-30 Eastman Kodak Company Method and computer program product for producing an image of a desired aspect ratio
US20060072847A1 (en) * 2004-10-01 2006-04-06 Microsoft Corporation System for automatic image cropping based on image saliency
KR100601997B1 (ko) 2004-10-12 2006-07-18 삼성전자주식회사 인물기반 디지털 사진 클러스터링 방법 및 장치와 이를이용한 인물기반 디지털 사진 앨버밍 방법 및 장치
US20080077595A1 (en) 2006-09-14 2008-03-27 Eric Leebow System and method for facilitating online social networking
KR101456488B1 (ko) * 2008-03-12 2014-10-31 삼성전자주식회사 이미지 파일의 공개 형식 설정방법 및 이를 채용한 장치
US20100214445A1 (en) * 2009-02-20 2010-08-26 Sony Ericsson Mobile Communications Ab Image capturing method, image capturing apparatus, and computer program
US8121358B2 (en) 2009-03-06 2012-02-21 Cyberlink Corp. Method of grouping images by face
KR20110042612A (ko) * 2009-10-19 2011-04-27 주식회사 슈프리마 사진인화 서비스 제공방법 및 그 장치
US9070182B1 (en) * 2010-07-13 2015-06-30 Google Inc. Method and system for automatically cropping images
US8270684B2 (en) * 2010-07-27 2012-09-18 Google Inc. Automatic media sharing via shutter click
KR20120140404A (ko) * 2011-06-21 2012-12-31 노치훈 사진 자동인식, 분류 및 전송 방법 및 상기 방법을 수행하는 모바일 단말기
US9342817B2 (en) * 2011-07-07 2016-05-17 Sony Interactive Entertainment LLC Auto-creating groups for sharing photos
JP5866728B2 (ja) 2011-10-14 2016-02-17 サイバーアイ・エンタテインメント株式会社 画像認識システムを備えた知識情報処理サーバシステム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070076979A1 (en) * 2005-10-03 2007-04-05 Microsoft Corporation Automatically cropping an image
CN102016882A (zh) * 2007-12-31 2011-04-13 应用识别公司 利用脸部签名来标识和共享数字图像的方法、系统和计算机程序
US20130156341A1 (en) * 2008-03-17 2013-06-20 Xerox Corporation Automatic generation of a photo guide
US20110069085A1 (en) * 2009-07-08 2011-03-24 Apple Inc. Generating Slideshows Using Facial Detection Information
US20130194438A1 (en) * 2011-08-18 2013-08-01 Qualcomm Incorporated Smart camera for sharing pictures automatically
WO2016006584A1 (ja) * 2014-07-07 2016-01-14 ダイキン工業株式会社 パーフルオロ（ポリ）エーテル変性アミドシラン化合物を含む組成物

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106875433A (zh) * 2017-03-09 2017-06-20 广东欧珀移动通信有限公司 裁剪构图的控制方法、控制装置及电子装置
CN110612531A (zh) * 2017-04-28 2019-12-24 微软技术许可有限责任公司 数字图像的智能自动裁剪
CN107317962A (zh) * 2017-05-12 2017-11-03 广东网金控股股份有限公司 一种智能拍照裁剪构图系统及使用方法
CN107317962B (zh) * 2017-05-12 2019-11-08 广东网金控股股份有限公司 一种智能拍照裁剪构图系统及使用方法
CN108566512A (zh) * 2018-03-21 2018-09-21 珠海市魅族科技有限公司 一种智能拍摄方法、装置、计算机设备及可读存储介质
CN112424738A (zh) * 2018-05-18 2021-02-26 利玛格有限公司 在网络协作工作空间中通过网络套接字连接来传播裁剪图像的方法，装置和计算机可读介质
CN111010590A (zh) * 2018-10-08 2020-04-14 传线网络科技（上海）有限公司 一种视频裁剪方法及装置
CN109919156A (zh) * 2019-03-13 2019-06-21 网易传媒科技（北京）有限公司 图像裁剪预测模型的训练方法、介质、装置及计算设备
CN112446255A (zh) * 2019-08-31 2021-03-05 华为技术有限公司 一种视频图像处理方法及装置
US12125210B2 (en) 2019-08-31 2024-10-22 Huawei Technologies Co., Ltd. Video image processing method and apparatus
CN112057872A (zh) * 2020-09-10 2020-12-11 重庆五诶科技有限公司 一种隐私信息保护系统及方法
CN116088740A (zh) * 2022-05-30 2023-05-09 荣耀终端有限公司 界面处理方法和装置
CN116088740B (zh) * 2022-05-30 2023-10-31 荣耀终端有限公司 界面处理方法和装置
CN116543004A (zh) * 2023-07-05 2023-08-04 荣耀终端有限公司 图像裁切方法、装置、终端设备及计算机可读存储介质
CN116543004B (zh) * 2023-07-05 2024-04-19 荣耀终端有限公司 图像裁切方法、装置、终端设备及计算机可读存储介质

Also Published As

Publication number Publication date
US9633046B2 (en) 2017-04-25
KR101759453B1 (ko) 2017-07-18
EP3063730B1 (en) 2018-10-24
CN105659286B (zh) 2021-09-28
US20180075065A1 (en) 2018-03-15
KR20160032170A (ko) 2016-03-23
EP3063730A1 (en) 2016-09-07
WO2015041641A1 (en) 2015-03-26
US20160188635A1 (en) 2016-06-30
EP3063730A4 (en) 2017-05-31
EP3413263A1 (en) 2018-12-12

Similar Documents

Publication Publication Date Title
CN105659286A (zh) 自动化图像裁剪和分享
KR102374446B1 (ko) 아바타 선택 메커니즘
US20160034712A1 (en) System and method for event-related content discovery, curation, and presentation
WO2017167060A1 (zh) 一种信息展示方法、装置及系统
US20120066309A1 (en) Data processing apparatus and data processing method
US10380256B2 (en) Technologies for automated context-aware media curation
KR20200033999A (ko) 메시지의 우선 순위 지정
WO2014090034A1 (zh) 实现增强现实应用的方法及设备
CN105519123A (zh) 实况众包的媒体流
CN105763420B (zh) 一种自动回复信息的方法及装置
JP5882805B2 (ja) 情報処理装置、その処理方法及びプログラム
US20210117467A1 (en) Systems and methods for filtering of computer vision generated tags using natural language processing
CN113420708A (zh) 宠物看护方法、装置、电子设备及存储介质
Morris et al. “Do you know you are tracked by photos that you didn’t take”: large-scale location-aware multi-party image privacy protection
JP5963756B2 (ja) コンテンツ選択装置、およびコンテンツ選択方法
US8300256B2 (en) Methods, systems, and computer program products for associating an image with a communication characteristic
EP3616092A1 (en) Media sharing based on identified physical objects
KR20150132889A (ko) 스마트폰의 사용 로그를 수집하여 모임 이벤트를 생성하고 공유하고 배포하기 위한 모임 정보 생성 서버의 운영방법
CN110326030B (zh) 用于提供与虚拟内容项目相关联的嵌套内容项目的系统和方法
CN104834696B (zh) 一种用于在计算机设备中搜索私有资源的方法和装置
KR20140145053A (ko) 피사체의 시각적 정보 기반 소셜 네트워크 서비스 시스템
CN115016688A (zh) 虚拟信息显示方法、装置和电子设备
US11615133B2 (en) Sharing user generated content for media searches
KR102334626B1 (ko) 비대면으로 결혼 정보 상담 서비스를 제공하는 화상 시스템
Morris et al. " Do You Know You Are Tracked by Photos That You Didn't Take": Location-Aware Multi-Party Image Privacy Protection

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant