Nothing Special   »   [go: up one dir, main page]

JP6417154B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP6417154B2
JP6417154B2 JP2014173009A JP2014173009A JP6417154B2 JP 6417154 B2 JP6417154 B2 JP 6417154B2 JP 2014173009 A JP2014173009 A JP 2014173009A JP 2014173009 A JP2014173009 A JP 2014173009A JP 6417154 B2 JP6417154 B2 JP 6417154B2
Authority
JP
Japan
Prior art keywords
image
information
user
processing apparatus
sns
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014173009A
Other languages
English (en)
Other versions
JP2016048845A (ja
JP2016048845A5 (ja
Inventor
建 佐々木
建 佐々木
中村 隆
隆 中村
梅田 清
清 梅田
寛康 國枝
寛康 國枝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014173009A priority Critical patent/JP6417154B2/ja
Priority to US14/829,679 priority patent/US9594534B2/en
Publication of JP2016048845A publication Critical patent/JP2016048845A/ja
Publication of JP2016048845A5 publication Critical patent/JP2016048845A5/ja
Application granted granted Critical
Publication of JP6417154B2 publication Critical patent/JP6417154B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1278Dedicated interfaces to print systems specifically adapted to adopt a particular infrastructure
    • G06F3/1285Remote printer device, e.g. being remote from client or server
    • G06F3/1287Remote printer device, e.g. being remote from client or server via internet
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1202Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203Improving or facilitating administration, e.g. print management
    • G06F3/1204Improving or facilitating administration, e.g. print management resulting in reduced user or operator actions, e.g. presetting, automatic actions, using hardware token storing data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201Dedicated interfaces to print systems
    • G06F3/1223Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237Print job management
    • G06F3/1242Image or content composition onto a page
    • G06F3/1243Variable data printing, e.g. document forms, templates, labels, coupons, advertisements, logos, watermarks, transactional printing, fixed content versioning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00143Ordering
    • H04N1/00145Ordering from a remote location
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00167Processing or editing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00185Image output
    • H04N1/00196Creation of a photo-montage, e.g. photoalbum
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00244Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server with a server, e.g. an internet server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00442Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails
    • H04N1/00456Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails for layout preview, e.g. page layout
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0013Arrangements for the control of the connected apparatus by the still picture apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0082Image hardcopy reproducer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0096Portable devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Facsimiles In General (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

本発明は情報処理装置、情報処理方法、及びプログラムに関し、特に、第三者によるアクセスが可能なサーバからダウンロードした画像に画像処理を行う情報処理装置、情報処理方法、及びプログラムに関する。
デジタルカメラ、スマートフォンの普及に伴い、誰もが容易に写真撮影を楽しめる時代が来ている。これらのデジタルデバイスで撮影されたデジタル画像をプリンタに印刷する際、その印刷物の見栄えが良くなるよう画像処理を施すことがある。例えば、デジタル画像を撮影した際に露出の過不足がある場合、これを補うため適当な画像処理を施すことが望ましい。また、撮影時のフラッシュにより、被写体人物の目がいわゆる赤目状態にあれば、これを補正することが望ましい。また、デジタル画像に人物の顔が含まれる場合、印刷した際の肌色の見栄えが良くなる適当な画像処理を施すことが望ましい。さらにこれらの画像処理を手作業で一つずつ行うことは時間と手間を要するため、自動で行えることが望ましい。
一般に自動的に画像処理を実行する場合、その画像に適した処理を行うために画像を解析したり、あるいは画像データに付随した、いわゆるExifタグ情報から画像の属性を評価することが必要である。そして、それらの解析や評価を経て、その画像に適切な画像処理を決定する。
以下の説明では画像または画像データに付随する属性情報を解析することを、「画像理解」という。特許文献1では、入力画像の解析を通して画像理解を行う。画像理解の結果から、その画像の特徴量が得られ、得られた特徴量からシーン判定及びそのシーンの信頼度算出を行い、自動的に補正処理を実行している。このように、画像理解の結果は主に、特徴量の生成と取得、及びその評価に用いられる。
特開2010−251999号公報
しかしながら、画像データそれ自体による画像理解には限界がある。特許文献1に開示の方法では、入力画像によっては誤判定が発生する場合がある。例えば、夜景の画像が露出不足と誤判定されると、夜景の画像が明るく補正されてしまう。逆に、露出不足の画像が夜景であると誤判定されると、明るく補正されるべきところが、期待通りに補正されない結果となる。別の例では、画像にある人物が写っていた場合に、その肌の色を適正にカラーバランス補正したい場合があるが、その画像から得られる情報のみでは、注目人物の適正な肌の色を推定することは困難な場合がある。
自動的に画像処理を行う場合、自動レイアウト生成処理でも同様なことが起こり得る。レイアウト生成条件を決定する際に用いる評価値は、対象となる写真ファイルを解析した結果を用いている。その結果、レイアウト生成は、画像ファイル自体の画質を表現する特徴量に基づいて行われることになる。しかしながら、画像理解から得られる特徴量からでは、好ましい画像を判断することは難しい場合がある。例えば、ピントが多少ボケているが表情が豊かな好ましい画像等を自動で選別することは困難である。また、一人のユーザが画像の評価を手動で入力するには膨大な作業が必要となる。
本発明は上記従来例に鑑みてなされたもので、自動的な画像処理により適した画像理解を行うことが可能な情報処理装置、情報処理方法、及びプログラムを提供することを目的とする。
上記目的を達成するために本発明の情報処理装置は次のような構成を有する。
即ち、情報処理装置は、ユーザの指示に応じて、当該ユーザとは異なる第三者によるアクセスが可能なサーバから出力対象の画像をダウンロードするダウンロード手段と、前記ダウンロード手段によりダウンロードされる出力対象の画像に対して第三者により付与された情報を取得する取得手段と、前記取得手段により取得された報に従って、前記出力対象の画像に対して評価を行い、当該評価の結果に基づいて前記出力対象の画像に対する画像処理方法を決定する決定手段と、前記出力対象の画像に対し、前記決定手段により決定された画像処理方法に従った画像処理を行う画像処理手段と、前記画像処理手段により画像処理された前記出力対象の画像を出力する出力手段とを有することを特徴とする。
本発明によれば、画像自体からは取得することが困難であった情報をネットワークの第三者からその画像に対する評価情報を取得することで、自動的な画像処理により適した画像理解が行うことができるという効果がある。
本発明の実施形態である情報処理装置の構成例を説明するブロック図である。 図1に示す情報処理装置で動作するソフトウェア構成を示すブロック図である。 第1実施形態に従う印刷データの生成処理の概要を示すフローチャートである。 解析処理の詳細を示すフローチャートである。 YCbCr値をY0Cb0Cr0値に近づけるための補正処理の一例を示すフローチャートである。 輝度濃度曲線の例を示す図である。 第2実施形態に従うレイアウト自動作成処理を示すフローチャートである。 ログイン画面の例を示す図である。 アルバム群の表示例を示す図である。 テンプレートの一例を示す図である。 第3実施形態に従うプリント処理の概要を示すフローチャートである。 赤目領域の補正の概要を説明する図である。 第4実施形態に従う印刷データの生成処理の概要を示すフローチャートである。 解析処理の詳細を示すフローチャートである。 年齢と最小可読文字サイズPminとの関係を示す図である。 解析処理の変型例を示すフローチャートである。 第5実施形態に従う印刷データの生成処理の概要を示すフローチャートである。 どのユーザがどの画像に「いいね」を付けたかを一覧表として示す図である。 ユーザAとユーザBと他のユーザとの人間関係を表わした図である。 4つのケース(Case1〜4)夫々についての基礎点を表として示す図である。 図21に示す4つのケース(Case1〜4)夫々についての合計点を表として示す図である。
以下添付図面を参照して本発明の実施形態について、さらに具体的かつ詳細に説明する。ただし、この実施形態に記載されている構成要素の相対配置等は、特定の記載がない限りは、この発明の範囲をそれらのみに限定する趣旨のものではない。
なお、この明細書において、「記録」(「プリント」という場合もある)とは、文字、図形等有意の情報を形成する場合のみならず、有意無意を問わない。さらに人間が視覚で知覚し得るように顕在化したものであるか否かも問わず、広く記録媒体上に画像、模様、パターン等を形成する、または媒体の加工を行う場合も表すものとする。
また、「記録媒体」とは、一般的な記録装置で用いられる紙のみならず、広く、布、プラスチック・フィルム、金属板、ガラス、セラミックス、木材、皮革等、インクを受容可能なものも表すものとする。
以下の説明では、SNS(ソーシャル・ネットワーキング・サービス)から取得した情報を用いて、印刷データを生成するためのいくつかの実施形態について説明する。
<ハードウェア構成の説明(図1)>
図1は本発明の実施形態である情報処理装置115として、例えば、スマートフォンや携帯電話等の携帯型情報端末の構成例を説明するブロック図である。図1において、100はCPU(中央演算装置/プロセッサ)であり、以下で説明する各種処理をプログラムに従って実行する。図中のCPU100は1つであるが、複数のCPUあるいはCPUコアによって構成されていても良い。101はROMであり、CPU100により実行されるプログラムが記憶されている。102はRAMであり、CPU100によるプログラムの実行時に、各種情報を一時的に記憶するためのメモリである。
103はハードディスクやフラッシュメモリ等の2次記憶装置であり、ファイルや画像解析等の処理結果を保持するデータベース等のデータや、各種プログラムを記憶するための記憶媒体である。104はディスプレイであり、各種処理を実現するための操作を受け付けるためのUI(ユーザインタフェース)や、実行された処理による処理結果等の各種情報を表示する。ディスプレイ104は、タッチセンサ105を備えても良い。
情報処理装置115は、内部撮像デバイス110を備えてもよい。内部撮像デバイス110による撮像によって得られた画像データは、所定の画像処理を経た後、2次記憶装置103に保存される。また、画像データは、外部I/F(インタフェース)108を介して接続された外部撮像デバイス111から読み込むこともできる。
情報処理装置115は、外部I/F(インタフェース)109を備え、インターネット等のネットワーク113を介して通信を行うことができる。情報処理装置115は、この通信I/F109を介して、ネットワーク113に接続されたサーバ114より画像データやSNS関連の情報を取得することができる。
情報処理装置115は、加速度センサ106を備え、情報処理装置115自身の位置姿勢に関する加速度情報を取得することができる。情報処理装置115は、外部I/F107を介し、プリンタ112と接続されており、画像データ等のデータを出力することができる。プリンタ112は、ネットワーク113にも接続されており、通信I/F109経由で、画像データを送受信することができる。
外部I/F107〜109は、有線通信と無線通信の内、少なくともいずれかの通信形態を有するインタフェースであり、利用する通信形態に応じて外部デバイス(プリンタ112あるいはサーバ114)との通信を行う。有線通信には、例えば、USB、イーサネット(登録商標)等があり、無線通信には、無線LAN、NFC、Bluetooth(登録商標)、赤外線通信等がある。また、無線通信として、無線LANを利用する場合には、装置同士が直接接続する形態もあれば、無線LANルータ等の中継装置を介して接続する形態もある。また、外部I/F107〜109は、図では別々に構成されているが、一体となって構成されていても良い。
情報処理装置115の動作に必要な電源は、バッテリ117によって供給される。情報処理装置115が備える各種構成要素は、制御バス/データバス116を介して相互に接続され、CPU100は、この制御バス/データバス116を介して、各種構成要素を制御する。
なお、本実施形態では、情報処理装置115が、情報処理装置115が備える制御部(CPU100)によって実行されるプログラム等のソフトウェアの実行場所(ソフトウェア実行環境)となる。
また、図1で示した情報処理装置の例は、携帯可能なモバイルコンピュータを想定したハードウェアとなっているが、本発明はそれによって限定されるものではない。例えば、デスクトップ型やラップトップ型のパーソナルコンピュータのハードウェア上においても、同様の構成を実現することは可能である。その場合、携帯可能なモバイルコンピュータではディスプレイ104の上に重ねられて設けられるタッチセンサ105によってUIが構成される代わりに、UIとしてタッチセンサ105に代わり、ポインティングデバイスやキーボードが備えられても良い。
<ソフトウェア構成の説明(図2)>
情報処理装置115にはその装置全体を制御するオペレーティングシステム(OS)や多くのアプリケーションがインストールされて動作するが、ここではSNSと連携して画像をプリンタ112に印刷するのに関係するソフトウェアについてのみ説明する。
図2は情報処理装置115で動作するソフトウェア構成を示すブロック図である。なお、図2で説明する各ブロックに対応するプログラムモジュールがROM101に格納されており、CPU100がこれらのプログラムモジュールをRAM102上で実行することにより、各ブロックの機能を実現する。
SNS紐付け部201はユーザとSNSとの紐付けを行う。印刷ジョブ生成部202は、印刷ジョブを生成する。印刷ジョブとは、印刷指示に関する情報である。印刷ジョブは、印刷対象画像、用紙、品位、部数、レイアウト、カラー/モノクロ設定など、プリント時に生成される全ての情報を含む。ここで、印刷対象画像は複数であってもよい。印刷ジョブは、ユーザの指示を受けて生成される。また、印刷ジョブは印刷を自動で提案する提案型アプリケーションによって生成されてもよい。
印刷コンテンツ取得部203は、印刷ジョブに基づいて、印刷コンテンツデータを取得する。その印刷コンテンツデータは、2次記憶装置103やサーバ114に保存されている。SNS情報取得部204は、印刷ジョブに基づいてサーバ114の1つであるSNSサーバから印刷コンテンツデータ以外の情報を取得する。
ここで、SNSについて説明する。ここでいうSNSとは、現時点においてはインターネット上で互いにアクセス可能な情報共有、且つ受発信システムを想定している。SNSではユーザ情報やアクセス管理、ユーザのグルーピング、及びユーザ相互に評価を与えるといった機能を具備していることが多い。いずれにしても登録した複数のユーザが、互いに情報を発信し合うと同時に共有できる環境をSNSと定義する。
次に、SNSで管理される情報(以後、SNS情報)について述べる。SNS情報の例としてはまず、ユーザの名前、性別、年齢、誕生日、学歴、職歴、出身地、居住地などの個人プロファイル情報がある。また、ユーザのその時々の心情や近況に関する書き込み情報、ユーザが投稿した画像や音楽などのコンテンツ情報、ユーザが作成したイベント情報等、ユーザのSNS上での活動に関する情報もSNS情報の一例である。また、ユーザの友人に関する情報、ユーザの友人がSNS上に投稿している情報等もSNS情報である。
SNS情報取得部204はSNSが予め用意したアプリケーションインタフェース(API)を用いることで、これらの各種情報を取得することができる。この実施形態では、印刷対象画像に付与されたタグ情報を取得する場合について説明する。SNS上で投稿された画像には、投稿者もしくは閲覧者がその画像に写っている人物が誰であるかタグを付けることができる。
このタグ情報には、その被写体人物のSNSにおける個人IDや名前、画像内におけるタグの位置を示す座標等の情報が含まれる。そのタグ付けを行う作業を、写真の投稿者のみが行おうとすると、投稿者の作業は膨大になる。しかし、SNS上では、そのようなタグ付け作業を投稿者及び投稿者の友人(第三者)が行うことができる。また、そのタグ付けは、投稿者が投稿した写真以外の画像に対しても行われることがある。
以上のことから、SNS上の写真データには、投稿者がどこに写っているかという正確な情報が、ユーザ単独でタグ付け作業を行うよりも遥かに多くの情報が存在することになる。
印刷コンテンツ評価部205は、SNS情報を用いて印刷対象画像データを評価する。この実施形態では、印刷コンテンツ評価部205は、SNS情報取得部204が取得したタグ情報から、印刷対象画像がどのような人物を被写体として含む画像であるかを認識する。次に、後述する手法を用いて、その被写体人物の顔色について評価する。印刷データ生成部206は、印刷コンテンツ評価部205の評価結果に基づいて、印刷データを生成する。
この実施形態では、印刷データ生成部206は、印刷コンテンツ評価部205による印刷コンテンツ内の被写体人物の顔色評価に基づいて、被写体人物の顔色の補正を行う。生成された印刷データはプリンタ112に転送され、印刷物が得られる。
次に、以上の構成の情報処理装置とその情報処理装置がインストールするソフトウェアを用いた、SNSと連携して撮影した画像の印刷処理のいくつかの実施形態について説明する。
[第1実施形態(図3〜図6)]
ここでは、任意の画像を補正する際に、その画像に写っている人物の適正な肌色を取得し、その肌色に適正に補正するための処理について説明する。
図3は第1実施形態に従う印刷データの生成処理の概要を示すフローチャートである。なお、図3のフローチャートに示す処理は、図2に示した各ブロックのプログラムモジュールをCPU100が実行することにより実現される。以下の説明では、フローチャートの各ステップの処理を、CPU100自身またはCPU100により機能する各ブロックが実行するものとして説明する。また後述する図7、図12、図14、図15、図17、図18も同様である。
ステップS301では、ユーザがSNSにログインすることによりSNS紐付け部201はユーザとSNSとの紐付けを行う。SNS紐付け部201は、ユーザがSNSにログインするためのSNS−IDとパスワードの入力画面をディスプレイ104に表示する。ユーザはタッチセンサ105やディスプレイ104を通じて、SNS−IDとSNSパスワードを入力する。SNS紐付け部201は、外部IF109を通じて情報処理装置115をネットワーク113に接続する。SNS紐付け部201は、サーバ114の1つであるSNSサーバにアクセスし、ユーザが入力したSNS−IDとSNSパスワードを用いて認証を行う。
ステップS302で、ユーザはSNSに投稿された画像から印刷対象画像を選択し、ステップS303ではその選択画像の印刷指示を行う。印刷ジョブ生成部202は、SNSサーバ上の画像をディスプレイ104に表示し、ユーザによる印刷対象画像の選択を受け付ける。さらに、印刷対象画像、用紙、品位、部数、レイアウト、カラー/モノクロ設定など指示を受け付け、その印刷指示に基づいた印刷ジョブを生成する。
ステップS304では、印刷コンテンツ取得部203は、ステップS303で生成された印刷ジョブに基づいて、印刷対象画像データを取得する。ここでは、ユーザがSNSに投稿した画像の印刷を指示した場合を考える。印刷コンテンツ取得部203はSNSサーバにアクセスし、印刷対象画像データをダウンロードしてRAM102に一時保存する。
ステップS305では、ステップS304で取得した画像データに含まれる被写体人物の同定処理を実行する。そのため、SNS情報取得部204は、印刷対象画像に付与されたタグ情報を外部IF109、ネットワーク113を介してSNSサーバから取得する。このタグ情報には、その画像内の被写体人物のSNSにおける個人IDや名前、画像内におけるタグの位置を示す座標等の情報が含まれる。これにより、印刷コンテンツ評価部205は、印刷対象画像データのどの位置に誰が写っているかを同定することができる。
次にステップS306では、被写体人物の顔色の解析処理を実行する。
この解析処理に関しては、図4のフローチャートを参照しながら説明する。
図4は解析処理の詳細を示すフローチャートである。
ステップS401では、SNS情報取得部204は、ステップS305で同定された被写体人物の個人ID情報を用いて、SNSサーバにアクセスする。SNSによりその個人IDを用いた照合が行われ、被写体人物が検索される。次にステップS402では、SNS情報取得部204は、検索された被写体人物が所有する画像及びその画像に付与されたタグ情報を取得する。ステップS403では、印刷コンテンツ評価部205は、取得した画像及びそのタグ情報から対象である被写体人物を含む画像を解析する。
なお、ステップS401〜S403の各処理に関して、SNSよりその被写体人物に関連する画像及びその画像に付与されたタグ情報を直接取得するAPIが存在する場合は、それを用いても良い。
ステップS404では、印刷コンテンツ評価部205は、ステップS403で得られた各画像の解析結果から、ステップS304でダウンロードされた画像に含まれている人物の本来の顔の色を推定する。この処理の必要性について説明する。人が肌の色認知する際には、肌に当たった光源の反射光を見て判断する。従って、光源が太陽光の場合と蛍光灯の場合とでは、顔の色が変化する。従って、ステップS304でダウンロードされた画像に含まれている人物の顔の色が、本来の顔の色として好適かどうかは、この画像に対する画像理解だけでは不十分である。そこで、ステップS402で取得された、当該人物を含む多くの画像をステップS403で解析することで、注目人物の適正な肌色を調べる。ステップS404では、印刷対象の画像以外の画像における当該人物の肌色が参照されるため、適切な肌色が決定される可能性が高い。
上述のように、SNS上には、既知の個人認識アルゴリズムによるものではなく、第三者を含めた大量の人手による人物位置のタグ付けがなされている。既知の個人認識アルゴリズムによる人物同定においては、数割の確率で誤認識が発生する。特に兄弟や親子など元々顔立ちが似ている人物について、既存のアルゴリズムで確実に識別することは困難な場合がある。一方、上記のタグ付けは人手を介して行われるため、アルゴリズムによる認識に比して正確な情報である可能性が高い。ここでは、上記のような正確なタグ情報を用いるので、注目人物の適正な肌色をより正確に決定できるという利点がある。
適正肌色の調べ方は、例えば、タグ情報を用いて数多く取得した顔領域の平均Y0Cb0Cr0値としてもよいし、色相の平均値を用いても良い。あるいは輝度の中央値を求めても良い。あるいはそれぞれの最頻値を用いても良い。
図3に戻って説明を続けると、ステップS307では、ステップS302で取得した印刷対象画像における被写体人物の顔の色(平均YCbCr値)と、ステップS306で推定された顔の色(Y0Cb0Cr0)とを比較し、補正が必要か否か判定する。即ち、YCbCr値と、Y0Cb0Cr0が類似しているか判定され、類似していないと判定された場合、補正が必要と判断される。両者が類似しているか否かは、例えば、Y、Cb、Crの色成分毎に比較を行い、そのいずれかの差分が所定の閾値を越える場合に、類似していないと判断することができる。ここで、補正が必要と判定された場合、処理はステップS308に進み、補正処理を実行する。この補正処理の一例としては、印刷対象画像データにおける被写体人物の顔の色と推定された顔の色の輝度差を印刷対象画像データ全体に反映させる方法が挙げられる。
ここで、その補正処理の一例について、図5〜図6を参照して説明する。
図5はYCbCr値をY0Cb0Cr0値に近づけるための補正処理の一例を示すフローチャートである。図6は輝度濃度曲線の例を示す図である。
ステップS1001では、まずYCbCr空間において、YをY0に変換するような図6に示すような輝度濃度曲線を設定する。次に、ステップS1002では、CbCrをCb0Cr0に変換するような色シフトベクトル(Cbv, Crv)=(Cb0−Cb, Cr0−Cr)を定義する。
次にステップS1003では、輝度濃度曲線と色シフトベクトルを適用したRGB空間における3DLUTを生成する。3DLUTの生成方法については既知であるため、具体例を簡潔に述べる。まず、各グリッドのRGB値を一度YCbCr値に変換する。次に、Y成分に対して図6に示す輝度濃度曲線を適用し、CbCr値にはそれぞれ上述した色シフトベクトルを加算することで、Y’Cb’Cr’値を算出する。これらY’Cb’Cr’値をRGB空間の座標系に変換することで、R’G’B’値を得る。
ステップS1004では、このようにして生成された3DLUTを画像の各画素に対して公知の補間方法を用いて適用し、補正後の画像データを得る。
以上が補正処理の一例の説明であるが、本発明はこの方法に限定されるものではなく、算出した肌色YCbCr値を、推定したY0Cb0Cr0値に近づける方法であれば、いずれの方法を用いても構わない。また画像全体について補正を行う場合に限らず、画像内の人物に対応する領域のみに補正を行う場合であってもよい。
再び図3に戻って説明を続けると、ステップS309では、ステップS307において補正が不要と判断された印刷対象の画像データそのもの、又は、ステップS308で補正が施された画像データを、印刷データ生成部206に転送して印刷データを生成する。
従って以上説明した実施形態に従えば、SNSから得られた情報に基づいてダウンロードした画像データを解析し、その解析結果に基づいて必要なら、注目人物の適正な肌色をより正確に表現するための補正処理を施した画像データを印刷に用いることができる。
なお、上記実施形態では、印刷対象画像の人物同定において、SNSのタグ付け情報を利用したが、本発明はこれに限定されるものではない。例えば、印刷対象画像中の人物同定において、既知の個人認識アルゴリズムを用いて、人物同定を行っても構わない。その同定の結果得られた情報から、SNS上のタグ付け情報を利用して平均顔色値を算出したとしても構わない。
また、上記実施形態では、印刷処理を行う時点で、印刷対象の写真画像に写っている人物の肌色の推定を行ったが、本発明はこれによって限定されるものではない。例えば、初回の印刷時に行われる注目画像に含まれている人物の肌色推定の情報を人物のID(名前など)とともに、データベースに保存し、次回に別の画像を印刷する際には、そのデータベース内から読み出した肌色値を用いて補正処理を行っても良い。このようにすることで処理を高速化することが可能となる。
[第2実施形態(図7〜図11)]
第1実施形態では、SNSから印刷対象画像中の被写体人物のタグ情報を取得し、その人物の顔の色を評価・解析して、その画像に補正を施す例を示した。これは、SNSから情報を取得して、印刷対象画像を評価し、印刷データを生成する一例であるが、本発明はこれに限られるものではない。ここでは、SNSに投稿されたアルバムと呼ばれる電子写真群を用いて、自動レイアウトを生成する例について説明する。ここでは、特に、SNSからその写真群に関連する第三者の支持情報やコメント情報等を取得し、それらを用いてその写真群を評価し、自動レイアウトを生成する例を説明する。
例えば、画像解析を行って、画像全体の明るさ、コントラストの適正度や検出した人物顔の明るさや鮮鋭度の適正度合い、あるいは特定のユーザが自身の主観で付けた画像評価を元にレイアウト画像の優先順位を決めることもできる。しかし、多少顔がボケていたとしても表情が豊かな写真等、画像解析では必ずしも評価が高くない画像であっても、印刷に適している場合がある。また、主観評価のタグを付ける作業は膨大であり、多くの画像に一人のユーザが主観評価を行うことは困難である場合がある。よって、上記の方法では印刷対象の候補となる画像を多くある場合に、画像に対して適切な評価を行うことができないことがある。
上記課題を鑑みて、この実施形態では以下のような構成を採用する。
まず、一般的にユーザがSNSを利用して、画像をアップロードするために必要な処理として、ユーザがSNSにログインする処理、あるイベントに対して画像をアップロードする処理がある。ユーザがアップロードした画像は、第三者(家族であったり、遠くはなれた親戚であったり、あるいは血縁関係のない友人であったりする)のニュースフィード上に表示される。第三者はその画像を見て、表情が面白い画像や、珍しい画像、美しい画像に対して、「いいね」ボタンを押したり、コメントを付加したり、あるいは、良い写真があれば、自分のニュースフィード上でシェアする。これらの情報は、そのユーザのSNS上の友人が多い程、必然的により多く得られることになる。
上記が、SNS上における通常のユーザ間のやりとりとなる。
次に、あるイベントの写真群に対して、ユーザが所定アプリケーションを用いてアルバムレイアウトを自動作成したいと考える。
図7は第2実施形態に従うレイアウト自動作成処理を示すフローチャートである。図7に示す処理は図3のフローチャートと同様に、CPU100により実現される。
まず、ステップS501で、CPU100はユーザの指示に応じて情報処理装置115のOS上でプリントアプリケーションを起動し、SNSにログインする。
図8はログイン画面の例を示す図である。図8に示されるように、その画面には、SNS提供会社のロゴ601等が表示される。ユーザは、ロゴ601の下に表示される欄602にSNS−IDを、欄603にSNSパスワードを入力し、ログインボタン604を押す。
その押下に応じて、ステップS502では、SNS上にアップロードしたイベント毎のアルバム群が表示される。
図9はアルバム群の表示例を示す図である。その画面では、アルバム名701、そのアルバム名の代表的な写真702が表示される。
ステップS503では、CPU100はユーザの指示に応じて、そのアルバム群の中から所望のイベントを選択する。
次にステップS504では、CPU100が、そのアルバム群の画像データと一緒に、その画像を閲覧した人物がその画像に対して入力した支持情報(「いいね」)やコメント、シェアのSNS情報を入手する。ステップS505ではCPU100はさらに、ユーザの指示に応じてアルバムのテンプレートを選択する。そのテンプレートは、予め各ページの画像枠の数や位置、あるいは背景の図柄や色など、様々なものが用意されている。
図10〜図11はテンプレートの一例を示す図である。図10に示すテンプレートでは画像は四角枠801に配置され、図11に示すテンプレートでは画像は四角枠や楕円枠902に配置される。また、各画像枠には、その大きさや位置から、枠の優先順位が定義されている。その優先順位は図10〜図11に示すPriorityの数値で表わされる。
次にステップS506では、ステップS504で取得した各画像に関連するSNS情報を用いて、各画像を評価する。評価は、表1のような重みづけを用いる。
<表1>
・−−−−−−−−−−−・−−−−−−−・−−−−−−−・
|評価項目(SNS情報)| 基礎点 | 合計点 |
・−−−−−−−−−−−・−−−−−−−・−−−−−−−・
| いいね | point1 | point1×数 |
・−−−−−−−−−−−・−−−−−−−・−−−−−−−・
| コメント | point5 | point5×数 |
・−−−−−−−−−−−・−−−−−−−・−−−−−−−・
| シェア | point10 | point10×数 |
・−−−−−−−−−−−・−−−−−−−・−−−−−−−・
さらに、ステップS507では、画像解析による画像の評価を行う。
画像解析の評価としては、表2のような内容と、pointを定義する。
<表2>
・−−−−−−−−−−−−−−−−−−−−−・−−−−−−−・−−−−−−・
| 評価項目 | 基礎点 | 合計点 |
・−−−−−−−−−−−−−−−−−−−−−・−−−−−−−・−−−−−−・
| 顔の平均輝度値が所定範囲に含まれている | point1 |point1×顔数|
・−−−−−−−−−−−−−−−−−−−−−・−−−−−−−・−−−−−−・
| コメント顔領域の鮮鋭度が | point1 |point1×顔数|
| 所定範囲に含まれている | | |
・−−−−−−−−−−−−−−−−−−−−−・−−−−−−−・−−−−−−・
上記評価値を元に、最終評価値Efinを算出する。アプリケーションは、その評価値が高い画像順に、上記テンプレートの画像枠に画像を配置する。
自動配置後のレイアウトは情報処理装置115のUI上に表示され、必要に応じて、ユーザが手動で画像の変更、拡大縮小等を行っても良い。
レイアウト作成後の画像データは、ユーザが用紙種別や品位等の設定を行った後、所定フォーマットでプリンタ112へ入力され、プリンタ内部で所定解像度へのレンダリング処理、所定の色変換処理を適用後、プリンタエンジンから印刷されることとなる。
従って以上説明した実施形態に従えば、SNSから得られた情報に基づいて、ユーザが所望するイベントの写真群に対して、アプリケーションを用いてアルバムレイアウトを自動作成することができる。
なお、上記実施形態におけるポイント(point)数などの値は、説明のための値であり、他のポイント数や演算式を用いたとしても本発明の目的と合致するものであれば良い。
[第3実施形態(図12〜図13)]
第1実施形態では、SNS情報を用いてより精度の高い人物の肌色補正を行う例について説明したが、同じ考え方は、例えば、赤目補正にも適用可能である。即ち、SNS上の正確な人物タグ付け情報が利用できれば、当該人物の瞳の虹彩色を正確に推定することが可能である。赤目は瞳の虹彩のさらに内側の瞳孔部分に侵入したフラッシュ光が目の奥の網膜に反射することで、瞳孔部分が赤く光る現象である。既知の赤目補正アルゴリズム(例えば、特開2006−350557号公報等)によれば、赤目領域を検出して補正する際に、赤い瞳孔領域の明度および彩度を下げて、黒く補正する。しかしながら、赤目の補正はこれでは不十分であり、瞳孔の明度・彩度を低下させた後に虹彩部分を再現する必要がある。
ここでは、上記課題に鑑みて、SNSのタグ付け情報から注目人物の虹彩色を正確に特定し、その特定色を用いて赤目補正を実行する例について説明する。
図12は第3実施形態に従うプリント処理の概要を示すフローチャートである。なお、図12と図4とを比較すると分かるように、図12には図4で説明したのと共通の処理が含まれている。それで、共通の処理ステップには同じステップ参照番号を付し、その説明は省略する。ここでは、この実施形態に特有の処理ステップについてのみ説明する。
ステップS404’で印刷コンテンツ評価部205は、印刷コンテンツ取得部203がSNS上から取得した印刷対象画像中に含まれる人物が含まれる画像情報を元に、写真中の瞳の虹彩色情報を取得する。虹彩色の取得方法については、既知の瞳抽出アルゴリズム(例えば、特開2010−20594号公報)を用いることで取得することができるので、ここでの説明は省略する。そして、第1実施形態と同様に、上記によって取得した虹彩色を目標値であるY0Cb0Cr0値とする。
印刷対象画像に含まれている注目人物の瞳が赤目状態となっている場合、ユーザの指示、又はアプリケーションの自動的な判断によって、赤目補正処理が実行される。
赤目領域の検出は、例えば、上述の特開2006−350557号公報等に記載の方法に従って行われる。
検出した赤目領域の補正は次のように実行される。
図13は赤目領域の補正の概要を説明する図である。
ここでは、図13に図示するように、赤目領域に対して内側同心円1301、外側同心円1302を設定する。そして、内側同心円1301の内部は従来どおり明度・彩度を下げる補正を行い、外側同心円1302の内部であって内側同心円1301の外側の領域については、上記取得したY0Cb0Cr0値で補正を行う。
従って以上説明した実施形態に従えば、注目人物の虹彩色までも再現した、より好ましい赤目補正を実現することが可能となる。
なお、この実施形態でも、推定した虹彩色情報は、人物IDとともにデータベースに保存しておくことで、次回の処理を高速化することができる。
[第4実施形態(図14〜図17)]
本発明において、印刷コンテンツ以外の情報をSNSから取得する際、その情報は印刷対象画像に直接紐付いたものである必要はない。前述の実施形態では、いずれも印刷対象画像に紐付いたタグ情報や第三者による支持情報及びコメント情報を利用したが、本発明はこれによって限定されるものではない。ここでは、SNSからユーザの年齢に関する情報を取得し、印刷物のページレイアウトを制御する例について説明する。
デジタル複合機やプリンタ等の画像形成装置の中には、複数ページ分の画像を用紙1枚の上に画像形成するN−UP印刷モードを備えるものがある。最近は、環境に対する負荷を考慮して、用紙1枚に2ページ分の画像を印刷する2−UP印刷モードをデフォルト設定とするケースも珍しくない。しかしながら、N−UP印刷をした際、画像によっては、画像内に含まれる文字が小さくて読めなかったり、潰れて読めない場合がある。
この場合、ページレイアウトを変更して再印刷しなくてはならないといった問題が生じる。この問題に対して、印刷前に原稿画像内の文字サイズを計算し、その結果に応じてN−UP印刷を制御する技術がある。例えば、特開2003−134323号公報には、原稿画像内の文字サイズを認識し、これをN−UP印刷した際の文字サイズを計算する構成が開示されている。この計算結果と予め設けた最小文字サイズを比較して、N−UP印刷実行可否の判断をするのである。また、特開2005−217859号公報は、印刷対象画像を画像情報とテキスト情報とに分離し、各々に対して可読性を判定して、N−UP印刷におけるページ数Nを制御する技術を提案している。他方、人間の視力は年齢に応じて変化する。故に、同じ原稿であっても、その可読性基準はユーザの年齢に応じて変化させるべきである。しかしながら、前述のいずれの公知技術においても、可読性の指標は年齢に応じたものになっていない。このことは、画像自体を用いた画像解析だけでは、ユーザ個々に適した画像理解が困難であること意味している。
ここでは上記課題を鑑みて、SNSからユーザの年齢に関する情報を取得して、それを利用することで、ユーザの年齢を考慮したN−UP印刷制御を実行する。
図14は第4実施形態に従う印刷データの生成処理の概要を示すフローチャートである。なお、図14において、第1実施形態において図3を参照して説明したのと同様の処理ステップについては同じステップ参照番号を付し、その説明は省略する。
ステップS301の後、ステップS302Aで印刷するファイルを選択する。そのファイルは、写真等の画像ファイルであっても良いし、テキストファイルであってもよいし、文書・画像編集アプリケーション独自形式のベクターデータとラスタデータ混合ファイルであってもよい。
次にステップS303で、CPU100は、ユーザの指示に応じて、選択ファイルの印刷指示を行う。ここで、ユーザは所望のN−UP印刷を指示する。N−UP印刷指示は、ユーザがNの値を指定する形であってもよいし、可読な範囲で最大のNを自動で算出するよう指示してもよい。ユーザによる指示が特に無い場合は、デフォルト設定とする。
ここでは、ユーザの指示もしくはデフォルト設定により、N≧2の値が指定されたとして処理を進める。印刷指示にはこの他に、使用する紙の種類、品位、カラー設定が含まれていても良い。これらは通常のプリンタドライバから設定できる。あるいは、例えば、紙種検知センサ(不図示)を用いて自動設定しても良い。
ステップS304AではCPU100が、ステップS303で生成された印刷ジョブに基づいて、印刷コンテンツ取得部203は印刷対象ファイルデータを取得する。そのファイルデータは2次記憶装置103やサーバ114に保存されている。
次にステップS305Aでは、SNS情報取得部204は、ユーザの年齢に関する情報を取得する。その情報は、年齢であってもよいし、ユーザの生年月日情報でもよい。その情報が生年月日情報である場合、その生年月日情報を用いてユーザの年齢を算出する。
さらにステップS306Aでは印刷コンテンツ評価部205が、ユーザの年齢を考慮した印刷対象ファイルの解析を行う。
図15は解析処理の詳細を示すフローチャートである。
ここで、この解析については、図15を参照して説明する。
まず、ステップS1501で印刷コンテンツ評価部205は、印刷対象ファイルのフォント情報を取得する。フォント情報は、フォントスタイル、フォントサイズ、フォントカラー、ボールドか否か、斜体か否か、下線やメッシュの有無、その他フォントの全ての装飾情報を含む情報である。フォント情報は、その印刷対象ファイルのファイル形式の規格に沿って、取得することができる。また、印刷対象ファイルが写真やスキャン画像である場合は、OCR(光学的文字認識)等、公知の技術を用いてフォントサイズを取得することができるので、詳細な説明は割愛する。ここでは、印刷対象ファイル内の全てのフォントサイズ(文字サイズと同義)を取得する。
次にステップS1502で印刷コンテンツ評価部205は、ユーザの年齢からそのユーザの最小可読文字サイズを算出する。その最小可読文字サイズの算出方法に関しては手段を選ばない。ここで挙げる例は一例に過ぎない。ここで用いる最小可読文字サイズの算出方法は以下の通りである。
日本工業標準調査会による「JIS S 0032」によると、日本語文字の最小可読文字サイズPmin(ポイント)は以下の式で表わされる。
Pmin=aS+b
ここで、a、bは日本語の文字種類によって決まる係数、Sはサイズ係数である。サイズ係数Sは、観測環境(印刷物における文字の背景の輝度)、観測距離、前記観測環境及びその観測距離における視力から求められる。ここでは、印刷物を読む平均的な距離を考慮して、観測距離を0.5mとする。また、文字を印刷する印刷用紙として職場等で一般に使われるコピー用紙を想定して、観測環境を100cd/m2とする。また、係数a、bに関しては、明朝体の漢字11〜15画の漢字を想定して、a=9.6、B=3.6とする。
この条件下で、サイズ係数Sに各年齢を反映させた際のPminは、図16にように表わされる。図16は年齢と最小可読文字サイズPminとの関係を示す図である。
ここでは、このように算出した各年齢における最小可読文字サイズを1DLUTの形で保持しておき、その1DLUTを参照することで、ユーザ年齢に応じた最小可読文字サイズを算出する。
ステップS1503で印刷コンテンツ評価部205は、印刷対象ファイルのN−UP印刷時の文字サイズを算出する。Nの値により印刷対象ファイルをN−UP印刷する際の縮小率が決定する。ステップS1501で取得した全ての文字サイズにその縮小率を乗じることで、N−UP印刷時の文字サイズを算出することができる。
次にステップS1504〜S1505において、ステップS1502で算出した最小可読文字サイズとステップS1503で算出したN−UP印刷時の最小文字サイズを比較してその可読性を判定する。ここで、N−UP印刷時の最小文字サイズがユーザの最小可読文字サイズ以上であれば「可読」、そうでければ「不可読」と判定する。ここで、「不可読」と判定された場合、印刷コンテンツ評価部205はステップS1506においてユーザに警告を通知する。これは情報処理装置115のUIに所定のメッセージを表示することにより行われる。そのメッセージを確認したユーザが印刷続行を選択しない場合、処理はステップS1507に進み、設定されたNの値を“−1”して、再度ステップS1503の処理に戻り、再度可読判定を行う。
ステップS1505において「可読」と判断された場合、又は、ステップS1506においてユーザが印刷続行を選択した場合、この解析処理を終了する。即ち、ステップS306Aの処理を終了する。
図14に戻って説明を続けると、ステップS307Aで印刷コンテンツ評価部205は、ステップS306Aの結果に基づいてN−UP処理を行う。その後、ステップS308で、プリンタ112に送信するための所定のフォーマットの印刷データが生成される。
なお上記の例では、ユーザ指示もしくはデフォルト設定により、N−UP印刷においてN≧2の値が指定された場合について説明した。
しかしながら、本発明はこれによって限定されるものではなく、可読範囲で最大のNに自動で算出するよう指示してもよい。その場合、ステップS306Aにおける解析処理は以下のようになる。
図17は解析処理の変型例を示すフローチャートである。なお、図17において、図15において説明したのと同じ処理ステップについては同じステップ参照番号を付し、その説明は省略する。図17と図15とを比較すると分かるように、ステップS1501A、S1505A、S1507A以外の処理は、図15と同様である。
ステップS1501AではN=1を設定する。S1501〜S1504の処理により、ステップS1505Aにおいて、「可読」と判定された場合、処理はステップS1507Aに進み、Nの値を“+1”し、処理はステップS1504に戻り、その後、可読性の判定を繰り返す。このようにして、判定結果が「不可読」となるまで、Nを増やすことで、可読範囲で最大のNを自動算出することができる。
上記の従来の技術では、ページレイアウト処理の内容は個々のユーザの特性を考慮してできていなかった。そのため、全ユーザを同一のものとみなし、全ユーザに対して一律な処理を施していた。
しかしながら、以上説明した実施形態に従えば、年齢のようなユーザの個人の特性に関する情報をSNSから取得することで、ユーザ個々に適した画像理解を行うことが可能となり、これによって、ユーザ個々に適したページレイアウト処理が可能になる。
なお、上記の説明で用いた演算式や値は、説明のための例に過ぎず、他の演算式や値を用いたとしても、この実施形態の目的と合致するものであれば、他のものでも良い。
[第5実施形態(図18)]
前述の実施形態では、SNS情報を用いた印刷コンテンツの評価結果を利用して印刷データを生成する際、印刷対象画像の補正やレイアウトの生成等、印刷コンテンツを直接ハンドリングする例を示した。しかしながら、本発明はこれによって限定されるものではない。ここでは、印刷コンテンツに含まれる人物のタグ情報を利用して、適切な印刷部数を自動で設定する例について説明する。
一般に、デジタル複合機やプリンタ等の画像形成装置における印刷部数の決定は、印刷時にユーザが手動で設定する。しかしながら、例えば、複数の人物が写る集合写真をシェアするために、該当人物一人につき一部ずつ印刷しようとすると、写真に写る人物の数を数え、手動で設定しなければいけない。この作業は、写真に写る人数が増えるほど煩わしさが増し、また数え間違える可能性も大きくなる。また、複数画像を一括して印刷する際に、画像毎に写っている人物の数を数え、画像毎に手動で部数を設定することは大変な手間である。この問題に対して、画像内で顔検出を行い、検出された顔の数を用いて印刷部数を決定する技術がある(例えば、特開2003−219329号公報参照)。
しかしながら、検出顔数によって印刷部数を設定すると、例えば、画像内に通行人等の関係無い人物が写っている場合に、その人物の数も数えられてしまい、必要以上の部数の印刷物が出力されてしまうといった問題があった。
ここでは、上記課題に鑑みて、SNS上で画像に付与されたタグ情報を取得して利用することで、印刷部数を決定する。
図18は第5実施形態に従う印刷データの生成処理の概要を示すフローチャートである。なお、図18において、第1実施形態において図3を参照して説明したのと同様の処理ステップについては同じステップ参照番号を付し、その説明は省略する。図18と図3とを比較すると分かるように、この実施形態において特徴的な処理はステップS303BとS306Bである。
ステップS303Bにおける印刷指示において、ユーザは印刷部数を明示的に決定しない。想定されるケースは、印刷部数設定を自動制御する場合や、印刷部数を各画像に写る人物数だけ印刷するモードをユーザが指定する場合等である。
ステップS306Bでは、ステップS305で同定された人物の数で印刷部数を決定する。
この実施形態では、各画像で同定された人物の数で印刷部数を決定することで、単なる顔検出数による印刷部数決定に比べ、より正確な処理を行うことができる。また、前述の通り、SNS上には、既知の個人認識アルゴリズムによるものではなく、第三者を含めた大量の人手による人物位置のタグ付けがなされている。既知の個人認識アルゴリズムによる人物同定においては、数割の確率で誤認識が発生する。特に、横顔やマスクを付けている等の検出はできても人物の同定が困難な場合、また顔の一部が写っていない、人間の顔とは大きく異なる物に仮装している等の検出そのものが困難な場合、アルゴリズムで確実に識別することは難しい。一方、上記のタグ付けは人手を介して行われるため、アルゴリズムによる認識に比して正確な情報である可能性が高い。
従って以上説明した実施形態に従えば、上記のような正確なタグ情報を用いて、適切な印刷部数を決定し、それに従った部数の印刷を行うことができる。
なお、この実施形態では、SNSより画像に付与された人物タグ情報を取得して印刷部数を決定する例について説明したが、本発明はこれによって限定されるものではない。例えば、あるイベントに関する資料や、あるイベントに関する写真アルバムを、そのイベント参加者全員に印刷して配布する場合、SNS上のイベント情報からそのイベントに参加する人物の情報を取得し、印刷部数を決定しても良い。
また、これ以外の方法を用いたとしても、この実施形態の目的と合致するものであればそれを採用することができる。
[第6実施形態(図19〜図22)]
第2実施形態では、アルバムレイアウトを自動作成する際にSNSにおける第三者の評価情報を用いる例について説明した。また第2実施形態では、人間の主観評価を用いることで画像解析だけでは選別し辛い画像をレイアウトに使用できる利点を述べた。さらに、SNSにおける第三者の評価情報を用いることで膨大な画像全てを自ら評価をせずとも、良いレイアウトを作成できる利点についても述べた。
ただし、第2実施形態では、SNS情報を用いた評価における各項目の基礎点は、その評価を行った人物に依らず一律であった。従って、このような方法では、レイアウト作成対象画像が同じであれば、ユーザ個々の意図に係らず、どのユーザがレイアウト自動生成を実行しても同じレイアウトが作成されてしまう。
SNS上では、あるユーザがアップロードした画像やアルバムを他のユーザが閲覧したり、共有(シェア)することができる。そのため、同一の写真群を対象に、異なる複数のユーザがアルバムレイアウトの自動作成を行う場合が頻繁に起こりえる。しかしながら、各画像に主観評価を行った人物とレイアウト作成を行うユーザとの関係は必ずしも一律ではない。このため、ある画像に対して評価がなされる場合、レイアウト作成を行うユーザの友人による評価である場合もあれば、他人による評価である場合もある。もしくは、その画像評価がレイアウト作成を実行するユーザ本人によるものである場合もある。一般的に、人によって、また人間関係によって、好ましいと思われる画像は異なる。以上の理由から、レイアウト作成を行うユーザ本人の評価や、そのユーザの直接の友人の評価を重視した方が適切なレイアウトができる場合がある。
また、例えば、画像Aにはユーザ本人以外のSNSユーザによる「いいね」が98個、ユーザ本人による「いいね」が1個、合計99個の「いいね」の評価タグが付いているとする。他方、画像Bにはユーザ本人以外の「いいね」が100個、ユーザ本人による「いいね」が0個、合計100個の「いいね」が付いているとする。「いいね」1個の基礎点を一律1点とすると、画像Aの合計点は99点、画像Bの合計点は100点となる。この結果、「いいね」という画像評価観点においては画像Bの方が高得点となり、レイアウトに使用される可能性が高くなる。点差が僅か1点であるにも関わらず、ユーザ本人が「いいね」を付けた画像Aよりも、「いいね」を付けていない画像Bの方がレイアウトに使用される可能性が高くなってしまうのである。即ち、上記の例では「いいね」の総数だけではなく、「いいね」を付与したユーザも考慮して画像を評価した方が、適切な評価が行える。
そこで、この実施形態では画像評価を行った人物に応じて、その基礎点の重みを変更する例について説明する。より具体的には、各画像に付けられた「いいね」の基礎点を、その「いいね」を付けた人物に応じて変更する例を示す。これにより、レイアウトを作成するユーザに応じて、レイアウト出力結果を変えることが可能になる。また、他のSNSユーザの評価を利用しつつ、ユーザ本人による評価も生かしたレイアウトの作成も可能になる。
この実施形態の基本的な構成は第2実施形態と同様であるので、ここでは。この実施形態に特徴的な構成や処理に関してのみ説明を記載する。具体的には、図7のステップS504とステップS506に関し、この実施形態で特徴的な処理について説明する。
まず、ステップS504でSNS情報取得部204は、対象となるアルバム群の画像データと一緒に、ログインユーザの個人ID情報、ログインユーザの友人リスト情報、その画像に対して「いいね」を入力した人物の個人ID情報を取得する。友人リスト情報とは、ログインユーザとSNS内で友人関係にある他のユーザの個人ID情報の一覧である。
次にステップS506で印刷コンテンツ評価部205は、ステップS504で入手した各画像に関連するSNS情報を用いて各画像を評価する。具体的な手順を以下に示す。
まず、全画像の「いいね」を対象に、各「いいね」を入力した人物の個人IDとログインユーザの個人ID及び友人の個人IDを照合する。そして、各画像に付けられた各「いいね」が、ログインユーザによるものか、ログインユーザの友人によるものか、その他のユーザによるものかを分類する。次に、対象アルバム内の画像に評価をしている全SNSユーザを、ログインユーザ、ログインユーザの友人、その他のユーザの3つに分類し、各々の人数を求める。その後、各人数に応じて、分類毎の「いいね」の基礎点を算出する。最後に、各画像に付けられた各「いいね」の分類結果と、分類毎の「いいね」の基礎点とに基づいて、各画像における「いいね」の合計点を算出する。
その後に続くステップS507の画像解析による画像評価以降の処理は第2実施形態と同様である。なお、ログインユーザの個人ID情報は、ステップS501のログイン時に取得しても構わない。
次に、上述した「いいね」の基礎点を算出する処理と、その基礎点を変更することで出力結果が変わる様子を、具体的な例を挙げてより詳細に説明する。
例として、SNS上にある6枚の画像(画像a、画像b、画像c、画像d、画像e、画像f)からレイアウトに使用する2枚を選び出す場合を考える。効果を分かりやすく示すために、選ばれる画像は「いいね」による評価結果のみを用いて決められるものとする。6枚の画像には、10人のSNSユーザ(ユーザA、ユーザB、ユーザC、ユーザD、ユーザE、ユーザF、ユーザG、ユーザH、ユーザI、ユーザJ)の何れかによって「いいね」が付けられている。
図19はどのユーザがどの画像に「いいね」を付けたかを一覧表として示す図である。図19において、“○”は「いいね」を付けたことを表わしていて、“−”は付けていないことを表わしている。また、図19の一番下の欄には各画像の「いいね」の合計数が示されている。今、ユーザAとユーザBがそれぞれSNSにおける自らのアカウントにログインし、アルバムレイアウトの自動作成を実行する場合を考える。
図20はユーザAとユーザBと他のユーザとの人間関係を表わした図である。
図20(a)は円2001の円内に含まれるユーザがユーザAの友人であり、同円の外にあるユーザはユーザAと友人関係でないことを示す(ここでは他人と呼ぶことにする)。同様に、円2002はユーザBの友人の範囲を示している。また、図20(b)はユーザAとユーザB夫々が他のユーザとどのような関係にあるのかを表として示す図である。これらから分かるように、ユーザAとユーザBとは互いに対しては他人であるが、ユーザAとユーザBの両方を友人とするユーザがいる。ユーザF、ユーザG、ユーザHがこれに該当する。
以上のような人間関係を例として、ユーザAとユーザBがそれぞれレイアウトを作成する例について説明する。
図21は4つのケース(Case1〜4)夫々についての基礎点を表として示す図であり、図22は図21に示す4つのケース(Case1〜4)夫々についての合計点を表として示す図である。
[1]Case1(ユーザ本人の評価のみを反映させる場合)
まず、比較のため、アルバムレイアウトを作成するユーザ本人の「いいね」のみ反映する場合を考える。これは実質的には、SNS上での第三者による画像評価情報を利用しない場合に相当する。即ち、ローカルアプリケーション等でユーザ本人が各画像に対して「お気に入り」の設定を行う従来の技術(例えば、特開2006−120076号公報)と同じである。
「いいね」の基礎点は図21のCase1の欄に示されるように、本人によるものが1点、他は0点となる。この結果、各画像の「いいね」の合計点及び選ばれる画像(=出力結果)は、図22のCase1の欄に示された通りになる。ユーザAがレイアウト作成を行った場合もユーザBがレイアウト作成を行った場合も、共にユーザ本人が「いいね」を付けた画像のみが選ばれる。注目すべきは、図19から分かるように「いいね」数が最も少ない画像bもしくは画像dが選ばれ、「いいね」数が最も多い画像eが選ばれていない点である。
このように、「いいね」数が多い、即ち、(第三者が評価すれば)潜在的に良い画像である可能性の高い画像をレイアウトに使用できないのである。ユーザA及びユーザBがそもそも画像e、画像fを閲覧していない、もしくは閲覧したが「いいね」を付け忘れた等の可能性も十分考えられる。しかしながら、ユーザ本人の評価のみを使用する場合、これらの事態にも対応はできない。
[2]Case2(全員の評価を反映させ、基礎点に重み付けをしない場合)
ここでは、全ユーザ10人の「いいね」を反映させ、且つ基礎点に重み付けをしない場合を考える。これは、第2実施形態の例に相当する。「いいね」の基礎点は図21のCase2の欄に示される通り、一律1点となる。この結果、各画像の「いいね」の合計点及び出力結果は、図22のCase2の欄に示された通りになる。ユーザAがレイアウト作成を行った場合もユーザBがレイアウト作成を行った場合も、共に「いいね」総数が多い順に2つの画像(画像eと画像f)選ばれる。注目すべきは、ユーザ本人の「いいね」が付いた画像a及び画像bが選ばれず、ユーザ本人の「いいね」が付いていない画像fが選ばれている点である。また、画像a及び画像bと、画像fとの「いいね」総数の差は僅かに1である。
このように、「いいね」の総数が拮抗しているにも関わらず、ユーザ本人が「いいね」を付けた画像が選ばれず、付けていない画像が選ばれてしまうのである。基礎点に重みがないと、このような事態が生じえる。
[3]Case3(全員の評価を反映させ、ユーザ本人の評価の基礎点を重み付けする場合)
ここでは、全ユーザ10人の「いいね」を反映させ、且つ、ユーザ本人の「いいね」の基礎点に重み付けをする場合を考える。友人と他人は区別せず、一律で「他ユーザ」とする。
基礎点の算出を次のようにする。ここでは、ユーザ本人の「いいね」の点数と、他ユーザ全員の「いいね」の合計点数のバランスを考えることにする。この例ではユーザ総数は10人であり、ユーザ本人の1人に対して他ユーザは9人である。他ユーザによる「いいね」の基礎点を1点とすると、他ユーザ全員の「いいね」の合計点数は9点となる。これに対して、ユーザ本人の「いいね」の点数を何点にするかを考える。例えば、ユーザ本人の「いいね」の基礎点を他ユーザ全員の「いいね」の合計点数の50%、即ち、4.5点に設定することを考慮する。
この設定は、次のような理由のためにユーザ本人の評価が強く反映され過ぎてしまう可能性がある。図19の例では、画像6個に対して合計21個の「いいね」が付けられていることが分かる。この評価において、ユーザAもユーザBも自ら付けた「いいね」は2個であるから、どちらの場合においても他ユーザによる「いいね」総数は19個であり、他ユーザによる1画像あたりの平均「いいね」数は約3.1個であることが分かる。
他ユーザによる「いいね」の基礎点を1点とすると、他ユーザの「いいね」による1画像あたりの平均点数は3.1点となる。従って、4.5点はこの値を大きく上回ってしまう。この実施形態では、ユーザ本人の評価と他ユーザの評価を共に生かしたレイアウト作成を行うことを目的としているため、ユーザ本人の「いいね」の基礎点は、他ユーザによる1画像あたりの平均「いいね」数である3.1点を下回るよう設定する。
この実施形態では、ユーザ本人の「いいね」の基礎点を、以下の式で表わされる関係が満たされるように決定する。即ち、
ユーザ本人の「いいね」の点数:他ユーザ全員分の「いいね」の点数=1:3
と設定する。
これに従うと、図21のCase3の欄に示される通り、ユーザ本人の「いいね」の基礎点は3点、他ユーザの「いいね」の基礎点は1点となる。この結果、各画像の「いいね」の合計点及び出力結果は、図22のCase3の欄に示された通りになる。即ち、ユーザAがレイアウト作成を行った場合は画像aと画像eが選ばれ、ユーザBがレイアウト作成を行った場合は画像bと画像eが選ばれている。画像aはユーザAが「いいね」を付け且つ複数の他ユーザも「いいね」を付けている画像である。画像bはユーザBが「いいね」を付け且つ複数の他ユーザも「いいね」を付けている画像である。画像eはユーザ本人は「いいね」を付けていないが他ユーザによる「いいね」が最も多い画像である。
このように、ユーザ本人の評価の基礎点を重み付けすることで、ユーザ本人の評価と本人以外のユーザの評価が共に生かされた結果を得ることができる。
[4]Case4(全員の評価を反映させ、ユーザ本人の評価の基礎点と友人の評価の基礎点に重み付けをする場合)
Case3では、ユーザAがレイアウト作成を行った場合も、ユーザBがレイアウト作成を行った場合も、共に画像eが選ばれているが、画像eはユーザAもユーザBも「いいね」を付けていない。このように、Case3によれば、ユーザ本人が「いいね」を付けていない画像が選ばれる場合、常に同じ画像が選ばれてしまうのである。これは、ある画像群からアルバムレイアウトを自動生成する場合、その画像群に「いいね」を付けていないユーザ間では常に同じレイアウトが出来てしまうことを意味する。
ここで、ユーザ本人が「いいね」を付けていない画像がそのユーザにとってどのような意味合いを持つかを検討する。
図22によると、ユーザAがレイアウト作成を行った場合とユーザBがレイアウト作成を行った場合の両方において、2番目に点数が高い画像が画像e、画像3番目に点数の高い画像が画像fとなっている。ここで、ユーザA及びユーザBにとって、画像eと画像fの意味合いを比較検討する。
ユーザAにとって、画像eは友人6人が「いいね」を付けた画像であるのに対し、画像fは友人3人と他人2人が「いいね」を付けた画像である。「いいね」を付けたユーザが全員友人であり、且つ「いいね」の総数も多い画像eの点数が高いことは合理的であるように思える。一方、ユーザBにとって、画像eは友人3人と他人3人が「いいね」を付けた画像であるのに対し、画像fは友人5人が「いいね」を付けた画像である。画像eは「いいね」の総数は多いが、それを付けたユーザの半数はユーザBにとって他人である。これに対し、画像fは「いいね」の総数が画像eのそれに比べて1個少ないが、「いいね」を付けたユーザ全員がユーザBの友人である。
仮に、自分自身が写っている画像に各ユーザが「いいね」を付ける場合を考えると、ユーザBにとって、画像eは友人3人と他人3人が写る画像であり、画像fは友人5人が写る画像となる。この場合、ユーザBが作成するアルバムレイアウトにより相応しいのは、より多くの友人が写っている画像fであると考えることができる。これは、ユーザ本人が「いいね」を付けていない画像がレイアウトに用いられる際に、常に同じ画像が選ばれてしまうことには問題があることを示唆している。
上記を踏まえて、Case4では、全ユーザ10人の「いいね」を反映させ、且つユーザ本人の「いいね」の基礎点と友人の「いいね」の基礎点を重み付けする。Case4では基礎点の算出を次のようにする。基本的な考え方はCase3と同様であるが、ここでは、各基礎点を、以下の式で表わされる関係が満たされるように決定する。即ち、
ユーザ本人の「いいね」の点数:友人全員分の「いいね」の点数=1:3
他人全員分の「いいね」の点数:友人全員分の「いいね」の点数=1:3
と設定する。
これに従うと、図21のCase4の欄に示される値が基礎点として求められる。ユーザAがレイアウト作成を行う場合、ユーザ本人の「いいね」の基礎点は3点、友人の「いいね」の基礎点は1.5点、他人の「いいね」の基礎点は1点となる。また、ユーザBがレイアウト作成を行う場合、ユーザ本人の「いいね」の基礎点は4点、友人の「いいね」の基礎点は2.4点、他人の「いいね」の基礎点は1点となる。具体的な計算は省略するが、ここでもユーザ本人の「いいね」の基礎点は、友人及び他人の「いいね」による1画像あたりの平均点数を下回るよう設定されている。
この結果、画像の「いいね」の合計点及び出力結果は、図22のCase4の欄に示された通りになる。ユーザAがレイアウト作成を行った場合は画像aと画像eが選ばれ、ユーザBがレイアウト作成を行った場合は画像bと画像fが選ばれている。ユーザAにとって、画像aはユーザ本人が「いいね」を付け且つ複数の友人も「いいね」を付けている画像、画像eはユーザ本人は「いいね」を付けていないが多くの友人が「いいね」を付けている画像である。ユーザBにとって、画像bはユーザB本人が「いいね」を付け且つ複数の友人も「いいね」を付けている画像、画像fはユーザ本人は「いいね」を付けていないが多くの友人が「いいね」を付けている画像である。
このように、全員の評価を反映させ、ユーザ本人の評価の基礎点と友人の評価の基礎点に重み付けをすることで、ユーザ本人の評価と本人以外のユーザの評価が共に生かされ、かつ本人以外の評価において友人の評価をより重視した結果を得ることができる。
従って、以上説明した実施形態に従えば、評価の基礎点にユーザ本人、その友人、他人などその人間関係に従った重み付けを行うことで、ユーザ自身と他のSNSユーザの評価を利用しつつ、適切なレイアウトを作成することができる。
また、以上説明した実施形態では、レイアウト作成者がSNSにログインすることで、そのレイアウト作成者が誰であるかをSNS上で一意に特定することができる。さらに、そのレイアウト作成者の友人情報と、レイアウト対象画像に関する主観評価(「いいね」と同じ)を行った人物の個人ID情報を取得することで、その主観評価の設定者を識別することができる。これにより、従来は設定者に依らず一律に扱われていた主観評価情報の重みを、その設定者に応じて変更することが可能になる。
従って、従来は誰が作成を実行しても同じレイアウト結果しか得られなかった自動レイアウトの出力結果を、レイアウトを作成するユーザに応じて変えることができるようになる。また、他のSNSユーザの評価を利用しつつ、ユーザ本人による評価も生かしたレイアウトの作成も可能になる。
なお、以上説明した実施形態におけるポイント数(点数)等の値は説明のための値であり、他のポイント数や演算式を用いたとしても、本発明の目的と合致するものであれば、他の値や式を用いても良い。また、この実施形態では、「いいね」の設定者を本人、友人、他人の3種類に分類して各々の基礎点の重みを変えたが、本発明はこれによって限定されるものではない。その他の分類方法を用いたとしても、同等の効果が得られる場合は、その分類方法も本発明の範疇に含まれる。
また以上の実施形態におけるSNSサーバは、サーバ装置を限定するものではない。即ち、SNSサーバが1つのサーバ装置から構成されてもよいし、複数のサーバを含むサーバシステムがSNSサーバとして動作してもよい。例えば、印刷対象の候補となる画像を格納し、情報処理装置に画像を提供するサーバ装置と、評価情報を格納し、情報処理装置に提供するサーバ装置が異なる場合であってもよい。さらに、上記のように画像、評価情報を格納するサーバ装置と、それを情報処理装置に提供するサーバ装置とが異なる場合であってもよい。
本発明は前述した実施形態の機能を実現するプログラムコードを記録した記録媒体をシステム又は装置に供給し、そのシステム又は装置のコンピュータが記録媒体に格納されたプログラムコードを読出し実行することによっても達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROM、DVDなどを用いることができる。
また、本発明はコンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでない。本発明にはそのプログラムコードの指示に基づき、コンピュータ上で稼動しているOperating System(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
また、本実施形態の機能を実現するためのプログラムコードを、1つのコンピュータ(CPU、MPU)で実行する場合であってもよいし、複数のコンピュータが協働することによって実行する場合であってもよい。さらに、プログラムコードをコンピュータが実行する場合であってもよいし、プログラムコードの機能を実現するための回路等のハードウェアを設けてもよい。またはプログラムコードの一部をハードウェアで実現し、残りの部分をコンピュータが実行する場合であってもよい。
100 CPU、101 ROM、102 RAM、103 2次記憶装置、
104 ディスプレイ、105 タッチセンサ、112 プリンタ、
113 ネットワーク、114 サーバ

Claims (18)

  1. ユーザの指示に応じて、当該ユーザとは異なる第三者によるアクセスが可能なサーバから出力対象の画像をダウンロードするダウンロード手段と、
    前記ダウンロード手段によりダウンロードされる出力対象の画像に対して第三者により付与された情報を取得する取得手段と、
    前記取得手段により取得された報に従って、前記出力対象の画像に対して評価を行い、当該評価の結果に基づいて前記出力対象の画像に対する画像処理方法を決定する決定手段と、
    前記出力対象の画像に対し、前記決定手段により決定された画像処理方法に従った画像処理を行う画像処理手段と、
    前記画像処理手段により画像処理された前記出力対象の画像を出力する出力手段と
    を有することを特徴とする情報処理装置。
  2. 前記サーバは、SNS(ソーシャル・ネットワーキング・サービス)を提供するサーバであることを特徴とする請求項1に記載の情報処理装置。
  3. 前記取得手段は、前記SNS用いる前記第三者によりなされた評価を示す情報を取得することを特徴とする請求項に記載の情報処理装置。
  4. 前記出力手段は前記出力対象の画像を記録媒体に印刷するプリンタに力することを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。
  5. 前記画像処理は、前記ダウンロードした画像に対する補正処理を含ことを特徴とする請求項1乃至のいずれか1項に記載の情報処理装置。
  6. 前記決定手段は、前記補正処理を実行するか否かを決定することを特徴とする請求項5に記載の情報処理装置。
  7. 前記取得手段は、人物を特定するための情報を取得し、
    前記決定手段は、
    前記取得手段により取得された情報に基づき、前記人物を含み且つ前記出力対象の画像とは異なる他の画像を前記サーバから取得し、
    当該取得された他の画像を解析することで、前記画像処理方法を決定することを特徴とする請求項1乃至6のいずれか1項に記載の情報処理装置。
  8. 前記画像処理方法は、肌色補正または赤目補正を含むことを特徴とする請求項7に記載の情報処理装置。
  9. 前記決定手段は、前記ダウンロードした、複数の画像を1枚の記録媒体に印刷するためのN−UP処理における、1枚の記録媒体に印刷する画像の数を決定することを特徴とする請求項1乃至4のいずれか1項に記載の情報処理装置。
  10. 前記決定手段は、前記取得手段が取得した情報が示す前記ダウンロードを指示したユーザの年齢に基づいて、いくつの画像を1枚の記録媒体に印刷するのかを決定する決定手段を含むことを特徴とする請求項に記載の情報処理装置。
  11. 前記出力手段は、前記ダウンロード手段によりダウンロードされた複数の画像を用いたアルバムのレイアウトの自動作成を行うことを特徴とする請求項1乃至10のいずれか1項に記載の情報処理装置。
  12. 前記取得手段はさらに前記取得手段により取得された情報を付与した前記第三者、前記ダウンロードを指示したユーザの友人であるか、他人であるかを分類するための分類情報を取得し、
    前記決定手段は、前記第三者により付与された情報と前記分類情報とに従って、前記出力対象の画像に対する評価を行うことを特徴とする請求項11に記載の情報処理装置。
  13. 前記アルバムのレイアウトの自動作成には、予め定められたフォーマットのアルバムのテンプレートが備えられ、
    前記アルバムのテンプレートには、予め定められた数の画像が含まれることを特徴とする請求項11又は12に記載の情報処理装置。
  14. 前記取得手段により取得された前記分類情報により前記友人と前記他人とに分類された、前記付与された情報に基づいて、前記アルバムのテンプレートに含められる画像を選択する選択手段を含むことを特徴とする請求項12に記載の情報処理装置。
  15. 前記取得手段により取得された前記分類情報により前記ダウンロードを指示したユーザ本人の分類が可能であり、
    前記選択手段は、当該ユーザの評価と前記友人の評価と前記他人の評価それぞれに重み付けを行い、当該重み付けの結果に基づいて、前記アルバムのテンプレートに含められる画像を選択することを特徴とする請求項14に記載の情報処理装置。
  16. 前記第三者により付与された情報は、当該第三者の属性情報および当該第三者により前記ダウンロードされた画像に付与された当該画像の構成を示す情報を含むことを特徴とする請求項1乃至15のいずれか1項に記載の情報処理装置。
  17. ユーザの指示に応じて、当該ユーザとは異なる第三者によるアクセスが可能なサーバから出力対象の画像をダウンロードするダウンロード工程と、
    前記ダウンロード工程にてダウンロードされる出力対象の画像に対して第三者により付与された情報を取得する取得工程と、
    前記取得工程において取得された報に従って、前記出力対象の画像に対して評価を行い、当該評価の結果に基づいて前記出力対象の画像に対する画像処理方法を決定する決定工程と、
    前記出力対象の画像に対し、前記決定工程にて決定された画像処理方法に従った画像処理を行う画像処理工程と、
    前記画像処理工程により画像処理された前記出力対象の画像を出力する出力工程と
    を有することを特徴とする情報処理方法。
  18. コンピュータを、請求項1乃至16のいずれか1項に記載の情報処理装置の各手段として機能させるための、または請求項17に記載の情報処理方法をコンピュータに実行させるためのプログラム。
JP2014173009A 2014-08-27 2014-08-27 情報処理装置、情報処理方法、及びプログラム Active JP6417154B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014173009A JP6417154B2 (ja) 2014-08-27 2014-08-27 情報処理装置、情報処理方法、及びプログラム
US14/829,679 US9594534B2 (en) 2014-08-27 2015-08-19 Information processing apparatus, information processing method, and storage medium that perform image processing for a downloaded image based on third party subjective evaluation information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014173009A JP6417154B2 (ja) 2014-08-27 2014-08-27 情報処理装置、情報処理方法、及びプログラム

Publications (3)

Publication Number Publication Date
JP2016048845A JP2016048845A (ja) 2016-04-07
JP2016048845A5 JP2016048845A5 (ja) 2017-10-05
JP6417154B2 true JP6417154B2 (ja) 2018-10-31

Family

ID=55402554

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014173009A Active JP6417154B2 (ja) 2014-08-27 2014-08-27 情報処理装置、情報処理方法、及びプログラム

Country Status (2)

Country Link
US (1) US9594534B2 (ja)
JP (1) JP6417154B2 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6660119B2 (ja) 2015-08-07 2020-03-04 キヤノン株式会社 情報処理装置、情報処理方法、並びにプログラム
JP6525862B2 (ja) 2015-08-07 2019-06-05 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US9959604B2 (en) * 2016-06-13 2018-05-01 Gopro, Inc. Dynamic global tone mapping with integrated 3D color look-up table
JP6902860B2 (ja) 2016-12-09 2021-07-14 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP6942464B2 (ja) 2016-12-09 2021-09-29 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP6902886B2 (ja) 2017-03-14 2021-07-14 キヤノン株式会社 画像処理装置、方法およびプログラム
JP7128665B2 (ja) * 2018-06-11 2022-08-31 富士フイルム株式会社 画像処理装置,画像処理方法ならびに画像処理プログラムおよびそのプログラムを格納した記録媒体
JP7065738B2 (ja) * 2018-09-18 2022-05-12 富士フイルム株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
JP7341677B2 (ja) 2019-02-28 2023-09-11 キヤノン株式会社 装置、方法、及びプログラム
JP7341676B2 (ja) 2019-02-28 2023-09-11 キヤノン株式会社 装置、方法、及びプログラム
JP7350495B2 (ja) 2019-02-28 2023-09-26 キヤノン株式会社 装置、方法、及びプログラム
JP7286393B2 (ja) 2019-04-17 2023-06-05 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7286392B2 (ja) 2019-04-17 2023-06-05 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2022123210A (ja) 2021-02-12 2022-08-24 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、及びプログラム
JP2022123213A (ja) 2021-02-12 2022-08-24 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、及びプログラム
JP2022123209A (ja) 2021-02-12 2022-08-24 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US11893668B2 (en) 2021-03-31 2024-02-06 Leica Camera Ag Imaging system and method for generating a final digital image via applying a profile to image information
JP2022162279A (ja) * 2021-04-12 2022-10-24 ブラザー工業株式会社 プリンタ、印刷システムおよびプログラム
JP2023021794A (ja) 2021-08-02 2023-02-14 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2023067164A (ja) 2021-10-29 2023-05-16 キヤノン株式会社 画像処理装置及び画像処理方法
JP2023067166A (ja) 2021-10-29 2023-05-16 キヤノン株式会社 画像処理装置及び画像処理方法

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4667228A (en) 1983-10-14 1987-05-19 Canon Kabushiki Kaisha Image signal processing apparatus
JPH02140064A (ja) 1988-11-19 1990-05-29 Canon Inc カラー信号処理装置
JP3302011B2 (ja) 1990-06-11 2002-07-15 キヤノン株式会社 図形編集方法及びその装置
US5677725A (en) 1993-02-25 1997-10-14 Canon Kabushiki Kaisha Image forming apparatus and method performing a halftone image by pulse-width modulation
DE69426714T2 (de) 1993-06-30 2001-08-02 Canon K.K., Tokio/Tokyo Dokumentverarbeitungsverfahren und Gerät
JP3015264B2 (ja) 1993-12-10 2000-03-06 キヤノン株式会社 情報処理装置及び方法
JPH09116911A (ja) 1995-10-20 1997-05-02 Canon Inc 撮像システム
JP2003032612A (ja) 2001-07-13 2003-01-31 Canon Inc 動画再生記述方法、動画再生記録装置、記録媒体および制御プログラム
JP2003134323A (ja) 2001-10-19 2003-05-09 Fuji Xerox Co Ltd 画像形成装置及びその制御方法
JP2003219329A (ja) 2002-01-28 2003-07-31 Canon Inc プリンタ一体型カメラ
JP4335492B2 (ja) 2002-03-05 2009-09-30 キヤノン株式会社 動画像管理方法及び装置
JP4345622B2 (ja) * 2003-11-05 2009-10-14 オムロン株式会社 瞳色推定装置
JP4165408B2 (ja) 2004-01-30 2008-10-15 富士ゼロックス株式会社 画像形成装置及び画像形成プログラム
JP2006120076A (ja) 2004-10-25 2006-05-11 Canon Inc 画像処理方法
JP4405942B2 (ja) 2005-06-14 2010-01-27 キヤノン株式会社 画像処理装置およびその方法
JP2008040578A (ja) * 2006-08-02 2008-02-21 Seiko Epson Corp 画像処理装置、印刷装置、画像処理方法、および、画像処理プログラム
JP5032911B2 (ja) 2007-07-31 2012-09-26 キヤノン株式会社 画像処理装置及び画像処理方法
JP2009181262A (ja) * 2008-01-30 2009-08-13 Nikon Systems Inc コンテンツ評価装置
JP2010020594A (ja) 2008-07-11 2010-01-28 Kddi Corp 瞳画像認識装置
JP5743384B2 (ja) 2009-04-14 2015-07-01 キヤノン株式会社 画像処理装置及び画像処理方法とコンピュータプログラム
JP5183568B2 (ja) 2009-05-21 2013-04-17 キヤノン株式会社 画像処理装置及び方法、及びプログラムを記録した記憶媒体
JP2012178028A (ja) * 2011-02-25 2012-09-13 Canon Inc アルバム作成装置、アルバム作成装置の制御方法、及びプログラム
JP2012252473A (ja) * 2011-06-01 2012-12-20 Konica Minolta Business Technologies Inc 印刷装置、印刷システムおよびプログラム
US9118876B2 (en) * 2012-03-30 2015-08-25 Verizon Patent And Licensing Inc. Automatic skin tone calibration for camera images
JP5956860B2 (ja) 2012-07-09 2016-07-27 キヤノン株式会社 画像処理装置、画像処理方法、プログラム
JP5993642B2 (ja) 2012-07-09 2016-09-14 キヤノン株式会社 情報処理装置及びその制御方法及びプログラム
JP6012310B2 (ja) 2012-07-09 2016-10-25 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP6122260B2 (ja) 2012-07-09 2017-04-26 キヤノン株式会社 画像処理装置及びその方法とプログラム
JP6039942B2 (ja) 2012-07-09 2016-12-07 キヤノン株式会社 情報処理装置及びその制御方法及びプログラム
JP2014016928A (ja) * 2012-07-11 2014-01-30 Fuji Xerox Co Ltd 画像処理装置及びプログラム
JP5655112B2 (ja) * 2012-09-14 2015-01-14 富士フイルム株式会社 合成画像作成システム、画像処理装置および画像処理方法
JP5883815B2 (ja) * 2013-03-11 2016-03-15 富士フイルム株式会社 電子アルバム装置およびその動作制御方法

Also Published As

Publication number Publication date
US9594534B2 (en) 2017-03-14
US20160062716A1 (en) 2016-03-03
JP2016048845A (ja) 2016-04-07

Similar Documents

Publication Publication Date Title
JP6417154B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US9761031B2 (en) Image processing apparatus and image processing method
US9177194B2 (en) System and method for visually distinguishing faces in a digital image
US20140013213A1 (en) Apparatus and control method thereof
US9336442B2 (en) Selecting images using relationship weights
JP6282065B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US20140009796A1 (en) Information processing apparatus and control method thereof
JP2015053541A (ja) 画像処理装置、画像処理方法、及びプログラム
US20160323481A1 (en) Image processing apparatus, image processing system, image processing method, and recording medium
US20150169944A1 (en) Image evaluation apparatus, image evaluation method, and non-transitory computer readable medium
JP2014016825A (ja) 画像処理装置、画像処理方法およびプログラム
JP2014016784A (ja) 画像処理装置、画像処理方法、及びプログラム
US20150003680A1 (en) Information processing apparatus, method for processing information, and program
JP2010074405A (ja) 画像処理装置および画像処理方法
US11360715B2 (en) Printer and non-transitory computer readable storage medium with shared review function
JP2015053543A (ja) 画像処理装置、画像処理方法およびプログラム
JP2011192008A (ja) 画像処理システムおよび画像処理方法
WO2018010652A1 (zh) 图像识别回调通知的方法、服务器和计算机可读存储介质
JP2011227783A (ja) 画像処理装置、画像処理方法及びそのプログラム
JP2015087726A (ja) 画像投影装置
JP2013131077A (ja) 画像処理装置、画像処理方法及びプログラム、画像処理システム
JP2019205061A (ja) 情報処理装置及びプログラム
CN114677291B (zh) 一种图像处理方法、装置及相关设备
JP2019208088A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2005301337A (ja) 画像処理装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170825

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170825

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180622

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180907

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181005

R151 Written notification of patent or utility model registration

Ref document number: 6417154

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151