【０００１】
【発明の属する技術分野】
本発明は、新聞や雑誌などの紙面制作において紙面に掲載される画像を作成するなどの目的で、トリミング、切り抜き、並びに画質の最適化などの画像処理を行う画像処理方法及び画像処理装置に関するものである。
【０００２】
【従来の技術】
人物が撮影された写真を元にして印刷物に掲載する顔写真を作成する場合、顔写真として不要な部分を取り除くトリミング処理の他、人物の画像域のみを残して背景を切り取って適当な背景に差し替える処理が必要になる。このような場合、汎用の画像処理ソフトを用いてオペレータが手入力で行う方法がある。また特開２０００−３６０３２号公報に開示されたように、トリミングや切り抜きなどの処理を自動化するための画像処理方法も知られている。
【０００３】
また、印刷物に掲載する画像を作成するにあたっては、印刷物上での仕上がりを良くするための画質の最適化処理が必要であるが、特に新聞や雑誌の紙面に掲載する画像の場合、記事のテーマに対応する人物などの対象物を画像内で即座に判別し得る見易い画像にするための明暗補正処理が必要な場合がある。また人物の顔写真を一覧にした際に一部の顔写真が不自然にならないように人物の肌色を概ね統一する色補正処理が必要な場合がある。このような場合、処理対象画像の濃度ヒストグラムにおける濃度分布を許容濃度範囲の全体に引き延ばすように画素データの変換を行う明暗補正処理や、各色の成分別にガンマカーブなどを用いて色補正を行う色補正処理が一般的に行われている。
【０００４】
【発明が解決しようとする課題】
ところが、汎用の画像処理ソフトで切り抜きなどの画像処理を行う場合、オペレータの作業負担が大きい上にオペレータの技能の差により均一な処理ができない不都合が生じる。他方、前記公報に記載の方法では、背景のみの画像が必要となるが、これを入手できない場合も多くあり、利用が制限される不都合がある。さらに多数の人物の顔写真を紙面に並べて掲載する場合のように複数の画像を一覧にする場合には、入手した雑多な写真を手際良く処理して適切な顔写真を作成する必要があり、このような用途には不向きである。
【０００５】
また、前記従来の明暗補正処理方法では、濃度値の分布が許容濃度範囲の略全域に及ぶ場合には処理の効果が得られない不都合があり、このような場合には、濃度ヒストグラム上で許容濃度範囲の全体に引き延ばす処理の対象領域をオペレータが指定することで対処することも可能であるが、これでは作業効率が低下すると共に品質が一定しない不都合が生じる。さらに、前記従来の色補正処理では、人物の肌部分など、着目した特定の部分の色が所要の色になるように色補正を行うと、画像全体の色バランスが原画像と異なるものになり、印象が極端に異なる不自然な画像に変化してしまう不都合があり、高度な技能を有しないオペレータでも適切な品質の色補正画像を簡単に作成する方法が望まれる。
【０００６】
本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、新聞などの紙面制作において紙面に掲載される画像を作成する際に所要の品質を確保しつつ作業効率を高めることができる画像処理方法及び画像処理装置を提供することにある。
【０００７】
【課題を解決するための手段】
このような目的を果たすために、本発明においては、請求項１に示すとおり、カラー画像に対する所要のカラー画像処理を、その状況を画面表示しながらオペレータの指示にしたがって画像処理手段が実行すると共に、カラー画像からモノクロ画像を作成し、カラー画像処理と並行してこれに対応するモノクロ画像処理を、その状況を画面表示することなく画像処理手段がモノクロ画像に対して実行するものとした。これによると、新聞紙面制作などにおいてカラー画像とモノクロ画像との双方を用意しておく必要がある場合に、モノクロ画像処理のための格別な操作を行うことなくカラー画像と共に適切なモノクロ画像が作成され、オペレータの作業を省力化することができる。さらに画像処理の処理条件（各種パラメータ）をカラー画像処理とモノクロ画像処理とで別々に設定することができるため、単に処理済みカラー画像をモノクロ化する場合に比較して高品質なモノクロ画像を得ることができる。
【０００８】
また本発明においては、請求項２に示すとおり、処理対象画像に対して不要部分を取り除くトリミング処理を行うに際して、このトリミング処理に関する条件が互いに異なる複数の処理パターンに関する情報を記憶手段に予め登録しておき、オペレータの指示があると、トリミング処理手段が複数の処理パターンごとのトリミング画像をそれぞれ作成するものとした。これによると、新聞紙面制作などにおいて縦横寸法などが異なる複数種類のトリミング画像を用意しておく必要がある場合に、処理パターンごとにオペレータが逐一操作する手間を省くことができる。
【０００９】
前記画像処理方法においては、請求項３に示すとおり、トリミング処理と共に、処理対象画像に対して主要対象物の画像域を切り抜く切り抜き処理を行うものとし、この切り抜き処理で得られる主要対象物の画像域の背景に設定される背景画像を複数の処理パターンごとに予め登録しておき、その複数の処理パターンごとに背景画像が設定されたトリミング画像を作成する構成とすることができる。これによると、差し替える背景画像を別途指定する手間を省くことができ、適当な背景が設定されたトリミング画像を迅速に作成することができる。
【００１０】
本発明においては、請求項４に示すとおり、処理対象画像に対して不要部分を取り除くトリミング処理を行うに際して、このトリミング処理の状況を画面表示すると共に、処理対象画像内の主要対象物に対するトリミング枠の位置を判別する補助線をトリミング枠内に画面表示し、これに基づいてオペレータがトリミング枠の位置を修正する操作を行うものとした。これによると、トリミング枠内の補助線がトリミング枠の位置合わせの基準となり、トリミング画像の中心と主要対象物の中心とのずれを修正したり、全体に対する主要対象物のバランスを整える微調整作業が容易になる。前記の補助線は、トリミング枠の中心を示す十字状をなすもの、トリミング枠に内接する略円形状をなすものが好適である。
【００１１】
本発明においては、請求項５に示すとおり、原画像に対して出力に適した画質の最適化を行う最適化処理により得られた最適化画像から主要対象物を切り抜く切り抜き処理を行うに際して、この切り抜き処理のための専用の画像を原画像から複製し、この切り抜き処理専用の画像に対して所要の画質補正を行った上で切り抜きパス情報を抽出し、ここで得られた切り抜きパス情報に基づいて最適化画像に対して切り抜き処理を実行するものとした。これによると、出力のための画質補正とは別に切り抜きパス情報抽出処理に適した画質補正を行うことができ、切り抜きパス情報抽出処理の精度を高めることができる。切り抜きパス情報抽出処理に適した画質補正としては、強めのぼかし処理、白黒２値化処理が好適である。
【００１２】
本発明においては、請求項６に示すとおり、処理対象画像に対する最適化処理として明暗補正処理を行うに際して、処理対象画像について画素ごとの明暗の度合いを示す値の分布状況を求めた後、この明暗の分布状況から画素数が最大となる値に基づいて暗領域及び明領域を除く中間補正領域を設定し、この中間補正領域を許容範囲全域に引き延ばすように画素データの変換を行うものとした。これによると、中間補正領域の境界値（暗値及び明値）が許容範囲の限界値になるように設定され、画素の明暗の度合いを示す値（濃度や明度、輝度）の分布が許容範囲の略全域に及ぶ場合でも、明暗が強調された見易い画像を得ることができる。しかも、画素数が最大となる最多値に基づいて中間補正領域が一律に設定され、オペレータが中間補正領域の境界値を指定する手間を省くことができるため、迅速な画質補正が可能になる。
【００１３】
この場合、中間補正領域を設定する際に、前後の画素数を加算して画素数が最大となる最多値を判定するものとすると良く、さらに前後の画素数の変動が著しい場合（画素数の分布曲線の傾きが急な場合）を除外するようにすると良く、これによると特定の値で画素数が突出する影響で中間補正領域を適切に設定することができなくなる不都合を避けることができる。また、中間補正領域の境界値（暗値及び明値）は、画素数が最大となる最多値に対して画素数が所定割合となることを条件に設定すれば良い。
【００１４】
前記画像処理方法においては、請求項７に示すとおり、明暗補正処理を行うに際して、処理の基準となる画像エリアがオペレータにより指定され、その指定画像エリアを対象にして中間補正領域を設定し、これを処理対象画像全体に適用して画素データの変換を行う構成とすることができる。これによると、顔写真における顔などの主要対象物が描かれた画像エリアを最適な状態に画質補正することができる。
【００１５】
本発明においては、請求項８に示すとおり、処理対象画像に対する最適化処理として色補正処理を行うに際して、処理の基準となる画像エリア、並びにその画像エリアの目標となる色がオペレータにより指定され、この指定の画像エリアの色が指定の色となるようにＲＧＢの各色成分を同時に変換する色相回転処理を処理対象画像全体に対して実行するものとした。これによると、画像全体の色バランスを保持したまま所定の画像エリア内の色を所要の色に変換することができ、高度な技能を有しないオペレータでも色バランスが整った自然な状態の色補正画像を迅速に作成することができる。
【００１６】
本発明においては、請求項９に示すとおり、画像処理装置の構成を、人物が撮影されたカラー原画像を元にして印刷物に掲載する顔写真を作成するために、処理対象画像に対して印刷に適した画質の最適化処理を行う最適化処理手段と、処理対象画像に対して人物の画像域を切り抜く切り抜き処理を行う切り抜き処理手段と、処理対象画像に対して顔写真として不要な部分を取り除くトリミング処理を行うトリミング処理手段とを有すると共に、カラー原画像からモノクロ原画像を作成するモノクロ画像作成手段と、カラー原画像を対象にして各処理手段で行われるカラー画像処理を表示手段に画面表示しながら実行させると共に、モノクロ原画像を対象にして各処理手段で行われるモノクロ画像処理を表示手段に画面表示することなく実行させる制御手段とを有するものとした。これによると、カラー画像と共に適切なモノクロ画像が作成され、新聞紙面制作などにおいてカラー画像とモノクロ画像との双方を用意しておく必要がある場合に、オペレータの作業を省力化することができる。
【００１７】
【発明の実施の形態】
以下に添付の図面を参照して本発明の実施の形態について詳細に説明する。
【００１８】
図１は、本発明が適用された画像処理装置の概略構成を示すブロック図である。この画像処理装置は、新聞などの紙面制作において紙面に掲載される画像を作成するものであり、写真プリントの読み取りやディジタルカメラからのデータ転送などで所要の画像データを入力する画像入力部１と、ここで得られるカラー原画像（ラスター画像）に対して所要の画像処理を行う画像処理部２と、演算用メモリ３と、画像処理部２で生成した画像データやプログラムなどが格納される記憶部４と、画像処理部２での処理状況を画面表示する表示部５と、キーボードやポインティングデバイスなどからなる入力部６と、画像処理部２で得られた画像データを印刷出力する画像出力部７と、各部の動作を制御する主制御部（制御手段）８とを有している。
【００１９】
図２は、図１に示した画像処理装置での処理の概要を示している。この画像処理システムでは、カラー原画像に対する所要のカラー画像処理、すなわち印刷に適した画質補正を行う最適化処理、画像から主要対象物を切り抜く切り抜き処理、並びに原画像の不要部分を取り除くトリミング及び背景設定の各処理が、その処理状況を表示部５に画面表示しながらオペレータの指示にしたがって各処理部２２・２３・２４で実行され、さらにモノクロ画像作成部２１においてカラー原画像からモノクロ原画像が作成され、カラー画像処理と並行してこれに対応するモノクロ画像処理が、表示部５に画面表示することなく各処理部２２・２３・２４でモノクロ原画像に対して実行される。
【００２０】
具体的には、まず画像入力部１で得られたカラー原画像を元にモノクロ画像作成部２１にてモノクロ原画像が作成され、両原画像の各々に対して最適化処理部２２において最適化処理が行われ、カラー及びモノクロの各最適化画像が生成する。ついで切り抜きパス情報抽出処理あるいはオペレータの手入力で得られた切り抜きパス（画像内の主要対象物とその背景との境界を表す輪郭線）に関する情報に基づいて切り抜き処理部２３においてカラー及びモノクロの各最適化画像に対して切り抜き処理が行われ、カラー及びモノクロの各切り抜き画像が生成する。そしてトリミング・背景処理部２４においてトリミング処理及び背景設定処理が行われ、カラー及びモノクロの各トリミング画像が生成する。なお、風景写真のように切り抜き処理並びにトリミング・背景処理が不要な場合は、カラー及びモノクロの各最適化画像を生成した段階で処理が終了する。
【００２１】
図３は、図１に示した画像処理装置での明暗補正処理の概要を示している。最適化処理部２２では、明暗を強調して見易い画像を得るために明暗補正処理が行われ、この明暗補正処理では、処理対象画像について濃度ヒストグラム（画素ごとの明暗の度合いを示す値の分布状況）を求め、この濃度ヒストグラムにおいて頻度（画素数）が最大となる最多濃度値（最多値）に基づいて暗領域及び明領域を除く中間補正領域を設定し、この中間補正領域を濃度値の許容範囲全域に引き延ばすように画素データの変換が行われる。中間補正領域の境界値（暗値及び明値）は、最多濃度値に対応する最大頻度（画素数）に対して所定割合となる基準頻度（画素数）となることを条件に設定される。
【００２２】
この明暗補正処理では、実測された分布領域より狭い範囲の中間補正領域を許容範囲全域に拡大するデータ変換処理が行われ、濃度値の分布が許容範囲の略全域に及ぶ場合でも十分な明暗強調効果が得られる。ここでは、中間補正領域に属する画素は明暗が強調され、中間補正領域外の暗領域に属する画素は一様に許容範囲の暗側の限界値（黒）に変換され、また明領域に属する画素は一様に許容範囲の明側の限界値（白）に変換される。
【００２３】
最適化情報抽出処理部２６では、前記のとおり処理対象画像から最適化情報（暗値及び明値）が抽出されるが、特定の画像エリア（例えば人物の顔部分）に着目してその画像エリア内を最適な状態にするため、最適化情報の抽出対象を一部の画像エリアに限定することができる。すなわち処理対象画像に対してオペレータにより画像エリアが指定されると、その指定画像エリアを対象にして最適化情報抽出処理部２６で濃度ヒストグラムの生成、並びにこれに基づく暗値及び明値の決定の処理が行われ、これに基づいて最適化処理部２２において処理対象画像全体に対する明暗補正処理が行われる。
【００２４】
図４は、図３に示した最適化情報抽出処理部での処理の概要を示す図である。中間補正領域の基準となる最多濃度値は、前後の濃度値の画素数を加算して判定が行われ、これにより部分的な突出値の影響で適切な中間補正領域の設定ができなくなる不都合を避けることができる。また、暗値及び明値を決定する際には、画素数が急激に変動する場合を除外する。これには前後の画素数の変化状況を示す傾きを算出し、これを予め設定されたしきい値と比較することで暗値及び明値として適切か否かの判定を行う。
【００２５】
図５は、図３に示した明暗補正処理の手順を示すフロー図である。まず最適化情報の抽出対象を画像全体とするか、あるいは指定画像エリアに限定するかの指示を行った上で、ステップ１０１にて濃度ヒストグラムが作成される。そしてステップ１０２にてこの濃度ヒストグラムから処理対象画像内の最多濃度値が検出され、つづくステップ１０３にて明値及び暗値の条件となる基準頻度（画素数）が算出される。ついでステップ１０４にて明値及び暗値の判定基準となる傾きのしきい値が設定される。
【００２６】
次にステップ１０５にて暗値の条件、すなわち基準頻度となる濃度値を許容範囲の暗側の端から明方向に探索し、該当する濃度値が検出されるとステップ１０６に進んで当該濃度値での傾きをしきい値と比較し、しきい値外であればステップ１０５に戻り、さらに明方向に暗値の探索を続ける。他方、当該濃度値での傾きがしきい値内であればステップ１０７に進み、当該濃度値が、頻度と傾きの各条件を満たす最も暗い値として暗値に設定される。
【００２７】
次にステップ１０８にて明値の条件、すなわち度数が基準頻度となる濃度値を濃度範囲の明側の端から暗方向に探索し、該当する濃度値が検出されるとステップ１０９に進んで当該濃度値での傾きをしきい値と比較し、しきい値外であればステップ１０８に戻り、さらに暗方向に明値の探索を続ける。他方、当該濃度値での傾きがしきい値内であればステップ１１０に進み、当該濃度値が、頻度と傾きの各条件を満たす最も明るい値として明値に設定される。そしてステップ１１１にて暗値及び明値を用いた明暗補正処理が実行される。
【００２８】
図６は、図１に示した画像処理装置での色補正処理の概要を示している。最適化処理部２２では、前記の明暗補正処理の他に、画像の色を調整する色補正処理が行われ、この色補正処理では、所定の画像エリア内の色が所要の色となるようにＲＧＢの各色成分を同時に変換する色相回転処理が行われる。ここでは、最適化情報抽出処理部２６において、オペレータにより指定された画像エリアの色と補正目標に設定された色とを比較して色差（最適化情報）が求められ、この色差に基づいて最適化処理部２２において画像全体に対して色相回転処理が行われる。特にここでは、顔写真を一覧にする場合に人物の肌色を概ね統一するため、人物の肌部分が最適化情報抽出エリアとして指定されている。
【００２９】
図７は、図６に示した色補正処理の手順を示すフロー図である。まずステップ２０１にて最適化情報を抽出するための画像エリアがオペレータにより指定され、つづくステップ２０２にて指定画像エリア内の画素が所要の色になるように補正目標値が設定される。次にステップ２０３にて指定画像エリアについて色成分ごとのヒストグラムが作成され、つづくステップ２０４にてそのヒストグラムの代表値と補正目標値とを比較して色差が算出される。そしてステップ２０５にてその色差に基づいて画像全体に対して色相回転処理が行われる。
【００３０】
図８は、図１に示した画像処理装置での切り抜き処理の概要を示している。切り抜き処理部２３では、最適化処理部２２で得られた最適化画像から主要対象物（ここでは人物）を切り抜く切り抜き処理が行われるが、このとき、切り抜き処理のための専用の画像が原画像から複製され、この切り抜き処理専用の画像に対して切り抜き用画質補正処理部２７にて所要の画質補正を行った上で、切り抜きパス情報抽出処理部２８にて切り抜きパス情報が抽出され、ここで得られた切り抜きパス情報に基づいて最適化画像に対する切り抜き処理が切り抜き処理部２３で行われる。
【００３１】
図９は、図８に示した切り抜き用画質補正処理部での処理の概要を示している。切り抜き用画質補正処理部では、切り抜きパス情報抽出処理の精度を高めるため、周囲の画素の成分値で平均化するぼかし処理が強めに実施される。また必要に応じて白黒２値化処理が行われる。この切り抜き用画質補正を行わない場合には、ＪＰＥＧ圧縮方式によるスクラッチノイズなどの影響で図示するように適切な切り抜きパスが得られないが、切り抜き用画質補正を行うと、適切な切り抜きパスが得られる。なお、切り抜きパス情報は、所定の閾値を超えるエッジ強度を有することを条件に切り抜きパスを構成する画素を探索することで抽出することができる。
【００３２】
図１０は、図１に示した画像処理装置でのトリミング・背景処理の概要を示している。トリミング・背景処理部２４では、原寸画像に対して顔写真として不要な部分を取り除くトリミング処理が行われるが、ここではトリミング処理に関する条件が互いに異なる複数の処理パターンに関する情報を記憶部４に予め登録しておき、オペレータの指示があると、トリミング・背景処理部２４が複数の処理パターンごとのトリミング画像をそれぞれ作成するようになっている。
【００３３】
ここでは、複数の処理パターンごとのトリミング・背景テーブルが記憶部４に記憶され、オペレータが指定した処理パターンに対応するトリミング・背景テーブルを読み出してトリミング処理が行われる。トリミング・背景テーブルには、トリミング画像の縦横寸法、トリミング画像全体に対する顔の天地方向の寸法割合（顔比率：ａ／Ａ）、トリミング画像全体に対する頭上空間の天地方向の寸法割合（頭上空比率：ｂ／Ａ）に関する情報が格納されている。
【００３４】
トリミング処理を行うにあたっては、トリミング処理の状況が表示部に画面表示され、まずオペレータにより原寸画像上で顔の天地左右の位置を指定する操作が行われる。ここでは、天地左右の指示線が顔の天地左右の端にくるようにオペレータが操作し、この天地左右の指示線の位置から原寸画像全体に対する顔の配置状態に関するトリミング座標情報が生成する。
【００３５】
次にオペレータによりトリミング枠の位置を修正する操作が行われる。前記の天地左右の指定操作により生成したトリミング座標情報がトリミング枠修正処理部２９に送られ、これとトリミング・背景テーブルに基づいて、まずトリミング枠の中心と顔との中心が整合するようにトリミング枠が画面表示され、トリミング枠の中心と顔の中心とがずれているなど、トリミング枠と顔とのバランスが悪い場合には、オペレータが手入力でトリミング枠の位置を修正してバランスを整える。このとき、入力部のキー操作に応じてトリミング枠を上下左右に例えば１ｄｏｔずつ移動させるものとすれば良い。
【００３６】
このトリミング枠修正操作の際には、画像内の主要対象物に対するトリミング枠の位置を判別する補助線がトリミング枠内に表示され、これに基づいてオペレータがトリミング枠の位置を微調整することができる。ここではトリミング枠内に対角線方向のＸ字状の補助線と、トリミング枠に内接する楕円状の補助線とが表示されている。なお、図１１に示すように２等分線方向の十字状の補助線をトリミング枠内に表示させるようにしても良い。
【００３７】
またトリミング・背景処理部２４では、トリミング処理に先だって背景設定処理が行われ、処理パターンの指定により、トリミング処理に関する条件の他に、切り抜き処理で得られた主要対象物の画像域の背景に設定される背景画像が指定され、処理パターンごとに背景画像が設定されたトリミング画像が作成される。ここでは、処理パターンごとに用意されたトリミング・背景テーブルに背景色に関する情報が格納されている。
【００３８】
【発明の効果】
このように本発明によれば、新聞などの紙面制作において紙面に掲載される画像を作成する際に行われるトリミング、切り抜き、並びに画質の最適化などの画像処理において、印刷物上で見栄えのする十分な品質の画像を効率良く作成することが可能になる。
【図面の簡単な説明】
【図１】本発明が適用された画像処理装置の概略構成を示すブロック図
【図２】図１に示した画像処理装置での処理の概要を示す図
【図３】図１に示した画像処理装置での明暗補正処理の概要を示す図
【図４】図３に示した最適化情報抽出処理部での処理の概要を示す図
【図５】図３に示した明暗補正処理の手順を示すフロー図
【図６】図１に示した画像処理装置での色補正処理の概要を示す図
【図７】図６に示した色補正処理の手順を示すフロー図
【図８】図１に示した画像処理装置での切り抜き処理の概要を示す図
【図９】図８に示した切り抜き用画質補正処理部での処理の概要を示す図
【図１０】図１に示した画像処理装置でのトリミング・背景処理の概要を示す図
【図１１】図１０に示したトリミング枠修正処理部により画面表示される補助線の他の例を示す図
【符号の説明】
１ 画像入力部
２ 画像処理部
３ 演算用メモリ
４ 記憶部
５ 表示部
６ 入力部
７ 画像出力部
８ 主制御部
２１ モノクロ画像作成部
２２ 最適化処理部
２３ 切り抜き処理部
２４ トリミング・背景処理部
２６ 最適化情報抽出処理部
２７ 切り抜き用画質補正処理部
２８ 切り抜きパス情報抽出処理部
２９ トリミング枠修正処理部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image processing method and an image processing apparatus for performing image processing such as trimming, clipping, and optimizing image quality, for the purpose of creating an image to be published on paper in the production of newspaper or magazine paper. It is.
[0002]
[Prior art]
When creating a face photo to be printed on a printed matter based on a photograph of a person, in addition to trimming processing to remove unnecessary parts as a face photo, cut out the background leaving only the image area of the person and create an appropriate background A replacement process is required. In such a case, there is a method of manually inputting by an operator using general-purpose image processing software. Further, as disclosed in Japanese Patent Application Laid-Open No. 2000-36032, an image processing method for automating processes such as trimming and clipping is also known.
[0003]
In addition, when creating images to be printed, it is necessary to optimize the image quality in order to improve the finish on the printed material. In some cases, it is necessary to perform light / dark correction processing to make an object such as a person corresponding to the image easy to see in the image so that it can be immediately identified. Further, there is a case where a color correction process for unifying the skin color of a person is generally required so that some of the portraits of the person are not unnatural when the portraits of the person are listed. In such a case, a light / dark correction process of converting pixel data to extend the density distribution in the density histogram of the image to be processed to the entire allowable density range, or a color for which color correction is performed using a gamma curve or the like for each color component. Correction processing is generally performed.
[0004]
[Problems to be solved by the invention]
However, when image processing such as clipping is performed using general-purpose image processing software, there is a problem that the work load on the operator is large and uniform processing cannot be performed due to a difference in the skill of the operator. On the other hand, the method described in the above publication requires an image of only the background. However, in many cases, the image cannot be obtained, and there is an inconvenience that the use is restricted. In the case of listing multiple images, such as when arranging face photographs of many people side by side on paper, it is necessary to process the obtained miscellaneous photos skillfully and create an appropriate face photograph, It is not suitable for such use.
[0005]
Further, in the above-described conventional light-dark correction processing method, there is a disadvantage that the effect of the processing cannot be obtained when the distribution of the density values extends over substantially the entire allowable density range. It is possible to cope with the problem by specifying the target area of the process for extending the entire density range by the operator, but this causes a problem that the work efficiency is reduced and the quality is not constant. Furthermore, in the conventional color correction processing, if color correction is performed so that the color of a specific portion of interest, such as a human skin portion, becomes a required color, the color balance of the entire image becomes different from that of the original image. However, there is a disadvantage that the impression changes to an unnatural image with an extremely different impression, and a method for easily creating a color correction image of appropriate quality is desired even for an operator without advanced skills.
[0006]
The present invention has been devised in order to solve such problems of the prior art, and its main purpose is to provide a required quality when creating an image to be published on paper in the production of paper such as a newspaper. It is an object of the present invention to provide an image processing method and an image processing apparatus capable of improving work efficiency while securing image quality.
[0007]
[Means for Solving the Problems]
In order to achieve the above object, according to the present invention, a required color image processing for a color image is executed by an image processing means in accordance with an instruction of an operator while displaying the situation on a screen. Then, a monochrome image is created from the color image, and the corresponding monochrome image processing is executed by the image processing means on the monochrome image without displaying the state on the screen in parallel with the color image processing. According to this, when it is necessary to prepare both a color image and a monochrome image for newspaper production, etc., an appropriate monochrome image is created together with the color image without performing special operations for monochrome image processing Thus, labor of the operator can be saved. Furthermore, since the processing conditions (various parameters) of the image processing can be set separately for the color image processing and the monochrome image processing, a high-quality monochrome image is obtained as compared with a case where the processed color image is simply converted to a monochrome image. be able to.
[0008]
In the present invention, as described in claim 2, when performing trimming processing for removing an unnecessary portion from an image to be processed, information on a plurality of processing patterns having different conditions for the trimming processing is registered in a storage unit in advance. It should be noted that the trimming processing means creates a trimmed image for each of a plurality of processing patterns when the operator gives an instruction. According to this, when it is necessary to prepare a plurality of types of trimmed images having different vertical and horizontal dimensions in newsprint production or the like, it is possible to save the operator's trouble of operating each processing pattern one by one.
[0009]
In the image processing method, as described in claim 3, a trimming process and a clipping process for cutting out an image area of the main target object are performed on the processing target image, and an image of the main target object obtained by the clipping process is obtained. A background image to be set as the background of the area may be registered in advance for each of a plurality of processing patterns, and a trimming image in which a background image is set for each of the plurality of processing patterns may be created. According to this, the trouble of separately specifying the background image to be replaced can be omitted, and a trimmed image having an appropriate background can be quickly created.
[0010]
According to the present invention, when performing trimming processing for removing unnecessary portions from a processing target image, the status of the trimming processing is displayed on a screen, and a trimming frame for a main object in the processing target image is displayed. Is displayed on the screen in the trimming frame, and based on this, the operator performs an operation of correcting the position of the trimming frame. According to this, the auxiliary line in the trimming frame serves as a reference for the alignment of the trimming frame, fine adjustment work to correct the deviation between the center of the trimmed image and the center of the main object, and to balance the main object with the whole Becomes easier. The auxiliary line preferably has a cross shape indicating the center of the trimming frame or a substantially circular shape inscribed in the trimming frame.
[0011]
In the present invention, as described in claim 5, when performing a clipping process of clipping a main object from an optimized image obtained by an optimization process of optimizing image quality suitable for output with respect to an original image, The dedicated image for the clipping process is copied from the original image, the necessary image quality correction is performed on the image dedicated for the clipping process, and the clipping path information is extracted. Based on the clipping path information obtained here, Thus, the clipping process is performed on the optimized image. According to this, image quality correction suitable for cutout path information extraction processing can be performed separately from image quality correction for output, and the accuracy of cutout path information extraction processing can be improved. As image quality correction suitable for the cut-out path information extraction processing, strong blur processing and black-and-white binarization processing are preferable.
[0012]
In the present invention, as described in claim 6, when performing the brightness correction processing as the optimization processing for the processing target image, the distribution state of the value indicating the degree of lightness and darkness for each pixel in the processing target image is obtained, and then the brightness distribution is determined. From the distribution situation, an intermediate correction area excluding the dark area and the bright area is set based on the value that maximizes the number of pixels, and the pixel data is converted so as to extend the intermediate correction area to the entire allowable range. According to this, the boundary value (dark value and light value) of the intermediate correction area is set to be the limit value of the permissible range, and the distribution of values (density, lightness, and luminance) indicating the degree of lightness and darkness of the pixel is within the permissible range. , It is possible to obtain an easy-to-view image in which the contrast is enhanced. In addition, the intermediate correction area is uniformly set based on the maximum value at which the number of pixels is maximized, and it is not necessary for the operator to specify the boundary value of the intermediate correction area, so that quick image quality correction is possible.
[0013]
In this case, when setting the intermediate correction area, the number of pixels before and after may be added to determine the maximum value that maximizes the number of pixels. It is preferable to exclude the case where the gradient of the distribution curve is steep), thereby avoiding the inconvenience that the intermediate correction area cannot be appropriately set due to the influence of the pixel number projecting at a specific value. In addition, the boundary values (dark value and light value) of the intermediate correction area may be set on condition that the number of pixels is a predetermined ratio with respect to the maximum value where the number of pixels is maximum.
[0014]
In the image processing method, as described in claim 7, when performing the brightness correction processing, an image area serving as a reference of the processing is specified by an operator, and an intermediate correction area is set for the specified image area. Can be applied to the entire image to be processed to convert the pixel data. According to this, the image area in which the main object such as the face in the face photograph is drawn can be image quality corrected to an optimum state.
[0015]
In the present invention, as described in claim 8, when performing color correction processing as optimization processing for an image to be processed, an image area serving as a reference for processing and a target color of the image area are designated by an operator, The hue rotation processing for simultaneously converting the RGB color components so that the color of the designated image area becomes the designated color is performed on the entire processing target image. According to this, a color in a predetermined image area can be converted into a required color while maintaining the color balance of the entire image, and even a non-skilled operator can perform color correction in a natural state in which the color balance is adjusted. Images can be created quickly.
[0016]
According to the present invention, as described in claim 9, the configuration of the image processing apparatus is printed on a processing target image in order to create a face photograph to be printed on a printed matter based on a color original image photographed by a person. Optimization processing means for optimizing the image quality suitable for the image processing, cropping processing means for performing a cropping process for cropping a human image area on the processing target image, and a portion unnecessary as a face photograph for the processing target image. A trimming processing unit for performing a trimming process for removing the image, a monochrome image creating unit for creating a monochrome original image from the color original image, and a color image processing performed by each processing unit on the color original image on a display unit. Execute while displaying, and execute monochrome image processing performed by each processing means on the monochrome original image without displaying it on the display means. Was assumed and a control means for causing. According to this, an appropriate monochrome image is created together with the color image, and the labor of the operator can be saved when both the color image and the monochrome image need to be prepared for newspaper production or the like.
[0017]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
[0018]
FIG. 1 is a block diagram illustrating a schematic configuration of an image processing apparatus to which the present invention has been applied. This image processing apparatus is for creating an image to be published on a paper in the production of a newspaper or other paper, and has an image input unit 1 for inputting required image data by reading a photographic print or transferring data from a digital camera. An image processing unit 2 for performing required image processing on the obtained color original image (raster image); an operation memory 3; and storage for storing image data and programs generated by the image processing unit 2. Unit 4, a display unit 5 for displaying the processing status of the image processing unit 2 on a screen, an input unit 6 including a keyboard, a pointing device, and the like, and an image output unit for printing out image data obtained by the image processing unit 2. 7 and a main control unit (control means) 8 for controlling the operation of each unit.
[0019]
FIG. 2 shows an outline of processing in the image processing apparatus shown in FIG. In this image processing system, required color image processing is performed on a color original image, that is, optimization processing for image quality correction suitable for printing, cropping processing for cutting out a main object from an image, and trimming and background for removing unnecessary portions of the original image. Each process of the setting is executed by each of the processing units 22, 23, and 24 according to the instruction of the operator while displaying the processing status on the screen of the display unit 5, and the monochrome image creation unit 21 converts the color original image into the monochrome original image. The generated monochrome image processing is executed in parallel with the color image processing by the processing units 22, 23, and 24 on the monochrome original image without displaying the screen on the display unit 5.
[0020]
Specifically, first, a monochrome original image is created by the monochrome image creating unit 21 based on the color original image obtained by the image input unit 1, and each of the original images is optimized by the optimization processing unit 22. Processing is performed to generate color and monochrome optimized images. Next, based on the information on the clipping path (contour line representing the boundary between the main object in the image and its background) obtained by the clipping path information extraction processing or the operator's manual input, each of the color and monochrome processing is performed by the clipping processing unit 23. A clipping process is performed on the optimized image, and color and monochrome clipped images are generated. Then, the trimming / background processing unit 24 performs the trimming process and the background setting process to generate color and monochrome trimmed images. In the case where the clipping process and the trimming / background process are not required as in the case of a landscape photograph, the process ends at the stage where each of the color and monochrome optimized images is generated.
[0021]
FIG. 3 shows an outline of the brightness correction processing in the image processing apparatus shown in FIG. The optimization processing unit 22 performs light / dark correction processing to enhance the light / dark to obtain an easy-to-view image. ) Is determined, and an intermediate correction area excluding the dark area and the bright area is set based on the maximum density value (maximum value) at which the frequency (the number of pixels) becomes maximum in this density histogram. The conversion of the pixel data is performed so as to extend the entire range. The boundary value (dark value and light value) of the intermediate correction area is set on condition that the reference frequency (number of pixels) has a predetermined ratio with respect to the maximum frequency (number of pixels) corresponding to the maximum density value.
[0022]
In this light / dark correction processing, data conversion processing is performed to expand the intermediate correction area in a range narrower than the actually measured distribution area to the entire allowable range, and sufficient light / dark enhancement is performed even when the density value distribution covers almost the entire allowable range. The effect is obtained. Here, the pixels belonging to the intermediate correction region are emphasized in brightness, and the pixels belonging to the dark region outside the intermediate correction region are uniformly converted to the limit value (black) on the dark side of the allowable range. Is uniformly converted to the limit value (white) on the light side of the allowable range.
[0023]
The optimization information extraction processing unit 26 extracts the optimization information (dark value and light value) from the processing target image as described above, but focuses on a specific image area (for example, a face portion of a person), and focuses on that image area. In order to optimize the inside, the extraction target of the optimization information can be limited to a part of the image area. That is, when an image area is specified by the operator for the processing target image, the optimization information extraction processing unit 26 generates a density histogram for the specified image area, and determines a dark value and a light value based on the density histogram. The processing is performed, and based on this, the optimization processing unit 22 performs the brightness correction processing on the entire processing target image.
[0024]
FIG. 4 is a diagram showing an outline of the processing in the optimization information extraction processing unit shown in FIG. The maximum density value serving as the reference of the intermediate correction area is determined by adding the number of pixels of the previous and next density values, and this makes it difficult to set an appropriate intermediate correction area due to the influence of a partial protrusion value. Can be avoided. In determining the dark value and the light value, a case where the number of pixels fluctuates rapidly is excluded. For this purpose, a slope indicating the change status of the number of pixels before and after is calculated, and the calculated slope is compared with a preset threshold value to determine whether the pixel value is appropriate as a dark value and a light value.
[0025]
FIG. 5 is a flowchart showing the procedure of the light-dark correction processing shown in FIG. First, after instructing whether to extract the optimization information for the entire image or to limit it to the designated image area, a density histogram is created in step 101. In step 102, the maximum density value in the image to be processed is detected from the density histogram, and in step 103, the reference frequency (number of pixels) serving as the condition of the light value and the dark value is calculated. Next, in step 104, a threshold value of a slope, which is a reference for determining a light value and a dark value, is set.
[0026]
Next, in step 105, a dark value condition, that is, a density value serving as a reference frequency is searched in the bright direction from the dark side end of the allowable range, and when a corresponding density value is detected, the process proceeds to step 106, where the density value is searched. Is compared with the threshold value, and if it is outside the threshold value, the process returns to step 105, and the search for a dark value in the bright direction is further continued. On the other hand, if the gradient at the density value is within the threshold value, the process proceeds to step 107, where the density value is set to a dark value as the darkest value that satisfies the conditions of frequency and gradient.
[0027]
Next, in step 108, a condition of a light value, that is, a density value whose frequency is the reference frequency is searched from the light side end of the density range in the dark direction, and when a corresponding density value is detected, the process proceeds to step 109 and proceeds to step 109. The gradient at the density value is compared with the threshold value. If the gradient is outside the threshold value, the process returns to step 108, and the search for a bright value in the dark direction is continued. On the other hand, if the gradient at the density value is within the threshold, the process proceeds to step 110, and the density value is set to a bright value as the brightest value that satisfies the conditions of frequency and gradient. Then, in step 111, a light / dark correction process using the dark value and the light value is executed.
[0028]
FIG. 6 shows an outline of the color correction processing in the image processing apparatus shown in FIG. The optimization processing unit 22 performs a color correction process for adjusting the color of an image in addition to the above-described brightness correction process. In this color correction process, a color in a predetermined image area becomes a required color. A hue rotation process for simultaneously converting each color component of RGB is performed. Here, in the optimization information extraction processing unit 26, a color difference (optimization information) is obtained by comparing the color of the image area designated by the operator with the color set as the correction target, and based on the color difference The hue rotation processing is performed on the entire image in the conversion processing unit 22. In particular, in this case, the skin portion of the person is designated as the optimization information extraction area in order to unify the skin color of the person when listing the face photos.
[0029]
FIG. 7 is a flowchart showing the procedure of the color correction process shown in FIG. First, in step 201, an image area for extracting optimization information is specified by the operator, and in step 202, a correction target value is set so that pixels in the specified image area have a required color. Next, in step 203, a histogram for each color component is created for the designated image area. In step 204, the representative value of the histogram is compared with the correction target value to calculate the color difference. In step 205, hue rotation processing is performed on the entire image based on the color difference.
[0030]
FIG. 8 shows an outline of a clipping process in the image processing apparatus shown in FIG. The cutout processing unit 23 performs a cutout process of cutting out a main object (here, a person) from the optimized image obtained by the optimization processing unit 22. At this time, a dedicated image for the cutout process is an original image. After performing necessary image quality correction on the image dedicated to the clipping process by the clipping image quality correction processing unit 27, the clipping path information extraction processing unit 28 extracts the clipping path information. Based on the obtained cutout path information, the cutout processing unit 23 performs a cutout process on the optimized image.
[0031]
FIG. 9 shows an outline of the processing in the image quality correction processing unit for cutout shown in FIG. In the cutout image quality correction processing unit, in order to increase the accuracy of the cutout path information extraction processing, the blurring processing of averaging with the component values of surrounding pixels is performed strongly. Black and white binarization processing is performed as needed. If the image quality correction for cropping is not performed, an appropriate clipping path cannot be obtained as shown in the figure due to the influence of scratch noise due to the JPEG compression method. Can be Note that the cutout path information can be extracted by searching for pixels forming the cutout path on the condition that the edge strength exceeds a predetermined threshold.
[0032]
FIG. 10 shows an outline of the trimming / background processing in the image processing apparatus shown in FIG. In the trimming / background processing unit 24, trimming processing for removing unnecessary portions as face photographs from the original image is performed. Here, information on a plurality of processing patterns having different conditions regarding the trimming processing is registered in the storage unit 4 in advance. In addition, the trimming / background processing unit 24 creates a trimmed image for each of a plurality of processing patterns in response to an instruction from the operator.
[0033]
Here, the trimming / background table for each of the plurality of processing patterns is stored in the storage unit 4, and the trimming / background table corresponding to the processing pattern specified by the operator is read out and trimming is performed. In the trimming / background table, the vertical and horizontal dimensions of the trimmed image, the vertical dimension ratio of the face with respect to the entire trimmed image (face ratio: a / A), and the vertical dimension ratio of the overhead space with respect to the entire trimmed image (overhead ratio: b / A) is stored.
[0034]
In performing the trimming process, the status of the trimming process is displayed on a screen of the display unit, and first, an operator performs an operation of designating the top, bottom, left, and right positions of the face on the original image. Here, the operator operates so that the top and bottom left and right instruction lines come to the top and bottom left and right ends of the face, and generates trimming coordinate information on the arrangement state of the face with respect to the entire original image from the position of the top and bottom left and right designation lines.
[0035]
Next, an operation for correcting the position of the trimming frame is performed by the operator. The trimming coordinate information generated by the above-mentioned operation of specifying the top, bottom, left and right is sent to the trimming frame correction processing unit 29, and based on this and the trimming / background table, first trimming is performed so that the center of the trimming frame matches the center of the face. When the frame is displayed on the screen and the center of the trimming frame and the center of the face are out of alignment, such as when the balance between the trimming frame and the face is poor, the operator corrects the position of the trimming frame manually to adjust the balance. . At this time, the trimming frame may be moved up and down, left and right, for example, by 1 dot in accordance with a key operation of the input unit.
[0036]
During this trimming frame correction operation, an auxiliary line for determining the position of the trimming frame with respect to the main object in the image is displayed in the trimming frame, and based on this, the operator can fine-tune the position of the trimming frame. it can. Here, an X-shaped auxiliary line in a diagonal direction and an elliptical auxiliary line inscribed in the trimming frame are displayed in the trimming frame. As shown in FIG. 11, a cross-shaped auxiliary line in the bisector direction may be displayed in the trimming frame.
[0037]
In the trimming / background processing unit 24, a background setting process is performed prior to the trimming process. In addition to the trimming process conditions, the trimming / background processing unit 24 sets the background of the image area of the main object obtained by the clipping process in addition to the trimming process conditions. A background image is specified, and a trimmed image in which a background image is set for each processing pattern is created. Here, information on the background color is stored in a trimming / background table prepared for each processing pattern.
[0038]
【The invention's effect】
As described above, according to the present invention, in image processing such as trimming, clipping, and image quality optimization performed when creating an image to be published on paper in the production of paper such as a newspaper, a sufficient appearance on a printed matter is obtained. It is possible to efficiently create a high quality image.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a schematic configuration of an image processing apparatus to which the present invention is applied; FIG. 2 is a view showing an outline of processing in the image processing apparatus shown in FIG. 1; FIG. FIG. 4 is a diagram showing an outline of the brightness correction processing in the processing device. FIG. 4 is a view showing an outline of the processing in the optimization information extraction processing unit shown in FIG. 3. FIG. 5 is a flowchart showing the procedure of the brightness correction processing shown in FIG. FIG. 6 is a diagram showing an outline of a color correction process in the image processing apparatus shown in FIG. 1; FIG. 7 is a flowchart showing a procedure of the color correction process shown in FIG. 6; FIG. FIG. 9 is a diagram showing an outline of a clipping process in the image processing apparatus shown in FIG. 9; FIG. 9 is a diagram showing an outline of a process in a clipping image quality correction processing unit shown in FIG. 8; FIG. 11 is a diagram showing an outline of the trimming / background processing of FIG. 11. FIG. Figure [EXPLANATION OF SYMBOLS] showing another example of an auxiliary line that
Reference Signs List 1 Image input unit 2 Image processing unit 3 Operation memory 4 Storage unit 5 Display unit 6 Input unit 7 Image output unit 8 Main control unit 21 Monochrome image creation unit 22 Optimization processing unit 23 Cutout processing unit 24 Trimming / background processing unit 26 Optimization information extraction processing section 27 Image quality correction processing section for cutting out Clipping path information extraction processing section 29 Trimming frame correction processing section