JP2020115599A - 画像処理制御装置と画像処理制御方法 - Google Patents

Abstract

【課題】画質の良好な出力画像が得られるように画像処理を複数の画像処理装置に分担させることができるようにする。【解決手段】画像処理制御装置２０は、画像処理装置３０-1〜３０-nの処理性能を取得して、画像処理装置３０-1〜３０-n毎に処理性能に応じたテスト画像を処理させる。また、画像処理制御装置２０は、処理後のテスト画像の画質評価を行い、画像処理装置３０-1〜３０-nの処理性能と画質評価結果に基づき、入力画像に対して行う画像処理毎に、画質の良好な処理画像が得られる画像処理装置を選択することで、最適処理フローを設定して、最適処理フローに基づき画像処理装置を制御する。【選択図】 図２

Description

この技術は、画像処理制御装置と画像処理制御方法に関し、高品質の処理画像を得られるようにする。

従来、複数の装置を用いて入力信号に対する画像処理を協調して分担することにより、１つの装置で画像処理を行う場合よりも高品質の処理結果を得ることが行われている。例えば、特許文献１では、他の装置が接続されているかどうかを判定して、他の装置が接続されているときと、接続されていないときとで、入力信号を処理する信号処理手段の機能を変化させることが行われている。また、特許文献２では、ディスプレイデバイスと相互接続される複数のデバイスの間でオーディオおよびビデオ処理タスクを分散させることで、ディスプレイデバイスは、幾つかの処理タスクから解放されて処理性能の向上が達成されている。

特開２００２−３７４４６１号公報 特許第５６８９８０２号公報

ところで、所定の画像処理装置に接続された他の装置で画像処理の一部を分担して行う場合、所定の画像処理装置の負荷は軽減されるが、他の装置の性能に応じて処理を分担しても、高品質の処理画像が得られるとは限らない。

そこで、この技術では、画質の良好な出力画像が得られるように画像処理を複数の画像処理装置に分担させることができる画像処理制御装置と画像処理制御方法を提供する。

この技術の第１の側面は、
テスト画像を複数の画像処理装置で処理して得られた処理画像の画質評価結果に基づき、入力画像に対して行う複数の画像処理毎に、画像処理に用いる画像処理装置を選択して処理フローを設定する処理フロー設定部
を備える画像処理制御装置にある。

この技術では、テスト画像を複数の画像処理装置で処理して得られた処理画像の画質評価結果に基づき、画像処理に用いる画像処理装置を選択することで処理フローを設定する。テスト画像は、画像処理に対して逆の処理である加工処理を評価用画像に対して行うことにより生成された画像であり、画像評価結果は、評価用画像に対する処理画像の定性画質と定量画質の評価結果あるいは定性画質と定量画質の評価結果を統合した評価結果を用いる。画像処理制御装置の処理フロー設定部は、例えば画像処理毎に最も良好な画質評価結果が得られる画像処理装置を選択する。この場合、テスト画像は、画像処理装置毎に、画像処理装置の処理性能に応じた評価用画像に対して加工処理が行われた画像を用いる。また、例えば、処理フロー設定部は、画像処理毎に用いる画像処理装置の組み合わせを替えて複数の処理フローを設定して、入力画像に対して複数の画像処理を行うことにより得られる出力画像の画質評価結果が最も良好となる処理フローの画像処理装置を選択する。この場合、テスト画像は、処理フロー設定部で設定された処理フローに基づき入力画像に対して行う複数の画像処理に対して逆の処理である加工処理を評価用画像に対して行うことにより生成された画像を用いる。また、処理フロー設定部は、画像処理毎に用いる画像処理装置のパラメータ調整を行い、入力画像に対して複数の画像処理を行うことにより得られる出力画像の画質評価結果が最も良好となるパラメータに設定してもよい。

また、画像処理制御装置には、複数の画像処理の処理順と、処理順毎に選択された画像処理装置を示す情報と、画質評価結果を記憶する情報記憶部を設けてもよい。また、画像処理装置の処理性能に基づき、入力画像の画像処理に利用可能な画像処理装置を検出する処理性能管理部を設けて、処理フロー設定部は、処理性能管理部で検出された複数の画像処理装置から画像処理に用いる画像処理装置を選択してもよい。また、処理性能管理部は、入力画像の画像処理に利用可能な画像処理装置の変化を検出して、処理フロー設定部は、利用可能な画像処理装置の変化が生じた場合に、変化後に利用可能な画像処理装置から画像処理に用いる画像処理装置を選択する。また、例えば複数の画像処理装置の処理性能と処理フロー設定部で設定された処理フローを表示する表示部と、表示部の表示画面上に設けられて、表示部の表示に基づいて行われたユーザ指示を受け付ける操作部とをさらに設けて、処理フロー設定部は、複数の画像処理の処理順と、選択された画像処理装置を、ユーザ指示に応じて変更してもよい。

この技術の第２の側面は、
テスト画像を複数の画像処理装置で処理して得られた処理画像の画質評価結果に基づき、入力画像に対して行う複数の画像処理毎に、画像処理に用いる画像処理装置を処理フロー設定部で選択して処理フローを設定すること
を含む画像処理制御方法にある。

画像処理システムの構成を例示した図である。 画像処理制御装置の第１の実施の形態の構成を例示した図である。 処理性能プロファイルを例示した図である。 処理フロープロファイルを例示した図である。 加工処理を例示した図である。 第１の実施の形態の動作を例示したフローチャートである。 処理性能プロファイルを例示した図である。 画像処理制御装置の動作例を示す図である。 第２の実施の形態の動作を例示したフローチャートである。 画像処理制御装置の動作例を示す図である。 第３の実施の形態の構成を例示した図である。 第３の実施の形態の動作を例示したフローチャートである。 ユーザ指示対応処理を例示したフローチャートである。 解像度変換で定量画質よりも定性画質を優先させた場合を例示した図である。 処理順序が変更された場合を例示した図である。 ユーザ指示（例えばタップ操作）を説明するための図である。 ユーザ指示（例えばドラッグ操作）を説明するための図である。 他の実施の形態の動作を例示したフローチャートである。 画像処理後の表示画像を利用して画質評価を行う場合の構成を例示した図である。 画像処理後の表示画像を利用して画質評価を行う場合の動作例を示した図である。

以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．画像処理システムについて
２．第１の実施の形態
２−１．第１の実施の形態の構成
２−２．第１の実施の形態の動作
３．第２の実施の形態
３−１．第２の実施の形態の構成と動作
４．第３の実施の形態
４−１．第３の実施の形態の構成
４−２．第３の実施の形態の動作
５．他の実施の形態について
５−１．システム構成について
５−２．画質について
６．応用例

＜１．画像処理システムについて＞
図１は、本技術の画像処理制御装置を用いた画像処理システムの構成を示している。画像処理システム１０は画像処理制御装置２０と複数の画像処理装置３０-1〜３０-nを用いて構成されており、画像処理制御装置２０と複数の画像処理装置３０-1〜３０-nは、有線または無線の伝送路を介して接続されている。また、画像処理制御装置２０は、画像処理装置３０-1〜３０-nと別個に構成されていてもよく、画像処理装置３０-1〜３０-nのいずれかに内蔵されてもよい。

画像処理制御装置２０は、画像処理装置３０-1〜３０-nの処理性能を取得して、画像処理装置３０-1〜３０-n毎に処理性能に応じたテスト画像を処理させる。または、画像処理制御装置２０は、テスト画像を複数の画像処理装置で処理して得られた処理画像の画質評価結果に基づき、入力画像に対して行う複数の画像処理毎に、画像処理に用いる画像処理装置を選択して処理フローを設定する。テスト画像は、評価用画像に対して画像処理に対する逆の処理を行う加工処理によって生成された画像であり、画像評価結果は、評価用画像に対する処理画像の画質評価結果である。

画像処理制御装置２０は、画像処理に用いる画像処理装置の選択において、画像処理毎に最も良好な画質評価結果が得られる画像処理装置を選択してもよく、画像処理毎に用いる画像処理装置の組み合わせから、入力画像に対して複数の画像処理を行うことにより得られる出力画像の画質評価結果が最も良好となる組み合わせの画像処理装置を選択してもよい。さらに、画像処理制御装置２０は設定した処理フローで画像処理が行われるように、画像処理装置３０-1〜３０-nの動作を制御する。

画像処理装置３０-1〜３０-nは、画像処理制御装置２０に対して処理性能の通知、画像処理制御装置２０から供給されたテスト画像の画像処理、処理後のテスト画像の返送、画像処理制御装置２０からの制御信号に基づき入力画像の画像処理等を行う。

＜２．第１の実施の形態について＞
＜２−１．第１の実施の形態の構成＞
次に、第１の実施の形態について説明する。第１の実施の形態では、画像処理毎に最も良好な画質評価結果が得られる画像処理装置を選択して最適処理フローを設定する場合について説明する。図２は、画像処理制御装置の第１の実施の形態の構成を例示している。なお、画像処理制御装置２０ａは、処理性能管理部２１，情報記憶部２２，画像記憶部２３ａ，画像加工部２４ａ，画質評価部２５ａ，処理フロー設定部２６ａを有している場合を示している。

処理性能管理部２１は、画像処理装置３０-1〜３０-nに対して性能の問い合わせを行い処理性能を取得して、あるいは画像処理装置３０-1〜３０-nに対して性能の問い合わせを行うことなく画像処理装置３０-1〜３０-nから通知された処理性能を取得して、取得した処理性能を示す処理性能プロファイルを情報記憶部２２に記憶する。また、処理性能管理部２１は、画質評価部２５ａで得られた画質評価結果を処理性能プロファイルに含める。処理性能管理部２１は、画像処理制御装置２０ａに接続されている画像処理装置３０-1〜３０-nの処理性能プロファイルを情報記憶部２２から取得して画像加工部２４ａと処理フロー設定部２６ａへ出力する。

図３は、処理性能プロファイルを例示している。処理性能プロファイルでは、例えば画像信号の送受信方法、入出力画像の解像度、入出力画像のフレームレート、対応可能な符号化方式、画像処理の種類、送受信が可能な特徴量やパラメータ、定性画質、定量画質等が示されている。

画像信号の送受信方法では、画像信号の送受信の際に符号化が必要であるか不要であるか示されている。

入出力画像の解像度では、入力画像と出力画像がそれぞれＳＤ（Standard definition），ＨＤ（High definition），４Ｋ，８Ｋ等のいずれの解像度であるか示されている。入出力画像のフレームレートでは、入力画像と出力画像がそれぞれ２４ｐ，３０ｐ(progressive)，６０ｐ，１２０ｐ等のいずれであるか示されている。

対応可能な符号化方式では、ＭＰＥＧ２，Ｈ．２６４−ＡＶＣ，Ｈ．２６５−ＨＥＶＣ，ＶＰ９，ＶＶＣ等のいずれの符号化方式に対応可能であるか示されている。

画像処理の種類では、ノイズ除去処理，フレームレート変換処理，スケーリング処理，エンハンス処理，ダイナミックレンジ変換処理等のいずれの処理が可能であるか示されている。

送受信が可能な特徴量やパラメータとしては、例えばテスト画像から算出した局所特徴量や全画面特徴量，画質調整用のパラメータ（画質調整機能のオンオフや強弱等の設定、画質調整の調整パラメータセット等），符号化時の各種設定や制御情報等が示されている。

定量画質では、ＰＳＮＲ（Peak Signal to Noise Ratio），周波数特性が高域まで出ているかを示す帯域復元性能，周波数特性が高域を落とせているかを示す歪復元性能，隣接画素差分絶対値等の画像特徴量，符号化処理のデブロックフィルタで処理する歪の検出結果等が示されている。

定性画質では、モデルベースの定性画質評価結果やＣＮＮ（Convolution Neural Network）等の深層学習等を用いた定性画質評価結果等が示されている。例えば、文献「Weilong Hou, Xinbo Gao, Dacheng Tao, Xuelong Li, “Blind Image Quality Assessment via Deep Learning”, IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS, VOL. 26, NO. 6, JUNE 2015」に記載されている手法を用いて算出した画質評価のスコアや、文献「Richard Zhang, Phillip Isola, Alexei A. Efros, Eli Shechtman, Oliver Wang, “The Unreasonable Effectiveness of Deep Features as a Perceptual Met”, CVPR 2018」に記載されている手法を用いて算出した評価用画像に対する処理画像の類似度を示す値等が示されている。なお、評価用画像と処理画像については後述する。

図２に戻り、情報記憶部２２は、処理性能管理部２１で取得された処理性能プロファイルを記憶する。また、情報記憶部２２は、後述する処理フロー設定部２６ａで設定された処理フローおよび設定された処理フローで画像処理を行ったときに画質評価部２５ａで得られた画質評価結果を示す処理フロープロファイルを記憶する。情報記憶部２２は、処理性能管理部２１からの要求に応じて処理性能プロファイルを出力して、処理フロー設定部２６ａからの要求に応じて処理フロープロファイルを出力する。

図４は、処理フロープロファイルを例示している。処理フロープロファイルでは、例えば処理フローの設定状態、画像処理装置毎の画質調整の設定状態等が示されている。

処理フローの設定状態では、画像処理を行う画像処理装置の順序，画像処理装置毎の入出力情報（画像や特徴量や制御パラメータ等），処理フローに基づき画像処理を行ったときの画質評価結果等が示されている。画像処理装置毎の画質調整の設定状態では、画像処理装置のパラメータの詳細設定（例えば機能のオンオフや強弱等の設定、調整パラメータセット等）が示されている。なお、処理フロープロファイルには、画像処理に用いる画像処理装置毎の定性画質や定量画質を含めてもよい。

画像記憶部２３ａには、画像処理の画質評価を行うための評価用画像が予め記憶されている。画像記憶部２３ａは、画像加工部２４ａからの要求に応じて評価用画像を出力する。

画像加工部２４ａは、画像記憶部２３ａに記憶されている評価用画像あるいは外部から供給された評価用画像（例えは放送信号や配信信号を受信して得られる受信画像あるいは記録媒体の再生画像等）に対して画像処理装置３０-1〜３０-n毎に、画像処理装置の処理性能に応じた加工処理を行いテスト画像を生成する。また、画像加工部２４ａは、生成したテスト画像を対応する画像処理装置へ出力する。さらに、画像加工部２４ａは、画像処理装置３０-1〜３０-n毎に処理画像の画質評価を行えるように、テスト画像の生成に用いた評価用画像を画質評価部２５ａへ出力する。なお、加工処理では、画像処理装置３０-1〜３０-n毎に行われる画像処理に対して逆の処理を行う。外部から供給された評価用画像
図５は、画像加工部２４ａで行う加工処理を例示している。画像加工部２４ａは、画像処理に対して逆の処理である加工処理を評価用画像に対して行いテスト画像を生成する。画像加工部２４ａは、画像処理装置３０-1〜３０-nの処理性能、例えば符号化やフレームレート変換、解像度変換（例えばアップコンバート用）、エンハンス処理、ダイナミックレンジ変換等に対応したテスト画像を生成する。

符号化に用いるテスト画像の生成では、例えば評価用画像に対してＭＰＥＧ２，Ｈ．２６４−ＡＶＣ，Ｈ．２６５−ＨＥＶＣ，ＶＰ９，ＶＶＣ等の符号化方式における画像処理装置で対応可能な符号化を行う。また、画像処理装置で対応可能な符号化方式が明らかでない場合は符号化方式毎にテスト画像を生成する。

フレームレート変換に用いるテスト画像の生成では、画像処理装置で対応可能な低フレームレートとなるように評価用画像をコマ落ちさせる。また、画像処理装置で対応可能なフレームレートが明らかでない場合は、予め設定されているフレームレート毎にテスト画像を生成する。

解像度変換に用いるテスト画像の生成では、画像処理装置で対応可能な解像度となるように評価用画像をダウンスケーリングする。また、画像処理装置で対応可能な解像度が明らかでない場合は、予め設定されている解像度毎にテスト画像を生成する。

エンハンス処理に用いるテスト画像の生成では、フィルタを用いて評価用画像の帯域を劣化させる。例えば、低域通過フィルタや帯域通過フィルタを用いて評価用画像からテクスチャのような高域成分を除去してテスト画像を生成する。

ダイナミックレンジ変換に用いるテスト画像の生成では、トーンマッピング関数を用いて高ダイナミックレンジである評価用画像を低ダイナミックレンジの画像に変換する。

図２に戻り、画質評価部２５ａは、画像処理装置３０-1〜３０-n毎に得られた処理画像と評価用画像を用いて処理画像の画質評価を行い、画質評価結果を処理性能管理部２１へ出力する。

処理フロー設定部２６ａは、処理性能管理部２１から供給された処理性能プロファイルに基づき、入力画像に対して行う複数の画像処理の処理順毎に、最も良好な画質評価結果が得られる画像処理装置を選択して最適処理フローを設定する。また、処理フロー設定部２６ａは、設定された最適処理フローでの画像処理を行うように制御信号を生成して各画像処理装置へ出力する。さらに、処理フロー設定部２６ａは、設定した最適処理フローを示す処理フロープロファイルを情報記憶部２２に記憶させる。また、処理フロー設定部２６ａは、画像処理装置のパラメータ調整が可能である場合、テスト画像に対して画像処理を行うことにより得られる処理画像の画質評価結果が最も良好となるパラメータに設定する。

画像処理装置３０-1〜３０-nは、処理性能通知部３１と信号処理部３２を有している。処理性能通知部３１は、画像処理装置の処理性能を画像処理制御装置２０へ通知する。なお、画像処理制御装置２０への処理性能の通知は、画像処理制御装置２０からの要求に応じて行ってもよく、画像処理制御装置２０との接続を検出した場合に行ってもよい。信号処理部３２は、画像処理制御装置２０の処理フロー設定部２６ａからの制御信号に基づき動作設定を行い、入力画像の信号処理を行って出力する。

＜２−２．第１の実施の形態の動作＞
次に第１の実施の形態の動作について説明する。図６は第１の実施の形態の動作を例示したフローチャートである。

ステップＳＴ１で画像処理制御装置は画像処理装置の処理性能を取得する。画像処理制御装置２０は接続されている画像処理装置３０-1〜３０-nから処理性能を示す情報を取得してステップＳＴ２に進む。

ステップＳＴ２で画像処理制御装置は処理性能プロファイルを更新する。画像処理制御装置２０は、ステップＳＴ１で取得した処理性能に基づき情報記憶部２２に記憶されている処理性能プロファイルを更新してステップＳＴ３に進む。

ステップＳＴ３で画像処理制御装置は処理性能プロファイルに新たに追加された画像処理装置の処理性能に対応するテスト画像を評価用画像から生成してステップＳＴ４に進む。

ステップＳＴ４で画像処理制御装置はテスト画像の処理を指示する。画像処理制御装置２０はステップＳＴ３で生成したテスト画像の画像処理を新たに追加された画像処理装置で行うように動作制御を行いステップＳＴ５に進む。

ステップＳＴ５で画像処理制御装置は処理画像の評価を行う。画像処理制御装置２０はステップＳＴ４で指示したテスト画像の処理を行って得られた処理画像を取得する。また、画像処理制御装置２０は、評価用画像と処理画像を用いて画質の評価を行ってステップＳＴ６に進む。

ステップＳＴ６で画像処理制御装置は処理性能プロファイルを更新する。画像処理制御装置２０は、ステップＳＴ５で得られた画質評価結果を処理性能プロファイルに記憶させてステップＳＴ７に進む。

ステップＳＴ７で画像処理制御装置は変更完了であるか判別する。画像処理制御装置２０は、新たに追加された画像処理装置について処理画像の画質評価が完了したか判別する。画像処理制御装置２０は、画質評価が完了していない画像処理装置がある場合はステップＳＴ３に戻り、画質評価が完了していない画像処理装置の処理性能に応じたテスト画像を生成して、画像処理および処理画像の画質評価を行わせる。また、画像処理制御装置２０は、新たに追加された画像処理装置について処理画像の画質評価が完了した場合にステップＳＴ８に進む。

ステップＳＴ８で画像処理制御装置は最適処理フローを設定する。画像処理制御装置は、入力画像について例えば予め設定された複数項目の画像処理を行う場合に、項目毎に画質評価が最も良好な画像処理装置を選択することで最適処理フローを設定してステップＳＴ９に進む。

ステップＳＴ９で画像処理制御装置は最適処理フローに基づき各画像処理装置を制御する。画像処理制御装置２０は、ステップＳＴ８で設定された最適処理フローに応じた画像処理が複数の画像処理装置を用いて行われるように、各画像処理装置の動作を制御する。

なお、図６のステップＳＴ９では、最適処理フローに基づき各画像処理装置の動作を制御しているが、最適処理フローに画像処理制御装置に接続されている画像処理装置を示す構成情報を関連付けて情報記憶部２２に記憶させる処理を行ってもよい。この場合、画像処理を行う際に、接続されている画像処理装置の構成と等しい構成であるときの最適処理フローを情報記憶部２２から取得することで、画質評価等を行うことなく最適な画像処理を速やかに行うことができるようになる。

次に、第１の実施の形態の動作例について説明する。なお、第１の実施の形態の動作例では、符号化方式がＨＥＶＣであり、ＨＤ解像度で６０ｐのフレームレートの画像を４Ｋ解像度１２０ｐのフレームレートの画像とする場合を例示している。

図７は、画像処理としてノイズ除去処理とフレームレート変換および解像度変換を行う場合における画像処理装置３０-1〜３０-8の処理性能プロファイルを例示している。

ノイズ除去処理に関する処理性能では、例えば対応可能な符号化方式、定量画質，定性画質、出力フォーマットに関する情報が用いられている。画像処理装置３０-1では、ＨＥＶＣ規格等の符号化方式に対応可能であり、ノイズ除去処理後の定量画質が「３」で定性画質が「２」であること、出力フォーマットが圧縮と非圧縮のいずれのフォーマットにも対応可能であることが示されている。また、例えば画像処理装置３０-2では、出力フォーマットが圧縮に対応できないことが示されており、画像処理装置３０-7では、ＨＥＶＣ規格等の符号化方式に対応していないことから、定量画質と定性画質は評価がないことを示す「−」となっている。なお、図７および後述する図８，１０，１４，１５において、画質を示す数値は、値が大きくなるに伴い画質が低下していることを示しており、記号「−」は評価がないことを示している。

フレームレート変換に関する処理性能では、例えば入力フォーマット、対応可能なフレームレート、定量画質，定性画質、出力フォーマットに関する情報が用いられている。画像処理装置３０-1では、入力フォーマットが圧縮と非圧縮のいずれのフォーマットにも対応可能であること、フレームレートを６０ｐから１２０ｐ等に変換することが可能であり、フレームレート変換後の定量画質が「４」で定性画質が「３」であること、出力フォーマットが圧縮と非圧縮のいずれのフォーマットにも対応可能であることが示されている。また、例えば画像処理装置３０-3では、６０ｐから１２０ｐへのフレームレート変換に対応していないことから、定量画質と定性画質の評価はない。

解像度変換に関する処理性能では、例えば入力フォーマット、対応可能な解像度、定量画質，定性画質、出力フォーマットに関する情報が用いられている。画像処理装置３０-1では、入力フォーマットが圧縮と非圧縮のいずれのフォーマットにも対応可能であること、ＨＤ解像度を４Ｋ解像度等に変換することが可能であり、解像度変換後の定量画質が「１」で定性画質が「２」であること、出力フォーマットが圧縮と非圧縮のいずれのフォーマットにも対応可能であることが示されている。また、例えば画像処理装置３０-5では、ＨＤ解像度から４Ｋ解像度への解像度変換に対応していないことから、定量画質と定性画質の評価はない。

図８は、画像処理制御装置の動作例を示している。例えば、処理フロー設定部２６ａは、ノイズ除去処理に関する処理性能とフレームレート変換に関する処理性能および解像度変換に関する処理性能に基づき各処理で画質が最も良好である画像処理装置を選択して処理フローを設定する。したがって、ノイズ除去処理は画像処理装置３０-8を用いて行い、ノイズ除去処理が行われた画像のフレームレート変換処理は画像処理装置３０-2を用いて行い、フレームレート変換処理が行われた画像の解像度変換処理は画像処理装置３０-1を用いて行う処理フローを最適処理フローとする。また、処理フロー設定部２６ａで設定された処理フローと画質性能を再利用できるように情報記憶部２２に記憶する。

このような第１の実施の形態によれば、画像処理制御装置に接続された複数の画像処理装置を処理性能プロファイルに基づき、各画像処理で最適な画質が得られるように、最適処理フローを自動的に設定できるようになる。

＜３．第２の実施の形態について＞
ところで、第１の実施の形態では、画像処理毎に最も良好な画質評価結果が得られる画像処理装置を選択する場合について説明したが、第２の実施の形態では、入力画像に対して複数の画像処理を行うことにより得られる出力画像の画質評価結果が最も良好となる組み合わせの画像処理装置を選択して最適処理フローを設定する場合について説明する。

＜３−１．第２の実施の形態の構成と動作＞
第２の実施の形態では、第１の実施の形態と同様に構成されており、処理性能管理部２１や画像加工部２４ａおよび処理フロー設定部２６ａの動作が相違する。

処理性能管理部２１は、画像処理装置３０-1〜３０-nに対して性能の問い合わせを行い処理性能を取得して、あるいは画像処理装置３０-1〜３０-nに対して性能の問い合わせを行うことなく画像処理装置３０-1〜３０-nから通知された処理性能を取得して、取得した処理性能を示す処理性能プロファイルを情報記憶部２２に記憶する。また、処理性能管理部２１は、画像処理制御装置２０ａに接続されている画像処理装置３０-1〜３０-nの処理性能プロファイルを情報記憶部２２から取得して処理フロー設定部２６ａへ出力する。

画像加工部２４ａは、画像記憶部２３ａに記憶されている評価用画像あるいは外部から供給された評価用画像に対して、処理フロー設定部２６ａで設定された処理フローに基づき入力画像に対して行う複数の画像処理に対して逆の処理である加工処理を行うことにより生成する。画像加工部２４ａは、処理フロー設定部２６ａで設定された処理フローの最初の画像処理装置へ出力する。また、画像加工部２４ａは、処理フローの最後の画像処理装置から出力される処理画像の画質評価を行えるように、テスト画像の生成に用いた評価用画像を画質評価部２５ａへ出力する。

処理フロー設定部２６ａは、処理性能管理部２１から供給された処理性能プロファイルに基づき、入力画像に対して行う複数の画像処理毎に、画像処理に用いる画像処理装置の組み合わせを替えて複数の処理フローを設定する。処理フロー設定部２６ａは設定した処理フロー毎に、画像加工部２４ａで処理フローに対応したテスト画像を生成させて、設定された処理フローでの画像処理を行うように制御信号を選択した画像処理装置へ出力する。また、処理フロー設定部２６ａは、画像処理毎に用いる画像処理装置のパラメータ調整が可能である場合、入力画像に対して複数の画像処理を行うことにより得られる出力画像の画質評価結果が最も良好となるパラメータに設定する。さらに、処理フロー設定部２６ａは、設定した処理フロー毎に、処理フローと画質評価部２５ａから供給された画質評価結果、あるいは処理フローと画質評価結果とパラメータを示す処理フロープロファイルを情報記憶部２２に記憶させる。さらに、処理フロー設定部２６ａは、最も良好な画質評価結果が得られる処理フローを最適処理フローとして、選択された画像処理装置に対して最適処理フローでの画像処理を行うように制御信号を出力して、複数の画像処理装置を用いて入力画像の画像処理を行わせる。

図９は第２の実施の形態の動作を例示したフローチャートである。ステップＳＴ１１で画像処理制御装置は画像処理装置の処理性能を取得する。画像処理制御装置２０は接続されている画像処理装置３０-1〜３０-nから処理性能を示す情報を取得してステップＳＴ１２に進む。

ステップＳＴ１２で画像処理制御装置は処理性能プロファイルを更新する。画像処理制御装置２０は、ステップＳＴ１１で取得した処理性能に基づき情報記憶部２２に記憶されている処理性能プロファイルを更新してステップＳＴ１３に進む。

ステップＳＴ１３で画像処理制御装置は処理フローを設定する、画像処理制御装置２０は、情報記憶部２２に記憶されている処理性能プロファイルに基づき、複数の画像処理装置を用いて画像処理を行う処理フローを設定してステップＳＴ１４に進む。

ステップＳＴ１４で画像処理制御装置はテスト画像を生成する。画像処理制御装置２０は、ステップＳＴ１３で設定した処理フローで画像処理を行うテスト画像を評価用画像から生成してステップＳＴ１５に進む。

ステップＳＴ１５で画像処理制御装置はテスト画像の処理を指示する。画像処理制御装置２０はステップＳＴ１３で設定した処理フローでテスト画像の画像処理を行うように、各画像処理装置の動作制御を行いステップＳＴ１６に進む。

ステップＳＴ１６で画像処理制御装置は処理画像の評価を行う。画像処理制御装置２０はステップＳＴ１３で設定した処理フローでテスト画像の処理を行って得られた処理画像を取得する。また、画像処理制御装置２０は、評価用画像と処理画像を用いて画質の評価を行ってステップＳＴ１７に進む。

ステップＳＴ１７で画像処理制御装置は処理プロファイルを更新する。画像処理制御装置２０は、ステップＳＴ１３で設定した処理フローと画質評価結果を示す処理フロープロファイルを生成する。さらに、画像処理制御装置２０は生成した処理フロープロファイルを情報記憶部２２に記憶させてステップＳＴ１８に進む。

ステップＳＴ１８で画像処理制御装置は処理フロー評価を終了するか判別する。画像処理制御装置２０は、処理性能プロファイルに基づき、新たな処理フローの画質評価を行うと判別した場合にステップＳＴ１９に進み、処理性能プロファイルに基づく各処理フローの画質評価の終了と判別した場合にステップＳＴ２０に進む。

ステップＳＴ１９で画像処理制御装置は処理フローを更新する。画像処理制御装置２０は、画質評価が行われていない処理フローに更新してステップＳＴ１５に戻り、更新後の処理フローでテスト画像を処理させる。

ステップＳＴ１８で処理フローの画質評価が終了したと判別されてステップＳＴ２０に進むと、画像処理制御装置は最適処理フローを設定する。画像処理制御装置２０は、情報記憶部２２に記憶されている処理フロープロファイルから画質評価が最も良好な処理フロープロファイルを選択する。さらに、画像処理制御装置２０は、画質評価が最も良好な処理フロープロファイルで示された処理フローを最適処理フローとしてステップＳＴ２１に進む。

ステップＳＴ２１で画像処理制御装置は最適処理フローに基づき各画像処理装置を制御する。画像処理制御装置２０は、ステップＳＴ２０で設定された最適処理フローに応じた画像処理が複数の画像処理装置を用いて行われるように、各画像処理装置の動作を制御する。

なお、図９のステップＳＴ２１では、最適処理フローに基づき各画像処理装置の動作を制御しているが、ステップＳＴ２１では、最適処理フローに画像処理制御装置に接続されている画像処理装置を示す構成情報を関連付けて情報記憶部２２に記憶させる処理を行ってもよい。この場合、画像処理を行う際に、接続されている画像処理装置の構成と等しい構成であるときの最適処理フローを情報記憶部２２から取得することで、画質評価等を行うことなく最適な画像処理を速やかに行うことができるようになる。

次に、第２の実施の形態の動作例について説明する。なお、第２の実施の形態の動作例では、第２の実施の形態の動作例と同様に、符号化方式がＨＥＶＣであり、ＨＤ解像度で６０ｐのフレームレートの画像を４Ｋ解像度１２０ｐのフレームレートの画像とする場合を例示している。

図１０は、画像処理制御装置の動作例を示している。例えば、処理フロー設定部２６ａは、ノイズ除去とフレームレート変換と解像度変換を順に行ったときの処理画像の画質が最も良好となる画像処理装置の組み合わせを最適処理フローとする。なお、図１０では、ノイズ除去処理は画像処理装置３０-8を用いて行い、ノイズ除去処理が行われた画像のフレームレート変換処理は画像処理装置３０-4を用いて行い、フレームレート変換処理が行われた画像の解像度変換処理は画像処理装置３０-7を用いて行う処理フローで得られた処理画像が最も良好な画質である場合を示している。

このように、第２の実施の形態によれば、入力画像に対して複数項目の画像処理を行うことで得られる出力画像の画質が最も良好となるように最適処理フローを自動的に設定できるようになる。

＜４．第３の実施の形態について＞
＜４−１．第３の実施の形態の構成＞
次に、第３の実施の形態について説明する。上述の第１および第２の実施の形態では、最適な画質の出力画像を得られる最適処理フローを画像処理制御装置で自動的に設定する場合について説明したが、第３の実施の形態では、最適な画質の処理画像を得られる最適処理フローの設定に、ユーザの関与を可能とする場合について説明する。

図１１は、画像処理制御装置の第３の実施の形態の構成を例示している。なお、画像処理制御装置２０ｂは、処理性能管理部２１，情報記憶部２２，画像記憶部２３ｂ，画像加工部２４ｂ，画質評価部２５ｂ，処理フロー設定部２６ｂ，表示部２７，操作部２８を有している場合を示している。

処理性能管理部２１は、画像処理装置３０-1〜３０-nに対して性能の問い合わせを行い処理性能を取得して、あるいは画像処理装置３０-1〜３０-nに対して性能の問い合わせを行うことなく画像処理装置３０-1〜３０-nから通知された処理性能を取得して、取得した処理性能を示す処理性能プロファイルを情報記憶部２２に記憶する。また、処理性能管理部２１は、画質評価部２５ａで得られた画質評価結果を処理性能プロファイルに含める。処理性能管理部２１は、画像処理制御装置２０ａに接続されている画像処理装置３０-1〜３０-nの処理性能プロファイルを情報記憶部２２から取得して画像加工部２４ｂと処理フロー設定部２６ｂへ出力する。

情報記憶部２２は、処理性能管理部２１で取得された処理性能プロファイルを記憶する。また、情報記憶部２２は、処理フロー設定部２６ｂで設定された処理フローと画質評価部２５ｂで得られた画質評価結果を示す処理フロープロファイルを記憶する。情報記憶部２２は、処理性能管理部２１からの要求に応じて処理性能プロファイルを出力して、処理フロー設定部２６ｂからの要求に応じて処理フロープロファイルを出力する。

画像記憶部２３ｂには、画像処理の画質評価を行うための評価用画像が、画像処理に応じて予め記憶されている。画像記憶部２３ｂは、画像加工部２４ｂからの要求、あるいは後述する操作部２８からのユーザ指示を示す操作信号に応じて評価用画像を出力する。

画像加工部２４ｂは、画像処理装置の処理性能あるいは処理フロー設定部２６ｂで設定された処理フローまたは操作信号に基づき、画像記憶部２３ｂに記憶された評価用画像あるいは外部から供給された評価用画像に対して加工処理を行いテスト画像を生成する。また、画像加工部２４ｂは、生成したテスト画像を対応する画像処理装置へ出力して、テスト画像の生成に用いた評価用画像を画質評価部２５ｂへ出力する。

画質評価部２５ｂは、画像処理装置から処理画像を取得して、評価用画像と処理画像を用いて処理画像の画質評価を行い画質評価結果を処理性能管理部２１または処理フロー設定部２６ｂへ出力する。

処理フロー設定部２６ｂは、第１の実施の形態または第２の実施の形態と同様に最適処理フローを設定して、設定された最適処理フローで画像処理を行うように各画像処理装置の動作を制御する。また、処理フロー設定部２６ｂは、操作信号に基づき指定された処理性能を重視してあるいは指定された処理順序で画像処理を行うように最適処理フローを設定する。

表示部２７は、処理性能管理部２１で読み出された処理性能プロファイルや処理フロー設定部２６ｂで設定された処理フローに関する表示を行う。また、操作部２８は、表示部２７の表示画面上に設けられて、表示部２７と操作部２８によってＧＵＩ（Graphical User Interface）が構成されている。操作部２８は、表示部２７の表示に基づいて行われたユーザ指示を示す操作信号を生成する。

画像処理装置３０-1〜３０-nは、処理性能通知部３１と信号処理部３２を有している。処理性能通知部３１は、画像処理装置の処理性能を画像処理制御装置２０ｂ通知する。なお、画像処理制御装置２０ｂの処理性能の通知は、画像処理制御装置２０ｂからの要求に応じて行ってもよく、画像処理制御装置２０ｂとの接続を検出した場合に行ってもよい。信号処理部３２は、画像処理制御装置２０ｂの処理フロー設定部２６ｂからの制御信号に基づき動作設定を行い、入力画像の信号処理を行って出力する。

＜４−２．第３の実施の形態の動作＞
次に第３の実施の形態の動作について説明する。図１２は第３の実施の形態の動作を例示したフローチャートである。なお、第３の実施の形態では、第１の実施の形態のステップＳＴ１１〜ステップＳＴ２０の処理後に、ステップＳＴ３１からの処理を行う場合を例示している。

ステップＳＴ３１で画像処理制御装置は最適処理フローに対するユーザ指示があるか判別する。画像処理制御装置２０は、ユーザ指示があると判別した場合にステップＳＴ３２に進み、ユーザ指示がないと判別した場合にステップＳＴ３３に進む。

ステップＳＴ３２で画像処理制御装置はユーザ指示対応処理を行う。ユーザ指示対応処理では、ステップＳＴ２０で設定された最適処理フローに替えてユーザ指示に基づく処理フローを最適処理フローとする。

図１３はユーザ指示対応処理を例示したフローチャートである。ステップＳＴ３２１で画像処理制御装置はユーザ指示に基づき処理フローを設定する。画像処理制御装置は操作信号で示されたユーザ指示に基づき、画像処理順序や画像処理に用いる画像処理装置の選択、あるいは優先する処理性能の指定等を行いステップＳＴ３２２に進む。

ステップＳＴ３２２で画像処理制御装置はテスト画像の処理を指示する。画像処理制御装置は、ステップＳＴ３２１で設定された処理フローでテスト画像の処理を、複数の画像処理装置を用いて行わせてステップＳＴ３２３に進む。

ステップＳＴ３２３で画像処理制御装置は処理画像の評価を行う。画像処理制御装置２０ｂはステップＳＴ３２１で設定した処理フローでテスト画像の処理を行って得られた処理画像を取得する。また、画像処理制御装置２０は、評価用画像と処理画像を用いて画質の評価を行ってステップＳＴ３２４に進む。

ステップＳＴ３２４で画像処理制御装置は画像保存処理を行う。画像処理制御装置は、ステップＳＴ３２３で取得した処理画像を画像記憶部２３ｂにユーザ画質画像として記憶させる。

ステップＳＴ３２５で画像処理制御装置は処理フロープロファイルを更新する。画像処理制御装置２０は、ステップＳＴ３２１で設定した処理フローと画質評価結果を示す処理フロープロファイルを生成する。さらに、画像処理制御装置２０は生成した処理フロープロファイルを情報記憶部２２に記憶させてステップＳＴ３２６に進む。なお、画像処理制御装置２０ｂでは、処理フロープロファイルとユーザ画質画像と関係付けて、どのような処理フローで画像処理を行った場合にどのようなユーザ画質画像が得られるか、確認できるようにする。

ステップＳＴ３２６で画像処理制御装置はユーザ指示に基づき最適処理フローを更新する。画像処理制御装置はユーザ指示に基づき選択した処理フローを最適処理フローとしてステップＳＴ３２７に進む。

ステップＳＴ３２７で画像処理制御装置はユーザ指示の終了であるか判別する。画像処理制御部はユーザ指示の終了であると判別していない場合はステップＳＴ３２１に戻ることで、ユーザ指示に基づく新たな処理フローの処理画像の画質評価等を行い、ユーザ指示の終了であると判別した場合は図１２のステップＳＴ３３に進む。

ステップＳＴ３３で画像処理制御装置は最適処理フローに基づき各画像処理装置を制御する。画像処理制御装置２０は、ステップＳＴ２０またはステップＳＴ３２６で設定された最適処理フローに応じた画像処理が複数の画像処理装置を用いて行われるように、各画像処理装置の動作を制御する。

また、第１の実施の形態に第３の実施の形態を適用する場合、入力画像に対して行う複数の画像処理で用いる画像処理装置あるいは処理順序をユーザ指示に応じて設定する。

次に、第３の実施の形態の動作例について説明する。なお、第３の実施の形態の動作例では、第１および第２の実施の形態と同様に符号化方式がＨＥＶＣであり、ＨＤ解像度で６０ｐのフレームレートの画像を４Ｋ解像度１２０ｐのフレームレートの画像とする場合を例示している。また、第３の実施の形態の動作例で用いる画像処理装置は、第１および第２の実施の形態の動作例と等しい。

図１４は、ユーザ指示に基づき解像度変換で定量画質よりも定性画質を優先させた場合を例示している。この場合、画像処理制御装置ではユーザ指示に基づき、解像度変換は定性画質が最適である画像処理装置３０-7を選択する。すなわち、画像処理制御装置２０ｂは、ノイズ除去は画像処理装置３０-8を用いて行い、ノイズ除去後の画像のフレームレート変換は画像処理装置３０-2を用いて行い、ノイズ除去とフレームレート変換が行われた画像の解像度変換は画像処理装置３０-7を用いて行う処理フローを、最適処理フローとする。

図１５は、ユーザ指示に基づき処理順序が変更された場合を例示しており、例えばノイズ除去後に解像度変換を行い、ノイズ除去と解像度変換が行われた画像に対してフレームレート変換が行われる。この場合、画像処理制御装置２０ｂは、ユーザ指示に基づいた処理順序で画像処理を行うことにより得られた処理画像の画質が最も良好となる処理フローを最適処理フローとする。例えば画像処理制御装置２０ｂは、ノイズ除去は画像処理装置３０-8を用いて行い、ノイズ除去後の画像の解像度変換は画像処理装置３０-1を用いて行い、ノイズ除去と解像度フレームレート変換が行われた画像の解像度変換は画像処理装置３０-2を用いて行う処理フローを、最適処理フローとする。

ユーザ指示は、表示部２７と操作部２８で構成されたＧＵＩ（Graphical User Interface）等を用いて行う。ＧＵＩ画面では、例えば、選択可能な画像処理装置と画像処理項目を二次元配置する。図１６，１７は、ユーザ指示を説明するための図である。ＧＵＩ画面では、例えば選択可能な画像処理装置が水平方向に配置されており、画像処理項目が垂直方向に処理順に配置されている。画像処理制御装置２０ｂは、ＧＵＩ画面上でのタップ操作やドラッグ操作等に応じて処理フローの設定や更新を行う。例えば、図１６に示すように、所望の処理項目に対応する複数の画像処理装置のいずれかの位置でタップ操作が行われた場合、画像処理制御装置２０は、タップ操作が行われた位置の画像処理装置で所望の処理項目の画像処理を行うように処理フローを設定する。したがって、図１６に示す処理フローを図１４に示す処理フローに変更できる。

また、図１７に示すように所望の処理項目を移動するドラッグ操作が行われた場合、画像処理制御装置２０は、ドラッグ操作に応じて処理項目の順序を変更して、変更後の処理順序で画像処理を行うように処理フローを設定する。したがって、図１７に示す処理フローを図１５に示す処理フローに変更できる。

この第３の実施の形態によれば、処理フローの設定にユーザが関与できるので、ユーザが所望する画質の処理画像を得られるように処理フローを設定できるようになる。

＜５．他の実施の形態について＞
＜５−１．システム構成について＞
複数の画像処理装置を用いて画像処理を行う場合、新たな画像処理装置が利用可能となる場合や、画像処理制御装置との接続が解除されて画像処理装置が利用できなくなる場合も生じる。そこで、画像処理制御装置２０は画像処理装置の追加や削除に応じて最適処理フローを更新してもよい。

図１８は他の実施の形態の動作を例示したフローチャートである。なお、図１８では最適処理フローが設定されているとき、例えば上述のステップＳＴ２０，ＳＴ３２のいずれかの処理が行われたのち、画像処理装置の追加や削除が行われた場合を示している。

ステップＳＴ４１で画像処理制御装置は接続されている画像処理装置の変更があるか判別する。画像処理制御装置２０は、新たに画像処理装置が接続されたこと、あるいは接続されている画像処理装置が取り外されたことを検出した場合、画像処理装置の変更があると判別してステップＳＴ４２に進み、接続されている画像処理装置の変更がないと判別した場合はステップＳＴ５１に進む。

ステップＳＴ４２で画像処理制御装置は処理性能プロファイルを更新する。画像処理制御装置は、新たに接続された画像処理装置の処理性能を示す処理性能プロファイルを情報記憶部２２に記憶させる。また、画像処理制御装置は、接続が終了された画像処理装置の処理性能を示す処理性能プロファイルを情報記憶部２２から削除してもよく、接続が終了された画像処理装置が再度接続されたときに処理性能プロファイルを再利用できるように、情報記憶部２２に記憶したままの状態としてもよい。画像処理制御装置２０は処理性能プロファイルを更新してステップＳＴ４３に進む。

ステップＳＴ４３で画像処理制御装置は画像処理装置の追加であるか判別する。画像処理制御装置は、ステップＳＴ４１で検出した画像処理装置の変更が画像処理装置の追加である場合はステップＳＴ４４に進み、画像処理装置の削除である場合はステップＳＴ４８に進む。

ステップＳＴ４４で画像処理制御装置は処理フローを設定する、画像処理制御装置２０は、情報記憶部２２に記憶されている処理性能プロファイルに基づき、複数の画像処理装置を用いて画像処理を行う際の処理フローを設定してステップＳＴ４５に進む。

ステップＳＴ４５で画像処理制御装置はテスト画像の処理を指示する。画像処理制御装置２０はステップＳＴ４４で設定した処理フローでテスト画像の画像処理を行うように、各画像処理装置の動作制御を行いステップＳＴ４６に進む。

ステップＳＴ４６で画像処理制御装置は処理画像の評価を行う。画像処理制御装置２０はステップＳＴ４４で設定した処理フローでテスト画像の処理を行って得られた処理画像を取得する。また、画像処理制御装置２０は、評価用画像と処理画像を用いて画質の評価を行ってステップＳＴ４７に進む。

ステップＳＴ４７で画像処理制御装置は処理フロープロファイルを追加する。画像処理制御装置２０は、ステップＳＴ４４で設定した処理フローとステップＳＴ４６で得られた画質評価結果を示す処理フロープロファイルを生成する。さらに、画像処理制御装置２０は生成した処理フロープロファイルを情報記憶部２２に記憶させてステップＳＴ４９に進む。

ステップＳＴ４３からステップＳＴ４８に進むと、画像処理制御装置は処理フロープロファイルを更新する。画像処理制御装置２０は、削除された画像処理装置を用いる処理フローファイルを、削除あるいは非選択処理フロープロファイルとしてステップＳＴ４９に進む。

ステップＳＴ４９で画像処理制御装置は最適処理フローを設定する。画像処理制御装置２０は、情報記憶部２２に記憶されており、非選択処理フロープロファイルでない処理フロープロファイルから画質評価が最も良好な処理フロープロファイルを選択する。さらに、画像処理制御装置２０は、画質評価が最も良好な処理フロープロファイルで示された処理フローを最適処理フローとしてステップＳＴ５０に進む。

ステップＳＴ５０で画像処理制御装置は最適処理フローに基づき各画像処理装置を制御する。画像処理制御装置２０は、ステップＳＴ４９で設定された最適処理フローに応じた画像処理が複数の画像処理装置を用いて行われるように、各画像処理装置の動作を制御してステップＳＴ５１に進む。

ステップＳＴ５１で画像処理制御装置は画像処理の終了であるか判別する。画像処理制御装置２０は、例えばユーザから終了指示があった場合あるいは処理対象の画像が終了した場合、画像処理の終了と判別してステップＳＴ５２に進む。また、画像処理制御装置２０は、画像処理の終了を判別していない場合ステップＳＴ４１に戻る。

ステップＳＴ５２で画像処理制御装置は終了処理を行う。画像処理制御装置２０は、最適処理フローで用いられる画像処理装置の動作を終了させる。

なお、図１８では、複数項目の画像処理が行われた出力画像の画質が最も良好となるように最適処理フローを設定したが、項目毎に画質が最も良好な画像処理装置を選択して最適処理フローを設定してもよい。この場合、追加された画像処理装置の処理性能に応じたテスト画像を用いて画像処理を行い、処理画像の画質評価を行い、評価結果を処理性能プロファイルに含めるようにする。さらに、処理性能プロファイルに基づき、画像処理の項目毎に画質評価が最良の画像処理装置を選択すればよい。

このような処理を行えば、画像処理制御装置２０に接続される画像処理装置の追加や削除が行われても、それぞれの状況に応じて良好な処理画像が得られるように最適処理フローを設定することができるようになる。

また、図２，図１１，図１９に示す画像処理制御装置を構成するブロックは一体に設けられる場合に限られない。例えば、画像加工部や画質評価部の処理は外部機器で行うようにして、画像処理制御装置の負荷を軽減してもよい。

＜５−２．画質について＞
また、上述の実施の形態の動作例では定量画質と定性画質を個々に用いて最適処理フローを設定しているが、定量画質と定性画質の統合スコアに基づいて最適処理フローを設定してもよい。例えば定量画質と定性画質の重み付き加算値等を統合スコアＱＴとして用いる。式（１）は統合スコアＱＴの算出式を例示している。なお、式（１）では、ＰＳＮＲの改善量Ｑａと定性画質を示すスコアＱｂを用いており、改善量Ｑａに対する重みは「Ｗａ」、スコアＱｂに対する重みは「Ｗｂ」である。
ＱＴ＝Ｗａ×Ｑａ ＋Ｗｂ×Ｑｂ ・・・（１）

また、上述の実施の形態では、画像処理装置で生成された処理画像を用いて画質の評価を行う場合を例示したが、実際の表示状態で画質を評価してもよい。図１９は、画像処理後の表示画像を利用して画質評価を行う場合の構成を例示している。画像処理システムは、画像処理制御装置２０ｃと複数の画像処理装置３０-in〜３０-out、および表示装置４０と撮像装置５０を用いて構成されている。なお、画像処理制御装置２０ｃは、上述の画像処理制御装置２０ａ（２０ｂ）と同様に構成されており、画質評価部２５ａ（２５ｂ）で用いる画像が異なる。すなわち、画像処理制御装置２０ｃの画質評価部２５ｃでは、撮像装置５０で取得された撮像画像を用いる。また、画像処理対象の入力画像は画像処理装置３０-inに入力されて、画像処理後の出力画像は画像処理装置３０-outから出力される。

表示装置４０は、画像処理装置３０-outから出力された出力画像を表示する。撮像装置５０は、表示装置４０で表示された出力画像を撮像して、撮像画像を画像処理制御装置２０ｃの画質評価部２５ｃへ出力する。また、表示装置４０は、画質評価に用いる画像領域を示す領域表示を処理画像に重畳させて、撮像装置５０では、領域表示で示された領域内の処理画像を撮像してもよい。

図２０は、画像処理後の表示画像を利用して画質評価を行う場合の動作例を示している。図２０の（ａ）は表示画像を例示しており、表示画像では例えば評価領域を示す領域枠ＡＲが示されている。図２０の（ｂ）は評価用画像における評価領域の画像を例示しており、図２０の（ｃ）は評価領域を示すテスト画像を例示している。また、図２０の（ｄ）は、テスト画像を画像処理して得られた処理画像を例示している。画質評価部２５ｃは、図２０の（ｂ）に対する図２０の（ｄ）の画質評価を行う。

このように、画像処理後の表示画像を撮像して得られた撮像画像を用いて画質評価を行うことで、表示された処理画像が最適な画質となるように、処理画像の見え方を考慮して、最適処理フローを設定できるようになる。

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

＜６．応用例＞
本開示に係る技術は、様々な分野へ適用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。また、工場における生産工程で用いられる機器や建設分野で用いられる機器に搭載される装置として実現されてもよい。さらに、医療分野へ適用することもできる。このような分野に適用すれば、良好な画質の画像をユーザに提供できるようになる。

明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。

また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

また、本技術の画像処理制御装置は以下のような構成も取ることができる。
（１） テスト画像を複数の画像処理装置で処理して得られた処理画像の画質評価結果に基づき、入力画像に対して行う複数の画像処理毎に、画像処理に用いる画像処理装置を選択して処理フローを設定する処理フロー設定部
を備える画像処理制御装置。
（２） 前記テスト画像は、前記画像処理に対して逆の処理である加工処理を評価用画像に対して行うことにより生成された画像であり、
処理フロー設定部は、前記評価用画像に対する前記処理画像の画質評価結果に基づいて前記画像処理に用いる画像処理装置を選択する（１）に記載の画像処理制御装置。
（３） 前記処理フロー設定部は、前記画像処理毎に最も良好な画質評価結果が得られる画像処理装置を選択する（２）に記載の画像処理制御装置。
（４） 前記テスト画像は、前記画像処理装置毎に、前記画像処理装置に応じた評価用画像に対して前記加工処理が行われた画像である（３）に記載の画像処理制御装置。
（５） 前記処理フロー設定部は、前記画像処理毎に用いる画像処理装置の組み合わせから、前記入力画像に対して複数の画像処理を行うことにより得られる出力画像の画質評価結果が最も良好となる組み合わせの画像処理装置を選択する（２）に記載の画像処理制御装置。
（６） 前記処理フロー設定部は、前記画像処理毎に用いる画像処理装置のパラメータ調整を行い、前記入力画像に対して複数の画像処理を行うことにより得られる出力画像の画質評価結果が最も良好となるパラメータに設定する（５）に記載の画像処理制御装置。
（７） 前記テスト画像は、前記処理フロー設定部で設定された処理フローに基づき前記入力画像に対して行う複数の画像処理に対して逆の処理である加工処理を前記評価用画像に対して行うことにより生成された画像である（５）または（６）に記載の画像制御装置。
（８） 前記複数の画像処理の処理順と、処理順毎に選択された画像処理装置を示す情報と、前記画質評価結果を記憶する情報記憶部をさらに備える（２）乃至（７）のいずれかに記載の画像処理制御装置。
（９） 画像処理装置の処理性能に基づき、前記入力画像の画像処理に利用可能な画像処理装置を検出する処理性能管理部を備え、
前記処理フロー設定部は、前記処理性能管理部で検出された複数の画像処理装置から前記画像処理に用いる画像処理装置を選択する（２）乃至（８）のいずれかに記載の画像処理制御装置。
（１０） 前記処理性能管理部は、前記入力画像の画像処理に利用可能な画像処理装置の変化を検出して、
前記処理フロー設定部は、前記利用可能な画像処理装置の変化が生じた場合に、変化後に利用可能な画像処理装置から前記画像処理に用いる画像処理装置を選択する（９）に記載の画像処理制御装置。
（１１） 前記処理フロー設定部は、前記複数の画像処理の処理順と、前記選択された画像処理装置を、ユーザ指示に応じて変更する（２）乃至（１０）のいずれかに記載の画像処理制御装置。
（１２） 前記複数の画像処理装置の処理性能と前記処理フロー設定部で設定された処理フローを表示する表示部と、
前記表示部の表示画面上に設けられて、前記表示部の表示に基づいて行われた前記ユーザ指示を受け付ける操作部とをさらに備える（１１）に記載の画像処理制御装置。
（１３） 前記画質評価結果は、定性画質と定量画質の評価結果あるいは定性画質と定量画質の評価結果を統合した評価結果を用いる（１）乃至（１２）のいずれかに記載の画像処理制御装置。
（１４） 前記画質評価結果は、表示された前記処理画像を撮像して得られる撮像画像の画質評価結果を示す（１）乃至（１３）のいずれかに記載の画像処理制御装置。

また、本技術は以下のようなプログラムを含む。
（１）複数の画像処理装置を用いた画像処理の制御をコンピュータで実行させるプログラムであって、
テスト画像を複数の画像処理装置で処理して得られた処理画像の画質評価結果に基づき、入力画像に対して行う複数の画像処理毎に、画像処理に用いる画像処理装置を選択して処理フローを設定する手順
を前記コンピュータで実行させるプログラム。

１０・・・画像処理システム
２０，２０ａ，２０ｂ，２０ｃ・・・画像処理制御装置
２１・・・処理性能管理部
２２・・・情報記憶部
２３ａ，２３ｂ・・・画像記憶部
２４ａ，２４ｂ・・・画像加工部
２５ａ，２５ｂ，２５ｃ・・・画質評価部
２６ａ，２６ｂ・・・処理フロー設定部
２７・・・表示部
２８・・・操作部
３０-1〜３０-8〜３０-n，３０-in，３０-out・・・画像処理装置
３１・・・処理性能通知部
３２・・・信号処理部
４０・・・表示装置
５０・・・撮像装置

Claims (15)

1. テスト画像を複数の画像処理装置で処理して得られた処理画像の画質評価結果に基づき、入力画像に対して行う複数の画像処理毎に、画像処理に用いる画像処理装置を選択して処理フローを設定する処理フロー設定部
   を備える画像処理制御装置。
2. 前記テスト画像は、前記画像処理に対して逆の処理である加工処理を評価用画像に対して行うことにより生成された画像であり、
   処理フロー設定部は、前記評価用画像に対する前記処理画像の画質評価結果に基づいて前記画像処理に用いる画像処理装置を選択する
   請求項１に記載の画像処理制御装置。
3. 前記処理フロー設定部は、前記画像処理毎に最も良好な画質評価結果が得られる画像処理装置を選択する
   請求項２に記載の画像処理制御装置。
4. 前記テスト画像は、前記画像処理装置毎に、前記画像処理装置に応じた評価用画像に対して前記加工処理が行われた画像である
   請求項３に記載の画像処理制御装置。
5. 前記処理フロー設定部は、前記画像処理毎に用いる画像処理装置の組み合わせから、前記入力画像に対して複数の画像処理を行うことにより得られる出力画像の画質評価結果が最も良好となる組み合わせの画像処理装置を選択する
   請求項２に記載の画像処理制御装置。
6. 前記処理フロー設定部は、前記画像処理毎に用いる画像処理装置のパラメータ調整を行い、前記入力画像に対して複数の画像処理を行うことにより得られる出力画像の画質評価結果が最も良好となるパラメータに設定する
   請求項５に記載の画像処理制御装置。
7. 前記テスト画像は、前記処理フロー設定部で設定された処理フローに基づき前記入力画像に対して行う複数の画像処理に対して逆の処理である加工処理を前記評価用画像に対して行うことにより生成された画像である
   請求項５に記載の画像制御装置。
8. 前記複数の画像処理の処理順と、処理順毎に選択された画像処理装置を示す情報と、前記画質評価結果を記憶する情報記憶部をさらに備える
   請求項２に記載の画像処理制御装置。
9. 画像処理装置の処理性能に基づき、前記入力画像の画像処理に利用可能な画像処理装置を検出する処理性能管理部を備え、
   前記処理フロー設定部は、前記処理性能管理部で検出された複数の画像処理装置から前記画像処理に用いる画像処理装置を選択する
   請求項２に記載の画像処理制御装置。
10. 前記処理性能管理部は、前記入力画像の画像処理に利用可能な画像処理装置の変化を検出して、
    前記処理フロー設定部は、前記利用可能な画像処理装置の変化が生じた場合に、変化後に利用可能な画像処理装置から前記画像処理に用いる画像処理装置を選択する
    請求項９に記載の画像処理制御装置。
11. 前記処理フロー設定部は、前記複数の画像処理の処理順と、前記選択された画像処理装置を、ユーザ指示に応じて変更する
    請求項２に記載の画像処理制御装置。
12. 前記複数の画像処理装置の処理性能と前記処理フロー設定部で設定された処理フローを表示する表示部と、
    前記表示部の表示画面上に設けられて、前記表示部の表示に基づいて行われた前記ユーザ指示を受け付ける操作部とをさらに備える
    請求項１１に記載の画像処理制御装置。
13. 前記画質評価結果は、定性画質と定量画質の評価結果あるいは定性画質と定量画質の評価結果を統合した評価結果を用いる
    請求項１に記載の画像処理制御装置。
14. 前記画質評価結果は、表示された前記処理画像を撮像して得られる撮像画像の画質評価結果を示す
    請求項１に記載の画像処理制御装置。
15. テスト画像を複数の画像処理装置で処理して得られた処理画像の画質評価結果に基づき、入力画像に対して行う複数の画像処理毎に、画像処理に用いる画像処理装置を処理フロー設定部で選択して処理フローを設定すること
    を含む画像処理制御方法。

Images