JPWO2018003939A1 - 画像出力装置、画像出力方法、およびプログラム - Google Patents

Abstract

従来、一の入力画像に対して異なる処理を行った２以上の画像を同時に出力できなかった。入力画像を受け付ける入力画像受付部と、入力画像に基づく第一画像を取得する第一画像取得部と、入力画像または第一画像に対して、第一画像取得部が行う処理とは異なる画像処理を行い、第二画像を取得する第二画像取得部と、第一画像と第二画像とを出力する出力部とを具備する画像出力装置により、一の入力画像に対して異なる処理を行った２以上の画像を同時に出力できる。

Description

本発明は、一の入力画像を受け付け、２以上の画像を出力する画像出力装置等に関するものである。

従来の第一の技術として、ＰｉｎＰ表示可能な表示装置に、画像を提供する画像提供機器であって、当該画像提供機器が提供する画像に対して表示装置が重畳して表示するＰｉｎＰ表示画像の位置を取得する位置取得手段を備え、当該画像提供機器が提供する画像に含まれるカーソルが上記ＰｉｎＰ表示画像の領域に入る際に横切った一辺及び上記カーソルがＰｉｎＰ表示画像の領域から出る際に横切った一辺の少なくとも何れかを強調表示した画像を表示装置に提供することを特徴とする画像提供機器があった（特許文献１参照）。

従来の第二の技術として、映像信号を記憶するメモリのサイズが大きくなることなく、メモリに記憶されている同じ画素データを複数の処理によって同時に読み出そうとする不具合を回避することができる映像信号処理装置があった（例えば、特許文献２参照）。

特開２０１５−１５８９２８号公報 特開２０１４−１５０３０８号公報

しかしながら、従来の第一の技術においては、一の入力画像に対して異なる処理を行った２以上の画像を同時に出力できなかった。なお、異なる処理を行った２以上の画像のうちの一の画像には、何らの処理を行わない画像が含まれていても良い。

そのため、従来の第一の技術においては、ユーザはディスプレイの表現力を超えた映像を頭の中で合成して楽しむことができなかった。

また、従来の第二の技術においては、ユーザの嗜好により、種々の画像処理をカスタマイズしようとした場合、映像信号処理装置のハードウェアの規模が大きくなる、という課題があった。つまり、従来、ユーザの嗜好により種々の画像処理をカスタマイズしようとした場合、各カスタマイズに対応した処理を行うハードウェアを各々用意すると、映像信号処理装置のハードウェアが大きくなる、という課題があった。

本第一の発明の画像出力装置は、入力画像を受け付ける入力画像受付部と、入力画像に基づく第一画像を取得する第一画像取得部と、入力画像または第一画像に対して、第一画像取得部が行う処理とは異なる画像処理を行い、第二画像を取得する第二画像取得部と、第一画像と第二画像とを出力する出力部とを具備する画像出力装置である。

かかる構成により、一の入力画像に対して異なる処理を行った２つの画像を同時に出力でき、ユーザはディスプレイの表現力を超えた映像を頭の中で合成して楽しむことが可能になる。

また、本第二の発明の画像出力装置は、第一の発明に対して、第一画像取得部は、入力画像に対して、第一画像処理を行い、第一画像を取得し、第二画像取得部は、入力画像または第一画像に対して、第一画像処理とは異なる第二画像処理を行い、第二画像を取得する画像出力装置である。

かかる構成により、一の入力画像に対して異なる処理を行った２つの画像を同時に出力でき、ユーザはディスプレイの表現力を超えた映像を頭の中で合成して楽しむことが可能になる。

また、本第三の発明の画像出力装置は、第一または第二の発明に対して、第一画像取得部は、入力画像に対して、必須の処理である汎用処理を行い、第一画像を取得し、第二画像取得部は、第一画像に対して、オプションの処理である第二個別処理を行い、第二画像を取得する画像出力装置である。

かかる構成により、一の入力画像に対して異なる処理を行った２つの画像を同時に出力でき、ユーザはディスプレイの表現力を超えた映像を頭の中で合成して楽しむことが可能になる。

また、本第四の発明の画像出力装置は、第三の発明に対して、第一画像取得部は、入力画像に対して、必須の処理である汎用処理を行い、汎用処理の結果に対して、オプションの処理である第一個別処理を行い、第一画像を取得する画像出力装置である。

かかる構成により、一の入力画像に対して異なる処理を行った２つの画像を同時に出力でき、ユーザはディスプレイの表現力を超えた映像を頭の中で合成して楽しむことが可能になる。

また、本第五の発明の画像出力装置は、第三または第四の発明に対して、オプションの処理である個別処理を行うか否かについてのユーザ指示を受け付けられた場合に、第二画像取得部が第二個別処理を行う、または第一画像取得部が第一個別処理を行う、または第二画像取得部が第二個別処理を行い、かつ第一画像取得部が第一個別処理を行う画像出力装置である。

かかる構成により、一の入力画像に対して異なる処理を行った２つの画像を、ユーザの指示に応じて同時に出力でき、ユーザはディスプレイの表現力を超えた映像を頭の中で合成して楽しむことが可能になる。

また、本第六の発明の画像出力装置は、第一または第二の発明に対して、第一画像取得部は、入力画像に対して画像処理を行わずに、第一画像を取得し、第二画像取得部は、入力画像または第一画像に対して、第二画像処理を行い、第二画像を取得する画像出力装置である。

かかる構成により、一の入力画像に対して異なる処理を行った２つの画像を同時に出力でき、ユーザはディスプレイの表現力を超えた映像を頭の中で合成して楽しむことが可能になる。

また、本第七の発明の画像出力装置は、第一から第六いずれか１つの発明に対して、入力画像または第一画像に対して、それぞれ異なる画像処理を行う２以上の第二画像取得部を具備し、出力部は、２以上の各第二画像取得部が取得した２以上の第二画像と第一画像とを出力する画像出力装置である。

かかる構成により、一の入力画像に対して異なる処理を行った３以上の画像を同時に出力でき、ユーザはディスプレイの表現力を超えた映像を頭の中で合成して楽しむことが可能になる。

また、本第八の発明の画像出力装置は、第一から第七いずれか１つの発明に対して、画像が取得される環境における光信号に関する光信号情報と電気信号に関する電気信号情報との対応を示す対応情報が格納される格納部と、第一画像取得部または第二画像取得部は、入力画像から取得される１以上の電気信号情報に対応する１以上の光信号情報を、対応情報を用いて取得し、光信号情報を用いて、入力画像から第一画像または第二画像を取得する画像出力装置である。

かかる構成により、一の入力画像に対して異なる適切な処理を行った２以上の画像を同時に出力でき、ユーザはディスプレイの表現力を超えた映像を頭の中で合成して楽しむことが可能になる。

また、本第九の発明の画像出力装置は、第一から第八いずれか１つの発明に対して、画像を取得してから画像が出力されるまでの１または２以上のシステム特性を受け付けるシステム特性受付部と、第一画像取得部または第二画像取得部は、１以上のシステム特性を用いて、入力画像から第一画像または第二画像を取得する画像出力装置である。

かかる構成により、一の入力画像に対して異なる適切な処理を行った２以上の画像を同時に出力でき、ユーザはディスプレイの表現力を超えた映像を頭の中で合成して楽しむことが可能になる。

また、本第十の発明の画像出力装置は、第一から第九いずれか１つの発明に対して、出力部は、第一画像と第二画像とを同一のディスプレイに出力する画像出力装置である。

かかる構成により、一の入力画像に対して異なる処理を行った２以上の画像を同一のディスプレイに出力でき、ユーザはディスプレイの表現力を超えた映像を頭の中で合成して楽しむことが可能になる。

また、本第十一の発明の画像出力装置は、第十の発明に対して、出力部は、第一画像と第二画像とをＰｉｎＰで同一のディスプレイに出力する画像出力装置である。

かかる構成により、一の入力画像に対して異なる処理を行った２以上の画像を同一のディスプレイにＰｉｎＰで出力でき、ユーザはディスプレイの表現力を超えた映像を頭の中で合成して楽しむことが可能になる。

また、本第十二の発明の画像出力装置は、第一から第十一いずれか１つの発明に対して、第二画像は、第一画像の一部の空間領域の画像である画像出力装置である。

かかる構成により、第一画像と、当該第一画像の一部の空間領域の画像である第二画像とを同時に出力でき、ユーザはディスプレイの表現力を超えた映像を頭の中で合成して楽しむことが可能になる。

また、本第十三の発明の画像出力装置は、第一から第十二いずれか１つの発明に対して、第二画像取得部は、入力画像または第一画像の一部の空間領域を特定するユーザ指示が受け付けられた場合、当該ユーザ指示が特定する空間領域の画像に対して、第一画像取得部が行う処理とは異なる画像処理を行い、第二画像を取得する画像出力装置である。

かかる構成により、第一画像と、ユーザが指示した一部の空間領域の第二画像とを同時に出力できる。

また、本第十四の発明の画像出力装置は、第一から第十三いずれか１つの発明に対して、第二画像は、入力画像または第一画像の一部の空間領域の画像であり、２以上の空間領域の画像であり、第二画像取得部は、２以上の各空間領域の第二画像を取得し、出力部は、第一画像と２以上の第二画像とを出力する画像出力装置である。

かかる構成により、第一画像と、ユーザが指示した２以上の一部の空間領域の２以上の第二画像とを同時に出力できる。

また、本第十五の発明の画像出力装置は、第一から第十四いずれか１つの発明に対して、画像が格納される画像格納部と、入力画像または第一画像または第二画像の全部または一部を画像格納部に保存する保存処理部とをさらに具備し、第二画像取得部は、画像格納部に格納されている画像に対して、第一画像取得部が行う処理とは異なる画像処理を行い、第二画像を取得し、出力部は、第一画像と、当該第一画像とは異なる時に対応する入力画像に基づいて取得された第二画像とを同時に出力する画像出力装置である。

かかる構成により、第一画像と、ユーザが指示した一部の空間領域であり、第一画像とは別の時間第二画像とを同時に出力できる。

また、本第十六の発明の画像出力装置は、第一から第十五いずれか１つの発明に対して、第二画像の表示領域の位置またはサイズが動的に変化し得る画像出力装置である。

かかる構成により、第二画像の表示領域の位置またはサイズが動的に変化し、ユーザにとって第一画像または第二画像がさらに視聴しやすくなる。

また、本第十七の発明の画像出力装置は第一から第十六いずれか１つの発明に対して、第二画像取得部は、入力画像または第一画像または第二画像の一部の空間領域を含む領域の画像の１以上の特徴量を取得し、当該１以上の特徴量によって異なる処理を行う
画像出力装置である。

かかる構成により、第一画像と、ユーザが指示した一部の空間領域の第二画像とを適切に同時に出力できる。

また、本第十八の発明の画像出力装置は、第一から第十六いずれか１つの発明に対して、第二画像取得部は、２以上の個別処理のうちの１以上の個別処理を選択するユーザ指示が受け付けられた場合に、当該選択された１以上の個別処理を、入力画像または第一画像の一部の空間領域の画像に対して行い、第二画像を取得する画像出力装置である。

かかる構成により、第一画像と、ユーザが指示した一部の空間領域の第二画像であり、ユーザ所望の第二画像とを同時に出力できる。

また、本第十九の発明の画像出力装置は、第一から第十八いずれか１つの発明に対して、第二画像取得部は、第一画像から一部の空間領域の画像を切り出し、第二画像を取得する画像出力装置である。

かかる構成により、第一画像と、ユーザが指示した一部の空間領域の第二画像であり、第一画像の一部の空間領域の第二画像とを同時に出力できる。

また、本第二十の発明の画像出力装置は、第一から第十九いずれか１つの発明に対して、第一画像取得部または第二画像取得部が行う処理において使用する１以上のパラメータが格納されるパラメータ格納部と、１以上のパラメータが受け付けられた場合に、当該１以上のパラメータを前記パラメータ格納部に保存するパラメータ保存部とをさらに具備し、第一画像取得部または第二画像取得部は、パラメータ格納部の１以上のパラメータを用いて、第一画像または第二画像を取得する画像出力装置である。

かかる構成により、ユーザの指示に基づくパラメータを保存し、利用した第二画像と第一画像とを同時に出力できる。

また、本第二十一の発明の映像信号処理装置は、入力画像を受け付ける入力画像受付部と、オプションの処理である個別処理を行うか否かについてのユーザ指示を受け付ける指示受付部と、入力画像に対して、必須の処理である汎用処理を行い、第一処理情報を取得する汎用処理部と、ユーザ指示が個別処理を行うとの指示である個別処理指示である場合に、入力画像に対して個別処理を行い、第二処理情報を取得する個別処理部と、指示受付部が個別処理指示を受け付けた場合に、第一処理情報と第二処理情報とを用いて出力画像を構成する構成部と、指示受付部が個別処理指示を受け付けた場合に、構成部が構成した出力画像を出力し、指示受付部が個別処理指示を受け付けない場合に、第一処理情報を用いて取得される出力画像を出力する出力部とを具備する映像信号処理装置である。

かかる構成により、ハードウェアの規模を削減しながら、ユーザ所望の画像を出力できる。

また、本第二十二の発明の映像信号処理装置は、第二十一の発明に対して、２以上の個別処理部を具備し、指示受付部は、２以上の各個別処理部に対応する個別処理を行うか否かについてのユーザ指示を受け付け、構成部は、指示受付部が個別処理指示を受け付けた場合に、個別処理指示に対応する個別処理部が取得した１以上の第二処理情報と、第一処理情報とを用いて出力画像を構成し、出力部は、指示受付部が個別処理指示を受け付けた場合に、構成部が構成した出力画像を出力し、指示受付部が個別処理指示を受け付けなかった場合に、第一処理情報を用いて取得される出力画像を出力する映像信号処理装置である。

かかる構成により、ハードウェアの規模を削減しながら、ユーザ所望の画像を出力できる。

また、本第二十三の発明の映像信号処理装置は、第二十二の発明に対して、指示受付部は、少なくとも一つの個別処理指示を受け付け、構成部は、少なくとも一つの第二処理情報と、第一処理情報とを用いて出力画像を構成し、出力部は、構成部が構成した出力画像を出力する映像信号処理装置である。

かかる構成により、ハードウェアの規模を削減しながら、ユーザ所望の画像を出力できる。

また、本第二十四の発明の映像信号処理装置は、第二十一の発明に対して、個別処理部は、個別処理を行う２以上の個別処理手段を有し、２以上の個別処理手段のうちの１以上の個別処理手段を用いて、第二処理情報を取得し、指示受付部は、２以上の各個別処理手段に対応する個別処理を行うか否かについてのユーザ指示を受け付け、構成部は、指示受付部が個別処理指示を受け付けた場合には、個別処理指示に対応する１以上の個別処理手段を用いて取得した第二処理情報と、第一処理情報とを用いて出力画像を構成する映像信号処理装置である。

かかる構成により、ハードウェアの規模を削減しながら、ユーザ所望の画像を出力できる。

また、本第二十五の発明の映像信号処理装置は、第二十四の発明に対して、指示受付部は、少なくとも一つの個別処理指示を受け付け、出力部は、構成部が構成した出力画像を出力する映像信号処理装置である。

かかる構成により、ハードウェアの規模を削減しながら、ユーザ所望の画像を出力できる。

本発明による画像出力装置によれば、一の入力画像に対して異なる処理を行った２以上の画像を同時に出力でき、ユーザはディスプレイの表現力を超えた映像を頭の中で合成して楽しむことが可能になる。

実施の形態１における画像出力装置１のブロック図 同画像出力装置１の動作について説明するフローチャート 同第一画像処理の例について説明するフローチャート 同第二画像処理の例について説明するフローチャート 同自然法則適合処理について説明するフローチャート 同受信された入力画像の信号レベルの度数分布を示す図 同出力画像の候補の信号レベルの度数分布を示す図 同出力画像の候補の信号レベルの度数分布を示す図 同システム特性利用処理について説明するフローチャート 同第二画像取得部１３２の第一の構造例を示す図 同第二画像取得部１３２の第二の構造例を示す図 同第二画像取得部１３２の第三の構造例を示す図 同画像処理管理表を示す図 同画像出力装置１の処理の概要を説明する図 同画像処理管理表を示す図 同画像出力装置１の処理の概要を説明する図 実施の形態２における画像出力装置２のブロック図 同画像出力装置２の動作について説明するフローチャート 同第二画像取得処理について説明するフローチャート 同出力例を示す図 同出力例を示す図 実施の形態３における映像信号処理装置３のブロック図 同映像信号処理装置３の動作について説明するフローチャート 同映像信号処理装置３の動作の概念を示す図 実施の形態４における映像信号処理装置４のブロック図 同映像信号処理装置４の動作について説明するフローチャート 同映像信号処理装置４の動作の概念を示す図 実施の形態５における映像信号処理装置５のブロック図 同映像信号処理装置５の動作について説明するフローチャート 同映像信号処理装置５の動作の概念を示す図 上記実施の形態におけるコンピュータシステムの概観図 同コンピュータシステムのブロック図

以下、画像出力装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。

（実施の形態１）
本実施の形態において、一の入力画像に対して、異なる処理を行った２以上の画像（例えば、第一画像と第二画像）を出力する画像出力装置について説明する。

また、本実施の形態において、汎用処理である第一画像処理により第一画像を取得し、汎用処理に加えて個別処理を含む第二画像処理により第二画像を取得する場合について説明する。なお、汎用処理、個別処理については、後述する。

また、本実施の形態において、汎用処理に加えて第一の個別処理を含む第一画像処理により第一画像を取得し、汎用処理に加えて第二の個別処理を含む第二画像処理により第二画像を取得する場合について説明する。

また、本実施の形態において、一の入力画像に対して処理を行わずに第一画像を取得し、一の入力画像に対して第二画像処理を行い、第二画像を取得する場合について説明する。

また、本実施の形態において、ユーザ指示に応じて、個別処理を変更する場合について説明する。

また、本実施の形態において、第一画像処理または第二画像処理として、自然界の光の振舞いを考慮して、入力画像信号を出力画像信号に変換する画像信号処理を行う場合について説明する。

また、本実施の形態において、第一画像処理または第二画像処理として、画像を撮影してから受信機が受信するまでの１以上のシステム特性を用いて、入力画像を変換処理して、出力画像を取得する処理を行う場合について説明する。なお、システム特性については、後述する。

また、本実施の形態において、第一画像と１以上の第二画像とを一つのディスプレイに出力する場合について説明する。

また、本実施の形態において、第一画像と１以上の第二画像とをＰｉｎＰ表示する場合について説明する。

さらに、本実施の形態において、第二画像は、第一画像の一部の空間領域の画像である場合について説明する。

図１は、本実施の形態における画像出力装置１のブロック図である。なお、画像出力装置１は、例えば、テレビジョン受信機、ブルーレイ（登録商標）レコーダーやＤＶＤ（登録商標）レコーダー等の映像出力装置、カメラ、写真出力装置などであり、画像を処理する装置であれば何でも良い。また、画像とは、通常、動画（映像と言っても良い）であるが、静止画でも良い。また、画像に音声等の他の情報が対応付いていても良い。また、画像に他の情報が含まれていても良い。さらに、画像のデータ形式、フォーマット等は問わないことは言うまでもない。

画像出力装置１は、格納部１１、受付部１２、処理部１３、および出力部１４を備える。

受付部１２は、入力画像受付部１２１、システム特性受付部１２２、および指示受付部１２３を備える。

処理部１３は、第一画像取得部１３１、および第二画像取得部１３２を備える。

格納部１１は、各種の情報が格納される。各種の情報とは、例えば、対応情報である。各種の情報とは、例えば、１または２以上の光信号情報を有する光信号データベース、１または２以上の電気信号情報を有する電気信号データベースである。また、各種の情報とは、例えば、後述する処理識別子と対応付けられた処理を実行するプログラムである。

また、対応情報とは、光信号情報と電気信号情報との対応を示す情報である。対応情報は、出力画像（例えば、後述する第一画像、第二画像）が発する光が、自然界の光としてあり得ないような挙動にならないように拘束しながら画像を変換するために利用される情報である。対応情報は、例えば、光の変化量に応じた適切な電気信号の変化量を取得するための情報である。光信号情報と電気信号情報との対応を示す対応情報は、電気信号情報でも良い。

光信号情報とは、画像が取得される環境（通常、自然界の環境）における光信号に関する情報である。光信号情報は、例えば、光信号の特性を示す情報（光信号特性と言っても良い。）である。光信号情報は、例えば、無限の分解能を有することを示す情報、信号強度の幅である信号レンジに上限または下限が無いことを示す情報などである。光信号情報は、通常、自然界の光を観測して得られた情報である。光信号情報は、例えば、光の強さそのもの（ルクスの値等）である。光信号情報は、例えば、単位時間における光量の変化を示す光量変化情報である。光信号情報は、例えば、単位時間または一定時間における光源の拡散度合の変化を示す拡散度合変化情報である。拡散度合情報は、例えば、拡散する角度である。光信号情報は、例えば、単位時間または一定時間における光源の位置の連続的な変更を示す光源位置変化情報である。光源位置変化情報は、例えば、始点の座標位置、終点の座標位置、および移動速度である。また、光信号情報は、例えば、画像の中の対象に当たっている光が直接光であるか、拡散光であるかを示す情報である。また、光信号情報は、例えば、画像の一部（例えば、画像の中の一ブロック）の対象が反射する光が鏡面反射であるか、拡散反射であるかを示す情報である。

また、電気信号情報とは、電気信号に関する情報である。電気信号情報は、例えば、電気信号の特性を示す情報（電気信号特性と言っても良い。）である。電気信号情報は、例えば、特定のビット数（例えば、１０ｂｉｔ）で量子化したことを示す情報、信号レンジを示す情報（例えば、６４〜９４０）である。電気信号情報は、例えば、適切な電気信号の変化量である。電気信号情報は、例えば、電気信号の強度そのもの（画素値）である。電気信号情報は、例えば、後述する処理識別子である。電気信号情報は、例えば、画像の変化を特定する画像変化特定情報である。画像変化特定情報は、例えば、画素値の変化量を示す情報、輝度の変化量を示す情報である。

光信号情報が光量変化情報であり、電気信号情報が画像変化特定情報である場合、対応情報は、光量を変化させた時の画像の変化を特定する情報である。また、光信号情報が拡散度合変化情報であり、電気信号情報が画像変化特定情報である場合、対応情報は、光源の拡散度合を変化させた時の画像の変化を特定する情報である。また、光信号情報が光源位置変化情報であり、電気信号情報が画像変化特定情報である場合、対応情報は、光源の位置を変化させた時の画像の変化を特定する情報である。光源の位置の変化とは、例えば、被写体に対して「真上から真横」や、「順光から逆光」等である。

また、対応情報は、例えば、光信号情報と電気信号情報との対応を示す２以上の対応レコードを有するルックアップテーブル（以下、適宜、「ＬＵＴ」と言う。）であっても良い。

ここで、ＬＵＴは、例えば、光信号と電気信号の振舞いの対応関係を示す情報である。例えば、対応関係を示す情報とは、例えば、量子化された電気信号の信号レンジと、当該電気信号の信号レンジに対応した、無限階調である光信号の信号レンジである。また、対応関係を示す情報とは、例えば、電気信号が変化した際の、光信号の変化の存在許容範囲である。つまり、ＬＵＴや対応情報は、光信号情報のみでも良い。

また、ＬＵＴは、１または２以上の対応レコードを有する。対応レコードは、１または２以上の入力画像の全部または一部分と、１または２以上の出力画像の全部または一部分との対応を取るための情報である。ＬＵＴが有する対応レコードが一つの場合、かかる対応レコードは、例えば、画像を変換する演算式や、画像を変換する演算式に与える１以上のパラメータ群である。なお、パラメータ群を構成するパラメータには、例えば、積和演算の係数、明暗の差または比を変更する度合い、判定パラメータ等がある。判定パラメータは、判定に利用する閾値であり、例えば、鏡面反射か拡散反射かを判定する画素値等の閾値、直接光であるか拡散光であるかを判定する画素値等の閾値などである。

また、対応情報は、入力画像に対応する演算式であり、時空間にタップが張られた演算式である光信号情報または電気信号情報を有しても良い。演算式は、例えば、入力画像情報の複数のタップに、所定の係数を乗じて積和する式である。また、演算式は例えば、入力画像情報の複数のタップに、光信号情報から求まる係数を乗じて積和する式である。なお、タップとは、入力画像の着目画素およびその近傍の画素の画素値である。つまり、時空間にタップが張られた演算式とは、入力画像の着目画素およびその近傍の画素の画素値に、予め決められた係数を乗算し、乗算したすべての結果の和を算出する積和演算の演算式である。また、入力画像の着目画素およびその近傍の画素は、２以上の画素であり、その数は問わない。

対応情報は、光信号情報と処理を識別する処理識別子との対応を示す２以上の対応レコードを有するＬＵＴであっても良い。処理識別子は、処理を実現するプログラムに対応する情報であり、例えば、プログラム名、実行モジュール名、プログラムＩＤ等である。

また、ＬＵＴは、上述したように、通常、１または２以上の対応レコードを有する。対応レコードとは、１または２以上の入力画像と１または２以上の出力画像との対応をとるための情報である。格納部１１には、１または２以上のシステム特性に対応付けて、２以上のＬＵＴが格納されていても良い。入力画像と出力画像との対応をとるための情報とは、入力画像の全部または一部分と、出力画像の全部または一部分との対応を取るための情報である。ＬＵＴが有する対応レコードが一つの場合、かかる対応レコードは、例えば、画像を変換する演算式や、画像を変換する演算式に与える１以上のパラメータ群である。対応レコードは、例えば、時空間ブロックの画素値の中央値を算出する演算式でも良い。

また、各種の情報は、１または２以上の画像変換演算式、１または２以上の変更情報である。画像変換演算式は、画像変換を行う演算式である。

変更情報は、例えば、画像変換演算式のパラメータを変更するための情報である。格納部１１には、１以上の各変更情報が、１または２以上のシステム特性に対応付けて格納されていても良い。また、格納部１１には、１以上の各画像変換演算式が、１または２以上のシステム特性に対応付けて、格納されていても良い。

変更情報は、時空間タップ配置を変更するための情報でも良い。格納部１１には、１または２以上のシステム特性に対応付けて、時空間タップ配置を変更するための１または２以上の変更情報が格納されていても良い。

なお、システム特性とは、画像を取得してから画像が出力されるまでの１以上の特性である。画像を取得することは、例えば、撮影すること、または画像を読み出すこと等である。また、画像を出力することは、例えば、ユーザに画像を見せること、ディスプレイに画像を表示すること等である。また、画像を取得してから画像が出力されるまでの１以上の特性は、例えば、画像を撮影するカメラの特性であるカメラ特性、伝送路の特性、出力デバイスの特性等である。また、システム特性は、例えば、画像を取得してから画像が出力されるまでのシステムの全体の特性である。システム全体の特性とは、例えば、撮像デバイスのビット精度、伝送路のビット精度、出力デバイスのビット精度の関係である。ビット精度の関係は、例えば撮像デバイスのビット精度(1)が１４ビット、伝送路のビット精度(2)が１０ビット、出力デバイスのビット精度(3)が１２ビットの時、(1)＝１４・(2)＝１０・(3)＝１２とそれぞれのビット精度の組み合わせとして表現してもよいし、(1)−(2)＝＋４、(2)−(3)＝−２と相対的な増減で表現してもよい。
また、システム全体の特性とは、例えば、撮像デバイスの画素数、伝送路で用いられる画像フォーマットの画素数、出力デバイスの画素数の関係である。

システム特性は、カメラ特性を含むことは好適である。カメラ特性は、例えば、カメラの光学特性である。カメラの光学特性は、例えば、レンズの光学特性である。レンズの光学特性とは、例えばレンズのＭＴＦや波長特性である。カメラの光学特性とは、例えば、カメラの光学フィルタの特性である。光学フィルタの特性とは、例えば、センサに付随する光学ローパスフィルタの特性、例えばＭＴＦ（Modulation Transfer Function）である。カメラの光学特性とは、例えば、シャッターの特性である。シャッターの特性とは例えば、シャッタースピード、シャッター方式（ローリングシャッター方式かグローバルシャッター方式か）などである。カメラ特性は、例えば、カメラの撮像素子の光学ＬＰＦの有無を示す情報である。カメラ特性は、例えば、撮像素子のデバイスの種類を特定する情報である。撮像素子のデバイスの種類を特定する情報は、例えば、「ＣＣＤ」または「ＣＭＯＳ」等である。カメラ特性は、例えば、カメラのビット長である。カメラ特性には、カメラの光学特性以外に、例えば、センサの光から電気への変換特性がある。光から電気への変換特性とは、例えば、量子化特性、時空間サンプリングである。

システム特性は、画像を伝送する伝送路の特性である伝送路特性を含むことは好適である。伝送路特性は、例えば、符号化方式を特定する情報、符号化パラメータ、ビットレートである。また、符号化方式を特定する情報は、例えば、「ＭＰＥＧ２」、「Ｈ．２６４」、「Ｈ．２６５」等である。

システム特性は、画像を出力する出力装置の特定の特性である出力デバイス特性を含むことは好適である。出力デバイス特性は、例えば、ディスプレイの解像度、ディスプレイの出力限界のビット長、ディスプレイの出力フレームレートである。出力デバイス特性は、例えば、ディスプレイの最大輝度、ディスプレイの光源、提示素子の駆動方式である。出力デバイス特性は、例えば、ディスプレイの種類である。ディスプレイの種類は、例えば、ＣＲＴ、液晶、プラズマ、有機ＥＬ、プロジェクター等である。

受付部１２は、各種の情報や指示等を受け付ける。各種の情報や指示等とは、例えば、入力画像、システム特性、光信号情報、格納部１１の情報等である。ここで、受け付けとは、通常、有線もしくは無線の通信回線を介して送信された情報の受信であるが、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けや、キーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付けなどを含む概念である。

入力画像受付部１２１は、入力画像を受け付ける。入力画像は、例えば、図示しない放送装置から送信された画像である。また、入力画像は、例えば、記録媒体に格納されている画像である。入力画像受付部１２１が受け付ける入力画像は、通常、２以上の入力画像（フレームやフィールドと言っても良い）であるが、一つの入力画像（フレームやフィールドと言っても良い）でも良い。また、受け付けられる複数のフレームやフィールドを、単に入力画像と言うこともある。

システム特性受付部１２２は、１または２以上のシステム特性を受け付ける。システム特性とは、画像を取得してから画像が出力されるまでの１または２以上の特性である。

システム特性受付部１２２は、外部から１または２以上のシステム特性を受け付けても良い。システム特性受付部１２２は、外部（例えば、図示しない放送装置）から１以上のシステム特性を受信しても良い。システム特性受付部１２２は、入力画像とともに、１以上のシステム特性を受信しても良い。つまり、１以上のシステム特性は、入力画像に対応づけられていても良い。

システム特性受付部１２２は、図示しない記録媒体から１以上のシステム特性を読み出しても良い。

システム特性受付部１２２は、ユーザからの入力である１以上のシステム特性を受け付けても良い。

システム特性受付部１２２は、入力画像に対応付いている１以上のシステム特性を取得しても良い。かかる場合、受付部１２は、入力画像と１以上のシステム特性とを受信する。

また、システム特性受付部１２２は、出力先のデバイスとの接続情報から、出力デバイス特性を取得しても良い。例えば、システム特性受付部１２２は、ＨＤＭＩのＥＤＩＤ(Extended display identification data)等により出力デバイスの機種情報等を取得しても良い。

また、システム特性受付部１２２は、入力画像からシステム特性を取得しても良い。例えば、システム特性受付部１２２は、入力画像から、当該画像の伝送時の符号化パラメータを取得しても良い。

また、システム特性受付部１２２は、入力画像を解析し、システム特性を推定しても良い。例えば、システム特性受付部１２２は、画像の中心部の解像度感と周辺部の解像度感から、レンズ特性を推定しても良い。また、システム特性受付部１２２は、画像の動きベクトルと、その動き方向のボケ量から、シャッター時間を推定しても良い。なお、１フレーム間で大きく動いているのに、画像がほとんどボケていなければシャッター時間が短いと推定できる。つまり、システム特性受付部１２２は、１フレーム間の被写体の動き量を取得し、かつ被写体のボケの度合いを示す情報を取得する。そして、被写体の動き量とボケの度合いを示す情報とを用いて、シャッター時間を取得する。なお、例えば、システム特性受付部１２２は、被写体の動き量とボケの度合いを示す情報とシャッター時間との対応表を保持しており、かかる対応表を用いて、被写体の動き量とボケの度合いを示す情報に対応するシャッター時間を取得する。

指示受付部１２３は、ユーザ指示を受け付ける。ユーザ指示とは、ユーザからの指示であり、例えば、個別処理を行うか否かについて指示である。また、個別処理とは、オプションの処理である。個別処理とは、通常、オプションの画像処理である。また、個別処理を行うとの指示を個別処理指示という。個別処理指示は、例えば、個別処理を行うことを示すフラグである。個別処理指示は、例えば、個別処理に用いるパラメータである。個別処理指示は、例えば、個別処理に対する重みである。

指示受付部１２３が個別処理指示を受け付けるタイミングは問わない。通常、入力画像受付部１２１が入力画像を受け付ける前に、指示受付部１２３は、個別処理指示を受け付けている。ただし、入力画像受付部１２１が入力画像を受け付けた後、入力画像に対する処理が開始される前に、個別処理指示を受け付けても良い。

ここでの受け付けとは、キーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付け、有線もしくは無線の通信回線を介して送信された情報の受信、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念である。

処理部１３は、各種の処理を行う。各種の処理とは、例えば、第一画像取得部１３１、第二画像取得部１３２等が行う処理である。

第一画像取得部１３１は、入力画像に基づく第一画像を取得する。第一画像取得部１３１は、入力画像に対して、第一画像処理を行い、第一画像を取得しても良い。第一画像取得部１３１は、入力画像に対して、必須の処理である汎用処理を行い、第一画像を取得しても良い。第一画像取得部１３１は、入力画像に対して、必須の処理である汎用処理を行い、汎用処理の結果に対して、オプションの処理である第一個別処理を行い、第一画像を取得しても良い。第一画像取得部１３１は、入力画像に対して画像処理を行わずに、第一画像を取得しても良い。

第二画像取得部１３２は、入力画像または第一画像に対して、第一画像取得部１３１が行う処理とは異なる画像処理を行い、第二画像を取得する。第一画像取得部１３１が行う処理とは異なる画像処理とは、第一画像取得部１３１が何らの画像処理を行わない場合も想定している。第二画像取得部１３２は、入力画像または第一画像に対して、第一画像処理とは異なる第二画像処理を行い、第二画像を取得しても良い。第二画像取得部１３２は、第一画像に対して、オプションの処理である第二個別処理を行い、第二画像を取得しても良い。第二画像取得部１３２は、ユーザ指示が個別処理を行うとの指示である個別処理指示である場合に、入力画像に対して第二個別処理を行い、第二画像を構成しても良い。

第二画像取得部１３２は、入力画像または第一画像に対して、第二画像処理を行い、第二画像を取得する。第二画像取得部１３２は、入力画像に対して汎用処理を行い、第一画像を取得し、当該第一画像に対して個別処理を行い、第二画像を取得しても良い。また、第二画像取得部１３２は、第一画像取得部１３１の処理結果である第一画像に対して個別処理を行い、第二画像を取得しても良い。

第二画像取得部１３２は、入力画像または第一画像に対して、それぞれ異なる画像処理を行う２以上の構成を含んでも良い。かかる場合、画像出力装置１は、２以上の第二画像取得部１３２を有する。そして、画像出力装置１は、２以上の第二画像を取得する。ここでの２以上の第二画像は、それぞれ異なる処理を施された画像であることが好適であるが、同一の処理を施された画像を含んでも良い。

また、第二画像は、第一画像の一部の空間領域の画像であることは好適である。

また、上記の第一画像処理、または第二画像処理の処理内容は問わない。第一画像処理または第二画像処理に含まれる処理は、例えば、上述した汎用処理である。汎用処理とは、入力画像に対して行う必須の処理である。汎用処理は、ユーザの嗜好に関わらず行う必要のある処理である、と言える。また、汎用処理は、例えば、入力画像と出力画像のフォーマットが異なる場合における、画素数の変換処理である。また、汎用処理は、例えば、入力画像に対する歪除去処理である。なお、汎用処理は、２以上の処理を含んでも良いことは言うまでもない。また、第一画像処理または第二画像処理に含まれる処理は、例えば、上述した個別処理である。個別処理とは、入力画像に対して行うオプションの処理である。個別処理とは、例えば、出力画像の見せ方を変更する処理である。出力画像の見せ方を変更する処理とは、例えば、自然界の法則に従って出力画像の明るさを変えたり、自然界で近づいて見たり遠ざかって見たりするのと同様に出力画像の出力の倍率を変更したりする処理である。なお、自然界の法則に従って出力画像の明るさを変える処理とは、さらに具体的には、出力画像が発する光が、自然界の光としてあり得ないような挙動にならないように拘束しながら画像の明るさを変える処理である。自然界の光としてあり得ないような挙動とは、例えば、自然界の光としてあり得ない光の強度、自然界の光としてあり得ない光の強度の変化量であること等である。なお、個別処理は、２以上の処理を含んでも良いことは言うまでもない。

また、個別処理は、例えば、画像を明るくする処理である。画像を明るくする処理は、例えば、光量がＮ倍になったかのような変更を行う処理である。かかる処理は、例えば、全ての画素の輝度値を単純に２倍にするのではなく、光源の特性や被写体の反射特性を考慮して、各画素または各ブロックに対して、実際に光量が２倍になった時に観測されるのと同等の画素またはブロックを得て、画像を構成することである。

また、個別処理は、例えば、カメラノイズを除去する処理、符号化歪を除去する処理、光環境を変える処理等である。なお、光環境を変える処理とは、例えば、画像の陰影を強くするように画像を変更する処理、画像の陰影を弱くするように画像を変更する処理である。なお、画像の陰影を変更する処理は、例えば、画像を構成する各ブロック内のコントラストを調整する処理である。また、光環境を変える処理とは、例えば、仮想的に光源位置を変更する処理である。かかる光源位置を変更する処理は、例えば、画像の中の影の向きや長さを変更する処理である。また、個別処理は、例えば、画像の中の被写体の向きを検知し、当該向きに応じて、光反射の強さを調整する処理でも良い。

また、個別処理または汎用処理は、以下の述べる自然法則適合処理を含んでも良い。自然法則適合処理とは、自然界の光の振舞いを考慮した画像信号変換の処理である。自然法則適合処理の詳細について、以下に説明する。

自然法則適合処理において、処理部１３（第一画像取得部１３１、または／および第二画像取得部１３２）は、入力画像受付部１２１が受け付けた入力画像から取得される電気信号情報に対応する光信号情報を取得する。そして、処理部１３は、通常、入力画像受付部１２１が受け付けた入力画像から取得される電気信号情報に対応する光信号情報を、格納部１１の対応情報を用いて取得する。さらに具体的には、処理部１３は、例えば、入力画像受付部１２１が受け付けた入力画像から取得される電気信号情報に一致するまたは最も近い電気信号情報に対応する対応レコードを選択し、選択した対応レコードに対応する光信号情報を取得する。なお、処理部１３は、例えば、入力画像受付部１２１が受け付けた入力画像から取得される電気信号情報に対応する演算式を取得しても良い。また、処理部１３は、入力画像受付部１２１が受け付けた入力画像から取得される電気信号情報に一致するまたは最も近い電気信号情報に対応する対応レコードを選択し、選択した対応レコードに対応する処理識別子である光信号情報を取得しても良い。

次に、処理部１３は、取得した光信号情報を用いて、入力画像を変換する。処理部１３は、光信号情報を用いて、例えば、入力画像から第一画像または第二画像（以下、両方またはいずれかを指す場合に、適宜「出力画像」と言う）を取得する変換処理を行う。処理部１３は、通常、入力画像受付部１２１が受け付けた入力画像、および処理部１３が取得した光信号情報を用いて、入力画像から出力画像を取得する変換処理を行う。なお、ここでの入力画像は自然法則適合処理に渡される画像であり、出力画像は自然法則適合処理の結果の画像である。

変換処理は、例えば、後述する高画質化処理、後述する高解像度化処理、後述するノイズ除去処理等であるが、処理の内容は問わない。変換処理は、例えば、入力画像を従来技術による画像変換処理（例えば、特開２０１２−２５２６８５、特開２０１２−２５２６８６、再表２０１３／０６１８１０等に記載された従来の変換処理）を行った後、変換結果の画像が電気信号として許容される範囲を逸脱する信号が存在するか否かを判断し、許容範囲を逸脱する信号が存在する場合に、信号の切り捨てが生じないように再量子化を行う処理である。なお、処理部１３は、取得した演算式を用いて、入力画像を変換し、出力画像を取得する変換処理を行っても良い。また、処理部１３は、取得した処理識別子により識別される処理を実行し、入力画像から出力画像を取得する変換処理を行っても良い。かかる場合、処理部１３は、例えば、取得した処理識別子に対応する関数（処理）を呼び出し、当該関数に入力画像を与え、出力画像を取得する。また、処理部１３は、例えば、取得した光信号情報を用いて、入力画像をより高画質の画像に変換する高画質化処理を行い、出力画像を取得しても良い。高画質化とは、より質感、遠近感などがある画像に変換することである。高画質化処理については、公知技術であるので、詳細な説明は省略する。また、処理部１３は、例えば、取得した光信号情報を用いて、入力画像をより高解像度の画像に変換する高解像度化処理を行い、出力画像を取得しても良い。高解像度化処理については、公知技術であるので、詳細な説明は省略する。また、処理部１３は、例えば、取得した光信号情報を用いて、入力画像に対してノイズ除去処理を行い、出力画像を取得しても良い。ノイズ除去処理については、公知技術であるので、詳細な説明は省略する。また、処理部１３は、例えば、入力画像に対して、第一の変換処理を行い出力画像の候補を取得し、当該出力画像の候補の信号強度が範囲情報の示す範囲内に収まっているか否かを判断し、当該出力画像の候補の信号強度が範囲情報の示す範囲内に収まっていない、と判断した場合に、入力画像を再量子化して、範囲情報が示す範囲内に信号強度が収まるように、入力画像を変換し、出力画像を取得しても良い。なお、第一の変換処理とは、通常、従来の画像変換処理である。第一の変換処理は、例えば、例えば、上述した従来の変換処理である。

また、個別処理または汎用処理は、以下に述べるシステム特性利用処理を含んでも良い。システム特性利用処理とは、１以上のシステム特性を用いて、入力画像を変換処理して、出力画像を取得する処理である。システム特性利用処理の詳細について、以下に説明する。なお、ここでの入力画像はシステム特性利用処理に渡される画像であり、出力画像はシステム特性利用処理の結果の画像である。

システム特性利用処理において、処理部１３（第一画像取得部１３１、または／および第二画像取得部１３２）は、システム特性を用いて、入力画像から出力画像を取得する変換処理を行う。ここでのシステム特性は、通常、システム特性受付部１２２が受け付けた１以上のシステム特性である。さらに詳細には、処理部１３は、システム特性受付部１２２が受け付けた１以上のシステム特性に対応するＬＵＴを、格納部１１の２以上のＬＵＴから選択し、選択したルックアップテーブルを用いて、入力画像から出力画像を取得する変換処理を行っても良い。また、処理部１３は、システム特性受付部１２２が受け付けた１以上のシステム特性に対応する変更情報を取得し、当該変更情報を用いて画像変換演算式を変更し、変更した画像変換演算式を用いて、入力画像から出力画像を取得する変換処理を行っても良い。また処理部１３は、システム特性受付部１２２が受け付けた１以上のシステム特性に対応する変更情報を取得し、変更情報を用いて、入力画像から出力画像を取得する変換処理を行っても良い。なお、システム特性利用処理において、処理部１３は、２種類以上のシステム特性を使用して、上記の処理を行うことは好適である。

出力部１４は、第一画像と１以上の第二画像とを出力する。出力部１４は、２以上の各第二画像取得部１３２が取得した２以上の第二画像と第一画像とを出力しても良い。出力部１４は、第一画像と１以上の第二画像とを同一のディスプレイに出力することは好適である。出力部１４は、第一画像と１以上の第二画像とをＰｉｎＰで同一のディスプレイに出力する。

ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。

格納部１１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。

格納部１１に情報が記憶される過程は問わない。例えば、記録媒体を介して情報が格納部１１で記憶されるようになってもよく、通信回線等を介して送信された情報が格納部１１で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報が格納部１１で記憶されるようになってもよい。

受付部１２、指示受付部１２３は、キーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア、無線または有線の通信手段、放送受信手段等で実現され得る。

入力画像受付部１２１、システム特性受付部１２２は、例えば、無線または有線の通信手段、放送受信手段等により実現され得る。

処理部１３、第一画像取得部１３１、第二画像取得部１３２は、通常、ＭＰＵやメモリ等から実現され得る。処理部１３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

出力部１４は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。出力部１４は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。

次に、画像出力装置１の動作について、図２のフローチャートを用いて説明する。

（ステップＳ２０１）入力画像受付部１２１は、入力画像を受け付けたか否かを判断する。入力画像を受け付けた場合はステップＳ２０２に行き、入力画像を受け付けない場合はステップＳ２０９に行く。

（ステップＳ２０２）第一画像取得部１３１は、ステップＳ２０１で受け付けられた入力画像に対して第一画像処理を行い、第一画像を取得する。第一画像処理の例について、図３のフローチャートを用いて説明する。

（ステップＳ２０３）出力部１４は、ステップＳ２０２で取得された第一画像を出力する。また、第一画像の出力先（例えば、出力するディスプレイのＩＰアドレスやＭＡＣアドレス等）を示す情報や出力態様（例えば、第一画像を出力するウィンドウの位置や大きさ等）を示す情報について、格納部１１に格納されている。そして、出力部１４は、出力先を示す情報や出力態様を示す情報を読み出し、当該情報に従って第一画像を取得する。

（ステップＳ２０４）第二画像取得部１３２は、カウンタｉに１を代入する。

（ステップＳ２０５）第二画像取得部１３２は、ｉ番目の第二画像処理を行うか否かを判断する。ｉ番目の第二画像処理を行う場合はステップＳ２０６に行き、ｉ番目の第二画像処理を行わない場合はステップＳ２０１に戻る。なお、ｉ番目の第二画像処理を行うか否かは、例えば、格納部１１に、ｉ番目の第二画像処理に対応する個別処理指示が格納されているか否かにより判断される。また、ｉ番目の第二画像処理を行うか否かは、例えば、画像出力装置１がｉ番目の第二画像取得部１３２を具備するか否か等により判断されても良い。

（ステップＳ２０６）第二画像取得部１３２は、ステップＳ２０１で受け付けられた入力画像またはステップＳ２０２で取得された第一画像に対して第二画像処理を行い、第二画像を取得する。第二画像処理の例について、図４のフローチャートを用いて説明する。

（ステップＳ２０７）出力部１４は、ステップＳ２０６で取得された第二画像を出力する。ここで、出力部１４は、第一画像と１以上の第二画像とを同一のディスプレイに出力することは好適である。また、第二画像の出力先（例えば、出力するディスプレイのＩＰアドレスやＭＡＣアドレス等）を示す情報や出力態様（例えば、第二画像を出力するウィンドウの位置や大きさ等）を示す情報について、格納部１１に格納されている。そして、出力部１４は、出力先を示す情報や出力態様を示す情報を読み出し、当該情報に従って第二画像を取得する。なお、ｉ番目の各第二画像の出力先を示す情報や出力態様を示す情報は、第二画像取得部１３２を識別する情報に対応付けて格納されていても良いし、ｉ番目の第二画像処理に対応する個別処理指示に対応付けて格納されていても良い。

（ステップＳ２０８）第二画像取得部１３２は、カウンタｉを１、インクリメントする。ステップＳ２０５に戻る。

（ステップＳ２０９）指示受付部１２３は、ユーザからの個別処理指示を受け付けたか否かを判断する。個別処理指示を受け付けた場合はステップＳ２１０に行き、個別処理指示を受け付けない場合はステップＳ２０１に戻る。なお、個別処理指示は、第一画像または第一画像処理または第一画像取得部１３１のうちのいずれかを識別する情報に対応付けて受け付けられても良いし、１以上のいずれかの第二画像または１以上のいずれかの第二画像処理または１以上のいずれかの第二画像取得部１３２のうちのいずれかを識別する情報に対応付けて受け付けられても良い。また、個別処理指示は、通常、個別処理を識別する処理識別子を含む。処理識別子は、例えば、関数名、ＩＤ、処理へのポインタやアドレス等である。

（ステップＳ２１０）処理部１３は、ステップＳ２０９で受け付けられた個別処理指示を格納部１１に蓄積する。ステップＳ２０１に戻る。なお、個別処理指示は、第一画像または第一画像処理または第一画像取得部１３１のうちのいずれかを識別する情報に対応付けて蓄積されても良いし、１以上のいずれかの第二画像または１以上のいずれかの第二画像処理または１以上のいずれかの第二画像取得部１３２のうちのいずれかを識別する情報に対応付けて蓄積されても良い。

なお、図２のフローチャートにおいて、ステップＳ２０３およびＳ２０７で、逐次、第一画像や第二画像を出力した。しかし、例えば、ステップＳ２０３およびＳ２０７で出力メモリに出力画像をバッファしておき、全ての第二画像処理を行った後に出力メモリにある画像情報を出力しても良い。つまり、結果的に、第一画像や第二画像が出力されれば良い。

また、図２のフローチャートにおいて、入力画像を受け付けている間でも、個別処理指示を受け付けても良い。

さらに、図２のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

次に、ステップＳ２０２の第一画像処理の例について、図３のフローチャートを用いて説明する。

（ステップＳ３０１）第一画像取得部１３１は、ステップＳ２０１で受け付けられた入力画像に対して、汎用処理を行い、第一処理情報を取得する。

（ステップＳ３０２）第一画像取得部１３１は、格納部１１に、第一画像または第一画像処理または第一画像取得部１３１のうちのいずれかを識別する情報に対応付けられた個別処理指示が格納されているか否かを判断する。かかる個別処理指示が格納されている場合はステップＳ３０３に行き、かかる個別処理指示が格納されていない場合は上位処理にリターンする。なお、個別処理指示は、１または２以上の個別処理を行う指示である。

（ステップＳ３０３）第一画像取得部１３１は、ステップＳ２０１で受け付けられた入力画像またはステップＳ３０１で取得された第一処理情報に対して個別処理を行い、第二処理情報を取得する。なお、ここで行う個別処理は、１または２以上の個別処理である。

（ステップＳ３０４）ステップＳ３０３で個別処理が行われた場合、第一画像取得部１３１は、ステップＳ３０１で取得された第一処理情報とステップＳ３０３で取得された第二処理情報とを用いて第一画像を構成する。また、ステップＳ３０３で個別処理が行われなかった場合、第一画像取得部１３１は、ステップＳ３０１で取得された第一処理情報を用いて第一画像を取得する。なお、かかる場合、第一画像は第一処理情報と同じでも良い。上位処理にリターンする。

次に、ステップＳ２０６の第二画像処理の例について、図４のフローチャートを用いて説明する。図４のフローチャートにおいて、図３のフローチャートと同一の処理について、説明を省略する。

（ステップＳ４０１）第二画像取得部１３２は、カウンタｉに１を代入する。

（ステップＳ４０２）第二画像取得部１３２は、ｉ番目の個別処理指示が格納部１１に格納されているか否かを判断する。格納されている場合はステップＳ４０３に行き、格納されていない場合はステップＳ４０５に行く。

（ステップＳ４０３）ｉ番目の第二画像取得部１３２は、ステップＳ２０１で受け付けられた入力画像または第一処理情報または（ｉ−１）番目の個別処理指示に対応する個別処理の実行結果に対して、個別処理を行う。そして、最後の個別処理の実行結果は、第二処理情報である。なお、ここで行う個別処理は、１または２以上の個別処理である。

（ステップＳ４０４）第二画像取得部１３２は、カウンタｉを１、インクリメントする。ステップＳ４０２に戻る。

（ステップＳ４０５）第二画像取得部１３２は、ステップＳ４０３で個別処理が行われた場合、第二画像取得部１３２は、第一処理情報と第二処理情報とを用いて第二画像を構成する。上位処理にリターンする。

なお、図４のフローチャートのステップＳ４０３において、格納されている個別処理指示に対応する個別処理が実行されるので、例えば、個別処理１と個別処理３が実行され、個別処理２が実行されないことはあり得ることは言うまでもない。

次に、個別処理または汎用処理の一例である自然法則適合処理について、図５のフローチャートを用いて説明する。なお、自然法則適合処理は、処理部１３（第一画像取得部１３１、または／および第二画像取得部１３２）が行う。

（ステップＳ５０１）処理部１３は、処理対象の画像を受け付ける。なお、処理対象の画像とは、例えば、入力画像、第一処理情報、変換途中の画像等である。

（ステップＳ５０２）処理部１３は、ステップＳ５０１で受け付けられた画像から１以上の電気信号情報を取得する。

（ステップＳ５０３）処理部１３は、ステップＳ５０２で取得された電気信号情報に対応する光信号情報を、格納部１１の対応情報を用いて取得する。

（ステップＳ５０４）処理部１３は、ステップＳ５０３で取得した光信号情報を用いて、ステップＳ２０１で受け付けられた画像から出力画像を取得する変換処理を行う。ここでの出力画像は、ディスプレイに出力される画像でも良いし、次の処理に渡す画像でも良い。

次に、自然法則適合処理の具体例について説明する。

今、格納部１１は、光信号特性と電気信号特性との対応を示す対応情報を格納している。光信号特性は、無限の分解能を有することを示す情報、信号レンジの上限または下限が無いことを示す情報である。また、電気信号特性は、１０ビットで量子化したことを示す情報、信号レンジを示す情報（６４〜９４０）である。対応情報は、例えば、電気信号の強度の範囲と、光信号信号の強度の範囲との対応を示す情報である。対応情報は、例えば、電気信号の強度と、光信号信号の強度との対応を示す情報である。

また、本具体例における変換処理は、入力画像を従来技術による画像変換処理（第一の変換処理であり、例えば、上述した従来の変換処理）を行った後、変換結果の画像が電気信号として許容される範囲を逸脱する信号が存在するか否かを判断し、許容範囲を逸脱する信号が存在する場合に、信号の切り捨てが生じないように再量子化を行う処理である、とする。

今、入力画像受付部１２１は、入力画像を受信した、とする。そして、受信された入力画像の信号レベルの度数分布は、図６に示すような度数分布であった、とする。なお、図６の横軸は信号強度であり、縦軸は頻度である。

次に、処理部１３は、入力画像に対して、上述した従来の変換処理を行い出力画像の候補を取得した、とする。かかる出力画像の候補は、図７に示すような度数分布であった、とする。

次に、処理部１３は、入力画像から信号強度（電気信号の強度）を取得する。

次に、処理部１３は、取得した電気信号の信号強度に対応する光信号の強度を、格納部１１の対応情報から取得する。

そして、処理部１３は、光信号の強度に対応するように、入力画像を変換し、出力画像の候補を得る。次に、処理部１３は、出力画像の候補の電気信号の信号強度が信号レンジを示す情報の範囲内に収まっているか否かを判断する。ここで、処理部１３は、例えば、出力画像の候補の信号強度が信号レンジを示す情報の範囲（６４〜９４０）内に収まっていない、と判断した、とする。

次に、処理部１３は、入力画像を再量子化して、信号レンジを示す情報の範囲内に信号強度が収まるように、入力画像を変換し、出力画像を得る。かかる出力画像は、例えば、図８に示すような度数分布である。

次に、個別処理または汎用処理の一例であるシステム特性利用処理について、図９のフローチャートを用いて説明する。なお、システム特性利用処理は、処理部１３（第一画像取得部１３１、または／および第二画像取得部１３２）が行う。

（ステップＳ９０１）処理部１３は、処理対象の画像を受け付ける。なお、処理対象の画像とは、例えば、入力画像、第一処理情報、変換途中の画像等である。

（ステップＳ９０２）処理部１３は、１以上のシステム特性を取得する。処理部１３は、外部から１または２以上のシステム特性を受け付けても良い。処理部１３は、外部（例えば、図示しない放送装置）から１以上のシステム特性を受信しても良い。

（ステップＳ９０３）処理部１３は、ステップＳ９０２で取得された１以上のシステム特性を用いて、ステップＳ９０１で受け付けられた画像を変換し、出力画像を取得する。ここでの出力画像は、ディスプレイに出力される画像でも良いし、次の処理に渡す画像でも良い。

次に、第二画像取得部１３２が汎用処理と個別処理の両方を行い、第二画像を取得する場合の詳細な構造の例について説明する。ここでは、３つの構造例について説明する。なお、下記の３つの構造例は、第一画像取得部１３１の構造でも良い。
（構造例１）

第二画像取得部１３２の第一の構造例を図１０に示す。図１０において、第二画像取得部１３２は、汎用処理部１３２１と個別処理部１３２２とを具備する。

図１０は、第二画像取得部１３２が、入力（例えば、入力画像）を汎用処理部１３２１における処理結果である第一処理情報と個別処理部１３２２における処理結果である第二処理情報とを統合し、出力である第二画像を得ることを示す。また、図１０において、個別処理部１３２２が動作するか否かは、ユーザ指示により変化することを示す。なお、第一処理情報と第二処理情報との統合とは、例えば、第一処理情報の画像と第二処理情報の画像の画素値の足し合わせである。また、第一処理情報と第二処理情報との統合とは、例えば、画像である第一処理情報の１以上の各特徴量と画像である第二処理情報の１以上の各特徴量の代表値（例えば、平均値や加重平均値など）を取得し、当該１以上の代表値を用いて、第二画像を構成する処理である。なお、１以上の特徴量には、例えば、１以上の画像の一部の特徴量である近傍特徴量と、１以上の画像全体の特徴量である全体特徴量とがある。近傍特徴量には、例えば、画素値、アクティビティー、時空間相関、動きベクトル、周波数分布などがある。また、アクティビティーとは、例えば、複数の画素の最大値および最小値、ダイナミックレンジ（ＤＲ）、複数の画素の間の差分値などである。複数の画素の間の差分値は、空間内の複数画素間の差分値でも良いし、時間方向の複数画素間の差分値でも良いし、空間内および時間方向の複数画素間の差分値でも良い。また、全体特徴量には、例えば、画像全体の画素値分布、画像全体の動きベクトル分布、１または２以上の画像全体の時空間相関、画像全体のノイズ量、画像フォーマット、画像全体の編集に関する情報（ＰｉｎＰであるか否か、ＰｏｕｔＰであるか否か、テロップの有無など）、１以上の画像であるコンテンツに関するコンテンツ情報、パターン検出結果（顔など）などである。ここで、コンテンツ情報とは、例えば、電子番組表（ＥＰＧ）が有する番組のジャンル、タイトル、出演者名等である。なお、１以上の特徴量を、適宜、特徴量ベクトルとも言う。
（構造例２）

第二画像取得部１３２の第二の構造例を図１１に示す。図１１において、第二画像取得部１３２は、汎用処理部１３２１と２以上の個別処理手段（１３２２１、１３２２２、・・・、１３２２Ｎ）とを具備する。

図１１は、第二画像取得部１３２が、入力（例えば、入力画像）を汎用処理部１３２１における処理結果である第一処理情報と１以上の個別処理手段１３２２における処理結果である１または２以上の第二処理情報とを統合し、第二画像を得ることを示す。また、図１１において、１以上の各個別処理手段１３２２が動作するか否かは、ユーザ指示により変化することを示す。なお、第一処理情報と１以上の第二処理情報との統合処理は、例えば、画像である第一処理情報の１以上の各特徴量と画像である１以上の各第二処理情報の１以上の各特徴量の代表値（例えば、平均値や加重平均値など）を取得し、当該１以上の代表値を用いて、第二画像を構成する処理である。
（構造例３）

第二画像取得部１３２の第三の構造例を図１２に示す。図１２において、第二画像取得部１３２は、汎用処理部１３２１と個別処理部１３２２とを具備する。また、個別処理部１３２２は、２以上の個別処理手段（１３２２１、１３２２２、・・・、１３２２Ｎ）を具備する。

図１２は、第二画像取得部１３２が、入力（例えば、入力画像）を汎用処理部１３２１における処理結果と１以上の個別処理手段における一つの処理結果とを統合し、第二画像を得ることを示す。また、図１２において、１以上の各個別処理手段が動作するか否かは、ユーザ指示により変化することを示す。

以下、本実施の形態における画像出力装置１の２つの具体的な動作について説明する。具体例１は、画像出力装置１は、２つの異なる表示装置に第一画像と第二画像とを出力する例である。具体例２は、画像出力装置１は、同一の表示装置に第一画像と２つの第二画像とを出力する例である。

（具体例１）
今、ユーザが、画像出力装置１に対して、第一画像に対する個別処理として、個別処理１を設定する入力（ユーザ指示（１）の入力）を行った、とする。また、ユーザは、画像出力装置１に対して、第二画像に対する個別処理として、個別処理１、個別処理２、および個別処理３を設定する入力（ユーザ指示（２）の入力）を行った、とする。そして、指示受付部１２３は、かかる個別処理指示を受け付ける。次に、処理部１２は、受け付けられた個別処理指示を格納部１１に蓄積する。そして、格納部１１に、図１３に示す画像処理管理表が格納された、とする。画像処理管理表は、第一画像および第二画像を取得するために行う汎用処理、個別処理を管理する表である。

図１３において、汎用処理と個別処理１とが実行されたことにより取得される第一画像は表示装置１で表示されることを示す。また、図１３において、汎用処理と個別処理１と個別処理２と個別処理３とが実行されたことにより取得される第二画像は表示装置２で表示されることを示す。また、ここで、汎用処理は、例えば、画像に対する歪除去処理である。個別処理１は、例えば、ノイズ除去処理である。個別処理２は、例えば、自然法則適合処理である。個別処理３は、例えば、システム特性利用処理である。

かかる状況において、入力画像受付部１２１は、入力画像を受信した、とする。そして、第一画像取得部１３１は、図１３の画像処理管理表を参照し、入力画像に対して、汎用処理と個別処理１とを実行し、第一画像を得る。ここで、第一画像取得部１３１は、入力画像に対して、シーケンシャルに、汎用処理および個別処理１を実行して、第一画像を取得しても良い。また、第一画像取得部１３１は、入力画像に対して、別個に汎用処理および個別処理１を実行して、２つの処理結果を取得し、当該２つの処理結果を統合して、第一画像を取得しても良い。なお、複数の処理結果の統合については、上述した。また、処理結果とは、例えば、第一処理情報または第二処理情報である。

次に、出力部１４は、取得された第一画像を表示装置１に出力する。

また、第二画像取得部１３２は、図１３の画像処理管理表を参照し、入力画像に対して、汎用処理と個別処理１と個別処理２と個別処理３とを実行し、第二画像を得る。ここで、第二画像取得部１３２は、入力画像に対して、シーケンシャルに、汎用処理、個別処理１、個別処理２、および個別処理３を実行して、第二画像を取得しても良い。また、第二画像取得部１３２は、入力画像に対して、別個に汎用処理、個別処理１、個別処理２、および個別処理３を実行して、４つの処理結果を取得し、当該４つの処理結果を統合して、第二画像を取得しても良い。

次に、出力部１４は、取得された第二画像を表示装置２に出力する。

以上の処理により、図１４に示すように、入力画像から異なる処理により取得された第一画像および第二画像が異なる表示装置に表示された。なお、第一画像が画質（１）の画像、第二画像が画質（２）の画像である。

（具体例２）
今、ユーザが、画像出力装置１に対して、第一画像に対する個別処理として、個別処理１を設定する入力（ユーザ指示（１）の入力）を行った、とする。また、ユーザは、画像出力装置１に対して、第二画像（１）に対する個別処理として、個別処理２を設定する入力（ユーザ指示（２）の入力）を行った、とする。また、ユーザは、画像出力装置１に対して、第二画像（２）に対する個別処理として、個別処理３を設定する入力（ユーザ指示（３）の入力）を行った、とする。また、ユーザは、画像出力装置１に対して、第一画像、第二画像（１）、および第二画像（２）の表示態様の入力を行った、とする。表示態様とは、画像を表示する位置とサイズの入力である。ここでは、位置は、例えば、ディスプレイ上の左上座標、サイズはウィンドウのサイズであり、例えば、「縦×横」である、とする。次に、処理部１２は、受け付けられた個別処理指示や表示態様等を格納部１１に蓄積する。そして、格納部１１に、図１５に示す画像処理管理表が格納された、とする。画像処理管理表は、各画像を取得するために行う汎用処理、個別処理を管理する表である。また、画像処理管理表は、各画像の出力態様を管理する表である。

図１５において、汎用処理と個別処理１とが実行されたことにより取得される第一画像は全画面のサイズディスプレイ全体に表示されることを示す。また、図１５において、汎用処理と個別処理２とが実行されたことにより取得される第二画像（１）は（ｘ_１，ｙ_１）で示される位置にサイズ「ａ_１×ｂ_１」のウィンドウに表示されることを示す。また、図１５において、汎用処理と個別処理３とが実行されたことにより取得される第二画像（２）は（ｘ_２，ｙ_２）で示される位置にサイズ「ａ_２×ｂ_２」のウィンドウに表示されることを示す。また、ここで、汎用処理は、例えば、画素数の変換処理である。個別処理１は、例えば、ノイズ除去処理である。個別処理２は、例えば、出力の倍率を変更する処理（ここでは拡大処理）である。個別処理３は、例えば、自然界の法則に従って出力画像の明るさを変える処理である。

かかる状況において、入力画像受付部１２１は、入力画像を受信した、とする。そして、第一画像取得部１３１は、図１５の画像処理管理表を参照し、入力画像に対して、汎用処理と個別処理１とを実行し、第一画像を得る。そして、出力部１４は、取得された第一画像を全画面に出力する。ここで、第一画像取得部１３１は、入力画像に対して、シーケンシャルに、汎用処理および個別処理１を実行して、第一画像を取得しても良い。また、第一画像取得部１３１は、入力画像に対して、別個に汎用処理および個別処理１を実行して、２つの処理結果を取得し、当該２つの処理結果を統合して、第一画像を取得しても良い。

次に、出力部１４は、取得された第一画像を表示装置１に出力する。

また、第二画像取得部１３２は、図１５の画像処理管理表を参照し、入力画像に対して、汎用処理と個別処理２とを実行し、第二画像（１）を得る。ここで、第二画像取得部１３２は、入力画像に対して、シーケンシャルに、汎用処理、個別処理２を実行して、第二画像（１）を取得しても良い。また、第二画像取得部１３２は、入力画像に対して、別個に汎用処理、個別処理２を実行して、２つの処理結果を取得し、当該２つの処理結果を統合して、第二画像（１）を取得しても良い。

次に、出力部１４は、（ｘ_１，ｙ_１）で示される位置にサイズ「ａ_１×ｂ_１」のウィンドウを設け、当該ウィンドウに、第二画像（１）を出力する。

また、第二画像取得部１３２は、図１５の画像処理管理表を参照し、入力画像に対して、汎用処理と個別処理３とを実行し、第二画像（２）を得る。ここで、第二画像取得部１３２は、入力画像に対して、シーケンシャルに、汎用処理、個別処理３を実行して、第二画像（２）を取得しても良い。また、第二画像取得部１３２は、入力画像に対して、別個に汎用処理、個別処理３を実行して、２つの処理結果を取得し、当該２つの処理結果を統合して、第二画像（２）を取得しても良い。

次に、出力部１４は、（ｘ_２，ｙ_２）で示される位置にサイズ「ａ_２×ｂ_２」のウィンドウを設け、当該ウィンドウに、第二画像（２）を出力する。

以上の処理により、図１６に示すように、入力画像から異なる処理により取得された第一画像１６０１、第二画像（１）１６０２、および第二画像（２）１６０３が同一の表示装置に表示された。図１６において、第二画像（１）１６０２、および第二画像（２）１６０３は、第一画像の一部の空間領域の画像である。

なお、上記具体例において、第一画像取得部１３１は、何らの処理を行わずに、入力画像を第一画像として、取得しても良い。また、上記具体例において、第一画像取得部１３１は、入力画像に対して汎用処理のみを行って、第一画像を取得しても良い。

以上、本実施の形態によれば、一の入力画像に対して異なる処理を行った２以上の画像を同時に出力できる。

また、本実施の形態によれば、一の入力画像に対して異なる処理を行った２以上の画像を同一のディスプレイに出力できる。

さらに、本実施の形態によれば、一の入力画像に対して異なる処理を行った２以上の画像を同一のディスプレイにＰｉｎＰで出力できる。

なお、本実施の形態における画像出力装置１を実現するソフトウェアは、例えば、
以下のようなプログラムである。つまり、このプログラムは、コンピュータを、入力画像を受け付ける入力画像受付部と、前記入力画像に基づく第一画像を取得する第一画像取得部と、前記入力画像または前記第一画像に対して、前記第一画像取得部が行う処理とは異なる画像処理を行い、第二画像を取得する第二画像取得部と、前記第一画像と前記第二画像とを出力する出力部として機能させるためのプログラムである。

（実施の形態２）
本実施の形態において、ユーザが指示した領域の第二画像を取得し、第一画像と１または２以上の第二画像とを出力する画像出力装置について説明する。本実施の形態において、同一の符号を付した構成要素について、説明を省略する場合がある。

本実施の形態において、第一画像と、ユーザが指示した一部の空間領域であり、第一画像とは別の時間の第二画像とを同時に出力できる画像出力装置について説明する。

本実施の形態において、第二画像の表示領域の位置またはサイズが動的に変化し、ユーザにとって第一画像または第二画像がさらに視聴しやすくなる画像出力装置について説明する。

本実施の形態において、第二画像を取得する際の画像処理が、第二領域を含む領域の元画像の１以上の特徴量によって変化する画像出力装置について説明する。

本実施の形態において、第二画像を取得する際の画像処理を、ユーザが選択できる画像出力装置について説明する。

本実施の形態において、第一画像の一部の領域を切り出し、第二画像を取得する画像出力装置について説明する。

さらに、本実施の形態において、ユーザの指示に基づいて１以上のパラメータを保存し、利用して、第二画像を取得する画像出力装置について説明する。

図１７は、本実施の形態における画像出力装置２のブロック図である。なお、画像出力装置２は、例えば、テレビジョン受信機、ブルーレイ（登録商標）レコーダーやＤＶＤ（登録商標）レコーダー等の映像出力装置、カメラ、写真出力装置などであり、画像を処理する装置であれば何でも良い。また、画像とは、通常、動画（映像と言っても良い）であるが、静止画でも良い。また、画像に音声等の他の情報が対応付いていても良い。また、画像に他の情報が含まれていても良い。さらに、画像のデータ形式、フォーマット等は問わないことは言うまでもない。

画像出力装置２は、格納部１１、受付部１２、処理部２３、および出力部２４を備える。格納部１１は、画像格納部１１１、およびパラメータ格納部１１２を備える。

処理部２３は、第一画像取得部１３１、第二画像取得部２３２、保存処理部２３３、およびパラメータ保存部２３４を備える。

格納部１１は、各種の情報が格納される。各種の情報とは、例えば、対応情報、１または２以上の画像、１または２以上のパラメータ、１または２以上の画像変換演算式、１または２以上の変更情報等である。

画像格納部１１１は、画像が格納される。ここでの画像とは、入力画像の全部または第一画像の全部または第二画像の全部である。また、ここでの画像とは、入力画像の一部または第一画像の一部または第二画像の一部である。画像格納部１１１には、上記の画像のうち、２種類以上の画像が格納されても良い。

パラメータ格納部１１２は、１以上のパラメータが格納される。パラメータとは、第一画像取得部１３１または第二画像取得部２３２が行う処理において使用する情報である。パラメータとは、例えば、明るくする度合いを示す情報、画像の拡大率を示す情報、再生に関する情報、画像の色合いに関する情報、解像度感等である。再生に関する情報とは、例えば、再生に利用する画像の切り出し時間を示す情報、再生速度を示す情報等である。

なお、解像度感とは、きめ細かい画像の感じ、または美しい画像の感じ、または高品質な画像の感じ、またはノイズが少ない画像の感じ、または自然に近い画像の感じ等である。解像度感は、例えば、周波数分析を行うことにより判定できる。具体的には、例えば、画像または画像の一部（後述する時空間ブロック等）に対して周波数分析を行い、高周波成分が多いほど解像度感が高く、低周波成分の割合が多いほど解像度感が低いと判定され得る。さらに具体的には、第一の閾値以上の高周波成分の割合に応じて、解像度感を定量的（例えば、１から５の５段階）に決定しても良い。つまり、閾値以上の高周波成分の割合が大きいほど、高い解像度感とする。また、周波数分析を行い、周波数分布を取得し、周波数分布に応じて、解像度感を定量的に決定しても良い。なお、かかる場合も、通常、高周波成分が多いほど解像度感が高く、低周波成分の割合が多いほど解像度感が低いと判定される。また、解像度感は、例えば、空間の画素値のアクティビティー（空間的アクティビティーという）を用いて判定できる。具体的には、例えば、空間的アクティビティーが第一の閾値以上の画素の割合が多いほど、解像度感が高いと判定され得る。また、空間アクティビティーが第一の閾値以上の画素の割合に応じて、解像度感を定量的（例えば、１から５の５段階）に決定しても良い。その他、解像度感の判定、または解像度感の取得方法は問わない。

受付部１２は、各種の情報や指示等を受け付ける。各種の情報や指示等とは、例えば、入力画像、システム特性、光信号情報、１以上のパラメータ、ユーザ指示、格納部１１の情報等である。

指示受付部１２３は、ユーザからの指示であるユーザ指示を受け付ける。ユーザ指示は、例えば、オプションの処理である個別処理を行うとの指示、入力画像または第一画像の一部の空間領域を特定する空間領域指示、２以上の個別処理のうちの１以上の個別処理を選択する処理選択指示、第二画像の再生方法を特定する指示である再生方法指示、第二画像を表示する表示領域に関する指示である表示領域指示等である。空間領域指示は、入力画像の一部または第一画像の一部の空間領域を特定する指示であり、２以上の空間領域を特定する指示でも良い。再生方法指示は、第二画像の再生方法を特定する指示である。再生方法指示は、例えば、再生方法を特定する識別子を有する。再生方法とは、例えば、遅延再生、繰返し再生、スロー再生、逆再生等である。表示領域指示は、第二画像を表示する表示領域の位置を特定する指示、または／および当該表示領域のサイズを特定する指示である。

処理部２３は、各種の処理を行う。各種の処理とは、例えば、第一画像取得部１３１、第二画像取得部２３２、保存処理部２３３、パラメータ保存部２３４等が行う処理である。

処理部２３は、第二画像を表示する表示領域の位置または／および当該表示領域のサイズを自動的に決定しても良い。例えば、処理部２３は、入力画像または第一画像の中のオブジェクト（例えば、人、自動車等）を検知し、第二画像がオブジェクトの表示を妨げない表示領域の位置またはサイズを決定しても良い。例えば、処理部２３は、入力画像または第一画像の中の背景領域を認識し、当該背景領域に第二画像が表示されるように、第二画像の表示領域の位置またはサイズを決定しても良い。また、処理部２３は、ユーザの表示領域指示に従って第二画像の表示領域の位置またはサイズを決定しても良い。

保存処理部２３３は、入力画像または第一画像または第二画像の全部または一部を画像格納部１１１に保存する。

パラメータ保存部２３４は、１以上のパラメータが受け付けられた場合に、当該１以上のパラメータをパラメータ格納部１１２に保存する。

第二画像取得部２３２は、第二画像取得部１３２が行う処理は行う、と考えても良い。

また、例えば、指示受付部１２３が空間領域指示を受け付けた場合、第二画像取得部２３２は、当該空間領域指示が特定する空間領域の画像に対して、第一画像取得部１３１が行う処理とは異なる画像処理を行い、第二画像を取得する。ここで、空間領域指示が２以上の領域を特定する指示である場合、第二画像取得部２３２は、当該２以上の各領域の画像に対して、第一画像取得部１３１が行う処理とは異なる画像処理を行い、２以上の第二画像を取得する。ここで、第一画像取得部１３１が行う処理とは異なる画像処理とは、例えば、上述した個別処理である。個別処理は、例えば、処理対象の画像を明るくする、処理対象の画像を暗くする、処理対象の画像を拡大する、処理対象の画像を縮小する、処理対象の画像のフレームを増やす、処理対象の画像のフレームを減らす、処理対象の画像の色を変える等の処理である。なお、第二画像取得部２３２の処理対象の画像は、例えば、入力画像または第一画像である。

第二画像取得部２３２は、例えば、画像格納部１１１に格納されている画像に対して、第一画像取得部１３１が行う処理とは異なる画像処理を行い、第二画像を取得する。第二画像取得部２３２は、例えば、指示受付部１２３が空間領域指示で特定される領域の画像を、画像格納部１１１に格納されている画像から切り出し、第二画像を取得する。なお、この第二画像が出力される時に出力される第一画像は、別の時間の画像である。つまり、同時に出力される第一画像と第二画像の時間は異なる。さらに詳細には、通常、出力される第二画像は、同時に出力される第一画像よりも時間的な遅れがある。通常、入力画像が受け付けられてから、第一画像ではほとんど遅延が無いが、第二画像では遅延がある。

第二画像は、出力部２４により、例えば、第一画像と比較して、遅延再生されたり、繰返し再生されたり、スロー再生されたり、逆再生されたり、一時静止されたりしても良い。つまり、例えば、第二画像は、遅延フレーム数以上バッファリングされた画像であったり、開始フレームと終了フレームの間だけを保持した画像であったり、フレームスキップされた画像であっても良い。第二画像取得部２３２は、例えば、指示受付部１２３が受け付けた再生方法指示に従った再生を行うように、第二画像を画像格納部１１１に格納されている画像から取得する。なお、一時静止とは、第一画像または入力画像の動画の一フレームを静止画として出力することを言う。また、一時静止とは、スロー再生の一態様と考えても良い。

第二画像取得部２３２は、例えば、入力画像または第一画像または第二画像の一部の空間領域を含む領域の画像の１以上の特徴量を取得し、当該１以上の特徴量によって異なる処理を行って、第二画像を取得することは好適である。一部の空間領域を含む領域とは、入力画像または第一画像または第二画像の全体でも良いし、当該一部の空間領域とその周辺の領域とを含む領域でも良いし、ユーザが指示した一部の空間領域でも良い。なお、ここで、１以上の特徴量には、例えば、１以上の画像の一部の特徴量である近傍特徴量と、１以上の画像全体の特徴量である全体特徴量とがある。近傍特徴量には、例えば、画素値、アクティビティー、時空間相関、動きベクトル、周波数分布などがある。また、アクティビティーとは、例えば、複数の画素の最大値および最小値、ダイナミックレンジ（ＤＲ）、複数の画素の間の差分値などである。複数の画素の間の差分値は、空間内の複数画素間の差分値でも良いし、時間方向の複数画素間の差分値でも良いし、空間内および時間方向の複数画素間の差分値でも良い。また、全体特徴量には、例えば、画像全体の画素値分布、画像全体の動きベクトル分布、１または２以上の画像全体の時空間相関、画像全体のノイズ量、画像フォーマット、画像全体の編集に関する情報（ＰｉｎＰであるか否か、ＰｏｕｔＰであるか否か、テロップの有無など）、１以上の画像であるコンテンツに関するコンテンツ情報、パターン検出結果（顔など）などである。ここで、コンテンツ情報とは、例えば、電子番組表（ＥＰＧ）が有する番組のジャンル、タイトル、出演者名等である。なお、１以上の特徴量を、適宜、特徴量ベクトルとも言う。

また、第二画像取得部２３２は、例えば、入力画像または第一画像または第二画像の一部の空間領域を含む領域の画像の１以上の特徴量を取得し、当該１以上の特徴量によって異なる処理を行う具体例は、以下の（１）から（４）である。
（１）第二画像の一部の空間領域を含む領域の画像のアクティビティーが予め決められた条件を満たすほど小さい場合、第二画像取得部２３２は、第二画像に対して解像度感を向上させる処理を行う。さらに第一画像の一部の空間領域を含む領域の画像のアクティビティーが予め決められた条件を満たすほど大きい場合、第二画像取得部２３２は、第二画像をより際立たせるために、第二画像に対してはさらに解像度感を向上させる処理を行う。さらに、解像度感を向上させる処理とは、解像度感を向上させる処理のパラメータを大きな値にしたり、解像度感を向上させる処理を複数回行う等である。また、予め決められた条件を満たすほど小さいとは、例えば、画像のアクティビティーが閾値以下または閾値未満であること、他の空間領域の画像のアクティビティーとの差が閾値以下または閾値未満であること等である。また、アクティビティーが予め決められた条件を満たすほど大きいとは、例えば、画像のアクティビティーが閾値以上または閾値より大きいこと、他の空間領域の画像のアクティビティーとの差が閾値以上または閾値より大きいこと等である。
（２）第二画像の一部の空間領域を含む領域の画像の画素値分布が予め決められた条件を満たすほど暗い側に偏っている場合、第二画像取得部２３２は、第二画像に対して明るさを向上させる処理を行う。さらに入力画像の一部の空間領域を含む領域の画像の画素値分布が予め決められた条件を満たすほど暗い側に偏っている場合、第二画像取得部２３２は、第二画像の明るさを大きく向上しなくても十分なため、第二画像に対しては明るさを向上させる処理を抑制する。なお、明るさを向上させる処理を抑制するとは、明るさを向上させる処理のパラメータを小さな値にしたり、明るさを向上させる処理の後に明るさを低下する処理を行う等である。また、領域の画像の画素値分布が予め決められた条件を満たすほど暗い側に偏っているとは、例えば、領域の画像の明度をパラメータとして算出された値（例えば、平均値）が閾値以下または閾値未満、または他の領域の画像の明度をパラメータとして算出された値（例えば、平均値）と当該領域の画像の明度をパラメータとして算出された値（例えば、平均値）との差が閾値以上または閾値より大きいこと等である。
（３）第二画像の一部の空間領域を含む領域の画像の時間方向の複数画素間の差分が予め決められた条件を満たすほど大きく、および動きベクトルの分布が予め決められた条件を満たすほど大きい方に偏っている場合、第二画像取得部２３２は、第二画像に対してスロー再生を行う。さらに、第一画像の一部の空間領域を含む領域の画像の複数画素間の差分が予め決められた条件を満たすほど大きく、および動きベクトルの分布が予め決められた条件を満たすほど大きい方に偏っている場合、画像全体が大きく動いているとみなせるため第二画像をよりよく見るために、スロー再生の速度を遅くする。なお、予め決められた条件を満たすとは、例えば、値が閾値より大きいまたは閾値以上であること等である。
（４）上記の（１）から（３）のうちの２以上を組み合わせることも可能である。例えば（１）と（２）とを組み合わせ第二画像の一部の空間領域を含む領域の画像のアクティビティーが予め決められた条件を満たすほど低く、画素値分布が予め決められた条件を満たすほど暗い側に偏っている場合、第二画像取得部２３２は、第二画像に対して解像度感を向上させる処理と明るさを向上させる処理を行う。

第二画像取得部２３２は、例えば、２以上の個別処理のうちの１以上の個別処理を選択するユーザ指示が受け付けられた場合に、当該選択された１以上の個別処理を、入力画像または第一画像の一部の空間領域の画像に対して行い、第二画像を取得する。

第二画像取得部２３２は、例えば、第一画像から一部の空間領域の画像を切り出し、第二画像を取得する。

第二画像取得部２３２は、例えば、パラメータ格納部の１以上のパラメータを用いて、第二画像を取得する。例えば、パラメータが第一画像より画面を明るくするための情報である場合、第二画像取得部２３２は、パラメータに従い、第一画像より明るくなるように、第二画像を取得する。

第二画像取得部２３２は、例えば、第一画像が予め決められた条件を満たした場合に、第二画像を取得しても良い。例えば、処理部２３が入力画像または第一画像の中の予め決められた条件を満たすオブジェクト（例えば、人、自動車、不審者など）を検知した場合、当該オブジェクトの領域を自動決定する。そして、第二画像取得部２３２は、例えば、入力画像または第一画像の中の当該領域の画像を切り出し、第二画像を取得する。なお、かかる場合、第二画像は、上記のオブジェクトである。また、第二画像取得部２３２は、例えば、入力画像または第一画像の中の当該領域の画像を切り出した後、上述した１以上の個別処理を行い、第二画像を取得しても良い。かかる場合、例えば、個別処理はノイズ除去、解像度創造等の処理である。

出力部２４は、第一画像と１以上の第二画像とを出力する。出力部２４は、２以上の第二画像と第一画像とを出力しても良い。出力部２４は、第一画像と１以上の第二画像とを同一のディスプレイに出力することは好適である。出力部２４は、例えば、第一画像と１以上の第二画像とをＰｉｎＰで同一のディスプレイに出力する。

出力部２４は、第一画像と、当該第一画像とは異なる時に対応する入力画像に基づいて取得された第二画像とを同時に出力することは好適である。第一画像とは異なる時に対応する入力画像とは、第一画像の元になる入力画像とは異なる時に対応する入力画像でも良い。入力画像に基づいて取得された画像とは、入力画像に基づいて取得された第一画像に基づいて取得された画像でも良い。出力部２４は、指示受付部１２３が受け付けた再生方法指示に従った、第二画像の再生を行うことは好適である。出力部２４は、第一画像と比較して、第二画像を遅延再生したり、繰返し再生したり、スロー再生したり、逆再生したりしても良い。

例えば、第一画像が予め決められた条件を満たし、第二画像取得部２３２が第二画像を取得した場合、出力部２４は、第一画像の表示領域を小さくし、第二画像を大きな領域に出力しても良い。例えば、出力部２４は、第一画像をディスプレイの半面に出力し、第二画像をディスプレイの他の半面に出力しても良い。なお、特に、不審者を検知した場合に、第一画像の表示領域を小さくすることにより、ディスプレイをチェックする者に、不審者の出現が分かりやすくなる。なお、上述した画像内のオブジェクト認識、不審者の認識の技術は公知技術であるので、詳細な説明を省略する。

ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。

格納部１１、画像格納部１１１、およびパラメータ格納部１１２は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。

格納部１１等に情報が記憶される過程は問わない。例えば、記録媒体を介して情報が格納部１１等で記憶されるようになってもよく、通信回線等を介して送信された情報が格納部１１等で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報が格納部１１等で記憶されるようになってもよい。

処理部２３、第一画像取得部１３１、第二画像取得部２３２、保存処理部２３３、およびパラメータ保存部２３４は、通常、ＭＰＵやメモリ等から実現され得る。処理部２３等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

出力部２４は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。出力部１４は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。

次に、画像出力装置２の動作について、図１８のフローチャートを用いて説明する。図１８のフローチャートにおいて、図２のフローチャートと同一のステップについて、説明を省略する。

（ステップＳ１８０１）保存処理部２３３は、第一画像等を画像格納部１１１に蓄積する。なお、第一画像等とは、第一画像、入力画像、第二画像のうちの１種類以上の画像である。また、かかる処理は行わなくても良い。

（ステップＳ１８０２）第二画像取得部２３２は、第二画像取得処理を行う。第二画像取得処理について、図１９のフローチャートを用いて説明する。

（ステップＳ１８０３）保存処理部２３３は、第二画像を画像格納部１１１に蓄積する。なお、かかる処理は行わなくても良い。

（ステップＳ１８０４）出力部２４は、ステップＳ１８０２で取得された第二画像を出力する。ここで、出力部２４は、第一画像と１以上の第二画像とを同一のディスプレイに出力することは好適である。また、第二画像の出力先（例えば、出力するディスプレイのＩＰアドレスやＭＡＣアドレス等）を示す情報や出力態様（例えば、第二画像を出力するウィンドウの位置や大きさ等）を示す情報について、格納部１１に格納されている。そして、出力部２４は、出力先を示す情報や出力態様を示す情報を読み出し、当該情報に従って第二画像を出力する。なお、ｉ番目の各第二画像の出力先を示す情報や出力態様を示す情報は、第二画像取得部２３２を識別する情報に対応付けて格納されていても良いし、ｉ番目の第二画像処理に対応する個別処理指示に対応付けて格納されていても良いし、ｉ番目の１以上のパラメータの集合等に対応付けて格納されていても良い。

（ステップＳ１８０５）指示受付部１２３は、ユーザ指示を受け付けたか否かを判断する。ユーザ指示を受け付けた場合はステップＳ１８０６に行き、ユーザ指示を受け付けない場合はステップＳ２０１に戻る。

（ステップＳ１８０６）処理部１３は、ステップＳ１８０５で受け付けられた指示に応じた情報を格納部１１に蓄積する。なお、処理部１３は、ユーザ指示が個別処理を行うとの指示である場合は処理を識別する情報を蓄積し、ユーザ指示が空間領域指示である場合は空間領域を特定する情報（例えば、矩形を示す２つの座標値）を蓄積し、ユーザ指示が処理選択指示である場合は処理を識別する情報を蓄積し、ユーザ指示が再生方法指示である場合は再生方法を識別する情報を蓄積し、ユーザ指示が表示領域指示である場合は表示領域を特定する情報（例えば、矩形を示す２つの座標値）を蓄積する。

次に、ステップＳ１８０２の第二画像取得処理について、図１９のフローチャートを用いて説明する。

（ステップＳ１９０１）第二画像取得部２３２は、空間領域指示に対応する領域の画像を、画像格納部１１１の画像または入力画像または第一画像から取得する。

（ステップＳ１９０２）第二画像取得部２３２は、格納部１１から１以上のパラメータを取得する。

（ステップＳ１９０３）第二画像取得部２３２は、入力画像または第一画像または第二画像の一部の空間領域を含む領域の画像の１以上の特徴量を取得する。

（ステップＳ１９０４）第二画像取得部２３２は、格納部１１に格納されている１以上の処理の識別子（処理選択指示に対応する処理の識別子）、または／および１以上の特徴量に応じた１以上の処理を決定する。処理の決定とは、通常、処理の識別子（例えば、関数名またはメソッド名または処理を特定するアドレス等）を取得することである。

（ステップＳ１９０５）第二画像取得部２３２は、ステップＳ１９０１で取得した画像に対して、ステップＳ１９０４で決定した１以上の処理を実行し、第二画像を取得する。

以下、本実施の形態における画像出力装置２の２つの具体的な動作について説明する。具体例１は、ユーザが画面内の特定の領域に対し、最適な見方を同時に比較可能な場合である。具体例２は、ユーザが画面内の特定の領域に対し、最適な見方を別時間で比較可能な場合である。

（具体例１）
今、ユーザは、富士山の映像を映像表示装置で見ている、とする。そして、ユーザは、画像処理装置２に対して、富士山の中で見たい部分を指定する空間領域指示と、パラメータ（画像を明るくする度合いを示す情報）を入力した、とする。すると、受付部１２は、かかる空間領域指示およびパラメータを受け付け、空間領域を特定する情報（ｘ１，ｙ１）（ｘ２，ｙ２）と明度（Ｍ）とを受け付ける。そして、処理部１３は、空間領域を特定する情報（ｘ１，ｙ１）（ｘ２，ｙ２）、および明度（Ｍ）を格納部１１に蓄積する。

次に、入力画像受付部１２１は、富士山の映像を受け付ける。そして、第一画像取得部１３１は、受け付けられた映像に対して第一画像処理を行い、第一画像を取得する。なお、第一画像処理は、例えば、ノイズ除去の処理等である。

次に、第二画像取得部２３２は、空間領域を特定する情報（ｘ１，ｙ１）（ｘ２，ｙ２）に従って入力画像または第一画像から、指定された領域の画像を切り出し、パラメータに従って、切り出した画像を明るくし、第二画像を取得する。

次に、処理部２３は、空間領域を特定する情報（ｘ１，ｙ１）（ｘ２，ｙ２）を用いて、極力、第一画像の当該空間領域の部分画像の視聴を妨げない位置を決定する。なお、この位置は、通常、矩形の画面上の左上隅、右上隅、左下隅、右下隅のいずれかであることが好ましい。また、ここでは、視聴を妨げない位置を右下隅と決定した、とする。

次に、出力部２４は、取得された第二画像を、画面の右下隅に出力する。かかる様子を示した図が図２０である。図２０において、映像出力装置（例えば、放送装置または画像再生装置）が出力した映像を受信した画像処理装置２が、富士山全体が映る第一画像（２００１）と富士山の頂きあたりの領域の第二画像（２００２）とを比較可能な態様で重畳して出力している。

また、ユーザは、次々に、順次、異なるパラメータ（例えば、画像を暗くする度合いを示す情報、画像の拡大率、縮小率、フレーム数を増加させる度合いを示す情報、フレーム数を減少させる度合いを示す情報、色の変更等）を入力した、とする。

すると、上述した処理により、画像出力装置２は、ユーザから入力されたパラメータに従った第二画像を、図２０の２００２の領域に出力する。

かかることにより、ユーザは、この映像の最適な見方を、いろいろ試しながら判断可能となる。なお、ユーザが指示した空間領域指示は、図２０の２００３の領域である。

（具体例２）
今、ユーザは、レースの映像を映像表示装置で見ている、とする。そして、ユーザは、画像処理装置２に対して、映像の中で見たい空間領域を特定する情報（ｘ３，ｙ３）（ｘ４，ｙ４）と再生方法を特定する指示である再生方法指示「指定領域をＮフレーム遅らせ、拡大して再生する指示」を入力した、とする。そして、処理部１３は、空間領域を特定する情報（ｘ３，ｙ３）（ｘ４，ｙ４）、およびこの再生方法を識別する再生方法識別子を格納部１１に蓄積する。

次に、入力画像受付部１２１は、レースの映像を受け付ける。そして、第一画像取得部１３１は、受け付けられた映像に対して第一画像処理を行い、第一画像を取得する。そして、保存処理部２３３は、第一画像または入力画像を画像格納部１１１に蓄積する。

次に、第二画像取得部２３２は、Ｎフレーム前の画像であり、画像格納部１１１に蓄積されている画像から、（ｘ３，ｙ３）（ｘ４，ｙ４）で特定される空間領域の画像を切り出し、第二画像を取得する。そして、保存処理部２３３は、第二画像を画像格納部１１１に蓄積する。

次に、処理部２３は、空間領域を特定する情報（ｘ３，ｙ３）（ｘ４，ｙ４）を用いて、極力、第一画像の当該空間領域の部分画像の視聴を妨げない位置を決定する。ここでは、視聴を妨げない位置を右下隅と決定した、とする。

次に、出力部２４は、取得された第二画像を映像表示装置の右下隅に出力する。そして、映像表示装置では、図２１に示すような映像が表示される。図２１において、映像出力装置（例えば、放送装置または画像再生装置）が出力した映像を受信した画像処理装置２が、レースの全体の第一画像（２１０１）と自分が特に見たい自動車の先頭部分あたりの領域の第二画像（２１０２）とを、時間を遅らせて、比較可能な態様で重畳して出力している。

また、ユーザは、次々に、順次、異なるパラメータ（例えば、画像を暗くする度合いを示す情報、画像の拡大率、縮小率、フレーム数を増加させる度合いを示す情報、フレーム数を減少させる度合いを示す情報、色の変更等）や再生方法指示を入力した、とする。

すると、上述した処理と同様に、画像出力装置２は、ユーザから入力されたパラメータと再生方法指示とに従った第二画像を、図２１の２１０２の領域に出力する。

かかることにより、ユーザは、この映像の最適な見方を、別時間でいろいろ試しながら判断可能となる。なお、ユーザが指示した空間領域指示は、図２１の２１０３の領域である。

なお、上記具体例において、第一画像取得部１３１は、何らの処理を行わずに、入力画像を第一画像として、取得しても良い。また、上記具体例において、第一画像取得部１３１は、入力画像に対して汎用処理のみを行って、第一画像を取得しても良い。

以上、本実施の形態によれば、第一画像と、ユーザが指示した一部の空間領域の第二画像とを同時に出力できる。

また、本実施の形態によれば、第一画像と、ユーザが指示した２以上の一部の空間領域の２以上の第二画像とを同時に出力できる。

また、本実施の形態によれば、第一画像と、ユーザが指示した一部の空間領域であり、第一画像とは別の時間の第二画像とを同時に出力できる。

また、本実施の形態によれば、第二画像の表示領域の位置またはサイズが動的に変化し、ユーザにとって第一画像または第二画像がさらに視聴しやすくなる。

また、本実施の形態によれば、第一画像と、ユーザが指示した一部の空間領域の第二画像とを適切に同時に出力できる。

また、本実施の形態によれば、第一画像と、ユーザが指示した一部の空間領域の第二画像であり、ユーザ所望の第二画像とを同時に出力できる。

さらに、本実施の形態によれば、ユーザの指示に基づくパラメータを保存し、利用した第二画像と第一画像とを同時に出力できる。

なお、本実施の形態における画像出力装置２を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、例えば、コンピュータを、入力画像を受け付ける入力画像受付部と、前記入力画像に基づく第一画像を取得する第一画像取得部と、前記入力画像または前記第一画像に対して、前記第一画像取得部が行う処理とは異なる画像処理を行い、第二画像を取得する第二画像取得部と、前記第一画像と前記第二画像とを出力する出力部として機能させるためのプログラムである。
て、コンピュータを機能させるプログラムであることは好適である。

（実施の形態３）
本実施の形態において、入力画像に対して、汎用処理部による処理と個別処理部による処理とを行い、出力画像を取得し、出力する映像信号処理装置について説明する。

図２２は、本実施の形態における映像信号処理装置１のブロック図である。

映像信号処理装置３は、格納部３０、受付部３１、処理部３２、および出力部３３を備える。

受付部３１は、指示受付部３１１、および入力画像受付部３１２を備える。

処理部３２は、汎用処理部３２１、個別処理部３２２、および構成部３２３を備える。

格納部３０は、各種の情報を格納し得る。各種の情報は、例えば、１または２以上のルックアップテーブル（以下、適宜、「ＬＵＴ」と言う。）である。各種の情報は、例えば、１または２以上の変更情報、１または２以上の画像変換演算式である。

ＬＵＴは、１または２以上の対応レコードを有する。対応レコードとは、１または２以上の入力画像と１または２以上の出力画像との対応をとるための情報である。格納部３０には、１または２以上のシステム特性に対応付けて、２以上のＬＵＴが格納されていても良い。入力画像と出力画像との対応をとるための情報とは、入力画像の全部または一部分と、出力画像の全部または一部分との対応を取るための情報である。ＬＵＴが有する対応レコードが一つの場合、かかる対応レコードは、例えば、画像を変換する演算式や、画像を変換する演算式に与える１以上のパラメータ群である。なお、パラメータには、例えば、積和演算の係数、明暗の差または比を変更する度合い、判定パラメータ等がある。判定パラメータは、判定に利用する閾値であり、例えば、鏡面反射か拡散反射かを判定する画素値等の閾値、直接光であるか拡散光であるかを判定する画素値等の閾値などである。

画像変換演算式は、画像変換を行う演算式である。演算式は、例えば、時空間にタップが張られた積和演算である。パラメータには、例えば、積和演算の係数、システム特性を判定する判定パラメータ等がある。
変更情報は、入力画像を変更するための情報である。変更情報は、例えば、画像変換演算式のパラメータを変更するための情報である。画像変換演算式のパラメータを変更するための情報とは、例えば、画像変換演算式のパラメータの集合である。また、画像変換演算式のパラメータを変更するための情報とは、例えば、積和演算の係数をシステム特性に応じて決定するような演算式である。
格納部３０には、１以上の各変更情報が、１または２以上のシステム特性に対応付けて格納されていても良い。また、格納部３０には、１以上の各画像変換演算式が、１または２以上のシステム特性に対応付けて、格納されていても良い。

変更情報は、時空間タップ配置を変更するための情報でも良い。時空間タップ配置を変更するための情報とは、例えば、入力画像の注目画素およびその近傍画素のうち、どの画素を処理に用いるかという情報である。格納部３０には、１または２以上のシステム特性に対応付けて、時空間タップ配置を変更するための１または２以上の変更情報が格納されていても良い。

受付部３１は、各種の情報を受け付ける。各種の情報とは、例えば、入力画像、ユーザ指示である。ここで、受け付けとは、例えば、有線もしくは無線の通信回線を介して送信された情報の受信である。また、受け付けとは、例えば、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けや、キーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付けなどを含む概念である。

入力手段はキーボードやマウスやメニュー画面によるもの等、何でも良い。受付部３１は、キーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。

指示受付部３１１は、ユーザ指示を受け付ける。ユーザ指示とは、ユーザからの指示であり、例えば、個別処理を行うか否かについて指示である。また、個別処理とは、オプションの処理である。個別処理とは、通常、オプションの画像処理である。また、個別処理を行うとの指示を個別処理指示という。個別処理指示は、例えば、個別処理を行うことを示すフラグである。個別処理指示は、例えば、個別処理に用いるパラメータである。個別処理指示は、例えば、構成部３２３が出力画像を合成する際に用いる個別処理に対する係数である。

指示受付部３１１が個別処理指示を受け付けるタイミングは問わない。通常、入力画像受付部３１２が入力画像を受け付ける前に、指示受付部３１１は、個別処理指示を受け付けている。ただし、入力画像受付部３１２が入力画像を受け付けた後、入力画像に対する処理が開始される前に、個別処理指示を受け付けても良い。

ここでの受け付けとは、キーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付け、有線もしくは無線の通信回線を介して送信された情報の受信、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念である。

ユーザ指示の入力手段は、キーボードやマウスやメニュー画面によるもの等、何でも良い。指示受付部３１１は、キーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。

入力画像受付部３１２は、入力画像を受け付ける。入力画像は、画像である。入力画像は、映像でも良い、つまり、入力画像受付部３１２は、２以上の入力画像である映像を受け付けても良いことは言うまでもない。入力画像は、映像信号処理装置１が、通常、外部から受け付ける画像である。入力画像受付部３１２が受け付ける入力画像は、通常、２以上の入力画像（フレームやフィールドと言っても良い）であるが、一つの入力画像（フレームやフィールドと言っても良い）でも良い。また、受け付けられる複数のフレームやフィールドを、単に入力画像と言うこともある。

また、ここでの受け付けとは、通常、有線もしくは無線の通信回線を介して送信された情報の受信である。ただし、ここでの受け付けとは、例えば、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けや、キーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付けなどを含む概念である。

入力画像受付部３１２は、有線もしくは無線の通信手段、放送受信手段等により実現され得る。

処理部３２は、各種の処理を行う。各種の処理とは、例えば、汎用処理部３２１、個別処理部３２２、構成部３２３等が行う処理である。

汎用処理部３２１は、入力画像に対して、汎用処理を行い、第一処理情報を取得する。汎用処理とは、入力画像に対して行う必須の処理である。汎用処理は、ユーザの嗜好に関わらず行う必要のある処理である、と言える。また、汎用処理は、例えば、入力画像と出力画像のフォーマットが異なる場合における、画素数の変換処理である。また、汎用処理は、例えば、入力画像に対する歪除去処理である。また、第一処理情報とは、通常、画像である。なお、汎用処理は、２以上の処理を含んでも良いことは言うまでもない。

個別処理部３２２は、入力画像に対して個別処理を行い、第二処理情報を取得する。個別処理とは、入力画像に対して行うオプションの処理である。個別処理とは、例えば、出力画像の見せ方を変更する処理である。出力画像の見せ方を変更する処理とは、例えば、自然界の法則に従って出力画像の明るさを変えたり、自然界で近づいてみたり遠ざかって見たりするのと同様に出力画像の出力の倍率を変更したりする処理である。なお、自然界の法則に従って出力画像の明るさを変える処理とは、さらに具体的には、出力画像が発する光が、自然界の光としてあり得ないような挙動にならないように拘束しながら画像の明るさを変える処理である。自然界の光としてあり得ないような挙動とは、例えば、自然界の光としてあり得ない光の強度、自然界の光としてあり得ない光の強度の変化量であること等である。

また、個別処理に対して、ユーザが個別処理指示として処理に用いるパラメータを指示することは好適である。処理に用いるパラメータとは、例えば明るさの変更度合や出力の倍率の変更度合である。

個別処理部３２２は、指示受付部３１１が個別処理指示を受け付けている場合に、入力画像に対して個別処理を行い、第二処理情報を取得する。また、個別処理指示が処理に用いるパラメータである場合、そのパラメータを用いて個別処理を行い、第二処理情報を取得する。また、第二処理情報とは、通常、画像である。なお、個別処理は、２以上の処理を含んでも良いことは言うまでもない。 構成部３２３は、指示受付部３１１が個別処理指示を受け付けた場合に、第一処理情報と第二処理情報とを用いて出力画像を構成する。構成部３２３は、第一処理情報と第二処理情報とを合成し、出力画像を構成しても良い。合成とは、例えば、画像の合成である。また、第一処理情報と第二処理情報との合成は、例えば、第一処理情報の画像と第二処理情報の画像の画素値の足し合わせである。また、第一処理情報と第二処理情報との合成は、例えば、第一処理情報の画像と第二処理情報の画像の画素値の線形結合である。この場合、線形結合の係数をユーザが指示することは好適である。なお、指示受付部３１１が個別処理指示を受け付けない場合に、構成部３２３は、第一処理情報を用いて出力画像を取得しても良い。

出力部３３は、指示受付部３１１が個別処理指示を受け付けた場合に、構成部３２３が構成した出力画像を出力する。また、出力部３３は、指示受付部３１１が個別処理指示を受け付けない場合に、第一処理情報を用いて取得される出力画像を出力する。第一処理情報を用いて取得される出力画像は、第一処理情報でも良いし、第一処理情報に予め決められた処理を施した画像でも良い。第一処理情報に予め決められた処理を施すのは、構成部３２３が行っても良い。なお、予め決められた処理は、問わない。

出力部３３が出力する出力画像は、通常、２以上の出力画像（フレームやフィールドと言っても良い）であるが、一つの出力画像（フレームやフィールドと言っても良い）でも良い。また、出力される複数のフレームやフィールドを、単に出力画像と言うこともある。

ここで、出力とは、通常、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。

処理部３２、汎用処理部３２１、個別処理部３２２、構成部３２３は、通常、ＭＰＵやメモリ等から実現され得る。処理部３２等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

出力部３３は、ディスプレイ等の出力デバイスを含むと考えても含まないと考えても良い。出力部３３は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。

次に、映像信号処理装置１の動作について、図２３のフローチャートを用いて説明する。

（ステップＳ２３０１）入力画像受付部３１２は、入力画像を受け付けたか否かを判断する。入力画像を受け付けた場合はステップＳ２３０２に行き、入力画像を受け付けない場合はステップＳ２３０７に行く。

（ステップＳ２３０２）汎用処理部３２１は、ステップＳ２３０１で受け付けられた入力画像に対して、汎用処理を行い、第一処理情報を取得する。

（ステップＳ２３０３）個別処理部３２２は、格納部３０に個別処理指示が格納されているか否かを判断する。個別処理指示が格納されている場合はステップＳ２３０４に行き、個別処理指示が格納されていない場合はステップＳ２３０５に行く。

（ステップＳ２３０４）個別処理部３２２は、ステップＳ２３０１で受け付けられた入力画像に対して個別処理を行い、第二処理情報を取得する。

（ステップＳ２３０５）構成部３２３は、格納部３０に個別処理指示が格納されている場合には、ステップＳ２３０２で取得された第一処理情報とステップＳ２３０４で取得された第二処理情報とを用いて出力画像を構成する。また、構成部３２３は、格納部３０に個別処理指示が格納されていない場合には、ステップＳ２３０２で取得された第一処理情報を用いて出力画像を取得する。

（ステップＳ２３０６）出力部３３は、ステップＳ２３０５で取得された出力画像を出力する。ステップＳ２３０１に戻る。

（ステップＳ２３０７）指示受付部３１１は、ユーザからの個別処理指示を受け付けたか否かを判断する。個別処理指示を受け付けた場合はステップＳ２３０８に行き、個別処理指示を受け付けない場合はステップＳ２３０１に戻る。

（ステップＳ２３０８）処理部３２は、ステップＳ２３０７で受け付けられた個別処理指示を格納部３０に蓄積する。ステップＳ２３０１に戻る。

なお、図２３のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

また、図２３のフローチャートにおいて、ステップＳ２３０１における入力画像を受け付けている間にでも、ステップＳ２３０７における個別処理指示の受け付けが可能であることが好適である。つまり、ユーザは、出力画像を視ながら、個別処理指示を変更できることは好適である。また、ステップＳ２３０１における入力画像を受け付けと、ステップＳ２３０７における個別処理指示の受け付けとは、並行して処理され得ることは好適である。

また、図２３のフローチャートの処理の概念を図２４に示す。図２４は、映像信号処理装置１は、入力（入力画像）を汎用処理部３２１における処理結果である第一処理情報と個別処理部３２２における処理結果である第二処理情報とを統合し、出力である出力画像を得ることを示す。また、映像信号処理装置１は、個別処理部３２２が動作するか否かは、ユーザ指示により変化することを示す。なお、第一処理情報と第二処理情報との統合とは、例えば、第一処理情報の画像と第二処理情報の画像の画素値の足し合わせである。また、第一処理情報と第二処理情報との統合とは、例えば、画像である第一処理情報の１以上の各特徴量と画像である第二処理情報の１以上の各特徴量の代表値（例えば、平均値や加重平均値など）を取得し、当該１以上の代表値を用いて、出力画像を構成する処理である。なお、１以上の特徴量には、例えば、１以上の画像の一部の特徴量である近傍特徴量と、１以上の画像全体の特徴量である全体特徴量とがある。近傍特徴量には、例えば、画素値、アクティビティ、時空間相関、動きベクトル、周波数分布などがある。また、アクティビティとは、例えば、複数の画素の最大値および最小値、ダイナミックレンジ（ＤＲ）、複数の画素の間の差分値などである。複数の画素の間の差分値は、空間内の複数画素間の差分値でも良いし、時間方向の複数画素間の差分値でも良いし、空間内および時間方向の複数画素間の差分値でも良い。また、全体特徴量には、例えば、画像全体の画素値分布、画像全体の動きベクトル分布、１または２以上の画像全体の時空間相関、画像全体のノイズ量、画像フォーマット、画像全体の編集に関する情報（ＰｉｎＰであるか否か、ＰｏｕｔＰであるか否か、テロップの有無など）、１以上の画像であるコンテンツに関するコンテンツ情報、パターン検出結果（顔など）などである。ここで、コンテンツ情報とは、例えば、電子番組表（ＥＰＧ）が有する番組のジャンル、タイトル、出演者名等である。なお、１以上の特徴量を、適宜、特徴量ベクトルとも言う。

以上、本実施の形態によれば、ユーザの嗜好により、画像処理をカスタマイズし、ユーザ所望の画像を出力できる。

なお、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における映像信号処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、例えば、コンピュータを、入力画像を受け付ける入力画像受付部と、オプションの処理である個別処理を行うか否かについてのユーザ指示を受け付ける指示受付部と、前記入力画像に対して、必須の処理である汎用処理を行い、第一処理情報を取得する汎用処理部と、前記ユーザ指示が個別処理を行うとの指示である個別処理指示である場合に、前記入力画像に対して個別処理を行い、第二処理情報を取得する個別処理部と、前記指示受付部が個別処理指示を受け付けた場合に、前記第一処理情報と前記第二処理情報とを用いて出力画像を構成する構成部と、前記指示受付部が個別処理指示を受け付けた場合に、前記構成部が構成した出力画像を出力し、前記指示受付部が個別処理指示を受け付けない場合に、前記第一処理情報を用いて取得される出力画像を出力する出力部として機能させるためのプログラムである。

（実施の形態４）
本実施の形態において、実施の形態３との相違点は、個別処理部が２以上存在することである。

本実施の形態において、入力画像に対して、汎用処理部による処理と２以上のいずれか１以上の個別処理部による処理とを行い、出力画像を取得し、出力する映像信号処理装置について説明する。

図２５は、本実施の形態における映像信号処理装置４のブロック図である。

映像信号処理装置４は、格納部３０、受付部４１、処理部４２、および出力部４３を備える。

受付部４１は、指示受付部４１１、および入力画像受付部３１２を備える。

処理部４２は、汎用処理部３２１、２以上の個別処理部、および構成部４２３を備える。２以上の個別処理部は、個別処理部３２２１、個別処理部３２２２、・・・、個別処理部３２２Ｎ（Ｎは２以上の自然数）とする。

受付部４１は、各種の情報を受け付ける。各種の情報とは、例えば、入力画像、ユーザ指示である。

指示受付部４１１は、ユーザ指示を受け付ける。ユーザ指示とは、ユーザからの指示であり、例えば、個別処理を行うことを示す指示、または個別処理を行わないことを示す指示である。

指示受付部４１１は、２以上の各個別処理部に対応する個別処理を行うか否かについてのユーザ指示を受け付ける。指示受付部４１１は、少なくとも一つの個別処理指示を受け付けることは好適である。なお、一つの個別処理指示とは、一つの個別処理部に対応する。また、個別処理指示は、通常、個別処理部または個別処理を識別する個別処理識別子を有する。

ここでの受け付けとは、キーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付け、有線もしくは無線の通信回線を介して送信された情報の受信、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念である。

ユーザ指示の入力手段は、キーボードやマウスやメニュー画面によるもの等、何でも良い。指示受付部４１１は、キーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。

処理部４２は、各種の処理を行う。各種の処理とは、例えば、汎用処理部３２１、個別処理部３２２、構成部４２３等が行う処理である。

個別処理部３２２１、個別処理部３２２２、・・・、個別処理部３２２Ｎは、ユーザ指示が個別処理指示である場合に、入力画像に対して個別処理を行い、第二処理情報を取得する。個別処理部３２２１、個別処理部３２２２、・・・、個別処理部３２２Ｎが行う各々の個別処理とは、例えば、実施の形態３で説明した個別処理である。

構成部４２３は、指示受付部４１１が個別処理指示を受け付けた場合に、個別処理指示に対応する個別処理部（３２２１〜３２２Ｎのいずれか１以上）が取得した１以上の第二処理情報と、第一処理情報とを用いて出力画像を構成する。

構成部４２３は、少なくとも一つの第二処理情報と、第一処理情報とを用いて出力画像を構成することは好適であえる。

出力部４３は、指示受付部４１１が個別処理指示を受け付けた場合に、構成部４２３が構成した出力画像を出力する。また、出力部４３は、指示受付部４１１が個別処理指示を受け付けない場合に、第一処理情報を用いて取得される出力画像を出力する。ここで、「第一処理情報を用いて」とは、第二処理情報は用いないことである。指示受付部４１１が個別処理指示を受け付けなかった場合は、第二処理情報は構成されない。

出力部４３は、指示受付部４１１が個別処理指示を受け付けた場合に、構成部４２３が構成した出力画像を出力し、指示受付部４１１が個別処理指示を受け付けなかった場合に、第一処理情報を用いて取得される出力画像を出力する。なお、第一処理情報を用いて取得される出力画像は、第一処理情報でも良い。

構成部４２３は、少なくとも一つの第二処理情報と、第一処理情報とを用いて出力画像を構成する場合、出力部４３は、構成部４２３が構成した出力画像を出力する。かかる場合、第二処理情報は用いずに第一処理情報を用いて取得される出力画像は出力されない。

処理部４２、汎用処理部３２１、個別処理部３２２１、個別処理部３２２２、・・・、個別処理部３２２Ｎ、および構成部４２３は、通常、ＭＰＵやメモリ等から実現され得る。処理部４２等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

出力部４３は、ディスプレイ等の出力デバイスを含むと考えても含まないと考えても良い。出力部４３は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。

次に、映像信号処理装置４の動作について、図２６のフローチャートを用いて説明する。図２６のフローチャートにおいて、図２３のフローチャートと同一の処理について、説明を省略する。

（ステップＳ２６０１）処理部４２は、カウンタｉに１を代入する。

（ステップＳ２６０２）処理部４２は、格納部３０に、ｉ番目の個別処理指示が格納されているか否かを判断する。ｉ番目の個別処理指示が格納されている場合はステップＳ２６０３に行き、ｉ番目の個別処理指示が格納されていない場合はステップＳ２６０５に行く。

（ステップＳ２６０３）ｉ番目の個別処理指示に対応する個別処理部３２２（個別処理部３２２ｉ）は、ステップＳ２３０１で受け付けられた入力画像に対して個別処理を行い、ｉ番目の第二処理情報を取得する。

（ステップＳ２６０４）処理部４２は、カウンタｉを１、インクリメントする。ステップＳ２６０２に戻る。

（ステップＳ２６０５）構成部４２３は、格納部３０に１以上の個別処理指示が格納されている場合には、１以上の各個別処理指示に対応する個別処理部（３２２１〜３２２Ｎのいずれか１以上）が取得した１以上の第二処理情報と、ステップＳ２３０２で取得された第一処理情報とを用いて出力画像を構成する。また、構成部４２３は、格納部３０に個別処理指示が格納されていない場合には、ステップＳ２３０２で取得された第一処理情報を用いて出力画像を取得する。

（ステップＳ２６０６）出力部４３は、ステップＳ２６０５で取得された出力画像を出力する。ステップＳ２３０１に戻る。

（ステップＳ２６０７）指示受付部４１１は、ユーザからの個別処理指示を受け付けたか否かを判断する。個別処理指示を受け付けた場合はステップＳ２６０８に行き、個別処理指示を受け付けない場合はステップＳ２３０１に戻る。なお、個別処理指示は、例えば、ユーザ指示がなされた個別処理または個別処理部を識別する識別子である。

（ステップＳ２６０８）処理部４２は、ステップＳ２６０７で受け付けられた個別処理指示を格納部３０に蓄積する。ステップＳ２３０１に戻る。

なお、図２６のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

また、図２６のフローチャートにおいて、ステップＳ２３０１における入力画像を受け付けている間にでも、ステップＳ２６０７における個別処理指示の受け付けが可能であることが好適である。つまり、ユーザは、出力画像を視ながら、個別処理指示を変更できることは好適である。また、ステップＳ２３０１における入力画像を受け付けと、ステップＳ２６０７における個別処理指示の受け付けとは、並行して処理され得ることは好適である。

また、図２６のフローチャートの処理の概念を図２７に示す。図２７は、映像信号処理装置４が、入力（入力画像）を汎用処理部３２１における処理結果である第一処理情報と１以上の個別処理部３２２における処理結果である１または２以上の第二処理情報とを統合し、出力である出力画像を得ることを示す。また、映像信号処理装置４は、１以上の各個別処理部３２２が動作するか否かは、ユーザ指示により変化することを示す。なお、第一処理情報と１以上の第二処理情報との統合処理は、例えば、画像である第一処理情報の１以上の各特徴量と画像である１以上の各第二処理情報の１以上の各特徴量の代表値（例えば、平均値や加重平均値など）を取得し、当該１以上の代表値を用いて、出力画像を構成する処理である。

以上、本実施の形態によれば、ユーザの嗜好により、画像処理をカスタマイズし、ユーザ所望の画像を出力できる。

なお、本実施の形態における映像信号処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、入力画像を受け付ける入力画像受付部と、オプションの処理である個別処理を行うか否かについてのユーザ指示を受け付ける指示受付部と、前記入力画像に対して、必須の処理である汎用処理を行い、第一処理情報を取得する汎用処理部と、前記ユーザ指示が個別処理を行うとの指示である個別処理指示である場合に、前記入力画像に対して個別処理を行い、第二処理情報を取得する個別処理部と、前記指示受付部が個別処理指示を受け付けた場合に、前記第一処理情報と前記第二処理情報とを用いて出力画像を構成する構成部と、前記指示受付部が個別処理指示を受け付けた場合に、前記構成部が構成した出力画像を出力し、前記指示受付部が個別処理指示を受け付けない場合に、前記第一処理情報を用いて取得される出力画像を出力する出力部として機能させるためのプログラムである。

また、上記プログラムにおいて、前記指示受付部は、前記２以上の各個別処理部に対応する個別処理を行うか否かについてのユーザ指示を受け付け、前記構成部は、前記指示受付部が個別処理指示を受け付けた場合に、当該個別処理指示に対応する個別処理部が取得した１以上の第二処理情報と、前記第一処理情報とを用いて出力画像を構成し、前記出力部は、前記指示受付部が個別処理指示を受け付けた場合に、前記構成部が構成した出力画像を出力し、前記指示受付部が個別処理指示を受け付けなかった場合に、前記第一処理情報を用いて取得される出力画像を出力するものとして、コンピュータを機能させるプログラムであることは好適である。

また、上記プログラムにおいて、前記指示受付部は、少なくとも一つの個別処理指示を受け付け、前記構成部は、少なくとも一つの第二処理情報と、前記第一処理情報とを用いて出力画像を構成し、前記出力部は、前記構成部が構成した出力画像を出力するものとして、コンピュータを機能させるプログラムであることは好適である。

（実施の形態５）
本実施の形態において、実施の形態３との相違点は、個別処理部の内部に、２以上の個別処理手段が存在することである。なお、個別処理手段は、ユーザが動作を行わせるか否かを設定できる対象である。また、個別処理手段の中で、２以上の処理が行われても良いことは言うまでもない。

本実施の形態において、入力画像に対して、汎用処理部による処理と２以上のうちのいずれかの個別処理手段が機能する個別処理部による処理とを行い、出力画像を取得し、出力する映像信号処理装置について説明する。

図２８は、本実施の形態における映像信号処理装置５のブロック図である。

映像信号処理装置５は、格納部３０、受付部５１、処理部５２、および出力部３３を備える。

受付部５１は、指示受付部５１１、および入力画像受付部３１２を備える。

処理部５２は、汎用処理部３２１、個別処理部５２２、および構成部５２３を備える。

個別処理部５２２は、個別処理手段５２２１、個別処理手段５２２２、・・・、個別処理手段５２２Ｎを備える。

受付部５１は、各種の情報を受け付ける。各種の情報とは、例えば、入力画像、ユーザ指示である。

指示受付部５１１は、個別処理を行うか否かについてのユーザ指示を受け付ける。指示受付部５１１は、２以上の各個別処理手段に対応する個別処理を行うか否かについてのユーザ指示を受け付ける。指示受付部５１１は、少なくとも一つの個別処理指示を受け付けることは好適である。なお、一つの個別処理指示とは、一つの個別処理手段に対応する。

ここでの受け付けとは、キーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付け、有線もしくは無線の通信回線を介して送信された情報の受信、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念である。

ユーザ指示の入力手段は、キーボードやマウスやメニュー画面によるもの等、何でも良い。指示受付部５１１は、キーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。

処理部５２は、各種の処理を行う。各種の処理とは、例えば、汎用処理部３２１、個別処理部５２２、構成部５２３等が行う処理である。

個別処理部５２２は、ユーザ指示が個別処理を行うとの指示である個別処理指示である場合に、入力画像に対して個別処理を行い、第二処理情報を取得する。個別処理部５２２は、入力画像に対して、個別処理指示に対応する１以上の個別処理手段を実行し、一つの第二処理情報を取得する。なお、第二処理情報とは、通常、画像である。

個別処理手段５２２１、個別処理手段５２２２、・・・、個別処理手段５２２Ｎは、各々の個別処理を行う。個別処理手段５２２１、個別処理手段５２２２、・・・、個別処理手段５２２Ｎが行う各々の個別処理とは、例えば、実施の形態３で説明した処理である。

構成部５２３は、指示受付部５１１が個別処理指示を受け付けた場合に、第一処理情報と第二処理情報とを用いて出力画像を構成する。

構成部５２３は、指示受付部５１１が個別処理指示を受け付けた場合には、個別処理指示に対応する１以上の個別処理手段５２２１を用いて取得した第二処理情報と、第一処理情報とを用いて出力画像を構成する。

出力部３３は、指示受付部５１１が個別処理指示を受け付けた場合に、構成部５２３が構成した出力画像を出力し、指示受付部５１１が個別処理指示を受け付けない場合に、第一処理情報を用いて取得される出力画像を出力する。

処理部５２、汎用処理部３２１、個別処理部５２２、および構成部５２３は、通常、ＭＰＵやメモリ等から実現され得る。処理部５２等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

出力部３３は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。出力部３３は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。

次に、映像信号処理装置５の動作について、図２９のフローチャートを用いて説明する。図２９のフローチャートにおいて、図２３または図２６のフローチャートと同一の処理について、説明を省略する。

（ステップＳ８ステップＳ２９０１）ｉ番目の個別処理指示に対応する個別処理手段（個別処理手段５２２ｉ）は、ステップＳ２３０１で受け付けられた入力画像または（ｉ−１）番目の個別処理指示に対応する個別処理手段の実行結果に対して個別処理を行う。そして、最後の個別処理手段の実行結果は、第二処理情報である。

（ステップＳ２９０２）指示受付部５１１は、ユーザからの個別処理指示を受け付けたか否かを判断する。個別処理指示を受け付けた場合はステップＳ２９０３に行き、個別処理指示を受け付けない場合はステップＳ２３０１に戻る。なお、個別処理指示は、例えば、ユーザ指示がなされた個別処理または個別処理手段を識別する識別子である。

（ステップＳ２９０３）処理部５２は、ステップＳ２６０７で受け付けられた個別処理指示を格納部３０に蓄積する。ステップＳ２３０１に戻る。

なお、図２９のフローチャートにおいて、Ｎ（Ｎは２以上の自然数）の個別処理手段が動作する場合、第１番目に動作する個別処理手段は、入力画像対して第一の個別処理を行い、第一の処理結果を得る。そして、２番目に動作する個別処理手段は、入力画像または第一の処理結果に対して第二の個別処理を行い、第二の処理結果を得る。そして、Ｎ番目（最後）のに動作する個別処理手段は、入力画像または第（Ｎ−１）の処理結果に対して第Ｎの個別処理を行い、出力画像を得る。

また、図２９のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

また、図２９のフローチャートにおいて、ステップＳ２３０１における入力画像を受け付けている間にでも、ステップＳ２９０２における個別処理指示の受け付けが可能であることが好適である。つまり、ユーザは、出力画像を視ながら、個別処理指示を変更できることは好適である。また、ステップＳ２３０１における入力画像を受け付けと、ステップＳ２９０２における個別処理指示の受け付けとは、並行して処理され得ることは好適である。

また、図２９のフローチャートの処理の概念を図３０に示す。図３０は、映像信号処理装置５が、入力（入力画像）を汎用処理部５２１における処理結果と１以上の個別処理手段における一つの処理結果とを統合し、出力である出力画像を得ることを示す。また、映像信号処理装置５は、１以上の各個別処理手段が動作するか否かは、ユーザ指示により変化することを示す。

以上、本実施の形態によれば、ユーザの嗜好により、画像処理をカスタマイズし、ユーザ所望の画像を出力できる。

なお、本実施の形態における映像信号処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、例えば、コンピュータを、入力画像を受け付ける入力画像受付部と、オプションの処理である個別処理を行うか否かについてのユーザ指示を受け付ける指示受付部と、前記入力画像に対して、必須の処理である汎用処理を行い、第一処理情報を取得する汎用処理部と、前記ユーザ指示が個別処理を行うとの指示である個別処理指示である場合に、前記入力画像に対して個別処理を行い、第二処理情報を取得する個別処理部と、前記指示受付部が個別処理指示を受け付けた場合に、前記第一処理情報と前記第二処理情報とを用いて出力画像を構成する構成部と、前記指示受付部が個別処理指示を受け付けた場合に、前記構成部が構成した出力画像を出力し、前記指示受付部が個別処理指示を受け付けない場合に、前記第一処理情報を用いて取得される出力画像を出力する出力部として機能させるためのプログラムである。

また、図３１は、本明細書で述べたプログラムを実行して、上述した種々の実施の形態の画像出力装置、または映像信号処理装置を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図３１は、このコンピュータシステム３００の概観図であり、図３２は、システム３００のブロック図である。

図３１において、コンピュータシステム３００は、ＣＤ−ＲＯＭドライブを含むコンピュータ３０１と、キーボード３０２と、マウス３０３と、モニタ３０４とを含む。

図３２において、コンピュータ３０１は、ＣＤ−ＲＯＭドライブ３０１２に加えて、ＭＰＵ３０１３と、ＣＤ−ＲＯＭドライブ３０１２等に接続されたバス３０１４と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ３０１５と、ＭＰＵ３０１３に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ３０１６と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク３０１７とを含む。ここでは、図示しないが、コンピュータ３０１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。

コンピュータシステム３００に、上述した実施の形態の画像出力装置等の機能を実行させるプログラムは、ＣＤ−ＲＯＭ３１０１に記憶されて、ＣＤ−ＲＯＭドライブ３０１２に挿入され、さらにハードディスク３０１７に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ３０１に送信され、ハードディスク３０１７に記憶されても良い。プログラムは実行の際にＲＡＭ３０１６にロードされる。プログラムは、ＣＤ−ＲＯＭ３１０１またはネットワークから直接、ロードされても良い。

プログラムは、コンピュータ３０１に、上述した実施の形態の画像出力装置等の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム３００がどのように動作するかは周知であり、詳細な説明は省略する。

なお、上記プログラムにおいて、情報を送信するステップや、情報を受信するステップなどでは、ハードウェアによって行われる処理、例えば、送信ステップにおけるモデムやインターフェースカードなどで行われる処理（ハードウェアでしか行われない処理）は含まれない。

また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。

また、上記各実施の形態において、一の装置に存在する２以上の通信手段は、物理的に一の媒体で実現されても良いことは言うまでもない。

また、上記各実施の形態において、各処理は、単一の装置によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。

本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

以上のように、本発明にかかる画像出力装置は、一の入力画像に対して異なる処理を行った２以上の画像を同時に出力できるという効果を有し、テレビジョン受信機等として有用である。

１、２ 画像出力装置
１１ 格納部
１２ 受付部
１３、２３ 処理部
１４、２４ 出力部
１１１ 画像格納部
１１２ パラメータ格納部
１２１ 入力画像受付部
１２２ システム特性受付部
１２３ 指示受付部
１３１ 第一画像取得部
１３２、２３２ 第二画像取得部
２３３ 保存処理部
２３４ パラメータ保存部
１３２１ 汎用処理部
１３２２ 個別処理部
３、４、５ 映像信号処理装置
３０ 格納部
３１、４１、５１ 受付部
３２、４２、５２ 処理部
３３、４３ 出力部
３１１、４１１、５１１ 指示受付部
３１２ 入力画像受付部
３２１ 汎用処理部
３２２、５２２、３２２１、３２２２、３２２Ｎ 個別処理部
３２３、４２３、５２３ 構成部
５２２１、５２２２、５２２Ｎ 個別処理手段

Claims (22)

1. 入力画像を受け付ける入力画像受付部と、
   前記入力画像に基づく第一画像を取得する第一画像取得部と、
   前記入力画像または前記第一画像に対して、前記第一画像取得部が行う処理とは異なる画像処理を行い、第二画像を取得する第二画像取得部と、
   前記第一画像と前記第二画像とを出力する出力部とを具備する画像出力装置。
2. 前記第一画像取得部は、
   前記入力画像に対して、第一画像処理を行い、第一画像を取得し、
   前記第二画像取得部は、
   前記入力画像または前記第一画像に対して、前記第一画像処理とは異なる第二画像処理を行い、第二画像を取得する請求項１記載の画像出力装置。
3. 前記第一画像取得部は、
   前記入力画像に対して、必須の処理である汎用処理を行い、第一画像を取得し、
   前記第二画像取得部は、
   前記第一画像に対して、オプションの処理である第二個別処理を行い、第二画像を取得する請求項１または請求項２記載の画像出力装置。
4. 前記第一画像取得部は、
   前記入力画像に対して、必須の処理である汎用処理を行い、当該汎用処理の結果に対して、オプションの処理である第一個別処理を行い、第一画像を取得し、
   前記第二画像取得部は、
   前記入力画像に対して、必須の処理である汎用処理を行い、当該汎用処理の結果に対して、オプションの処理である第二個別処理を行い、第二画像を取得する請求項３記載の画像出力装置。
5. オプションの処理である個別処理を行うことの指示であるユーザ指示が受け付けられた場合に、前記第二画像取得部が前記第二個別処理を行う、または前記第一画像取得部が前記第一個別処理を行う、または前記第二画像取得部が前記第二個別処理を行い、かつ前記第一画像取得部が前記第一個別処理を行う請求項３または請求項４記載の画像出力装置。
6. 前記第一画像取得部は、
   前記入力画像に対して画像処理を行わずに、第一画像を取得し、
   前記第二画像取得部は、
   前記入力画像または前記第一画像に対して、第二画像処理を行い、第二画像を取得する請求項１または請求項２記載の画像出力装置。
7. 前記入力画像または前記第一画像に対して、それぞれ異なる画像処理を行う２以上の第二画像取得部を具備し、
   前記出力部は、
   前記２以上の各第二画像取得部が取得した２以上の第二画像と前記第一画像とを出力する請求項１から請求項６いずれか一項に記載の画像出力装置。
8. 画像が取得される環境における光信号に関する光信号情報と電気信号に関する電気信号情報との対応を示す対応情報が格納される格納部を具備し、
   前記第一画像取得部または前記第二画像取得部は、
   前記入力画像から取得される１以上の電気信号情報に対応する１以上の光信号情報を、前記対応情報を用いて取得し、当該光信号情報を用いて、前記入力画像から前記第一画像または前記第二画像を取得する請求項１から請求項７いずれか一項に記載の画像出力装置。
9. 画像を取得してから画像が出力されるまでの１または２以上のシステム特性を受け付けるシステム特性受付部を具備し、
   前記第一画像取得部または前記第二画像取得部は、
   前記１以上のシステム特性を用いて、前記入力画像から前記第一画像または前記第二画像を取得する請求項１から請求項８いずれか一項に記載の画像出力装置。
10. 前記出力部は、
    前記第一画像と前記第二画像とを同一のディスプレイに出力する請求項１から請求項９いずれか一項に記載の画像出力装置。
11. 前記出力部は、
    前記第一画像と前記第二画像とをＰｉｎＰで同一のディスプレイに出力する請求項１０記載の画像出力装置。
12. 前記第二画像は、前記第一画像の一部の空間領域の画像である請求項１から請求項１１いずれか一項に記載の画像出力装置。
13. 前記第二画像取得部は、
    前記入力画像または前記第一画像の一部の空間領域を特定するユーザ指示が受け付けられた場合、当該ユーザ指示が特定する空間領域の画像に対して、前記第一画像取得部が行う処理とは異なる画像処理を行い、第二画像を取得する請求項１から請求項１２いずれか一項に記載の画像出力装置。
14. 前記第二画像は、前記入力画像または前記第一画像の一部の空間領域の画像であり、２以上の空間領域の画像であり、
    前記第二画像取得部は、
    前記２以上の各空間領域の第二画像を取得し、
    前記出力部は、
    前記第一画像と前記２以上の第二画像とを出力する請求項１から請求項１３いずれか一項に記載の画像出力装置。
15. 画像が格納される画像格納部と、
    前記入力画像または第一画像または第二画像の全部または一部を前記画像格納部に保存する保存処理部とをさらに具備し、
    前記第二画像取得部は、
    前記画像格納部に格納されている画像に対して、前記第一画像取得部が行う処理とは異なる画像処理を行い、第二画像を取得し、
    前記出力部は、
    前記第一画像と、当該第一画像とは異なる時に対応する入力画像に基づいて取得された第二画像とを同時に出力する請求項１から請求項１４いずれか一項に記載の画像出力装置。
16. 前記第二画像の表示領域の位置またはサイズが動的に変化し得る請求項１から請求項１５いずれか一項に記載の画像出力装置。
17. 前記第二画像取得部は、
    前記入力画像または前記第一画像または前記第二画像の前記一部の空間領域を含む領域の画像の１以上の特徴量を取得し、当該１以上の特徴量によって異なる処理を行う請求項１から請求項１６いずれか一項に記載の画像出力装置。
18. 前記第二画像取得部は、
    ２以上の個別処理のうちの１以上の個別処理を選択するユーザ指示が受け付けられた場合に、当該選択された１以上の個別処理を、前記入力画像または前記第一画像の一部の空間領域の画像に対して行い、第二画像を取得する請求項１から請求項１６いずれか一項に記載の画像出力装置。
19. 前記第二画像取得部は、
    前記第一画像から一部の空間領域の画像を切り出し、第二画像を取得する請求項１から請求項１８いずれか一項に記載の画像出力装置。
20. 前記第一画像取得部または前記第二画像取得部が行う処理において使用する１以上のパラメータが格納されるパラメータ格納部と、
    １以上のパラメータが受け付けられた場合に、当該１以上のパラメータを前記パラメータ格納部に保存するパラメータ保存部とをさらに具備し、
    前記第一画像取得部または前記第二画像取得部は、
    前記パラメータ格納部の１以上のパラメータを用いて、第一画像または第二画像を取得する請求項１から請求項１９いずれか一項に記載の画像出力装置。
21. 入力画像受付部、第一画像取得部、第二画像取得部、および出力部により実現される画像出力方法であって、
    前記入力画像受付部が、入力画像を受け付ける入力画像受付ステップと、
    前記第一画像取得部が、前記入力画像に基づく第一画像を取得する第一画像取得ステップと、
    前記第二画像取得部が、前記入力画像または前記第一画像に対して、前記第一画像取得ステップで行われる処理とは異なる画像処理を行い、第二画像を取得する第二画像取得ステップと、
    前記出力部が、前記第一画像と前記第二画像とを出力する出力ステップとを具備する画像出力方法。
22. コンピュータを、
    入力画像を受け付ける入力画像受付部と、
    前記入力画像に基づく第一画像を取得する第一画像取得部と、
    前記入力画像または前記第一画像に対して、前記第一画像取得部が行う処理とは異なる画像処理を行い、第二画像を取得する第二画像取得部と、
    前記第一画像と前記第二画像とを出力する出力部として機能させるためのプログラム。