WO2009147795A1

WO2009147795A1 - 映像処理システム

Info

Publication number: WO2009147795A1
Application number: PCT/JP2009/002257
Authority: WO
Inventors: 山本成彰; 木下俊; 谷内弘志; 貝田邦尋; 石田和之
Original assignee: パナソニック株式会社
Priority date: 2008-06-05
Filing date: 2009-05-21
Publication date: 2009-12-10
Also published as: JPWO2009147795A1; US20110032422A1

Abstract

　ＨＤサイズの画像データを複数分割して４Ｋ×２Ｋ画像データへとアップコンバート処理及び画像処理する映像処理システムにおいて、ＨＤ信号に同期している４個の画像処理部１０１～１０４は、各々、１つの画像領域を４分割した画像データのうち１つを処理する。この際、画像処理部１０１～１０４は、各々、前記４分割された画像領域において隣接する分割境界面の画像データを、各ブランキング期間を用いて、各画像処理部１０１～１０４相互間でオーバーラップして処理する。各画像処理部１０１～１０４による画像処理後は、そのオーバーラップしているデータを削除し、その後に、４分割された領域の画像データを合成する。従って、複数分割した画像の分割境界面の処理は、画像の劣化が生じることなく行われる。

Description

映像処理システム

　本発明は、分割画像に対して画像処理を行って出力する映像処理システムに関するものである。

　Ｂｌｕ－ｒａｙＤｉｓｃの普及やデジタル放送開始など、映像データがＨＤ（High Definition）解像度への高精度化が進んでいる。それに伴い、表示デバイス（プラズマパネル、液晶パネル、プロジェクタなど）の解像度も高精度化への進化を遂げており、ＨＤ解像度の表示デバイスが一般的になってきている。表示画面の拡大化と共に表示デバイスのより高精度への進化は止まることなく、ＨＤ解像度の４倍の４Ｋ×２Ｋ解像度のパネルが開発されている。今後、ＨＤ映像ソース（Ｂｌｕ－ｒａｙ、デジタル放送などの映像データ）をより高精度（４Ｋ×２Ｋ解像度）の表示デバイスへ映し出すために、ＨＤから４Ｋ×２Ｋに画像処理、つまりアップコンバートさせる技術が求められてくることが想像に難くない。

　従来のＨＤ処理システムにおいて、４Ｋ×２Ｋサイズの画像を処理させようとした場合、処理性能を向上させるためＣＬＫ周波数を４倍にして対応することが考えられるが、これには微細プロセスの進化、高速伝送インターフェイスの進化を伴い、現実的な解ではない。

　そこで、従来では、４Ｋ×２Ｋシステムのような超解像度の画像処理に関しては、図１１に示すような構成を有している。尚、このような従来の４Ｋ×２Ｋ画像処理システムは、例えば、特許文献１に記載されている。

　図１１において、このシステムでは、ＨＤサイズの４つの画像処理部１１０５～１１０８を有しており、入力画像データを４分割して処理を行う。擬似画素挿入部１１０１～１１０４は、前記画像処理部１１０５～１１０８の前段に設けられている。画像切り取り部１０９～１１２は、前記画像処理部１１０５～１１０８の後段に設けられている。

　前記擬似画素挿入部１１０１～１１０４は、画像データの分割境界面において、分割映像から演算により生成した擬似画素を有効画素領域の外側に挿入する処理を行う。その後、画像処理部１１０５～１１０８において処理を行うことにより、分割境界面の処理を端点処理でなく、擬似画素を用いた空間的な連続処理を実施することができる。後段の画像切り取り部１１０９～１１１２では、前段において挿入した擬似画素データ領域分を削除する。

　以上のような構成により、従来の超解像度の画像処理システムは、分割画像について、再合成時に分割境界面の画像の乱れを低減させる工夫が図られていた。

特開２００７－１０８４４７号公報

　しかしながら、前記の構成における分割境界面の処理については、有効画素領域から生成した擬似画素を用いており、擬似画素の生成の方法如何では、擬似画素生成しない場合と同様に、後段の画像処理部を実行した後、分割境界面の画像の乱れを発生させてしまう場合があるという問題点を有していた。

　本発明は、前記課題に鑑みてなされたものであり、その目的は、映像データを分割して画像処理する映像処理システムにおいて、分割境界面の画像劣化をなくし、より高画質処理を行うことにある。

　前記目的を達成するために、本発明では、ＨＤ（Hign Definition）サイズの処理性能を持つＨＤの同期信号に同期した画像処理部をＮ個有する場合に、複数の領域に分割された各々の分割映像データの処理について、その分割領域に隣接する領域との画像境界面での画像処理をオーバーラップさせて行うこととする。

　具体的に、本発明の映像処理システムは、ＨＤ（Hign Definition）サイズの処理性能を持つＨＤの同期信号に同期したＮ個（Ｎは２以上の整数）の画像処理部と、前記Ｎ個の画像処理部のデータ転送領域を制御する領域分割計算部と、前記Ｎ個の画像処理部の画像処理モードを制御する画像処理モード制御部とを備え、Ｎ分割した映像データを各々前記Ｎ個の画像処理部で処理し、その後段においてその処理されたＮ個の画面を合成することを特徴とする。

　本発明は、前記映像処理システムにおいて、前記画像処理部は、前記領域分割計算部によりＮ分割された領域同士の隣り合う画像境界面のオーバーラップ領域を計算するオーバーラップ領域計算部と、前記オーバーラップ領域計算部の計算結果をもとに映像データのアクティブ期間を生成するアクティブ期間生成部と、前記アクティブ期間に対応するデータ転送を要求するデータ要求生成部と、境界面映像データをリサイズするリサイズ処理部と、前記画像処理モード制御部でモード設定される高画質化画質調整部と、オーバーラップ領域データを削除する画像切り取り部とにより構成されることを特徴とする。

　以上により、発明では、分割映像データの画像境界面の処理をオーバーラップさせて行うので、領域境界面の端点処理により後段で画像合成するときの画像境界面の乱れがなくなる。

　本発明は、前記映像処理システムにおいて、前記Ｎ個の画像処理部でのオーバーラップ領域の画像処理では、ＨＤ信号のブランキング期間を用いることを特徴とする。

　以上により、本発明では、オーバーラップ領域の画像処理をＨＤ信号のブランキング期間を用いて行うので、オーバーラップ領域の画像処理増加分が吸収される。

　本発明は、前記映像処理システムにおいて、前記高画質化画質調整部は、映像の特徴量や動き検出結果の累積値を蓄積する機構を有し、各々の分割画像に対する累積値は、前記画像処理モード制御部により統合、判断され、その判断結果は前記高画質化画質調整部での再度のモード設定に使用されることを特徴とする。

　以上により、本発明では、分割された画像処理においても、同じ画像処理モードで動作させることができる。

　本発明は、前記映像処理システムにおいて、前記画像処理部は、複数画像プレーン合成可能な合成部を有し、前記領域分割計算部は、画面合成座標から合成画面の分割座標、サイズ情報を計算し、その計算結果は前記画像処理部のデータ要求生成部へ反映されて、Ｎ個に分割された映像データについて画面合成を行うことを特徴とする。

　以上により、本発明では、ＰｉｎＰ（Ｐicture in Picture）などの複数画面合成やＯＳＤ（On Screen Display）重畳を実現することができる。

　本発明の映像処理システムは、ＨＤ（Hign Definition）サイズの処理性能を持つＨＤの同期信号に同期したＮ個（Ｎは２以上の整数）の画像処理部と、前記Ｎ個の画像処理部の画像処理モードを制御する画像処理モード制御部とを備え、同一映像データの処理画像を前記Ｎ個の画像処理部で行い、前記画像処理モード制御部からは、各々別々の画像処理モードを前記Ｎ個の画像処理部に設定し、前記Ｎ個の画像処理部での画像処理の後段においてＮ個の画面を合成することを特徴とする。

　以上により、本発明では、同一の画像をＮ個の異なる画像処理モードで処理したＮ個の分割画像を合成して１画面で表示することができ、画像処理モードの比較をすることができる。

　本発明の映像処理システムは、ＨＤ（Hign Definition）サイズの処理性能を持つＨＤの同期信号に同期したＮ個（Ｎは２以上の整数）の画像処理部を有し、前記Ｎ個の画像処理部の各々の動作クロックを個別に停止させることができることを特徴とする。

　以上により、本発明では、ＨＤサイズのデータをＨＤサイズで出力する場合には、（Ｎ－１）個の画像処理部の動作クロックを停止することにより、低消費化することができる。

　以上説明したように、本発明によれば、４Ｋ×２Ｋへの画像処理として、ＨＤサイズの画像処理部をＮ個用いて、Ｎ分割した入力画像データの各々を画像処理した後、それ等の分割画像データを合成するときの画像境界面の乱れをなくすことができる。

　また、本発明によれば、４Ｋ×２Ｋへの画像処理として、同一の画像をＮ個の異なる画像処理モード処理したＮ個の分割画像を合成して、１画面で表示したので、画像処理モードの比較をすることができる。

　更に、本発明によれば、４Ｋ×２Ｋへの画像処理として、ＨＤサイズの画像処理部をＮ個用いた場合にも、ＨＤサイズのデータをＨＤサイズで出力する要求がある場合には、（Ｎ－１）個の画像処理部の動作クロックを停止することにより、低消費化を図ることができる。

図１は本発明の第１の実施形態の映像処理システムを示す図である。図２は同映像処理システムに備える画像処理部の構成を示す図である。図３は同映像処理システムの映像データの分割方法を示す図である。図４は同画像処理部のタイミングチャートを示す図である。図５は本発明の第２の実施形態の映像処理システムを示す図である。図６は同映像処理システムに備える画像処理部の構成を示す図である。図７は同映像処理システムの映像データの分割方法を示す図である。図８は本発明の第３の実施形態の映像処理システムを示す図である。図９は同映像処理システムに備える画像処理モード制御部の構成を示す図である。図１０は本発明の第４の実施形態の映像処理システムを示す図である。図１１は従来の映像処理システムを示す図である。

　以下、本発明の実施形態を、図面を参照しながら説明する。

　（実施形態１）
　以下、本発明の実施形態１について、図１～図４を用いて説明する。

　図１、図２は、本発明の実施形態１における映像処理システムの構成を示す図である。図３は、実施形態１における画像分割を表す図である。図４は、本発明の実施形態１の映像処理システムで実現されるタイミングチャート図である。

　先ず、図１を用いて、実施形態１のＨＤ（High Definition）の画像データを４Ｋ×２Ｋ解像度へと拡大処理を行う映像処理システム１００の構成について説明する。本実施形態１では、ＨＤサイズの処理性能を持ち、ＨＤの同期信号に同期した４個の画像処理部１０１～１０４を有しており、その４個の画像処理部１０１～１０４のデータ転送領域を制御する領域分割計算部１０５と、画像処理部１０１～１０４の画像処理モードを制御する画像処理モード制御部１０６とで構成されている。

　本実施形態１の各々の画像処理部１０１～１０４の構成について、図２を用いて説明する。領域分割計算部１０５から４分割し隣り合う画像境界面のオーバーラップ領域を計算するオーバーラップ領域計算部１１２と、このオーバーラップ領域計算部１１２をもとに画像処理部の処理アクティブ期間を生成するアクティブ期間生成部１１１と、アクティブ期間に対応するデータ転送を要求するデータ要求生成部１１０とを有し、境界面映像データをリサイズするリサイズ部（リサイズ処理部）１０７と、前記画像処理モード制御部１０６でモード設定される高画質化画質調整部１０８と、オーバーラップ領域データを削除する画像切り取り部１０９とで構成されている。

　以上のように構成された映像処理システムについて、以下、その動作を説明する。デジタル放送、又はＨＤ対応Ｄｉｓｋなどにおいて、復号化された映像データが、ＤＲＡＭ（Dynamic Random Access Memory）などの外部メモリー上に置かれている場合を考える。外部メモリー上の復号化された映像データ位置が、領域分割計算部１０５に設定される。４分割した映像データを各々の画像処理部１０１～１０４にデータ転送するために、分割データ位置を各々の画像処理部に設定する。このとき、分割方法は、ＨＤサイズ（１９２０×１０８０）をＱＨＤサイズ（９６０×５４０）の４領域（Ａ、Ｂ、Ｃ、Ｄ）に分割する。

　前記４領域への画像分割について、図３を用いて説明する。ここで、左上の領域を領域Ａ、右上の領域を領域Ｂ、右下の領域を領域Ｃ、左下の領域を領域Ｄとする。また、各々の転送開始位置を領域Ａ（Ｘａ，Ｙａ）＝（０，０）、領域Ｂ（Ｘｂ，Ｙｂ）＝（９６０，０）、領域Ｃ（Ｘｃ，Ｙｃ）＝（９６０，５４０）、領域Ｄ（Ｘｄ，Ｙｄ）＝（０，５４０）とする。画像処理部１０１は、領域Ａを処理する。画像処理部１０２は、領域Ｂを処理する。画像処理部１０３は、領域Ｃを処理する。画像処理部１０４は、領域Ｄを処理する。分割データ位置を受け取った画像処理部では、各々の分割位置を受け取り、分割境界面に関するオーバーラップ領域（α画素、βライン）を鑑みた計算をオーバーラップ領域計算部１１２において行い、それに応じたデータ転送サイズ、位置をデータ要求生成部１１０に反映し、また画像処理サイズもリサイズ部１０７、高画質化画質調整部１０８へと反映する。ここで、α、βは、少なくとも画像処理部におけるリサイズ部１０７、高画質化画質調整部１０８における水平方向、垂直方向の処理のＴａｐ数に鑑みて対応させるようにする。

　領域Ａの画像処理部１０１の場合、分割データ位置（Ｘａ，Ｙａ）、データ転送サイズ（（９６０＋α）画素、（５４０＋β）ライン分）がデータ要求生成部１１０、リサイズ部１０７、高画質化画質調整部１０８へと反映される。同様に、領域Ｂの画像処理部１０２の場合、分割データ位置（Ｘｂ－α、Ｙｂ）、データ転送サイズ（（９６０＋α）画素、（５４０＋β）ライン分）が反映され、領域Ｃの画像処理部１０３の場合、分割データ位置（Ｘｃ－α、Ｙｂ－β）、データ転送サイズ（（９６０＋α）画素、（５４０＋β）ライン分）が反映され、領域Ｄの画像処理部１０４の場合、分割データ位置（Ｘｄ、Ｙｄ－β）、データ転送サイズ（（９６０＋α）画素、（５４０＋β）ライン分）が反映される。

　画像処理部の処理アクティブ期間を生成するアクティブ期間生成部１１１に関しても、前記オーバーラップ領域計算部１１２から、オーバーラップ領域の情報を受け取り、各々の画像処理領域に応じたアクティブ期間を生成する。

　図４は、垂直方向の各画像処理部１０１～１０４の処理アクティブ期間と処理ラインの関係を表すタイミングチャートである。領域Ａ、領域Ｂに関しては、下側領域をβライン領域分オーバーラップさせて、画像処理を実行する。このとき、オーバーラップさせた下側領域の画像処理は、ＨＤの垂直同期信号の下側の垂直ブランキング期間を用いて行う。領域Ｃ、領域Ｄに関しては、上側領域をβライン領域分オーバーラップさせて、画像処理を実行する。このとき、オーバーラップさせた上側領域の画像処理は、ＨＤの垂直同期信号の上側の垂直ブランキング期間を用いて行うこととする。水平方向の処理においてもＨＤの水平同期信号のブランキング期間を用いて水平方向のオーバーラップ領域を含む画素の画像処理を実施する。

　前記リサイズ部１０７において、（（９６０＋α）画素、（５４０＋β）ライン分）から、（２×（９６０＋α）画素、２×（５４０＋β）ライン分）に拡大された後に、画像処理モード制御部１０６でモードが設定された高画質化画質調整部１０８において、オーバーラップ領域を含む高画質化画質処理を実施した後、画像切り取り部１０９では、ＨＤサイズ（１９２０×１０８０）に切り取りを行う。このとき、切り取られるライン及び画素は、垂直及び水平ブランキングの期間のものである。その後、各々の画像処理部１０１～１０４で同様に処理されたＨＤサイズに拡大された４領域のデータは、当該映像処理システム後に、４Ｋ×２Ｋサイズの映像として合成される。このとき、４領域の境界面は、前記オーバーラップ領域を用いて、端点処理を行うことなく、連続した映像データを用いて画像処理を実施しているため、合成した時の境界面が乱れることはない。

　また、高画質化画質調整部１０８において、映像の特徴量や動き検出結果の累積値を蓄積する機構を有し、それを元に画像処理モードを決定する画質調整機構（図示せず）を有している場合には、各々の分割画像に対する累積値を前記画像処理モード制御部１０６で統合、判断し、各々の高画質化画質調整部１０８に再度モード設定を行うことにより、分割された画像処理においても、各々同じ画像処理モードで動作させることができる。これにより、分割された映像が別々の画像処理モードで画像処理されて、合成時に不自然な画像になることはない。

　本実施形態１によれば、前記の構成により、映像データの分割時に、画像処理の処理Ｔａｐ数に鑑みたオーバーラップ領域をＨＤの水平、垂直同期信号のブランキング期間を用いて画像処理することにより、分割境界面の画像処理を端点として扱うことなくリサイズ、高画質化処理を実施することができる。その後本来のアクティブ期間のみのデータのみを出力することにより、１つの映像データを分割して、別々の画像処理部１０１～１０４で処理を実施した後に合成しても、境界面の乱れを発生させることはないという効果を奏する。

　また、前記高画質化画質調整部１０８で映像の特徴量や動き検出結果の累積値を蓄積する機構を有し、各々の分割画像に対する累積値を前記画像処理モード制御部１０６で統合、判断し、高画質化画質調整部１０８に再度モード設定を行うことにより、分割された画像処理においても、同じ画像処理モードで動作させることができ、合成時に別々の画像処理モードを実施した映像を合成することを避けることができるという効果を得られる。

　また、本実施形態１中の外部メモリー上の復号化された映像データのサイズは、ＨＤ（１９２０×１０８０）以外に、インターレース素材（１９２０×５４０）やＳＤサイズや４Ｋ×２Ｋであっても良い。

　また、本実施形態１中の画像処理部１０１～１０４内において、リサイズ部１０７、高画質化画質調整部調整部１０８のデータパスの順序は、逆であっても良い。

　また、本実施形態１では、映像データを４分割して、４つの画像処理部を有しているが、４つに限定するものではなく、映像データをＮ（Ｎは２以上の整数）分割して、Ｎ個の画像処理部を有するシステムであっても良い。

　（実施形態２）
　次に、本発明の実施形態２について、図５～図７を用いて説明する。

　図５、図６は、本発明の実施形態２における映像処理システムの構成を示す図である。図７は、本実施形態２における画像分割を表す図である。

　先ず、図５を用いて、実施形態２のＨＤ（High Definition）の画像データとＳＤ（Standard Definition）の画像データをＰｉｎＰ（Picture in Picture）する映像を４Ｋ×２Ｋ解像度へと拡大処理を行う映像処理システム５００の構成について説明する。

　本実施形態２では、ＨＤサイズの処理性能を持ち、ＨＤの同期信号に同期した４個の画像処理部を５０１～５０４有しており、その４個の画像処理部のデータ転送領域を制御する領域分割計算部５０５と、画像処理部５０１～５０４の画像処理モードを制御する画像処理モード制御部５０６とで構成されている。

　本実施形態２の各々の画像処理部５０１～５０４の構成について図６を用いて説明する。領域分割計算部５０５の出力から、４分割し、隣り合う画像境界面のオーバーラップ領域を計算するオーバーラップ領域計算部５１５と、オーバーラップ領域計算部５１５の計算結果をもとに画像処理部５０１～５０４の処理アクティブ期間を生成するアクティブ期間生成部５１４と、アクティブ期間に対応するデータ転送を要求する２つのデータ要求生成部５１２、５１３とを有し、境界面映像データをリサイズする２つのリサイズ部５０７、５０８と、複数画像プレーン合成可能な合成部５０９とを有し、前記画像処理モード制御部５０６でモード設定される高画質化画質調整部５１０と、オーバーラップ領域データを削除する画像切り取り部５１１とにより、構成されている。

　以上のように構成された映像処理システムについて、以下、その動作を説明する。デジタル放送、又はＨＤ対応Ｄｉｓｋなどにおいて、復号化された映像データが、ＤＲＡＭ（Dynamic Random Access Memory）などの外部メモリー上にＨＤサイズのものが１つとＳＤサイズのものが１つ置かれている場合を考える。このとき、最終的にＳＤサイズの映像がＨＤサイズの映像の（ｉ，ｊ）位置を基点にＰｉｎＰされることとする。

　外部メモリー上の復号化された各々の映像データ位置が、領域分割計算部５０５に設定される。４分割した映像データを各々の画像処理部５０１～５０４にデータ転送するために、分割データ位置を各々の画像処理部５０１～５０４に設定する。このとき、図７に示すように、分割方法は、ＨＤサイズ（１９２０×１０８０）をＱＨＤサイズ（９６０×５４０）の４領域（Ａ、Ｂ、Ｃ、Ｄ）に分割を行う。ここで、左上の領域を領域Ａ、右上の領域を領域Ｂ、右下の領域を領域Ｃ、左下の領域を領域Ｄとする。また、各々の転送開始位置を領域Ａ（Ｘａ，Ｙａ）＝（０，０）、領域Ｂ（Ｘｂ，Ｙｂ）＝（９６０，０）、領域Ｃ（Ｘｃ，Ｙｃ）＝（９６０，５４０）、領域Ｄ（Ｘｄ，Ｙｄ）＝（０，５４０）である。画像処理部５０１は、領域Ａを処理する。画像処理部５０２は、領域Ｂを処理する。画像処理部５０３は、領域Ｃを処理する。画像処理部５０４は、領域Ｄを処理する。

　ＳＤサイズ（７２０×４８０）の分割方法については、画面合成位置、合成画面サイズから、領域分割計算部５０５において計算され、画像処理部５０１～５０４の転送を制御する。

　１）（ｉ，ｊ）が領域Ａ、（ｉ＋７２０，ｊ）が領域Ｂ、（ｉ，ｊ＋４８０）が領域Ｃに存在する場合、つまり（（９６０－７２０）＜ｉ＜９６０、（５４０－４８０）＜ｊ＜５４０）のとき、ＳＤサイズの転送開始位置は、
（Ｐａ，Ｑａ）＝（０，０）、
（Ｐｂ，Ｑｂ）＝（９６０－ｉ，０）、
（Ｐｃ，Ｑｃ）＝（９６０－ｉ，５４０－ｊ）、
（Ｐｄ，Ｑｄ）＝（０，５４０－ｊ）
とする。

　また、転送画像サイズについては、
ＳＤａは（９６０－ｉ）×（５４０－ｊ）、
ＳＤｂは（７２０－（９６０－ｉ））×（５４０－ｊ）
ＳＤｃは（７２０－（９６０－ｉ））×（４８０－（５４０－ｊ））
ＳＤｄは（９６０－ｉ）×（４８０－（５４０－ｊ））
であり、各々の領域Ａ、領域Ｂ、領域Ｃ、領域Ｄにおける分割画面の画面合成位置は、
（ｉａ，ｊａ）＝（ｉ，ｊ）、
（ｉｂ，ｊｂ）＝（０，ｊ）、
（ｉｃ，ｊｃ）＝（０，０）、
（ｉｄ，ｊｄ）＝（ｉ，０）
である。

　２）（ｉ，ｊ）が領域Ａ、（ｉ＋７２０，ｊ）が領域Ａ、（ｉ，ｊ＋４８０）が領域Ｃに存在する場合、つまり（ｉ≦（９６０－７２０）、（５４０－４８０）＜ｊ＜５４０）のとき、領域Ｂ、領域Ｃに対しては、画面合成されることはないので、画像処理部５０２、５０３に分割されたＳＤサイズ画面は転送されない。領域Ａ、領域Ｄに転送されるＳＤサイズの転送開始位置は、
（Ｐａ，Ｑａ）＝（０，０）、
（Ｐｄ，Ｑｄ）＝（０，５４０－ｊ）
とする。

　また、転送画像サイズについては、
ＳＤａは７２０×（５４０－ｊ）、
ＳＤｄは７２０×（４８０－（５４０－ｊ））
であり、各々の領域Ａ、領域Ｄにおける分割画面の画面合成位置は、
（ｉａ，ｊａ）＝（ｉ，ｊ）、
（ｉｄ，ｊｄ）＝（ｉ，０）
である。

　３）（ｉ，ｊ）が領域Ａ、（ｉ＋７２０，ｊ）が領域Ｂ、（ｉ，ｊ＋４８０）が領域Ａに存在する場合、つまり（（９６０－７２０）＜ｉ＜９６０，ｊ≦（５４０－４８０））のとき、領域Ｃ、領域Ｄに対しては、画面合成されることはないので、画像処理部５０３、５０４に分割されたＳＤサイズ画面は転送されない。領域Ａ、Ｂに転送されるＳＤサイズの転送開始位置は、
（Ｐａ，Ｑａ）＝（０，０）、
（Ｐｂ，Ｑｂ）＝（９６０－ｉ，０）
とする。

　また、転送画像サイズについては、
ＳＤａは（９６０－ｉ）×５４０、
ＳＤｂは（７２０－（９６０－ｉ））×５４０
であり、各々の領域Ａ、領域Ｂにおける分割画面の画面合成位置は、
（ｉａ，ｊａ）＝（ｉ，ｊ）、
（ｉｂ，ｊｂ）＝（０，ｊ）
である。

　４）（ｉ，ｊ）が領域Ａ、（ｉ＋７２０，ｊ）が領域Ａ、（ｉ，ｊ＋４８０）が領域Ａに存在する場合、つまり（ｉ≦（９６０－７２０），ｊ≦（５４０－４８０））のとき、領域Ｂ、領域Ｃ、領域Ｄに対しては、画面合成されることはないので、画像処理部５０２、５０３、５０４に分割されたＳＤサイズ画面は転送されない。領域Ａに転送されるＳＤサイズの転送開始位置は、
（Ｐａ，Ｑａ）＝（０，０）
とする。

　また、転送画像サイズについては、
ＳＤａは７２０×４８０
であり、領域Ａにおける分割画面の画面合成位置は、
（ｉａ，ｊａ）＝（ｉ，ｊ）
である。

　５）（ｉ，ｊ）が領域Ｂ、（ｉ，ｊ＋４８０）が領域Ｃに存在する場合、つまり（＜９６０≦ｉ，（５４０－４８０）＜ｊ＜５４０）のとき、領域Ａ、領域Ｄに対しては、画面合成されることはないので、画像処理部５０１、５０４に分割されたＳＤサイズ画面は転送されない。領域Ｂ、領域Ｃに転送されるＳＤサイズの転送開始位置は、
（Ｐｂ，Ｑｂ）＝（０，０）、
（Ｐｃ，Ｑｃ）＝（０，５４０－ｊ）
とする。

　また、転送画像サイズについては、
ＳＤｂは７２０×（５４０－ｊ）
ＳＤｃは７２０×（４８０－（５４０－ｊ））
であり、各々の領域Ｂ、領域Ｃにおける分割画面の画面合成位置は、
（ｉｂ，ｊｂ）＝（ｉ，ｊ）、
（ｉｃ，ｊｃ）＝（ｉ，０）
である。

　６）（ｉ，ｊ）が領域Ｂ、（ｉ，ｊ＋４８０）が領域Ｂに存在する場合、つまり（ｉ≦（９６０－７２０），ｊ≦（５４０－４８０））のとき、領域Ａ、領域Ｃ、領域Ｄに対しては、画面合成されることはないので、画像処理部５０１、５０３、５０４に分割されたＳＤサイズ画面は転送されない。領域Ａに転送されるＳＤサイズの転送開始位置は、
（Ｐｂ，Ｑｂ）＝（０，０）
とする。

　また、転送画像サイズについては、
ＳＤｂは７２０×４８０
であり、領域Ｂにおける分割画面の画面合成位置は、
（ｉｂ，ｊｂ）＝（ｉ，ｊ）
である。

　７）（ｉ，ｊ）が領域Ｄ、（ｉ＋７２０，ｊ）が領域Ｃに存在する場合、つまり（（９６０－７２０）＜ｉ＜９６０，５４０≦ｊ）のとき、領域Ａ、領域Ｂに対しては、画面合成されることはないので、画像処理部５０１、５０２に分割されたＳＤサイズ画面は転送されない。領域Ｃ、領域Ｄに転送されるＳＤサイズの転送開始位置は、
（Ｐｃ，Ｑｃ）＝（０，０）、
（Ｐｄ，Ｑｄ）＝（９６０－ｉ，０）
とする。

　また、転送画像サイズについては、
ＳＤｃは（７２０－（９６０－ｉ））×５４０
ＳＤｄは（９６０－ｉ）×５４０
であり、各々の領域Ｃ、領域Ｄにおける分割画面の画面合成位置は、
（ｉｃ，ｊｃ）＝（０，ｊ）、
（ｉｄ，ｊｄ）＝（０，０）
である。

　８）（ｉ，ｊ）が領域Ｄ、（ｉ＋７２０，ｊ）が領域Ｄに存在する場合、つまり（ｉ≦（９６０－７２０），５４０≦ｊ）のとき、領域Ａ、領域Ｂ、領域Ｃに対しては、画面合成されることはないので、画像処理部５０１、５０２、５０３に分割されたＳＤサイズ画面は転送されない。領域Ｄに転送されるＳＤサイズの転送開始位置は、
（Ｐｄ，Ｑｄ）＝（０，０）
とする。

　また、転送画像サイズについては、
ＳＤｄは７２０×４８０、
であり、領域Ｂにおける分割画面の画面合成位置は、
（ｉｄ，ｊｄ）＝（ｉ，ｊ）
である。

　９）（ｉ，ｊ）が領域Ｃに存在する場合、つまり（９６０≦ｉ，５４０≦ｊ）のとき、領域Ａ、領域Ｂ、領域Ｄに対しては、画面合成されることはないので、画像処理部５０１、５０２、５０４に分割されたＳＤサイズ画面は転送されない。領域Ｄに転送されるＳＤサイズの転送開始位置は、
（Ｐｄ，Ｑｄ）＝（０，０）
とする。

　また、転送画像サイズについては、
ＳＤｄは７２０×４８０
であり、領域Ｂにおける分割画面の画面合成位置は、
（ｉｄ，ｊｄ）＝（ｉ，ｊ）
である。

　ＨＤサイズの映像、ＳＤサイズの映像の各々の分割データ位置、転送サイズ、画面合成位置を受け取った各々の画像処理部５０１～５０４では、分割境界面に関するオーバーラップ領域（α画素、βライン）を鑑みた計算をオーバーラップ領域計算部５１５において行い、それに応じたデータ転送サイズ、位置をデータ要求生成部５１２、５１３に反映し、また画像処理サイズもリサイズ部５０７、５０８、高画質化画質調整部５１０へと反映する。ここで、α、βは、少なくとも画像処理部におけるリサイズ部５０７、５０８、高画質化画質調整部５１０における水平方向、垂直方向の処理のＴａｐ数に鑑みて対応させるようにする。

　前記リサイズ部５０７、５０８により、ＨＤサイズの分割映像データは、（（９６０＋α）画素、（５４０＋β）ライン）から、（２×（９６０＋α）画素、２×（５４０＋β）ライン）に拡大され、ＳＤサイズの分割映像データも各々の分割データサイズを（ｕ画素、ｖライン）とすると、（２×（ｕ＋α）画素、２×（ｖ＋β）ライン）に拡大する。その後、合成部５０９において、画面合成位置（２ｉｎ，２ｊｎ）（ｎ＝ａ，ｂ，ｃ，ｄ）を基に画面合成を行う。画像処理モード制御部５０６でモードが設定された高画質化画質調整部５１０において、オーバーラップ領域を含む高画質化画質処理を実施した後、画像切り取り部５１１では、ＨＤサイズ（１９２０×１０８０）に切り取りを行う。このとき、切り取られるライン及び画素は、垂直及び水平ブランキングの期間のものである。その後、各々の画像処理部５０１～５０４で同様に処理されたＨＤサイズに拡大された４領域のデータは、当該映像処理システム後に、４Ｋ×２Ｋサイズの映像として合成される。このとき、４領域の境界面は、前記オーバーラップ領域を用いて、端点処理を行うことなく、連続した映像データを用いて画像処理を実施しているため、合成した時の境界面の乱れることなく、ＨＤサイズとＳＤサイズとのＰｉｎＰを実現することができる。

　本実施形態２によれば、前記の構成により、画面合成位置、合成画面サイズから、領域分割計算部５０５において計算し、画像処理部５０１～５０４の転送を制御することにより、２つの映像データを各々４分割して、別々の画像処理部５０１～５０４で各々２画面合成処理を実施した後に、各々４画面を合成しても、境界面の乱れを発生させることはないという効果を奏する。

　また、本実施形態２中の外部メモリー上の復号化された映像データのサイズは、ＨＤ（１９２０×１０８０）、ＳＤ（７２０×４８０）以外に、インターレース素材（１９２０×５４０）や４Ｋ×２Ｋであっても良い。

　また、本実施形態２中の外部メモリー上の復号化された映像データのサイズは、映像データ以外にＯＳＤ（On Screen Display）データであっても良い。

　また、本実施形態２中の２画面合成方法は、ＰｉｎＰ（Picture in Picture）以外にも、ＯＳＤ（On Screen Display）データの重畳であっても良い。

　また、本実施形態２では、２つの映像データを４分割して、４つの画像処理部を有しているが、４つに限定するものではなく、映像データをＮ（Ｎは２以上の整数）分割して、Ｎ個の画像処理部を有するシステムであっても良い。

　（実施形態３）
　以下、本発明の実施形態３について、図８及び図９を用いて説明する。

　図８、図９は、本発明の実施形態３における映像処理システムの構成を示す図である。

　図８を用いて、実施形態３のＨＤ（High Definition）から４Ｋ×２Ｋ解像度に拡大する映像処理システムにおいて、ユーザーが好みの画質調整を比較しながら実行、選択できるシステム８００の構成を説明する。実施形態３では、ＨＤサイズの処理性能を持ち、ＨＤの同期信号に同期した４個の画像処理部８０１～８０４を有しており、画像処理部８０１～８０４の画像処理モードを制御する画像処理モード制御部８０５を有する。

　本実施形態３の画像処理モード制御部８０５の構成を図９に示す。画像処理部８０１～８０４の画質調整の設定パラメータ群を保持している画質調整パラメータテーブル８０６と、そのパラメータテーブルから設定値を引き抜くためのアドレスを生成する画質調整パラメータ選択部８０７とを有した構成をしている。

　以上のように構成された映像処理システムについて、以下、その動作を説明する。

　デジタル放送、又はＨＤ対応Ｄｉｓｋなどにおいて、復号化された映像データが、ＤＲＡＭ（Dynamic Random Access Memory）などの外部メモリー上にＨＤサイズのものが置かれており、これをユーザーが好みの画質調整モードを選択するために４種類の画質調整を行ったＨＤサイズの画像を当該映像処理システム後に、４Ｋ×２Ｋサイズの映像として合成する場合を考える。先ず、外部メモリー上の復号化された映像データ位置が、各々の画像処理部８０１～８０４に同じＨＤデータ転送するために、同様のデータ転送サイズ、位置、画像処理サイズが画像処理部８０１～８０４設定される。

　画像処理モード制御部８０５は、通常モードのときは、画質調整パラメータ選択部８０７で対応した画質調整パラメータテーブル８０６のアドレスが選択され、同じ画質調整の設定パラメータが、４個の画像処理部８０１～８０４の画像処理モードとして各々に設定される。本実施形態３においては、画質調整をユーザーが比較できるモードが画像処理モード制御部８０５に設定されると、画質調整パラメータ選択部８０７では、ユーザーに比較される４種類の画質調整モードの画質調整パラメータテーブル８０６に対するアドレスが生成され、画質調整パラメータテーブル８０６からは、４種類の画質調整パラメータが選択され、引き抜かれる。その４種類の画質調整パラメータは各々の画像処理部８０１～８０４へと反映される。

　４個の画像処理部８０１～８０４には、同じＨＤ画像データが各々に入力されるように転送が制御される。このとき４個の画像処理部８０１～８０４が有する図２に示したような高画質化画質調整部１０８では、別々の画質調整モードが設定されており、同じＨＤ画像データから４種類の画像処理されたＨＤ画像データが画像処理部８０１～８０４から出力される。その後、当該映像処理システム後に、４Ｋ×２Ｋサイズの映像として合成される。これにより、同じＨＤ画像データを４種類の高画質画質調整されたものが１フレームの４Ｋ×２Ｋの画像に４分割して出画されることになる。

　本実施形態３によれば、前記の構成により、同じＨＤ画像データを４種類の高画質画質調整されたものが１フレームの４Ｋ×２Ｋサイズの映像として出画することができることにより、ユーザーが好みの画質調整モードを他の画質調整モードと比較しながら選択することができるという効果を奏する。

　また、本実施形態３中の画質調整パラメータテーブルは、パラメータテーブルを持つものでなく、個別に各々設定するようなものであっても良い。

　また、本実施形態３では、１つの映像データについて、４つの画像処理部を有しているが、４つに限定するものではなく、Ｎ（Ｎは２以上の整数）個の画像処理部を有する映像処理システムであっても良い。

　（実施形態４）
　以下、本発明の実施形態４について、図１０を用いて説明する。

　図１０は、本発明の実施形態４における映像処理システムの構成を示す図である。

　図１０を用いて、実施形態４のＨＤ（High Definition）から４Ｋ×２Ｋ解像度に拡大することができる映像処理システムにおいて、接続された受信側の映像表示装置が４Ｋ×２Ｋ解像度ではなく、ＨＤ解像度であるときの映像処理システムのシステムの構成を説明する。実施形態４では、ＨＤサイズの処理性能を持ち、ＨＤの同期信号に同期した４個の画像処理部１００１～１００４を有しており、その画像処理部１００１～１００４が各々個別に動作するシステムクロック（動作クロック）を停止させる２入力ＡＮＤ回路１００５～１００８が備えられ、そのＡＮＤ回路１００５～１００８には、各々、システムクロックと自己の画像処理部専用のシステムクロックゲーティング信号とが入力される構成である。

　デジタル放送、又はＨＤ対応Ｄｉｓｋなどにおいて、復号化された映像データが、ＤＲＡＭ（Dynamic Random Access Memory）などの外部メモリー上にＨＤサイズのものが置かれており、これを、４Ｋ×２Ｋ解像度に拡大出力できる映像処理システムであるが、接続された受信側の映像表示装置が、ＨＤの表示解像度だった場合を考える。

　通常、ＨＤサイズの処理性能を持つ４つの画像処理部１００１～１００４は、ＨＤサイズの映像データを４Ｋ×２Ｋ出力させるために、映像データを４つに分割して各々で拡大処理を行うことにより、ＨＤ映像データを４Ｋ×２Ｋの映像データへとアップコンバートさせる。しかしながら、映像処理システムに接続される受信側の映像表示装置が、ＨＤサイズ表示解像度しか伴わなかった場合、例えば、ＨＤＭＩケーブルで接続されている場合などは、映像表示装置の最大解像度を映像処理システムが認識することができる。

　ＨＤサイズの表示解像度の映像表示装置と接続されたと認識した映像処理システムは、４つの画像処理部１００１～１００４のうち、個別のシステムクロックゲーティング信号を用いて３つの画像処理部のシステムクロックを停止する。これにより、当該４Ｋ×２Ｋ映像処理システムにおいて、ＨＤサイズの映像出力時には、ＨＤシステム相当のみの電力消費を低下することができる。

　本実施形態４によれば、前記の構成により、４Ｋ×２Ｋ映像処理システムにおいて、接続されている映像表示装置がＨＤサイズの映像表示装置であった場合、４Ｋ×２Ｋの画像処理のために有している４つの画像処理部１００１～１００４のうち、３つの画像処理部の動作させているシステムクロックを停止することができる。そのことにより、４Ｋ×２Ｋ映像処理システムにおいても、ＨＤサイズの映像出力時には、ＨＤシステム相当に低電力化することができるという効果を奏する。

　以上説明したように、本発明は、分割した画像を画質劣化なく境界面の画像処理を実現できるので、映像処理システムとして有用である。

１００、５００、８００、
　１０００、１１００　　　　　　　　映像処理システム
１０１～１０４、５０１～５０４、
　８０１～８０４、１００１～１００４、
　　　１１０５～１１０８　　　　　　画像処理部
１０５、５０５　　　　　　　　　　　領域分割計算部
１０６、５０６、８０５　　　　　　　画像処理モード制御部
１０７、５０７、５０８　　　　　　　リサイズ部（リサイズ処理部）
１０８、５１０　　　　　　　　　　　高画質化画質調整部
１０９、５１１、１１０９～１１０２　画像切り取り部
１１０、５１２、５１３　　　　　　　データ要求生成部
１１１、５１４　　　　　　　　　　　アクティブ期間生成部
１１２、５１５　　　　　　　　　　　オーバーラップ領域計算部
５０９　　　　　　　　　　　　　　　合成部
８０６　　　　　　　　　　　　　　　画質調整パラメータテーブル
８０７　　　　　　　　　　　　　　　画質調整パラメータ選択部
１００５～１００８　　　　　　　　　ＡＮＤ回路
１１０１～１１０４　　　　　　　　　擬似画素挿入部

Claims

　ＨＤ（Hign Definition）サイズの処理性能を持つＨＤの同期信号に同期したＮ個（Ｎは２以上の整数）の画像処理部と、
　前記Ｎ個の画像処理部のデータ転送領域を制御する領域分割計算部と、
　前記Ｎ個の画像処理部の画像処理モードを制御する画像処理モード制御部とを備え、
　Ｎ分割した映像データを各々前記Ｎ個の画像処理部で処理し、その後段においてその処理されたＮ個の画面を合成する
　ことを特徴とする映像処理システム。
　前記請求項１記載の映像処理システムにおいて、
　前記画像処理部は、
　前記領域分割計算部によりＮ分割された領域同士の隣り合う画像境界面のオーバーラップ領域を計算するオーバーラップ領域計算部と、
　前記オーバーラップ領域計算部の計算結果をもとに映像データのアクティブ期間を生成するアクティブ期間生成部と、
　前記アクティブ期間に対応するデータ転送を要求するデータ要求生成部と、
　境界面映像データをリサイズするリサイズ処理部と、
　前記画像処理モード制御部でモード設定される高画質化画質調整部と、
　オーバーラップ領域データを削除する画像切り取り部とにより構成される
　ことを特徴とする映像処理システム。
　前記請求項２記載の映像処理システムにおいて、
　前記Ｎ個の画像処理部でのオーバーラップ領域の画像処理では、ＨＤ信号のブランキング期間を用いる
　ことを特徴とする映像処理システム。
　前記請求項３記載の映像処理システムにおいて、
　前記高画質化画質調整部は、映像の特徴量や動き検出結果の累積値を蓄積する機構を有し、
　各々の分割画像に対する累積値は、前記画像処理モード制御部により統合、判断され、その判断結果は前記高画質化画質調整部での再度のモード設定に使用される
　ことを特徴とする映像処理システム。
　前記請求項３記載の映像処理システムにおいて、
　前記画像処理部は、複数画像プレーン合成可能な合成部を有し、
　前記領域分割計算部は、画面合成座標から合成画面の分割座標、サイズ情報を計算し、その計算結果は前記画像処理部のデータ要求生成部へ反映されて、Ｎ個に分割された映像データについて画面合成を行う
　ことを特徴とする映像処理システム。