JP2016163189A - 画像処理装置、画像処理方法及び表示装置 - Google Patents
画像処理装置、画像処理方法及び表示装置 Download PDFInfo
- Publication number
- JP2016163189A JP2016163189A JP2015040493A JP2015040493A JP2016163189A JP 2016163189 A JP2016163189 A JP 2016163189A JP 2015040493 A JP2015040493 A JP 2015040493A JP 2015040493 A JP2015040493 A JP 2015040493A JP 2016163189 A JP2016163189 A JP 2016163189A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixels
- block
- data
- calculated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 57
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000007906 compression Methods 0.000 claims description 5
- 230000006835 compression Effects 0.000 claims description 5
- 238000011144 upstream manufacturing Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 15
- 238000000034 method Methods 0.000 description 8
- 238000007781 pre-processing Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000012805 post-processing Methods 0.000 description 6
- 230000000052 comparative effect Effects 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 229910001507 metal halide Inorganic materials 0.000 description 1
- 150000005309 metal halides Chemical class 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3185—Geometric adjustment, e.g. keystone or convergence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/7904—Processing of colour television signals in connection with recording using intermediate digital signal processing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Geometry (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Controls And Circuits For Display Device (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Image Processing (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
【課題】入力画像を出力画像に変換する際の処理負荷を低減する
【解決手段】画像処理装置は、複数の画素の階調値を含む入力画像の画像データから、所定の順序で特定される対象画素の階調値を順次取得する取得手段と、対象画素の出力画像における座標を演算する第1演算手段と、対象画素の階調値から、第1演算手段により演算された座標における階調値を演算する第2演算手段と、出力画像に含まれる複数の画素を区分したブロック単位で当該複数の画素の階調値を記憶する記憶領域を有する内部記憶手段と、内部記憶手段のうち、第1演算手段により演算された座標に対応する記憶領域に、第2演算手段により演算された階調値を書き込む第1書込手段と、内部記憶手段のうち階調値の書き込みが揃ったブロックのデータを外部メモリーに書き込む第2書込手段とを有する。
【選択図】図12
【解決手段】画像処理装置は、複数の画素の階調値を含む入力画像の画像データから、所定の順序で特定される対象画素の階調値を順次取得する取得手段と、対象画素の出力画像における座標を演算する第1演算手段と、対象画素の階調値から、第1演算手段により演算された座標における階調値を演算する第2演算手段と、出力画像に含まれる複数の画素を区分したブロック単位で当該複数の画素の階調値を記憶する記憶領域を有する内部記憶手段と、内部記憶手段のうち、第1演算手段により演算された座標に対応する記憶領域に、第2演算手段により演算された階調値を書き込む第1書込手段と、内部記憶手段のうち階調値の書き込みが揃ったブロックのデータを外部メモリーに書き込む第2書込手段とを有する。
【選択図】図12
Description
本発明は、幾何補正に関する。
入力画像を任意の形状に変形して出力画像を得る技術が知られている。特許文献1には、投写面上に投写される映像の歪みを補正する補正処理をブロック映像データ毎に行うプロジェクターにおいて、画素補間に必要なブロック映像を予測してブロック映像記憶部に記憶させることにより、画素補間を行う際に改めて必要なブロック映像を読み出して記憶させる時間を短縮し、台形歪み補正処理の高速化を図ることが記載されている。
特許文献1に記載の技術においては、補正後映像の画素値をライン方向に1画素ずつ特定していくために、補正前映像の画素値をライン方向に対して斜めに走査していた。そのため、特許文献1に記載の技術では、補正前映像を一旦格納するためのフレームバッファーが不可欠であるという問題があった。また、補正前映像を斜めに走査することに起因してフレームバッファーへのアクセス効率が低下するという問題があった。これに対し本発明は、入力画像を出力画像に変換する際の処理負荷を低減することを目的の一つとする。
本発明は、複数の画素の階調値を含む入力画像の画像データから、所定の順序で特定される対象画素の階調値を順次取得する取得手段と、前記対象画素の出力画像における座標を演算する第1演算手段と、前記対象画素の階調値から、前記第1演算手段により演算された座標における階調値を演算する第2演算手段と、前記出力画像に含まれる複数の画素を区分したブロック単位で当該複数の画素の階調値を記憶する記憶領域を有する内部記憶手段と、前記内部記憶手段のうち、前記第1演算手段により演算された座標に対応する記憶領域に、前記第2演算手段により演算された階調値を書き込む第1書込手段と、前記内部記憶手段のうち階調値の書き込みが揃ったブロックのデータを外部メモリーに書き込む第2書込手段とを有する画像処理装置を提供する。
この画像処理装置によれば、入力画像の画像データから対象画素の階調値が所定の順序で特定されない場合に比べて、入力画像を出力画像に変換する際の処理負荷が低減される。
この画像処理装置によれば、入力画像の画像データから対象画素の階調値が所定の順序で特定されない場合に比べて、入力画像を出力画像に変換する際の処理負荷が低減される。
別の好ましい態様において、前記外部メモリーの前記ブロックに対応する領域は、当該外部メモリーが走査される方向の長さが、当該方向に垂直な方向の長さに比べて長いことを特徴とする。
この画像処理装置によれば、外部メモリーのブロックに対応する領域について、外部メモリーが走査される方向の長さが、当該方向に垂直な方向の長さ以下である場合に比べて、外部メモリーからデータが読み出される際に必要となるバッファーの容量を小さくすることができる。
この画像処理装置によれば、外部メモリーのブロックに対応する領域について、外部メモリーが走査される方向の長さが、当該方向に垂直な方向の長さ以下である場合に比べて、外部メモリーからデータが読み出される際に必要となるバッファーの容量を小さくすることができる。
別の好ましい態様において、前記第2書込手段は、前記データを圧縮して前記外部メモリーに書き込み、前記内部記憶手段は、当該データの圧縮率が高くなると、一ブロックあたりの画素数が多くなるように前記記憶領域を制御することを特徴とする。
この画像処理装置によれば、記憶領域における一ブロックあたりの画素数がデータの圧縮率に関わらず一定である場合に比べて、外部メモリーにデータが書き込まれる際のアクセス効率が高くなる。
この画像処理装置によれば、記憶領域における一ブロックあたりの画素数がデータの圧縮率に関わらず一定である場合に比べて、外部メモリーにデータが書き込まれる際のアクセス効率が高くなる。
別の好ましい態様において、前記取得手段の前段にフレームバッファーを有しないことを特徴とする。
この画像処理装置によれば、フレームバッファーを節約することができる。
この画像処理装置によれば、フレームバッファーを節約することができる。
また本発明は、複数の画素の階調値を含む入力画像の画像データから、所定の順序で特定される対象画素の階調値を順次取得するステップと、前記対象画素の出力画像における座標を演算するステップと、演算された座標における階調値を、前記対象画素の階調値から演算するステップと、前記出力画像に含まれる複数の画素を区分したブロック単位で当該複数の画素の階調値を記憶する記憶領域のうち、演算された座標に対応する記憶領域に、演算された階調値を書き込むステップと、前記記憶領域のうち階調値の書き込みが揃ったブロックのデータを外部メモリーに書き込むステップとを有する画像処理方法を提供する。
この画像処理方法によれば、入力画像の画像データから対象画素の階調値が所定の順序で特定されない場合に比べて、入力画像を出力画像に変換する際の処理負荷が低減される。
この画像処理方法によれば、入力画像の画像データから対象画素の階調値が所定の順序で特定されない場合に比べて、入力画像を出力画像に変換する際の処理負荷が低減される。
また本発明は、上記画像処理装置を有する表示装置を提供する。
この表示装置によれば、入力画像の画像データから対象画素の階調値が所定の順序で特定されない場合に比べて、入力画像を出力画像に変換する際の処理負荷が低減される。
この表示装置によれば、入力画像の画像データから対象画素の階調値が所定の順序で特定されない場合に比べて、入力画像を出力画像に変換する際の処理負荷が低減される。
1.構成
図1は、一実施形態に係る表示装置1のハードウェア構成を例示する図である。この例で、表示装置1はプロジェクターである。表示装置1は、CPU(Central Processing Unit)100と、ROM(Read Only Memory)101と、RAM(Random Access Memory)102と、記憶部103と、IF(インターフェース)部104と、画像処理回路105と、投写ユニット106と、操作パネル107と、撮像部108とを有する。
図1は、一実施形態に係る表示装置1のハードウェア構成を例示する図である。この例で、表示装置1はプロジェクターである。表示装置1は、CPU(Central Processing Unit)100と、ROM(Read Only Memory)101と、RAM(Random Access Memory)102と、記憶部103と、IF(インターフェース)部104と、画像処理回路105と、投写ユニット106と、操作パネル107と、撮像部108とを有する。
CPU100は、表示装置1の各部を制御する制御装置である。ROM101は、各種プログラム及びデータを記憶した不揮発性の記憶装置である。RAM102は、データを記憶する揮発性の記憶装置であり、CPU100が処理を実行する際のワークエリアとして機能する。RAM102は、画像をフレーム毎に記憶するフレームバッファーを有する。記憶部103は、データ及びプログラムを記憶する不揮発性の記憶装置、例えばSSD(Solid State Drive)である。
IF部104は、映像ソースとなる外部装置と信号又はデータのやりとりを仲介するインターフェースである。IF部104は、外部装置と信号又はデータのやりとりをするための端子(例えば、VGA端子、USB端子、有線LANインターフェース、S端子、RCA端子、HDMI(High-Definition Multimedia Interface:登録商標)端子など)及び無線LANインターフェースを備える。
画像処理回路105は、入力された映像信号(以下「入力映像信号」という)に所定の画像処理を施す画像処理装置である。この画像処理には、例えば幾何補正が含まれる。幾何補正は、画像の形状を変更する補正である。表示装置1の投写軸が投写面(スクリーン)に対して理想的な状態から傾いている場合、又はスクリーンが平面でない場合、スクリーンに映し出される画像は歪んだものとなる。幾何補正は、例えばこの歪みを補正するために行われる。なお、画像処理回路105における画像処理はこの他にも、サイズ変更などの処理を含んでいてもよい。画像処理回路105は、画像処理後の画像データをフレームバッファーに書き込む。画像処理回路105は、フレームバッファーに書き込まれた画像データを投写ユニット106に出力する。
投写ユニット106は、画像処理が施された映像信号に従って、スクリーンに画像を投写する。投写ユニット106は、光源、光変調器、及び光学系、並びにこれらの駆動回路を有する(いずれも図示略)。光源は、高圧水銀ランプ、ハロゲンランプ、若しくはメタルハライドランプなどのランプ、又はLED(Light Emitting Diode)若しくはレーザーダイオードなどの固体光源を有する。光変調器は、光源から照射された光を映像信号に応じて変調する装置であり、例えば液晶パネルを有する。光学系は、光変調器により変調された光をスクリーンに投写する素子であり、例えばレンズ及びプリズムを有する。この例で、光変調器は、色成分毎に設けられている。具体的には、赤、緑、及び青の3原色のそれぞれについて個別に、光変調器が設けられている。各液晶パネルによって変調された光は光学系で合成され、スクリーンに投写される。
操作パネル107は、ユーザーが表示装置1に対し指示を入力するための入力装置であり、例えば、キーパッド、ボタン、又はタッチパネルを含む。撮像部108は、投写ユニット106により画像が投写されたスクリーンを撮像する。
図2は、比較例に係る幾何補正の概要を示す図である。図2において、左側の画像は幾何補正が行われる前の画像(以下「入力画像」という)を示し、右側の画像は幾何補正が行われた後の画像(以下「出力画像」という)を示す。図2では、出力画像のうち斜線で塗り潰された領域D1が入力画像に対応している。この例で、画像処理回路105は、出力画像における画素の階調値を所定の方向(図2では左上から右下)に向かって順次特定していく。具体的には、まず、出力画像において階調値特定の対象となる画素(ここで「対象画素」という)が特定される。次に、対象画素に対応する入力画像の画素位置が計算される。そして、計算された画素位置に対応する画素のデータが読み出され、このデータを用いて対象画素の階調値が決定される。結果的に、画像処理回路105は、入力画像を不特定の方向に走査していることになる。
図3は、比較例に係る幾何補正を実現するためのハードウェア構成を示すブロック図である。この例で、画像処理回路105は、前処理回路1051と、幾何補正回路1052と、後処理回路1053とを有する。また、RAM102は、フレームバッファー102Aとフレームバッファー102Bとを有する。前処理回路1051は、幾何補正回路1052の前段の回路であり、入力画像のサイズ変更などの所定の画像処理を行う。前処理回路1051は、画像処理後の画像データをフレームバッファー102Aに書き込む。幾何補正回路1052は、幾何補正を行う回路である。幾何補正回路1052は、対象画素に対応する入力画素の画素位置を計算し、計算された画素位置に対応する画素のデータをフレームバッファー102Aから読み出す。さらに幾何補正回路1052は、読み出したデータを用いて対象画素の階調値を算出し、算出した階調値を、フレームバッファー102Bのうち対象画素に対応する記憶領域に書き込む。後処理回路1053は、幾何補正回路1052の後段の回路であり、予め定められたドットクロックでフレームバッファー102Bから画像データを読み出して投写ユニット106に出力する。
上述の方法で幾何補正が行われる場合、幾何補正回路1052がフレームバッファー102Aに書き込まれた画像データを不特定の方向に走査することから、幾何補正回路1052の前段にフレームバッファー102Aが不可欠であり、また、フレームバッファー102Aに対するアクセス効率が低下するという問題がある。さらに、入力画像の画像データを不特定の方向に走査するために、幾何補正回路1052における制御回路が複雑になるという問題もある。本発明に係る画像処理回路105は、幾何補正を行う際に、入力画像の画像データを所定の方向に走査することにより、このような問題に対処する。
図4は、本実施形態に係る幾何補正の概要を示す図である。この例で、画像処理回路105(画像処理装置の一例)は、入力画像のうち処理の対象となる画素(以下「対象画素」という)を所定の順序で(例えば左上から右下に向かって1画素ずつ順番に)特定する。画像処理回路105は、対象画素に対応する出力画像における画素位置を計算する。画像処理回路105は、フレームバッファー102Bのうち、計算された画素位置に対応する記憶領域に、対象画素のデータを書き込む。
図5は、本実施形態に係る画像処理回路105のハードウェア構成を示すブロック図である。図5では、幾何補正回路1052の前段にフレームバッファー102Aを有しない点が図3に示した構成とは異なる。図4において、前処理回路1051は、画像処理後の画像データを幾何補正回路1052に出力する。幾何補正回路1052は、前処理回路1051から出力された画像に対して幾何補正を行い、幾何補正後の画像をフレームバッファー102Bに書き込む。
図6は、幾何補正回路1052の機能構成を示すブロック図である。幾何補正回路1052は、ラインバッファー1054と、座標演算部1055と、フィルタ演算部1056と、ブロック生成部1057とを有する。ラインバッファー1054には、前処理回路1051により出力された入力画像の画像データが1ライン分又は複数ライン分、書き込まれる。座標演算部1055は、入力画像における対象画素について、出力画像における画素位置(座標)を算出する。フィルタ演算部1056は、対象画素の階調値をラインバッファー1054から読み出し、座標演算部1055により算出された座標における階調値を演算する。
ブロック生成部1057は、出力画像の画像データをフレームバッファー102Bに書き込む。出力画像において、対象画素は行方向及び列方向に対して斜めに並ぶことが多い傾向にあるため、フレームバッファー102Bへの階調値の書き込みが画素毎に行われるとフレームバッファー102Bへのアクセス効率が低下する傾向にある。ブロック生成部1057は、フレームバッファー102Bへのアクセス効率の低下を防止するために、フレームバッファー102Bへの画像データの書き込みを、ブロック単位で行う。ここでいう「ブロック」とは、出力画像を空間的に複数の領域に分割した場合における各領域をいう。具体的には、ブロック生成部1057は、ブロック単位で出力画像の階調値を記憶する記憶領域を有する。ブロック生成部1057は、座標演算部1055により演算された座標に対応するブロックに、フィルタ演算部1056により演算された階調値を書き込む。ブロック生成部1057は、階調値の書き込みが揃ったブロックにおける画像データをフレームバッファー102Bに書き込む。
2.動作
図7は、幾何補正回路1052の動作を示すフローチャートである。以下の処理は、表示装置1の電源が投入されたことを契機に開始され、表示装置1が動作している間(すなわち表示装置1に対して映像信号が入力されている間)繰り返し行われる。なお、ラインバッファー1054への画像データの書き込みは、後述するステップS1における対象画素の特定に合わせて予め定められた周期で行われる。例えば、あるラインに含まれる全ての画素がステップS1において対象画素として特定されると、次に必要となるラインの画像データがラインバッファー1054に書き込まれる。
図7は、幾何補正回路1052の動作を示すフローチャートである。以下の処理は、表示装置1の電源が投入されたことを契機に開始され、表示装置1が動作している間(すなわち表示装置1に対して映像信号が入力されている間)繰り返し行われる。なお、ラインバッファー1054への画像データの書き込みは、後述するステップS1における対象画素の特定に合わせて予め定められた周期で行われる。例えば、あるラインに含まれる全ての画素がステップS1において対象画素として特定されると、次に必要となるラインの画像データがラインバッファー1054に書き込まれる。
ステップS1において、幾何補正回路1052は、対象画素を特定する。具体的には、幾何補正回路1052は、入力画像の画像データを所定の方向に走査することにより、対象画素を順次特定する。
ステップS2において、幾何補正回路1052は、対象画素の出力画像における座標を演算する。幾何補正回路1052のメモリーには、予め、幾何補正を行うための座標の変換式(関数)が予め記憶されている。この関数で用いられるパラメーターはCPU100により算出され、幾何補正回路1052のレジスターに書き込まれる。幾何補正回路1052は、この関数とパラメーターとを利用して、対象画素の頂点(例えば対象画素の4つの頂点)の出力画像における座標をそれぞれ算出し、算出された座標を頂点とする図形の中に、出力画像におけるいずれかの画素の中心点が含まれているか否かを判断する。図形の中に出力画像におけるいずれかの画素の中心点が含まれていると判断された場合、幾何補正回路1052は、当該中心点の座標を、対象画素の出力画像における座標として特定する。なお、図形の中に出力画像におけるいずれの画素の中心点も含まれていないと判断された場合、幾何補正回路1052は、対象画素の出力画像における座標を特定しない。この場合、幾何補正回路1052は、ステップS1及びステップS2の処理を繰り返し、次の対象画素について出力画像における座標を演算する。
図8は、座標を演算する処理の具体例を示す図である。図8は、入力画像と出力画像の一部を拡大した様子を示している。図8において、格子状に区切られた領域の各々は、入力画像及び出力画像の一画素分(1ピクセル分)に相当する。また、出力画像に示した白丸は、出力画像を構成する画素の中心点を表す。図8では、i行j列目の画素の座標を(j,i)と表現する。この例で、入力画像に含まれる画素A1の頂点a1からa4の出力画像における位置は、点b1から点b4である。点b1からb4を頂点とする四角形の中には出力画像を構成する画素の中心点c1が含まれている。したがって、幾何補正回路1052は、対象画素の座標(1,1)に対応する出力画像の座標として(3,2)を算出する。同様に、幾何補正回路1052は、対象画素の座標(2,1)に対応する出力画像の座標として(4,2)を算出する。別の例で、入力画像に含まれる画素A3の頂点a5からa8の出力画像における位置は、点b5からb8である。点b5からb8を頂点とする四角形の中には出力画像を構成する画素の中心点は含まれていない。したがって、入力画像の座標(3,1)に対応する出力画像の座標は算出されない。このように、ステップS2では、一部の対象画素について出力画像における座標が演算され、残りの対象画素については出力画像における座標は演算されない。
再び図7を参照する。ステップS3において、幾何補正回路1052は、対象画素の出力画像における階調値を演算する。具体的には、幾何補正回路1052は、対象画素と当該対象画素の周囲の画素の階調値をラインバッファー1054から読み出して畳み込み演算を行うことにより、ステップS2において演算された座標における階調値を演算する。なお、ここでいう「周囲の画素」とは、例えば対象画素の前後に位置する画素を指す。
ステップS4において、幾何補正回路1052は、演算された階調値を、内蔵しているバッファーメモリー(図示略)に書き込む。このバッファーメモリーは、複数のブロックに区分されている。各ブロックは、同じサイズの記憶領域を有する。ブロックは、出力画像の(入力画像における走査方向の)サイズ及びブロックのサイズに応じた数、設けられている。例えば、出力画像のサイズが横320画素×縦240画素である場合において各ブロックのサイズが横32画素×縦8画素であるときは、バッファーメモリーは10ブロック分の記憶領域を有する。幾何補正回路1052は、ステップS2において演算された座標に対応するブロックのうちこの座標に対応する記憶領域に、ステップS3において演算された階調値を書き込む。なお、出力画像のうち入力画像に対応する領域以外の領域(図4の例では領域D1以外の領域)の階調値については、固定値(例えば、階調値が0から255までの256段階で表される場合には黒に相当する「0」)がバッファーメモリーに別途書き込まれる。この書き込みは、例えば、図7に示す処理が開始される前に、又は、図7に示す処理と並行して行われる。また、この書き込みは、出力画像の左上から右下に向かって、出力画像の行方向に沿って行われる。
このバッファーメモリーの実装はどのようなものでもよいが、例えば以下のようなものである。このバッファーメモリーは、上述のブロックに相当する記憶領域に加え、このブロックの前段に記憶領域を有する。前段の記憶領域もブロックに区分されている。ここでは説明のため、前段のブロック及び後段のブロックをそれぞれ前段ブロック及び後段ブロックという。前段ブロックは後段ブロックと同じ画素幅に相当する記憶領域を有する。入力画像のデータはまず前段ブロックに書き込まれる。前段ブロックにおいて1行分のデータが揃うと、その行のデータが後段のブロックに書き込まれる。後段ブロックは、データの書き込みが完了したことを示すフラグを行毎に有している。前段ブロックから後段ブロックにデータが書き込まれると、その行のフラグは「書き込み完了」を示す値に書き替えられる(すなわちセットされる)。データの書き込みは画像の左上から右下に向かって行われるので、このフラグは必ず上から下に向かって順次セットされる。セットされたフラグがブロックの高さ(行数)分、揃うとそのブロックへのデータの書き込みが完了したことが分かる。
図9は、出力画像の階調値を記憶するバッファーメモリーMの模式図である。この例で、バッファーメモリーMは、出力画像を行方向において区分した10ブロック分の記憶領域(ブロックB1からB10)により構成されている。ブロックBは、当該ブロックBに対応するフレームバッファー102Bの領域について、フレームバッファー102Bが走査される方向(以下「走査方向」という)の長さが、当該走査方向に垂直な方向の長さに比べて長くなるように構成されている。これにより、走査方向の長さが走査方向に垂直な方向の長さ以下である場合に比べて、後処理回路1053がフレームバッファー102Bから画像データを読み出す際に必要となる内部バッファーの容量を小さくすることができる。図9では、フレームバッファー102Bが行方向に走査される場合におけるブロックBのサイズを示しており、行方向の長さが列方向の長さに比べて長くなるように区分されている。
再び図7を参照する。ステップS5において、幾何補正回路1052は、階調値の書き込みが揃ったブロック(すなわち、全ての画素の階調値が書き込まれたブロック)があるか否かを判断する。具体的には、幾何補正回路1052は、セットされたフラグがブロックの高さ分揃っているか否かを判断する。例えば、ブロックのサイズが横32画素×縦8画素であるときは、セットされたフラグが8行分揃っているか否かを判断する。階調値の書き込みが揃ったブロックがあると判断された場合(S5:YES)、幾何補正回路1052は、処理をステップS6に移行する。階調値の書き込みが揃ったブロックがないと判断された場合(S5:NO)、幾何補正回路1052は、処理をステップS1に移行する。
ステップS6において、幾何補正回路1052は、階調値の書き込みが揃ったブロックの画像データをフレームバッファー102Bに書き込む。幾何補正回路1052は、フレームバッファー102Bへの書き込みを終えると、書き込みが揃ったブロックにおけるフラグをリセットし、当該ブロックを出力画像のうち未だブロックが割り当てられていない領域に割り当てる。ブロックの割り当ては、図9に示した例で、各ブロックが列方向にシフトしていくように行われる。
図10は、フレームバッファー102Bにおけるメモリー空間の構成を模式的に示す図である。図10において、格子状に区切られた領域の各々は、1ブロック分の領域に相当する。図10に示す通り、フレームバッファー102Bは、幾何補正回路1052におけるブロックに相当する領域内のアドレスが連続するように画像データを記憶する。これにより、幾何補正回路1052がフレームバッファー102Bにブロック単位で画像データを書き込む際のアクセス効率の低下が防止される。フレームバッファー102Bへの書き込みが開始されると、後処理回路1053は、フレームバッファー102Bに記憶された画像データを走査することにより画像データを読み出し、当該画像データを投写ユニット106に出力する。
図11は、幾何補正回路1052が入力画像を走査して、出力画像の画像データをフレームバッファー102Bにブロック単位で書き込む様子を示す図である。図11では、入力画像が矢印α1の方向に走査されることにより、幾何補正回路1052の記憶領域へのデータの書き込みが矢印β1の方向に行われている。太い実線で囲まれた領域は、入力画像に対応する領域を表す。図11に示す出力画像において、塗り潰しがされていない領域は、フレームバッファー102Bに対する画像データの書き込みが済んだ領域を示す。また、斜線で塗り潰された領域は、ブロックが割り当てられている領域の一部であって、階調値の書き込みが揃った領域である。網目状に塗り潰された領域は、ブロックが割り当てられている領域の一部であって、階調値の書き込みが揃っていない領域である。図11に示す通り、入力画像の走査が進むに従って、フレームバッファー102Bへの画像データの書き込みが行われ、最終的に出力画像の画像データの全てがフレームバッファー102Bに書き込まれる。
以上の処理により、入力画像の画像データが所定の方向に走査され、フレームバッファー102Bに対する画像データの書き込みがブロック単位で行われる。したがって、入力画像の画像データを不特定の方向に走査しないため、幾何補正回路1052の前段にフレームバッファー102Aがなくても、幾何補正回路1052は幾何補正を行うことができる。また、入力画像の画像データを不特定の方向に走査する場合に比べて入力画像の画像データを取得する際のアクセス効率が向上し、入力画像の画像データを取得するための制御回路が複雑になることが防止される。
図12は、幾何補正回路1052の機能構成を示すブロック図である。幾何補正回路1052は、取得手段11と、第1演算手段12と、第2演算手段13と、内部記憶手段14と、第1書込手段15と、第2書込手段16とを有する。取得手段11は、複数の画素の階調値を含む入力画像の画像データから、所定の順序で特定される対象画素の階調値を順次取得する。第1演算手段12は、対象画素の出力画像における座標を演算する。第2演算手段13は、対象画素の階調値から、第1演算手段12により演算された座標における階調値を演算する。内部記憶手段14は、出力画像に含まれる複数の画素を区分したブロック単位で当該複数の画素の階調値を記憶する記憶領域を有する。第1書込手段15は、内部記憶手段14のうち、第1演算手段12により演算された座標に対応する記憶領域に、第2演算手段13により演算された階調値を書き込む。第2書込手段16は、内部記憶手段14のうち階調値の書き込みが揃ったブロックのデータを外部メモリーに書き込む。
図6に示した幾何補正回路1052のハードウェア構成において、ラインバッファー1054は取得手段11の一例である。座標演算部1055は、第1演算手段12の一例である。フィルタ演算部1056は、第2演算手段13の一例である。ブロック生成部1057は、内部記憶手段14、第1書込手段15、及び第2書込手段16の一例である。
3.変形例
本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下の変形例のうち2つ以上のものが組み合わせて用いられてもよい。
本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下の変形例のうち2つ以上のものが組み合わせて用いられてもよい。
幾何補正回路1052が行う処理は、実施形態に記載した処理に限らない。例えば、幾何補正回路1052は、階調値の書き込みが揃ったブロックの画像データを圧縮し、圧縮後の画像データをフレームバッファー102Bに書き込んでもよい。この場合、後処理回路1053は、フレームバッファー102Bから画像データを読み出す際に画像データを解凍する。また、この場合、幾何補正回路1052は、記憶領域における一ブロックあたりの画素数を、画像データの圧縮率に応じて変化させてもよい。具体的には、幾何補正回路1052は、画像データの圧縮率が高くなると一ブロックあたりの画素数が多くなるように記憶領域を制御してもよい。これにより、画像データの圧縮率が高くなるに従って、フレームバッファー102Bに書き込まれる1ブロックあたりのデータ容量が小さくなることが防止され、幾何補正回路1052がフレームバッファー102Bに画像データを書き込む際のアクセス効率の低下が防止される。
ブロックの形状及びブロックの数は、実施形態に記載したものに限らない。例えば、幾何補正回路1052の記憶領域は、10個を上回るブロックにより構成されていてもよい。
幾何補正回路1052の前段にはフレームバッファー102Aが設けられていてもよい。例えば、画像処理回路105において画像の倍率が変更される場合、幾何補正回路1052の前段にフレームバッファー102Aを設けることにより、倍率設定の自由度を向上させることができる。一方、フレーム遅延を回避し、また、メモリー帯域を削減する観点から、フレームバッファー102Aは設けられなくてもよい。
表示装置1のハードウェア構成は、図1で例示したものに限定されない。例えば、投写ユニット106は、色成分毎に光変調器を有していなくてもよく、単一の光変調器を有していてもよい。また、デジタルミラーデバイス(Digital Mirror Device、DMD)等、液晶パネル以外の電気光学素子が光変調器として用いられてもよい。さらに、表示装置1はプロジェクターに限定されず、液晶ディスプレイや有機ELディスプレイ等、直視の表示装置であってもよい。例えば、入力画像を任意の形状の出力画像に変形して表示する表示装置において実施形態に記載した処理が行われてもよい。
1…表示装置、100…CPU、101…ROM、102…RAM、103…記憶部、104…IF部、105…画像処理回路、106…投写ユニット、107…操作パネル、108…撮像部、1051…前処理回路、1052…幾何補正回路、1053…後処理回路、1054…ラインバッファー、1055…座標演算部、1056…フィルタ演算部、1057…ブロック生成部、11…取得手段、12…第1演算手段、13…第2演算手段、14…内部記憶手段、15…第1書込手段、16…第2書込手段
Claims (6)
- 複数の画素の階調値を含む入力画像の画像データから、所定の順序で特定される対象画素の階調値を順次取得する取得手段と、
前記対象画素の出力画像における座標を演算する第1演算手段と、
前記対象画素の階調値から、前記第1演算手段により演算された座標における階調値を演算する第2演算手段と、
前記出力画像に含まれる複数の画素を区分したブロック単位で当該複数の画素の階調値を記憶する記憶領域を有する内部記憶手段と、
前記内部記憶手段のうち、前記第1演算手段により演算された座標に対応する記憶領域に、前記第2演算手段により演算された階調値を書き込む第1書込手段と、
前記内部記憶手段のうち階調値の書き込みが揃ったブロックのデータを外部メモリーに書き込む第2書込手段と
を有する画像処理装置。 - 前記外部メモリーの前記ブロックに対応する領域は、当該外部メモリーが走査される方向の長さが、当該方向に垂直な方向の長さに比べて長い
ことを特徴とする請求項1に記載の画像処理装置。 - 前記第2書込手段は、前記データを圧縮して前記外部メモリーに書き込み、
前記内部記憶手段は、当該データの圧縮率が高くなると、一ブロックあたりの画素数が多くなるように前記記憶領域を制御する
ことを特徴とする請求項1又は2に記載の画像処理装置。 - 前記取得手段の前段にフレームバッファーを有しない
ことを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。 - 複数の画素の階調値を含む入力画像の画像データから、所定の順序で特定される対象画素の階調値を順次取得するステップと、
前記対象画素の出力画像における座標を演算するステップと、
演算された座標における階調値を、前記対象画素の階調値から演算するステップと、
前記出力画像に含まれる複数の画素を区分したブロック単位で当該複数の画素の階調値を記憶する記憶領域のうち、演算された座標に対応する記憶領域に、演算された階調値を書き込むステップと、
前記記憶領域のうち階調値の書き込みが揃ったブロックのデータを外部メモリーに書き込むステップと
を有する画像処理方法。 - 請求項1乃至4のいずれか1項に記載の画像処理装置
を有する表示装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015040493A JP6418010B2 (ja) | 2015-03-02 | 2015-03-02 | 画像処理装置、画像処理方法及び表示装置 |
US15/554,609 US10349024B2 (en) | 2015-03-02 | 2016-02-05 | Image processing device, image processing method, and display device |
CN201680009388.9A CN107211105B (zh) | 2015-03-02 | 2016-02-05 | 图像处理装置、图像处理方法和显示装置 |
PCT/JP2016/000619 WO2016139889A1 (ja) | 2015-03-02 | 2016-02-05 | 画像処理装置、画像処理方法及び表示装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015040493A JP6418010B2 (ja) | 2015-03-02 | 2015-03-02 | 画像処理装置、画像処理方法及び表示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016163189A true JP2016163189A (ja) | 2016-09-05 |
JP6418010B2 JP6418010B2 (ja) | 2018-11-07 |
Family
ID=56847345
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015040493A Expired - Fee Related JP6418010B2 (ja) | 2015-03-02 | 2015-03-02 | 画像処理装置、画像処理方法及び表示装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10349024B2 (ja) |
JP (1) | JP6418010B2 (ja) |
CN (1) | CN107211105B (ja) |
WO (1) | WO2016139889A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020184059A (ja) * | 2019-04-29 | 2020-11-12 | セイコーエプソン株式会社 | 回路装置、電子機器及び移動体 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7082757B2 (ja) * | 2018-06-26 | 2022-06-09 | 京セラドキュメントソリューションズ株式会社 | 画像処理装置 |
WO2020036214A1 (ja) * | 2018-08-17 | 2020-02-20 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置、画像生成方法及びプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS58219664A (ja) * | 1982-06-15 | 1983-12-21 | Sony Corp | 画像変換装置 |
JP2010028758A (ja) * | 2008-07-24 | 2010-02-04 | Sony Corp | 画像処理装置及び方法、プログラム、並びに撮像装置 |
JP2011199626A (ja) * | 2010-03-19 | 2011-10-06 | Seiko Epson Corp | プロジェクター |
JP2014035589A (ja) * | 2012-08-07 | 2014-02-24 | Hitachi Information & Telecommunication Engineering Ltd | 魚眼画像の補正装置及び補正方法 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002527953A (ja) * | 1998-10-02 | 2002-08-27 | マクロニクス インターナショナル カンパニー リミテッド | キーストーン歪みを防止する方法および装置 |
JP2002056385A (ja) * | 2000-08-08 | 2002-02-20 | Toyota Central Res & Dev Lab Inc | 画像補正方法及び画像補正装置 |
JP3989686B2 (ja) * | 2001-02-06 | 2007-10-10 | 株式会社リコー | 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録した記録媒体 |
JP3791904B2 (ja) * | 2001-11-14 | 2006-06-28 | オリンパス株式会社 | マルチディスプレイ装置 |
JP2004180142A (ja) * | 2002-11-28 | 2004-06-24 | Canon Inc | 画像処理装置、階調変換特性設定方法及びプログラム |
JP4453817B2 (ja) * | 2003-12-19 | 2010-04-21 | セイコーエプソン株式会社 | 色画像データ修正装置、色画像データ修正方法および色修正テーブル作成プログラム。 |
JP4546141B2 (ja) * | 2004-04-28 | 2010-09-15 | 京セラ株式会社 | 携帯電話機、並びに、画像変換装置、方法、及びプログラム |
JP2006115314A (ja) * | 2004-10-15 | 2006-04-27 | Konica Minolta Business Technologies Inc | 画像処理方法および装置 |
JP2007148500A (ja) * | 2005-11-24 | 2007-06-14 | Olympus Corp | 画像処理装置および画像処理方法 |
JP4909144B2 (ja) * | 2007-03-22 | 2012-04-04 | 富士通セミコンダクター株式会社 | 画像認識装置及び画像回転処理方法 |
JP5217537B2 (ja) * | 2008-03-18 | 2013-06-19 | セイコーエプソン株式会社 | プロジェクタ、電子機器、および、プロジェクタの制御方法 |
JP5098869B2 (ja) * | 2008-07-22 | 2012-12-12 | セイコーエプソン株式会社 | 画像処理装置、画像表示装置および画像データ生成方法 |
JP5348022B2 (ja) | 2010-03-05 | 2013-11-20 | セイコーエプソン株式会社 | プロジェクターおよび射影変換処理装置 |
JP5997882B2 (ja) * | 2011-07-21 | 2016-09-28 | セイコーエプソン株式会社 | プロジェクター及びプロジェクターの制御方法 |
WO2013024540A1 (ja) * | 2011-08-18 | 2013-02-21 | Necディスプレイソリューションズ株式会社 | 画像処理装置および画像処理方法 |
JP6427961B2 (ja) * | 2014-05-30 | 2018-11-28 | セイコーエプソン株式会社 | 画像処理装置、表示装置、画像処理方法およびプログラム |
-
2015
- 2015-03-02 JP JP2015040493A patent/JP6418010B2/ja not_active Expired - Fee Related
-
2016
- 2016-02-05 US US15/554,609 patent/US10349024B2/en active Active
- 2016-02-05 CN CN201680009388.9A patent/CN107211105B/zh active Active
- 2016-02-05 WO PCT/JP2016/000619 patent/WO2016139889A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS58219664A (ja) * | 1982-06-15 | 1983-12-21 | Sony Corp | 画像変換装置 |
JP2010028758A (ja) * | 2008-07-24 | 2010-02-04 | Sony Corp | 画像処理装置及び方法、プログラム、並びに撮像装置 |
JP2011199626A (ja) * | 2010-03-19 | 2011-10-06 | Seiko Epson Corp | プロジェクター |
JP2014035589A (ja) * | 2012-08-07 | 2014-02-24 | Hitachi Information & Telecommunication Engineering Ltd | 魚眼画像の補正装置及び補正方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020184059A (ja) * | 2019-04-29 | 2020-11-12 | セイコーエプソン株式会社 | 回路装置、電子機器及び移動体 |
JP7467883B2 (ja) | 2019-04-29 | 2024-04-16 | セイコーエプソン株式会社 | 回路装置、電子機器及び移動体 |
Also Published As
Publication number | Publication date |
---|---|
CN107211105A (zh) | 2017-09-26 |
JP6418010B2 (ja) | 2018-11-07 |
US20180241977A1 (en) | 2018-08-23 |
WO2016139889A1 (ja) | 2016-09-09 |
CN107211105B (zh) | 2020-01-17 |
US10349024B2 (en) | 2019-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5997882B2 (ja) | プロジェクター及びプロジェクターの制御方法 | |
JP6155717B2 (ja) | 画像処理装置、プロジェクター及び画像処理方法 | |
JP2011244220A (ja) | 投影装置及びその制御方法 | |
JP6418010B2 (ja) | 画像処理装置、画像処理方法及び表示装置 | |
JP2011193332A (ja) | プロジェクターおよび映像の投写方法 | |
US10057555B2 (en) | Image processing device, display device, and method of controlling image processing device | |
JP5348035B2 (ja) | プロジェクター | |
JP2006033672A (ja) | 曲面マルチスクリーン投射方法及び曲面マルチスクリーン投射装置 | |
JP2006030600A (ja) | 多画面表示システム、多画面表示方法、輝度補正方法及びプログラム | |
JP6524713B2 (ja) | 画像処理装置、表示装置、及び、画像処理装置の制御方法 | |
JP2009164674A (ja) | ディストーション補正装置 | |
US11640774B2 (en) | Display method for display system, display method for display apparatus, and display system | |
JP2015192177A (ja) | 画像処理装置、表示装置、及び、画像処理方法 | |
EP1331815A2 (en) | Projection-type display device having distortion correcting function | |
JP5207832B2 (ja) | 表示装置 | |
KR20230165584A (ko) | 영상 왜곡 보정 장치 및 방법 | |
JP2007251723A (ja) | 投写型映像表示装置 | |
CN114979591B (zh) | 信息处理装置和信息处理系统 | |
JP2016156911A (ja) | 画像処理装置、表示装置、及び、画像処理装置の制御方法 | |
JP2020191586A (ja) | 投影装置 | |
CN108770374B (zh) | 图像处理装置及图像处理方法 | |
JP6064699B2 (ja) | 画像処理装置、プロジェクター及び画像処理方法 | |
JP5353772B2 (ja) | プロジェクター | |
JP5531701B2 (ja) | プロジェクター | |
JP6679903B2 (ja) | 画像処理装置、表示装置、及び、画像処理装置の制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180131 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180911 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180924 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6418010 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |