Nothing Special   »   [go: up one dir, main page]

JP5129376B1 - 映像処理装置および映像処理方法 - Google Patents

映像処理装置および映像処理方法 Download PDF

Info

Publication number
JP5129376B1
JP5129376B1 JP2011189496A JP2011189496A JP5129376B1 JP 5129376 B1 JP5129376 B1 JP 5129376B1 JP 2011189496 A JP2011189496 A JP 2011189496A JP 2011189496 A JP2011189496 A JP 2011189496A JP 5129376 B1 JP5129376 B1 JP 5129376B1
Authority
JP
Japan
Prior art keywords
parallax
video signal
display
video
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011189496A
Other languages
English (en)
Other versions
JP2013051618A (ja
Inventor
崎 正 生 岩
野 潔 星
原 伸 三 松
江 豊 入
星 利 弘 諸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2011189496A priority Critical patent/JP5129376B1/ja
Priority to US13/402,563 priority patent/US20130050416A1/en
Priority to CN201210074588.6A priority patent/CN102970561B/zh
Application granted granted Critical
Publication of JP5129376B1 publication Critical patent/JP5129376B1/ja
Publication of JP2013051618A publication Critical patent/JP2013051618A/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/349Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/356Image reproducers having separate monoscopic and stereoscopic modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/368Image reproducers using viewer tracking for two or more viewers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/376Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/172Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178Metadata, e.g. disparity information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract


【課題】3D視聴モードおよび/またはコンテンツ種別に応じて、適当な表示方式を選択する映像処理装置および映像処理方法を提供する。
【解決手段】実施形態によれば、映像処理装置は、符号化された入力映像信号を復号し、ベースバンド映像信号を生成する受信部と、2視差方式および多視差方式を含む複数の表示方式から1つの表示方式を選択する表示方式選択部と、前記表示方式選択部により2視差方式が選択された場合には、前記ベースバンド映像信号を左目用および右目用の2つの視差画像信号に変換し、前記表示方式選択部により多視差方式が選択された場合には、前記ベースバンド映像信号を3つ以上の視差画像信号に変換する視差画像変換部とを備える。
【選択図】図2

Description

本発明の実施形態は、映像処理装置および映像処理方法に関する。
近年、視聴者が特殊なメガネを使用せずに裸眼で立体映像を見ることができる立体映像表示装置(いわゆる裸眼3Dテレビ)が普及しつつある。この立体映像表示装置は、視点の異なる複数の画像を表示する。視聴者の位置が適切であれば、視聴者は、左目と右目とで異なる視差画像を見ることになるため、映像を立体的に認識することができる。
立体映像コンテンツ(3Dコンテンツ)のうち、例えばフレームパッキング(FP)、サイドバイサイド(SBS)およびトップアンドボトム(TAB)のような通常の3Dコンテンツには、左目用と右目用の2つの視差映像が含まれている。また、2D映像コンテンツを立体映像として見る場合には、2D3D変換により複数の視差画像(例えば3視差以上)を生成して2次元映像を立体化した後、液晶パネルに表示している。
左目用と右目用の2つの視差画像からなる立体映像は、立体感や奥行き感を大きく感じることができるが、立体的に見える範囲(視域)は狭い。一方、3つ以上の視差画像からなる立体映像は、視域は広いが立体感に劣る。このように、立体映像の立体感と視域の広さとはトレードオフの関係にある。
特開2007−94022号公報
3D視聴モードおよび/またはコンテンツ種別に応じて、適当な表示方式を選択する映像処理装置および映像処理方法を提供する。
実施形態によれば、映像処理装置は、符号化された入力映像信号を復号し、ベースバンド映像信号を生成する受信部と、2視差方式および多視差方式を含む複数の表示方式から1つの表示方式を選択する表示方式選択部であって、3D視聴モードが2視差方式に設定されている場合、2視差方式を選択し、多視差方式に設定されている場合、多視差方式を選択する、表示方式選択部と、前記表示方式選択部により2視差方式が選択された場合には、前記ベースバンド映像信号を左目用および右目用の2つの視差画像信号に変換し、前記表示方式選択部により多視差方式が選択された場合には、前記ベースバンド映像信号を3つ以上の視差画像信号に変換する視差画像変換部と、を備え、前記受信部は、前記ベースバンド映像信号に含まれるコンテンツ種別を示すフラグを読み取り、前記表示方式選択部は、前記3D視聴モードの設定が2視差方式であり、かつ前記コンテンツ種別が2次元映像コンテンツの場合、2視差方式に代えて多視差方式を選択し、前記視差画像変換部は、前記表示方式選択部により多視差方式が選択された場合、前記2次元映像コンテンツのベースバンド映像信号を3つ以上の視差画像を含む立体映像の信号に変換する。
一実施形態に係る映像処理装置100の外観図である。 一実施形態に係る映像処理装置100の概略構成を示すブロック図である。 液晶パネル1およびレンチキュラレンズ2の一部を上方から見た図である。 映像処理装置の視聴領域Pにおける複数の視域21の一例を示す上面図である。 変形例に係る映像処理装置100’の概略構成を示すブロック図である。 第1の実施形態に係る映像処理方法を示すフローチャートである。 第1の実施形態の第1の変形例に係る映像処理方法を示すフローチャートである。 第1の実施形態の第2の変形例に係る映像処理方法を示すフローチャートである。 第2の実施形態に係る映像処理方法を示すフローチャートである。
以下、本発明に係る実施形態について、図面を参照しながら具体的に説明する。
図1は、一実施形態に係る映像処理装置100の外観図であり、図2は、その概略構成を示すブロック図である。映像処理装置100は、液晶パネル1と、レンチキュラレンズ2と、カメラ3と、受光部4と、コントローラ10とを備えている。
液晶パネル(表示部)1は、視域内にいる視聴者が立体映像として観察可能な複数の視差画像を表示する。この液晶パネル1は、例えば55インチサイズのパネルであり、水平方向に11520(=1280*9)個、垂直方向に720個の画素が配置される。また、各画素内には、3つのサブピクセル、すなわち、Rサブピクセル、GサブピクセルおよびBサブピクセルが垂直方向に形成されている。液晶パネル1には、背面に設けられるバックライト装置(不図示)から光が照射される。各画素はコントローラ10から供給される視差画像信号(後述)に応じた輝度の光を透過させる。
レンチキュラレンズ(開口制御部)2は、液晶パネル1(表示部)に表示された複数の視差画像を所定の方向に出力する。このレンチキュラレンズ2は、液晶パネル1の水平方向に沿って配置される複数の凸部を有し、その数は液晶パネル1の水平方向画素数の1/9である。そして、水平方向に配置される9個の画素につき1つの凸部が対応するように、レンチキュラレンズ2は液晶パネル1の表面に貼り付けられている。各画素を透過した光は凸部の頂点付近から指向性を持って特定の方向へ出力される。
本実施形態の液晶パネル1は、3視差以上の多視差方式(インテグラルイメージング方式)または2視差方式で、立体映像を表示することができ、この他に通常の2次元映像も表示可能である。
以下の説明では、液晶パネル1の各凸部に対応して9個の画素を設けて、9視差の多視差方式を採用可能な例を説明する。多視差方式では、各凸部に対応する9個の画素にそれぞれ第1〜第9視差画像を表示する。第1〜第9視差画像とは、液晶パネル1の水平方向に沿って並ぶ9つの視点からそれぞれ被写体を見た画像である。視聴者は、レンチキュラレンズ2を介して、左目で第1〜第9視差画像のうちの1つの視差画像を、右目で他の1つの視差画像をそれぞれ見ることにより、映像を立体視できる。多視差方式によると、視差の数を増やすほど、視域を広げることができる。視域とは、液晶パネル1の前方から液晶パネル1を見たときに映像を立体視可能な領域をいう。
一方、2視差方式では、各凸部に対応する9個の画素のうちの4個に右目用視差画像を、他の5個に左目用視差画像をそれぞれ表示する。左目用および右目用視差画像とは、水平方向に並ぶ2つの視点のうち、左側の視点および右側の視点からそれぞれ被写体を見た画像である。視聴者は、レンチキュラレンズ2を介して、左目で左目用視差画像を、右目で右目用視差画像をそれぞれ見ることにより、映像を立体視できる。2視差方式によると、表示される映像の立体感が多視差方式よりも得られやすくなるが、多視差方式に比べて視域が狭くなる。
なお、液晶パネル1は各凸部に対応する9個の画素に同一の画像を表示して、2次元画像を表示することもできる。
また、本実施形態では、レンチキュラレンズ2の凸部と表示される視差画像との相対的な位置関係、すなわち、各凸部に対応する9個の画素にどのように視差画像を表示するか、に応じて、視域を可変制御できるようにしている。以下、多視差方式を例に取って、視域の制御について説明する。
図3は、液晶パネル1およびレンチキュラレンズ2の一部を上方から見た図である。同図の網掛けの領域が視域を示しており、視域から液晶パネル1を見ると映像を立体視できる。他の領域は逆視やクロストークが発生する領域であり、映像を立体視するのが困難な領域である。
図3は、液晶パネル1とレンチキュラレンズ2との相対的な位置関係、より具体的には、液晶パネル1とレンチキュラレンズ2との距離、あるいは液晶パネル1とレンチキュラレンズ2との水平方向のずれ量によって、視域が変化する様子を示している。
実際には、レンチキュラレンズ2は、液晶パネル1に高精度に位置合わせをして貼り付けられるため、液晶パネル1とレンチキュラレンズ2との相対的な位置を物理的に変更することは困難である。
そこで、本実施形態では、液晶パネル1の各画素に表示される第1〜第9視差画像の表示位置をずらすことで、見かけ上、液晶パネル1とレンチキュラレンズ2との相対的な位置関係を変更し、これにより、視域の調整を行う。
例えば、各凸部に対応する9個の画素に第1〜第9視差画像をそれぞれ表示した場合(図3(a))に比べ、視差画像を全体に右側にずらして表示した場合(図3(b))、視域は左側に移動する。逆に、視差画像を全体に左側にずらして表示した場合、視域は右側に移動する。
また、水平方向の中央付近では視差画像をずらさず、液晶パネル1の外側ほど、視差画像を外側に大きくずらして表示した場合(図3(c))、視域は液晶パネル1に近づく方向に移動する。なお、ずらす視差画像とずらさない視差画像との間の画素や、ずらす量が異なる視差画像間の画素は、周囲の画素に応じて適宜補間すればよい。また、図3(c)とは逆に、水平方向の中央付近では視差画像をずらさず、液晶パネル1の外側ほど、視差画像を中心側に大きくずらして表示した場合、視域は液晶パネル1から遠ざかる方向に移動する。
このように、視差画像の全体あるいは一部をずらして表示することにより、視域を液晶パネル1に対して左右方向あるいは前後方向に移動させることができる。図3では説明を簡略化するために視域を1つだけ示しているが、実際には、図4に示すように、複数の視域21が視聴領域Pに存在し、これらは連動して移動する。視域は、後述する図2のコントローラ10により制御される。なお、視域21以外の視聴領域は、逆視やクロストーク等の発生により、良好な立体映像を見ることが困難な逆視領域22である。
図1に戻り、映像処理装置100の各構成要素について説明する。
カメラ3は、液晶パネル1の下部中央付近に、所定の仰角で取り付けられ、液晶パネル1の前方の所定の範囲を撮影する。撮影された映像はコントローラ10に供給され、視聴者の位置や視聴者の顔等、視聴者に関する情報を検出するために用いられる。カメラ3は、動画像と静止画像のどちらを撮影してもよい。
受光部4は、例えば液晶パネル1の下部の左側に設けられる。そして、受光部4は視聴者が使用するリモコンから送信される赤外線信号を受信する。この赤外線信号は、立体映像を表示するか2次元映像を表示するか、立体映像を表示する場合に多視差方式および2視差方式のいずれを採用するか、視域の制御を行うか否か、等を示す信号を含む。
次に、コントローラ10の構成要素の詳細について説明する。図2に示すように、コントローラ10は、チューナデコーダ11と、視差画像変換部12と、視聴者検出部13と、視域情報算出部14と、画像調整部15と、表示方式選択部16と、記憶部17とを有する。コントローラ10は、例えば1つのIC(Integrated Circuit)として実装され、液晶パネル1の裏側に配置される。もちろん、コントローラ10の一部をソフトウェアで実装してもよい。
チューナデコーダ(受信部)11は、入力される放送波を受信および選局し、符号化された映像信号を復号する。放送波に電子番組表(EPG)等のデータ放送の信号が重畳されている場合、チューナデコーダ11はこれを抽出する。あるいは、チューナデコーダ11は、放送波ではなく、光ディスク再生装置やパーソナルコンピュータ等の映像出力機器から符号化された映像信号を受信し、これを復号する。復号された信号はベースバンド映像信号とも呼ばれ、視差画像変換部12に供給される。なお、映像処理装置100が放送波を受信せず、専ら映像出力機器から受信する映像信号を表示する場合、チューナデコーダ11に代えて単に復号機能を有するデコーダを受信部として設けてもよい。
チューナデコーダ11が受信する映像信号は、2次元の映像信号であってもよいし、左目用および右目用の画像(即ち、2つの視差画像)を含む3次元の映像信号であってもよい。後者の例として、フレームパッキング(FP)、サイドバイサイド(SBS)あるいはトップアンドボトム(TAB)方式などによる映像信号が挙げられる。また、映像信号は、3つ以上の視差画像含む3次元の映像信号であってもよい。
また、チューナデコーダ11は、ベースバンド映像信号に含まれるコンテンツ種別を示すフラグを読み取る。これにより、入力映像信号のコンテンツ種別を判別することが可能である。
視差画像変換部12は、後述する表示方式選択部16により選択された映像表示方式に従って、ベースバンド映像信号を所望の映像信号に変換する。視差画像変換部12は、映像を立体表示するために、ベースバンド映像信号を複数の視差画像信号に変換して画像調整部15に供給する。なお、選択された映像表示方式が2次元映像表示方式(2D方式)の場合、視差画像変換部12は、2D映像コンテンツの映像信号をそのまま画像調整部15に供給する。
視差画像変換部12は、多視差方式と2視差方式のどちらを採用するかで、処理内容が異なる。また、ベースバンド映像信号が2次元の映像信号であるか、3次元の映像信号であるか、に応じて、視差画像変換部12の処理内容が異なる。
2視差方式を採用する場合、視差画像変換部12は、左目用および右目用視差画像にそれぞれ対応する左目用および右目用視差画像信号を生成する。より具体的には以下のようにする。
2視差方式を採用し、かつ、左目用および右目用の画像を含む3次元映像信号が入力された場合、視差画像変換部12は液晶パネル1に表示可能な形式の左目用および右目用視差画像信号を生成する。また、3つ以上の画像を含む3次元映像信号が入力される場合、例えばそのうちの任意の2つを用いて、視差画像変換部12は左目用および右目用視差画像信号を生成する。
これに対し、2視差方式を採用し、かつ、視差情報を含まない2次元の映像信号が入力された場合、視差画像変換部12は、映像信号における各画素の奥行き値に基づいて、左目用および右目用視差画像信号を生成する。奥行き値は、各画素がどの程度液晶パネル1に対して手前または奥に見えるように表示するか、を示す値である。奥行き値は予め映像信号に付加されていてもよいし、映像信号の特徴に基づいて動き検出、構図識別および人間の顔検出等を行って奥行き値を生成してもよい。左目用視差画像では、手前に見える画素は奥に見える画素より右側にずれて表示される必要がある。そのため、視差画像変換部12は映像信号における手前に見える画素を右側にずらす処理を行って左目用視差画像信号を生成する。奥行き値が大きいほどずらす量を大きくする。
一方、多視差方式を採用する場合、視差画像変換部12は第1〜第9視差画像にそれぞれ対応する第1〜第9視差画像信号を生成する。より具体的には以下のようにする。
多視差方式を採用し、かつ、2次元の映像信号または8視差以下の画像を含む3次元の映像信号が入力された場合、視差画像変換部12は、2次元の映像信号から左目用および右目用視差画像信号を生成するのと同様に奥行き情報に基づいて、第1〜第9視差画像信号を生成する。
多視差方式を採用し、かつ、9視差の画像を含む3次元の映像信号が入力された場合、視差画像変換部12はその映像信号を用いて第1〜第9視差画像信号を生成する。
視聴者検出部13は、カメラ3で撮影された映像を用いて視聴者を検出する。より詳しくは、視聴者検出部13は、カメラ3により撮影された映像を用いて顔認識を行い、視聴者の情報(例えば、視聴者の顔情報、位置情報)を取得する。また、視聴者検出部13は、視聴者が動いても追尾することが可能であるため、視聴者ごとの視聴時間を把握することもできる。
視聴者検出部13は、視聴者の人数を表示方式選択部16に供給し、視聴者の位置情報を視域情報算出部14に供給する。
視聴者の位置情報は、例えば液晶パネル1の中央を原点とするX軸(水平方向)、Y軸(垂直方向)およびZ軸(液晶パネル1に対して直交する方向)上の位置として表される。図4に示す視聴者20の位置は、座標(X1,Y1,Z1)で表される。より具体的には、視聴者検出部13は、まず、カメラ3により撮影された映像から顔を検出することにより視聴者を認識する。次いで、視聴者検出部13は映像における視聴者の位置からX軸およびY軸上の位置(X1,Y1)を算出し、顔の大きさからZ軸上の位置(Z1)を算出する。視聴者が複数いる場合、視聴者検出部13は、予め定めた数、例えば10人分の視聴者を検出するようにしてもよい。この場合、検出された顔の数が10より大きいときは、例えば液晶パネル1から近い、すなわち、Z軸上の位置が小さい順に10人の視聴者の位置を検出する。
視域情報算出部14は、後述の視聴者選択部16により選択された視聴者の位置情報を用いて、選択された視聴者を収める視域を設定するための制御パラメータを算出する。この制御パラメータは、例えば、図3で説明した視差画像をずらす量であり、1つのパラメータ、または複数のパラメータの組み合わせである。そして、視域情報算出部14は、算出した制御パラメータを画像調整部15に供給する。
より詳しくは、所望の視域を設定するために、視域情報算出部14は、制御パラメータと、その制御パラメータで設定される視域とを対応付けた視域データベースを用いる。この視域データベースは記憶部17に予め格納されている。視域情報算出部14は、視域データベースを検索することによって、選択された視聴者を収めることの可能な視域を見つける。
画像調整部(視域制御部)15は、視域を制御するために、算出された制御パラメータに応じて視差画像信号をずらしたり補間したりする調整を行った後に、液晶パネル1に供給する。液晶パネル1は調整された視差画像信号に対応する画像を表示する。
表示方式選択部16は、複数の映像表示方式の中から1つを選択し、選択した映像表示方式を視差画像変換部12に供給する。なお、映像表示方式には、2次元映像を表示する2D方式、右目用と左目用の2つの視差画像を含む立体映像を表示する2視差方式、および3つ以上の視差画像を含む立体映像を表示する多視差方式などがある。
表示方式選択部16は、3D視聴モードの設定を参照し、その設定内容に基づいて映像表示方式を選択してもよい。この3D視聴モードは、ユーザが3D表示方式を切替えるために設定メニューから設定されるものであり、2視差方式または多視差方式(ダイレクトステレオ設定オート/オフ)に設定される。2視差方式を選択するためのボタンおよび多視差方式を選択するためのボタンをリモコンに設けて、視聴者がいずれかのボタンを押下することによって3D視聴モードを設定するようにしてもよい。
なお、表示方式選択部16は、チューナデコーダ11から入力映像信号のコンテンツ種別に関する情報を供給され、このコンテンツ種別に基づいて、映像表示方式を選択してもよい。
記憶部17は、フラッシュメモリなどの不揮発性メモリであり、視域データベースの他、3D視聴モードの設定などを記憶する。表示方式選択部16は、記憶部17から3D視聴モードの設定を読み出す。なお、この記憶部17は、コントローラ10の外部に設けられてもよい。
以上、映像処理装置100の構成について説明した。本実施形態ではレンチキュラレンズ2を用い、視差画像をずらすことによって視域を制御する例を示したが、他の手法で視域を制御してもよい。例えば、レンチキュラレンズ2に代えてパララックスバリアを開口制御部2’として設けてもよい。図5は、図2に示す本実施形態の変形例である映像処理装置100’の概略構成を示すブロック図である。同図に示すように、映像処理装置100’のコントローラ10’は、画像調整部15の代わりに、視域制御部15’を備える。この視域制御部15’は、視域情報算出部14により算出された制御パラメータに応じて開口制御部2’を制御する。本変形例の場合、制御パラメータは、液晶パネル1と開口制御部2’との距離、液晶パネル1と開口制御部2’との水平方向のずれ量などである。
本変形例では、液晶パネル1に表示された視差画像の出力方向を、開口制御部2’で制御することによって、視域が制御される。このように、視差画像をずらす処理を行わず、視域制御部15’により開口制御部2’を制御してもよい。
(第1の実施形態)
次に、上記のように構成された映像処理装置100(100’)による映像処理方法について、図6のフローチャートを用いて説明する。
(1)チューナデコーダ11は、入力映像信号を復号し、ベースバンド映像信号を生成する(ステップS11)。
(2)表示方式選択部16は、記憶部17に保存された3D視聴モードの設定を参照し(ステップS12)、3D視聴モードが多視差方式に設定されている場合、多視差方式を選択し(ステップS13)、3D視聴モードが2視差方式に設定されている場合、ステップS14に進む。
(3)チューナデコーダ11は、ベースバンド映像信号に含まれるコンテンツ種別を示すフラグを読み取る(ステップS14)。入力映像信号のコンテンツ種別が判別された結果、2D映像コンテンツであれば、表示方式選択部16は2D方式を選択し(ステップS15)、一方、3Dコンテンツであれば、表示方式選択部16は2視差方式を選択する(ステップS16)。
(4)視差画像変換部12は、表示方式選択部16により選択された表示方式に基づいて、ベースバンド映像信号を処理する(ステップS17)。詳しくは、視差画像変換部12は、2視差方式が選択された場合には、ベースバンド映像信号を左目用および右目用の2つの視差画像信号に変換し、2D方式が選択された場合には、2次元映像の前記ベースバンド映像信号をそのまま出力し、多視差方式が選択された場合には、ベースバンド映像信号を3つ以上の視差画像信号に変換する。
第1の実施形態によれば、3D視聴モードに応じて2視差方式または多視差方式が選択され、さらに、コンテンツ種別に応じて2視差方式または2D方式が選択される。多視差方式の場合、視域が広いので、映像処理装置の前にいる多くの人が立体映像を楽しむことができる。一方、2視差方式の場合、視聴者は、3Dコンテンツが有する左右の視差映像をそのまま見ることができるので、立体感に優れた立体映像を楽しむことができる。
(第1の変形例)
次に、図7のフローチャートに沿って、第1の実施形態の第1の変形例に係る映像処理方法について説明する。前述のように、2つの視差映像を含む3Dコンテンツは立体感に優れるものの視域が狭いため、視聴者の数は多い場合には視聴者全員が立体映像を視聴することが難しくなる。そこで、本変形例は、3D視聴モードが2視差方式に設定されている場合であっても、視聴者の人数等に応じて多視差方式に切替える。なお、ステップS160以外のステップは第1の実施形態と同じであるため、詳しい説明を省略する。
(1)視聴者検出部13は、カメラ3で撮影された映像を用いて視聴者を検出する(ステップS161)。
(2)表示方式選択部16は、視聴者が複数人存在しかつ視域内に収まらないかどうかを判定し(ステップS162)、視聴者が複数人存在しかつ視域内に収まらない場合、多視差方式を選択し(ステップS163)、それ以外の場合には2視差方式を選択する(ステップS164)。
第1の変形例によれば、視聴者が複数人存在しかつ視域内に収まらない場合には多視差方式を選択することで、複数の視聴者が立体映像を楽しむことができる。
(第2の変形例)
次に、図8のフローチャートに沿って、第1の実施形態の第2の変形例に係る映像処理方法について説明する。第1の実施形態では2D映像コンテンツの場合にはそのまま2次元映像を表示したが、本変形例では、2次元映像から立体映像への変換(2D3D変換)を行って立体映像を表示する。なお、ステップS15’およびステップS17’以外のステップは第1の実施形態と同じであるため、詳しい説明を省略する。
(1)コンテンツ種別が2次元映像コンテンツ(2Dコンテンツ)の場合、表示方式選択部16は、多視差方式を選択する(ステップS15’)。
(2)視差画像変換部12は、2次元の映像信号の2D3D変換を行い、2D映像コンテンツのベースバンド映像信号を3つ以上の視差画像を含む立体映像の信号に変換する(ステップS17’)。なお、2D映像コンテンツのベースバンド映像信号を、右目用と左目用の2つの視差画像を含む立体映像の信号に変換してもよい。
第2の変形例によれば、2D映像コンテンツの場合であっても2D3D変換を行って多視差方式で表示することで、視聴者は立体映像を楽しむことができる。
(第2の実施形態)
第2の実施形態は、立体映像のコンテンツ種別(3Dコンテンツ種別)に基づいて表示方式を選択する。以下、図9のフローチャートに沿って、本実施形態に係る映像処理方法を説明する。
(1)チューナデコーダ11は、符号化された入力映像信号を復号し、ベースバンド映像信号を生成し、その後、ベースバンド映像信号に含まれる3Dコンテンツ種別を示すフラグを読み取る(ステップS21)。
(2)表示方式選択部16は、3Dコンテンツ種別の判別(ステップS22)の結果、2D3D変換コンテンツの場合には多視差方式を選択し(ステップS23)、2D3D変換コンテンツ以外の3Dコンテンツの場合には2視差方式を選択する(ステップS24)。ここで、2D3D変換コンテンツとは、2D3D変換により2次元映像から立体映像に変換された立体映像コンテンツのことである。
なお、3Dコンテンツの場合であっても視聴者が複数存在し、視域に収まらない場合には多視差方式を選択してもよい。即ち、ステップS24に代えて、前述の第1の変形例のステップS160を行ってもよい。
(3)視差画像変換部12は、表示方式選択部16により選択された表示方式に基づいて、ベースバンド映像信号を処理する(ステップS25)。詳しくは、視差画像変換部12は、2視差方式が選択された場合には、ベースバンド映像信号を左目用および右目用の2つの視差画像信号に変換し、多視差方式が選択された場合には、ベースバンド映像信号を3つ以上の視差画像信号に変換する。
第2の実施形態によれば、3Dコンテンツ種別に応じて、立体映像の立体感を優先する2視差方式および視域の広さを優先する多視差方式から適切な表示方式が選択される。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
1 液晶パネル
2 レンチキュラレンズ
2’ 開口制御部
3 カメラ
4 受光部
10,10’ コントローラ
11 チューナデコーダ
12 視差画像変換部
13 視聴者検出部
14 視域情報算出部
15 画像調整部
15’ 視域制御部
16 表示方式選択部
17 記憶部
20 視聴者
21 視域
22 逆視領域
100,100’ 映像処理装置
P 視聴領域

Claims (4)

  1. 符号化された入力映像信号を復号し、ベースバンド映像信号を生成する、受信部と、
    2視差方式および多視差方式を含む複数の表示方式から1つの表示方式を選択する、表示方式選択部であって、3D視聴モードが2視差方式に設定されている場合、2視差方式を選択し、多視差方式に設定されている場合、多視差方式を選択する、表示方式選択部と、
    前記表示方式選択部により2視差方式が選択された場合には、前記ベースバンド映像信号を左目用および右目用の2つの視差画像信号に変換し、前記表示方式選択部により多視差方式が選択された場合には、前記ベースバンド映像信号を3つ以上の視差画像信号に変換する、視差画像変換部と、
    を備え
    前記受信部は、前記ベースバンド映像信号に含まれるコンテンツ種別を示すフラグを読み取り、
    前記表示方式選択部は、前記3D視聴モードの設定が2視差方式であり、かつ前記コンテンツ種別が2次元映像コンテンツの場合、2視差方式に代えて多視差方式を選択し、
    前記視差画像変換部は、前記表示方式選択部により多視差方式が選択された場合、前記2次元映像コンテンツのベースバンド映像信号を3つ以上の視差画像を含む立体映像の信号に変換する、映像処理装置。
  2. 符号化された入力映像信号を復号し、ベースバンド映像信号を生成する、受信部と、
    2視差方式および多視差方式を含む複数の表示方式から1つの表示方式を選択する、表示方式選択部と、
    前記表示方式選択部により2視差方式が選択された場合には、前記ベースバンド映像信号を左目用および右目用の2つの視差画像信号に変換し、前記表示方式選択部により多視差方式が選択された場合には、前記ベースバンド映像信号を3つ以上の視差画像信号に変換する、視差画像変換部と、
    を備え、
    前記受信部は、前記ベースバンド映像信号に含まれる3Dコンテンツ種別を示すフラグを読み取り、
    前記表示方式選択部は、前記3Dコンテンツ種別が2次元映像から立体映像に変換された2D3D変換コンテンツである場合、多視差方式を選択し、前記3Dコンテンツ種別が前記2D3D変換コンテンツ以外の立体映像コンテンツである場合、2視差方式を選択する、映像処理装置。
  3. 符号化された入力映像信号を復号し、ベースバンド映像信号を生成し、
    2視差方式および多視差方式を含む複数の表示方式から1つの表示方式を選択し、
    2視差方式を選択した場合には、前記ベースバンド映像信号を左目用および右目用の2つの視差画像信号に変換し、多視差方式を選択した場合には、前記ベースバンド映像信号を3つ以上の視差画像信号に変換する映像処理方法において、
    前記表示方式の選択において、3D視聴モードが2視差方式に設定されている場合、2視差方式を選択し、多視差方式に設定されている場合、多視差方式を選択し、
    前記ベースバンド映像信号の生成後かつ前記表示方式の選択前に、前記ベースバンド映像信号に含まれるコンテンツ種別を示すフラグを読み取り、
    前記コンテンツ種別が2次元映像コンテンツの場合、2視差方式に代えて多視差方式を選択し、前記2次元映像コンテンツのベースバンド映像信号を3つ以上の視差画像を含む立体映像の信号に変換する、映像処理方法。
  4. 符号化された入力映像信号を復号し、ベースバンド映像信号を生成し、
    2視差方式および多視差方式を含む複数の表示方式から1つの表示方式を選択し、
    2視差方式を選択した場合には、前記ベースバンド映像信号を左目用および右目用の2つの視差画像信号に変換し、多視差方式を選択した場合には、前記ベースバンド映像信号を3つ以上の視差画像信号に変換する映像処理方法において、
    前記ベースバンド映像信号を生成した後、前記ベースバンド映像信号に含まれる3Dコンテンツ種別を示すフラグを読み取り、
    前記3Dコンテンツ種別が2次元映像から立体映像に変換された2D3D変換コンテンツである場合、多視差方式を選択し、前記3Dコンテンツ種別が前記2D3D変換コンテンツ以外の立体映像コンテンツである場合、2視差方式を選択する、映像処理方法。
JP2011189496A 2011-08-31 2011-08-31 映像処理装置および映像処理方法 Expired - Fee Related JP5129376B1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011189496A JP5129376B1 (ja) 2011-08-31 2011-08-31 映像処理装置および映像処理方法
US13/402,563 US20130050416A1 (en) 2011-08-31 2012-02-22 Video processing apparatus and video processing method
CN201210074588.6A CN102970561B (zh) 2011-08-31 2012-03-20 视频处理装置以及视频处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011189496A JP5129376B1 (ja) 2011-08-31 2011-08-31 映像処理装置および映像処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2012240295A Division JP2013055682A (ja) 2012-10-31 2012-10-31 映像処理装置および映像処理方法

Publications (2)

Publication Number Publication Date
JP5129376B1 true JP5129376B1 (ja) 2013-01-30
JP2013051618A JP2013051618A (ja) 2013-03-14

Family

ID=47692981

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011189496A Expired - Fee Related JP5129376B1 (ja) 2011-08-31 2011-08-31 映像処理装置および映像処理方法

Country Status (3)

Country Link
US (1) US20130050416A1 (ja)
JP (1) JP5129376B1 (ja)
CN (1) CN102970561B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113347407A (zh) * 2021-05-21 2021-09-03 华中科技大学 一种基于裸眼3d医学图像显示系统

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5058316B2 (ja) * 2010-09-03 2012-10-24 株式会社東芝 電子機器、画像処理方法、及び画像処理プログラム
KR102070811B1 (ko) * 2013-06-17 2020-01-30 삼성전자주식회사 디스플레이 장치 및 터치 패널
CN103533339A (zh) * 2013-10-10 2014-01-22 上海易维视科技有限公司 裸眼3d显示设备及其显示方法
JP6502701B2 (ja) * 2015-02-26 2019-04-17 日本放送協会 要素画像群生成装置及びそのプログラム、並びにデジタル放送受信装置
US9986289B2 (en) * 2015-03-02 2018-05-29 The Nielsen Company (Us), Llc Methods and apparatus to count people
CN112188181B (zh) * 2019-07-02 2023-07-04 中强光电股份有限公司 图像显示设备、立体图像处理电路及其同步信号校正方法
CN113905225B (zh) * 2021-09-24 2023-04-28 深圳技术大学 裸眼3d显示装置的显示控制方法及装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10174127A (ja) * 1996-12-13 1998-06-26 Sanyo Electric Co Ltd 立体表示方法および立体表示装置
JP2006115151A (ja) * 2004-10-14 2006-04-27 Canon Inc 立体表示装置
WO2006049217A1 (ja) * 2004-11-02 2006-05-11 Fujitsu Ten Limited 表示制御装置および表示装置
JP4638784B2 (ja) * 2005-07-19 2011-02-23 オリンパスイメージング株式会社 画像出力装置及びプログラム
WO2008140190A1 (en) * 2007-05-14 2008-11-20 Samsung Electronics Co, . Ltd. Method and apparatus for encoding and decoding multi-view image
BRPI0904620A2 (pt) * 2008-09-30 2020-08-18 Panasonic Corporation meio de gravação , dispositivo de reprodução, sistema lsi, método de reprodução,óculos, e dispositivo de exibição para imagens 3d
EP2340648B1 (en) * 2008-10-28 2019-12-11 Koninklijke Philips N.V. A three dimensional display system
JP4525831B1 (ja) * 2009-03-31 2010-08-18 株式会社カシオ日立モバイルコミュニケーションズ 画像受信装置、および、プログラム
CN104065945A (zh) * 2009-04-27 2014-09-24 Lg电子株式会社 广播发射机、广播接收机及其3d视频数据处理方法
WO2011008821A1 (en) * 2009-07-15 2011-01-20 Home Box Office, Inc. Identification of 3d format and graphics rendering on 3d displays
KR101647408B1 (ko) * 2010-02-03 2016-08-10 삼성전자주식회사 영상 처리 장치 및 방법
CN102959980B (zh) * 2010-04-30 2016-11-02 Lg电子株式会社 处理图像的设备及处理图像的方法
US20110310003A1 (en) * 2010-05-21 2011-12-22 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Image display device and method of displaying images

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113347407A (zh) * 2021-05-21 2021-09-03 华中科技大学 一种基于裸眼3d医学图像显示系统

Also Published As

Publication number Publication date
US20130050416A1 (en) 2013-02-28
CN102970561A (zh) 2013-03-13
JP2013051618A (ja) 2013-03-14
CN102970561B (zh) 2015-02-25

Similar Documents

Publication Publication Date Title
JP5149435B1 (ja) 映像処理装置および映像処理方法
JP5129376B1 (ja) 映像処理装置および映像処理方法
JP5129377B1 (ja) 映像処理装置
JP5134714B1 (ja) 映像処理装置
JP5343156B1 (ja) 検出装置、検出方法および映像表示装置
JP5132804B1 (ja) 映像処理装置および映像処理方法
JP5117613B1 (ja) 映像処理装置および映像処理方法ならびに記憶媒体
JP5127967B1 (ja) 映像処理装置および映像処理方法
JP5156116B1 (ja) 映像処理装置および映像処理方法
JP5095851B1 (ja) 映像処理装置および映像処理方法
JP5156117B1 (ja) 映像処理装置および映像処理方法
JP5433763B2 (ja) 映像処理装置および映像処理方法
US20130050442A1 (en) Video processing apparatus, video processing method and remote controller
JP2013055694A (ja) 映像処理装置および映像処理方法
JP5568116B2 (ja) 映像処理装置および映像処理方法
JP5603911B2 (ja) 映像処理装置、映像処理方法および遠隔制御装置
JP5032694B1 (ja) 映像処理装置および映像処理方法
JP5362071B2 (ja) 映像処理装置、映像表示装置および映像処理方法
JP5395934B1 (ja) 映像処理装置および映像処理方法
JP2013055682A (ja) 映像処理装置および映像処理方法
JP5433766B2 (ja) 映像処理装置および映像処理方法
JP2013055675A (ja) 映像処理装置および映像処理方法
JP5498555B2 (ja) 映像処理装置および映像処理方法
JP2013055641A (ja) 映像処理装置および映像処理方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121005

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121101

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151109

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees