Nothing Special   »   [go: up one dir, main page]

JP6803463B2 - ディスプレイ装置及びその制御方法 - Google Patents

ディスプレイ装置及びその制御方法 Download PDF

Info

Publication number
JP6803463B2
JP6803463B2 JP2019515440A JP2019515440A JP6803463B2 JP 6803463 B2 JP6803463 B2 JP 6803463B2 JP 2019515440 A JP2019515440 A JP 2019515440A JP 2019515440 A JP2019515440 A JP 2019515440A JP 6803463 B2 JP6803463 B2 JP 6803463B2
Authority
JP
Japan
Prior art keywords
content
display device
video
video data
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019515440A
Other languages
English (en)
Other versions
JP2020501387A (ja
Inventor
キム,ドンヒョン
ミン,ビョンソク
ウィ,ホチョン
キム,ボムジュン
キム,ジョンファン
ホ,ドウォン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2020501387A publication Critical patent/JP2020501387A/ja
Application granted granted Critical
Publication of JP6803463B2 publication Critical patent/JP6803463B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347Demultiplexing of several video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348Demultiplexing of additional data and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • H04N21/4516Management of client data or end-user data involving client characteristics, e.g. Set-Top-Box type, software version or amount of memory available
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Description

本発明は、入力されるコンテンツを処理して映像を表示するディスプレイ装置及びその制御方法並びに記録媒体に関し、特に、高解像度及び高画質のコンテンツの映像を、ユーザの視認性を考慮して表示するディスプレイ装置及びその制御方法並びに記録媒体に関する。
ディスプレイ装置は、コンテンツの信号又はデータを映像処理プロセスに従って処理し、ディスプレイパネルの画面にコンテンツ映像を表示する装置であり、例えば一般家庭におけるTVである。ディスプレイ装置に提供されるコンテンツは、光学ディスク再生装置のようなコンテンツ再生装置又はセットトップボックスのような中継装置から、HDMI(登録商標)などの規格に基づいてディスプレイ装置に伝送される。
技術の発展によりカメラなどの撮影機器の性能が高度化する結果、コンテンツがフレーム単位で含む映像情報は飛躍的に増加し、これは、コンテンツ再生装置からディスプレイ装置に提供されるコンテンツが超高画質及び超高解像度で具現されるということを意味する。例えば、コンテンツはHDR(High Dynamic Range)映像のような高輝度映像のコンテンツであってもよい。ところが、HDRコンテンツをディスプレイ装置が表示するに当たって、ディスプレイ装置が表現可能な最大輝度がコンテンツの最大輝度より低いか、ディスプレイ装置が表現可能な輝度範囲がコンテンツの輝度範囲より狭い場合がある。ディスプレイ装置はこのようなHDRコンテンツを表示するためにトーンマッピング(Tone Mapping:TM)という手法を用いる。
トーンマッピング手法は、入力映像としてのコンテンツの各輝度値を、ディスプレイ装置が表現可能な輝度範囲の値にマップして出力映像を生成し、それを表示する方法である。例えば、コンテンツの映像情報が0〜2000ニット(nit)の輝度範囲であるが、ディスプレイ装置の表現可能な輝度範囲が0〜500ニットである場合がある。この場合、単純にコンテンツの輝度値をそのまま具現して出力映像を生成しても、ディスプレイ装置は500ニットより大きい輝度値を表現できない。そこで、ディスプレイ装置はトーンマッピングを行い、HDRコンテンツの輝度範囲を持つ入力映像を、ディスプレイ装置が表現可能な輝度範囲を持つ出力映像に変換させる。
トーンマッピング手法の例示には、静的トーンマッピング(Static Tone Mapping:STM)手法及び動的トーンマッピング(Dynamic Tone Mapping:DTM)手法がある。STM手法によれば、トーンマッピングはディスプレイ装置の属性によって決定されるので、コンテンツの種類に関係なく、同じディスプレイ装置では同じトーンマッピングが適用される。DTM手法によれば、トーンマッピングはコンテンツ内の場面(scene)によって決定される。通常、DTM手法はSTM手法に比べてコンテンツ製作者の意図をよりよく反映することができる。
ところが、コンテンツ再生装置からディスプレイ装置に伝送されるデータがコンテンツ単独でない場合、例えばコンテンツとは別にコンテンツ再生装置で生成されたUIがコンテンツと合成される場合がある。この場合に表示されるコンテンツ及びUIに対してトーンマッピング手法を従来通り適用すると、ユーザにとってコンテンツ及びUIを視認する際に不便さ又は違和感を与えてしまうことが懸念される。
本発明の実施例に係るディスプレイ装置は、ディスプレイ部と、コンテンツ提供装置からメインコンテンツのデータを受信することが可能な受信部と、映像データ及び該映像データにメインコンテンツと共にサブコンテンツが含まれるかを示す参照情報を受信部から受信し、前記受信部に受信される映像データに基づいて、前記メインコンテンツ及び該メインコンテンツに選択的に含まれる前記サブコンテンツの映像を前記ディスプレイ部に表示させ、前記映像に前記サブコンテンツが含まれるか否かに対応するように、前記参照情報に基づいて複数の映像処理の中から選択されたいずれか一つの前記映像処理によって前記映像を表示させるプロセッサとを備える。これによって、ディスプレイ装置はメインコンテンツに対して動的トーンマッピングが適用される映像においてサブコンテンツがメインコンテンツにオーバーレイされるとき、映像の画質変化を最小化することができる。
ここで、前記プロセッサは、前記映像に前記サブコンテンツが含まれるか否かに対応して複数の設定から選択されたいずれか一つの設定に従って、前記映像データのピクセル情報に対応する前記映像の輝度情報を導出して前記映像を表示することができる。
また、前記プロセッサは、前記映像に前記サブコンテンツが含まれる場合には、前記ディスプレイ装置の属性に基づく前記映像処理を行い、前記映像に前記サブコンテンツが含まれない場合には、前記メインコンテンツの属性に基づく前記映像処理を行うことができる。
ここで、前記プロセッサは、前記メインコンテンツの場面によって個別に設けられた設定に従って前記映像データのピクセル情報を前記映像の輝度情報に変換させ、前記メインコンテンツの属性に基づく前記映像処理を行うことができる。
また、前記プロセッサは、前記ディスプレイ装置の専用輝度範囲に対応して前記映像データのピクセル情報を前記映像の輝度情報に変換させ、前記ディスプレイ装置の属性に基づく前記映像処理を行うことができる。
また、前記プロセッサは、前記コンテンツ提供装置から出力されるメタデータから前記参照情報を導出することができる。
また、前記映像に対する前記サブコンテンツの面積比率が所定の閾値より大きい場合には、前記映像に前記サブコンテンツが含まれると判断し、前記映像に対する前記サブコンテンツの面積比率が前記閾値より大きくない場合には、前記映像に前記サブコンテンツが含まれないと判断することができる。
また、前記プロセッサは、前記映像に前記サブコンテンツが含まれる場合には、前記複数の映像処理のうち、前記ディスプレイ装置の属性に基づく第1映像処理を行い、前記映像において前記サブコンテンツが含まれない時点から前記メインコンテンツの場面切替時点まで前記第1映像処理を維持し、前記複数の映像処理のうち、前記メインコンテンツの属性に基づく第2映像処理を前記場面切替時点から行うことができる。
また、前記プロセッサは、前記複数の映像処理のうち、第1映像処理から第2映像処理への切替時に、時間の経過に従って前記第1映像処理及び前記第2映像処理の適用比率を段階的に調整することができる。
また、前記プロセッサは、前記映像において前記サブコンテンツが表示される領域及び前記サブコンテンツが表示されない領域のそれぞれに対して個別の前記映像処理を行うことができる。
また、本発明の実施例に係るディスプレイ装置の制御方法は、映像データ及び該映像データにメインコンテンツと共にサブコンテンツが含まれるかを示す参照情報をコンテンツ提供装置から受信する段階と、映像に前記サブコンテンツが含まれるか否かに対応するように、前記参照情報に基づいて複数の映像処理の中からいずれか一つの前記映像処理を選択する段階と、前記選択された映像処理によって、前記メインコンテンツ及び該メインコンテンツに選択的に含まれる前記サブコンテンツの映像を表示する段階とを含む。
ここで、前記映像に前記サブコンテンツが含まれるか否かに対応して複数の設定から選択されたいずれか一つの設定に従って、前記映像データのピクセル情報に対応する前記映像の輝度情報を導出して前記映像を表示する段階を含んでもよい。
また、前記映像に前記サブコンテンツが含まれる場合には、前記ディスプレイ装置の属性に基づく映像処理を行う段階と、前記映像に前記サブコンテンツが含まれない場合には、前記メインコンテンツの属性に基づく映像処理を行う段階を含んでもよい。
ここで、前記メインコンテンツの場面によって個別に設けられた設定に従って前記映像データのピクセル情報を前記映像の輝度情報に変換させ、前記メインコンテンツの属性に基づく前記映像処理を行う段階を含んでもよい。
また、前記ディスプレイ装置の専用輝度範囲に対応して前記映像データのピクセル情報を前記映像の輝度情報に変換させ、前記ディスプレイ装置の属性に基づく前記映像処理を行う段階を含んでもよい。
また、前記コンテンツ提供装置から出力されるメタデータから前記参照情報を導出する段階をさらに含んでもよい。
また、前記映像に対する前記サブコンテンツの面積比率が所定の閾値より大きい場合には、前記映像に前記サブコンテンツが含まれると判断し、前記映像に対する前記サブコンテンツの面積比率が前記閾値より大きくない場合には、前記映像に前記サブコンテンツが含まれないと判断する段階を含んでもよい。
また、前記映像に前記サブコンテンツが含まれる場合には、前記複数の映像処理のうち、前記ディスプレイ装置の属性に基づく第1映像処理を行う段階と、前記映像において前記サブコンテンツが含まれない時点から前記メインコンテンツの場面切替時点まで前記第1映像処理を維持し、前記複数の映像処理のうち、前記メインコンテンツの属性に基づく第2映像処理を前記場面切替時点から行う段階を含んでもよい。
また、前記映像において前記サブコンテンツが表示される領域及び前記サブコンテンツが表示されない領域のそれぞれに対して個別の前記映像処理を行う段階を含んでもよい。
また、本発明の実施例に係るディスプレイ装置のプロセッサによって実行可能な方法のプログラムが記録された、不揮発性のコンピュータ読取り可能記録媒体において、前記方法は、コンテンツ提供装置から映像データ及び該映像データにメインコンテンツと共にサブコンテンツが含まれるかを示す参照情報を受信する段階と、前記参照情報に基づいて複数の映像処理の中から、映像に前記サブコンテンツが含まれるか否かに対応するようにいずれか一つの前記映像処理を選択する段階と、前記選択された映像処理によって、前記メインコンテンツ及び該メインコンテンツに選択的に含まれる前記サブコンテンツの映像を表示する段階とを含むことができる。
本発明の実施例に係るディスプレイ装置においてコンテンツ提供装置から受信されるデータに基づいてコンテンツ映像及びUIを表示する様子を示す例示図である。 本発明の実施例に係るディスプレイ装置の制御方法を示すフローチャートである。 本発明の実施例に係るディスプレイ装置に表示される映像の映像フレームの一部が時間順に配置された様子を示す例示図である。 本発明の実施例に係るディスプレイ装置及びコンテンツ提供装置の構成ブロック図である。 本発明のディスプレイ装置及びコンテンツ提供装置のデータ伝送及び動作過程の一実施例を示す構成ブロック図である。 本発明のディスプレイ装置及びコンテンツ提供装置のデータ伝送及び動作過程の他の実施例を示す構成ブロック図である。 本発明のディスプレイ装置及びコンテンツ提供装置のデータ伝送及び動作過程の他の実施例を示す構成ブロック図である。 本発明の実施例に係るディスプレイ装置が時間順序に従う場面別各映像フレームに対してトーンマッピング設定を適用する原理を説明する例示図である。 本発明の実施例に係るディスプレイ装置がトーンマッピング設定を切り替える過程のうち、一番目の映像フレームでの動作を示すフローチャートである。 本発明の実施例に係るディスプレイ装置がトーンマッピング設定を切り替える過程のうち、二番目の映像フレーム以降からの動作を示すフローチャートである。 本発明に係るディスプレイ装置及びコンテンツ提供装置のデータ伝送及び動作過程の他の実施例を示す構成ブロック図である。 本発明に係るディスプレイ装置及びコンテンツ提供装置のデータ伝送及び動作過程の他の実施例を示す構成ブロック図である。
以下、添付の図面を参照して本発明に係る実施例に関して詳しく説明する。各図を参照して説明する実施例は、特別な言及がない限り相互排他的な構成ではなく、一つの装置内で複数の実施例を選択的に組み合わせて具現することができる。このような複数の実施例の組み合わせは、本発明の技術分野における熟練した技術者が本発明の思想を具現する上で任意に選択して適用することができる。
図1は、本発明の実施例に係るディスプレイ装置においてコンテンツ提供装置から受信されるデータに基づいてコンテンツ映像及びUIを表示する様子を示す例示図である。
図1に示すように、本発明の実施例に係るディスプレイ装置120は、コンテンツ提供装置110に接続して、コンテンツ提供装置110から出力されるデータを処理し、それに基づく映像を表示する。すなわち、コンテンツ提供装置110はソースデバイスとして動作し、ディスプレイ装置120はシンクデバイスとして動作する。コンテンツ提供装置110及びディスプレイ装置120間の接続方式には様々な有無線規格があり、本実施例ではHDMI(High−Definition Multimedia Interface)方式を取り上げるが、その他にも様々な方式を適用することができる。
ディスプレイ装置120は、TV、モニターなどをはじめとして、映像を表示可能な諸般装置を含む。コンテンツ提供装置110は、ブルーレイ又はDVDなどの光学ディスク再生装置、セットトップボックス、ストリーミング装置などをはじめとして、コンテンツを再生したり中継する諸般装置を含む。
コンテンツ提供装置110がコンテンツを再生して生成したTMDS方式のコンテンツ信号をHDMIケーブルを通じてディスプレイ装置120に伝送すれば、ディスプレイ装置120はコンテンツ信号を映像処理プロセスに従って処理し、ディスプレイ部上にコンテンツ映像を表示する。映像処理プロセスはコンテンツ信号のフォーマットによって様々な形態が可能であるが、例えば、デマルチプレクシング、デコーディング、デスクランブリング、ディテール強化、スケーリングなどがある。
コンテンツは基本的に所定のレファレンスモニターで表示される場合を基準に想定し、レファレンスモニターの色域及び輝度を考慮して製作される。コンテンツがHDR映像コンテンツとして具現されると、当該コンテンツはLDR(Low Dynamic Range)映像コンテンツに比べて広い輝度範囲を有し、精細な映像を表現することができる。
ところが、ディスプレイ装置120の表現可能な最大輝度がレファレンスモニターのそれより低いと、ディスプレイ装置120はトーンマッピング手法を用いてHDR映像コンテンツである入力映像をLDR映像である出力映像に変換させて表示する。トーンマッピング手法には、ディスプレイ装置の属性に基づくSTM(Static Tone Mapping)手法と、コンテンツの属性に基づくDTM(Dynamic Tone Mapping)手法がある。ディスプレイ装置120はSTM及びDTMのいずれかを適用して出力映像を生成することができる。
DTMはコンテンツ内の場面切替に従って当該場面に適したトーンマッピングを行うので、STMに比べてコンテンツ製作者の意図がよりよく反映されたコンテンツ映像を表示させることができる。したがって、ディスプレイ装置120はこのような点を考慮して、コンテンツ提供装置110からコンテンツデータを含む信号を受信すれば、当該コンテンツデータをDTM手法によってコンテンツ映像に変換して表示する。
ところが、ディスプレイ装置120にコンテンツ映像141が単独で表示されるのではなく、コンテンツ映像141にUI142がオーバーレイされた合成映像140が表示される場合もある。例えば、ディスプレイ装置120にコンテンツ映像141だけが表示される間に、ユーザがリモートコントローラ130を操作し、UI142を表示するように指示するコマンドがリモートコントローラ130からコンテンツ提供装置110に伝送される場合がある。コンテンツ提供装置110はUI142を生成してそれをコンテンツ映像141に合成させた合成映像140のデータをディスプレイ装置120に出力し、ディスプレイ装置120は合成映像140のデータを処理して合成映像140を表示する。
仮に、コンテンツ映像141だけを表示する場合と同じ方法で、合成映像140にDTM手法を適用して表示すると、コンテンツ映像141の場面切替時にはUI142に各場面別に異なるトーンマッピングが適用されるので、ユーザにとってUI142を視聴する際に不自然を感じることがある。このような点を克服するように、本発明の実施例では次のような方法を提案する。
ディスプレイ装置120はSTM処理及びDTM処理を含む映像処理中に、メインコンテンツの映像にサブコンテンツが含まれるか否かによって決定されたいずれか一つの映像処理によって映像140を表示する。ここで、映像140は、メインコンテンツ141と、メインコンテンツ141上にオーバーレイされたサブコンテンツ142を含むことができる。サブコンテンツはコンテンツ映像141とは別個の付加映像のデータを意味し、UI142、OSD(on−screen display)、又はメインコンテンツ141のコンテンツとは別個のコンテンツを挙げることができる。
具体的に、ディスプレイ装置120は、コンテンツ提供装置110から受信される既に設定された参照情報に基づいて、コンテンツ映像141からメインコンテンツ141のメインコンテンツデータが出力されるのか、或いはサブコンテンツ142のサブコンテンツデータがメインコンテンツデータに付加されて出力されるのかを判断する。ディスプレイ装置120は、サブコンテンツデータが付加されていないメインコンテンツデータが出力されると判断すれば、当該コンテンツ映像141の属性に基づくDTM処理を行う。一方、ディスプレイ装置120は、サブコンテンツデータがメインコンテンツデータに付加されて出力されると判断すれば、ディスプレイ装置120の属性に基づくSTM処理を行う。DTM処理及びSTM処理に関するより詳細な内容は後述する。
これによって、ディスプレイ装置120はDTM処理によってコンテンツ映像141が表示される中にUI142が表示される場合、コンテンツ映像141の場面切替時にUI142の表示画質が変わることを防ぎ、ユーザがUI142を自然に認知するようにして提供することができる。
図2は、本発明の実施例に係るディスプレイ装置の制御方法を示すフローチャートである。図2に示すように、ディスプレイ装置は次の過程のように動作する。
210段階でディスプレイ装置はコンテンツ再生装置からコンテンツ映像に対応するコンテンツデータを受信する。
220段階でディスプレイ装置は、受信するコンテンツデータに対して、コンテンツ映像の属性に対応するDTM処理を行う。DTM処理のためのDTMデータ、すなわちDTMトーンマッピング設定は、ディスプレイ装置がコンテンツ再生装置から受信することができる。または、DTMトーンマッピング設定は、ディスプレイ装置がコンテンツ再生装置から受信するメタデータに基づいて生成することができる。メタデータに基づくDTMトーンマッピング設定に関する内容は後述する。
230段階でディスプレイ装置は、DTM処理されたコンテンツ映像を表示する。
240段階でディスプレイ装置は、コンテンツ再生装置からコンテンツ映像に付加映像がオーバーレイされた合成映像に対応する合成映像データが受信されるか否かを判断する。
合成映像データではなくコンテンツデータだけが受信されていると判断すれば、ディスプレイ装置は220段階に戻って、コンテンツ再生装置から受信されるコンテンツデータに対するDTM処理を続けて行う。
一方、合成映像データが受信されると判断すれば、250段階でディスプレイ装置は合成映像データに対してディスプレイ装置の属性に対応するSTM処理を行う。
260段階でディスプレイ装置は、STM処理された合成映像を表示する。
270段階でディスプレイ装置は、コンテンツ再生装置から合成映像データの受信が終了し、コンテンツデータだけが受信されるか否か判断する。
合成映像データが続けて受信されると判断すれば、ディスプレイ装置は250段階に戻って、合成映像データに対するSTM処理を続けて行う。
一方、合成映像データの受信からコンテンツデータ単独の受信に切り替えられたと判断すれば、ディスプレイ装置は220段階に戻って、コンテンツ再生装置から受信されるコンテンツデータに対するDTM処理を行う。
以下、STM処理及びDTM処理に関してより具体的に説明する。
STM処理は、映像を表示するディスプレイ装置の属性に基づいてトーンマッピングを行う方法である。ここで、ディスプレイ装置の属性は、例えばディスプレイ装置が表現可能な色域、最大輝度、輝度範囲などを含む。ディスプレイ装置の輝度範囲を考慮すれば、トーンマッピングは、入力映像のピクセル値、階調値又は輝度値に対比した出力映像の輝度値のテーブルにすることができ、一つのテーブルは、2次元上の一つのカーブで表現することができる。すなわち、トーンマッピングカーブは入力映像のピクセル値、階調値又は輝度値を表す横軸、及び出力映像の輝度値を表す縦軸による平面上に具現される。縦軸の範囲はディスプレイ装置によって決定される。
ディスプレイ装置の属性に基づいてトーンマッピングが行われるということは、一つのトーンマッピングテーブル又は一つのトーンマッピングカーブだけが適用されるとのことを意味する。すなわち、STM処理は、各ディスプレイ装置別に異なるトーンマッピングカーブが適用されるが、一つのディスプレイ装置ではいかなるコンテンツであれ、同一のトーンマッピングカーブが適用される。
DTM処理は、コンテンツ映像の属性に基づいてトーンマッピングを行う方法である。ここで、コンテンツ映像の属性はコンテンツの場面単位を意味するところ、DTM処理ではコンテンツの場面単位に個別のトーンマッピングカーブが用意される。ディスプレイ装置は、コンテンツの現在場面に対応するトーンマッピングカーブを現在場面の映像フレームに適用し、場面が他の場面に切り替わると、切り替わった場面に対応するトーンマッピングカーブを、切り替わった場面の映像フレームに適用する。すなわち、DTM処理では一つのディスプレイ装置で表示されるコンテンツ映像内で、場面によって個別のトーンマッピングカーブが適用される。
コンテンツ再生装置からコンテンツ映像に対応するコンテンツデータが単独で出力される時、ディスプレイ装置はコンテンツデータに対してDTM処理をしてコンテンツ映像を表示することが好ましい。この場合、STM処理よりはDTM処理の方がコンテンツプロバイダの意図をより正確に反映したコンテンツ映像を表示できるわけである。
以下、本発明の実施例を反映する場合にユーザが感じる映像に対する視認性に関して説明する。
図3は、本発明の実施例に係るディスプレイ装置に表示される映像の映像フレームの一部が時間順に配置された様子を示す例示図である。
図3に示すように、コンテンツ映像310は時間順序に従って順次に表示される複数の映像フレームを含む。コンテンツ映像310は、各場面単位で一つ以上の映像フレームを含み、時間の経過によって一つの場面が終わるとその次の場面に切り替わる。コンテンツ映像310内で一つの場面をどのように指定するか、または2つの場面をどのように区分するかは、様々な方法があるが、たいてい、コンテンツプロバイダによってコンテンツ映像310に付加されたメタデータに映像フレーム単位で場面(scene)を区分する情報を記録することができる。
DTM処理においてコンテンツ映像310の場面単位でトーンマッピングテーブルのようなトーンマッピング設定情報が個別に設けられる理由は、次の通りである。例えば、場面#aは、夜のように相対的に暗い背景の画面であり、続く場面#bは昼のように相対的に明るい背景の画面である。
コンテンツ映像310にUI320がオーバーレイされずコンテンツ映像310だけが表示される場合、場面#aの映像フレームに対しては場面#aに対応するトーンマッピング設定が適用され、場面#bの映像フレームに対しては場面#bに対応するトーンマッピング設定が適用される。すなわち、場面#aから場面#bに移る瞬間に、場面#aに対応するトーンマッピング設定から場面#bに対応するトーンマッピング設定に移行する。場面#aでの光量及び場面#bでの光量とが異なるので、明暗比を考慮すれば、各場面に対して個別のトーンマッピングを適用してこそ、場面が変わってもユーザの視認性を保障することができる。
ところが、同図のように、場面#aが表示される途中にUI320がコンテンツ映像310にオーバーレイされ、その状態で場面#bに切り替わって所定時間の間にUI320がコンテンツ映像310上に表示される場合がある。この場合において、各場面の映像フレームに対して当該場面に対応するトーンマッピング設定を適用するとすれば、UI320にも個別のトーンマッピングが適用されることになる。これは、コンテンツ映像310の場面が切り替わることによりUI320の画質が急変するようにユーザに認知され得るので、ユーザにとって違和感を招く。
そこで、本発明の実施例に係るディスプレイ装置は、コンテンツ映像310の場面#aを表示する途中にコンテンツ映像310にUI320がオーバーレイされたことを感知すると、映像に対するトーンマッピング設定を、場面#aに対応するDTM設定からSTM設定に切り替える。ディスプレイ装置は、コンテンツ映像310の場面が切り替わってもUI320が引き続き表示される間にはSTM設定を維持する。UI320がそれ以上表示されないと感知すると、ディスプレイ装置は直ちに現在場面に対応するDTM設定に切り替えたり、または現在場面が持続する間にはSTM設定を維持し、次の場面に切り替わる時点で切り替わった場面に対応するDTM設定に切り替える。
これによって、UI320が表示される間にはUI320に対する視認性を保障することができる。
以下、本発明の実施例に係るディスプレイ装置及びコンテンツ提供装置のハードウェア構成に関して説明する。
図4は、本発明の実施例に係るディスプレイ装置及びコンテンツ提供装置の構成ブロック図である。
図4に示すように、ディスプレイ装置410は、コンテンツ提供装置420からコンテンツ信号を受信する受信部411と、映像を表示するディスプレイ部412と、オーディオを出力するスピーカ413と、ユーザによる入力操作が行われるユーザ入力部414と、データが保存される記憶部415と、コンテンツ信号の処理及びディスプレイ装置の動作のための処理を行うプロセッサ416とを備える。
コンテンツ提供装置420は、ディスプレイ装置410にコンテンツ信号を伝送する送信部421と、コンテンツ信号を再生して送信部421に伝達するように処理するコンテンツ信号再生部422とを備える。送信部421は受信部411に対応して通信可能に設けられた通信回路を備える。コンテンツ信号再生部422は通常のハードウェアプロセッサによって具現される。
受信部411は各種の通信プロトコルに対応する通信モジュール又はポートなどが組み合わせられたデータ入出力インターフェースを含む通信回路である。受信部411は基本的にはコンテンツ提供装置420からコンテンツ信号を受信するが、両方向に信号を送受信できるように設けられる。本実施例に係る受信部411はHDMIケーブルを通じてコンテンツ提供装置420に接続されるが、接続される方式がHDMIに限定されるものではない。
ディスプレイ部412は画面上に映像を表示できるディスプレイパネルを備える。ディスプレイパネルは液晶方式のような受光構造又はOLED方式のような自発光構造を有する。ディスプレイ部412はディスプレイパネルの構造によって付加的な構成をさらに備えることができ、例えば、ディスプレイパネルが液晶方式であれば、液晶ディスプレイパネルに光を供給するバックライトユニットと、液晶ディスプレイパネルの液晶を駆動させるパネル駆動基板などが付加される。
スピーカ413はオーディオ信号を音響として出力する。スピーカ413はいずれか一つのオーディオチャネルのオーディオデータに対応するように設けられた単位スピーカを有し、複数オーディオチャネルのオーディオデータにそれぞれ対応するように複数の単位スピーカを有することができる。
ユーザ入力部414はユーザの操作又は入力に応じて、既に設定された制御コマンド又は情報をプロセッサ416に伝達する。ユーザ入力部414は情報の入力方式によって様々な形態が可能であり、例えば、ディスプレイ装置410の外側に設置されたキー、ディスプレイ部412に設置されたタッチスクリーン、ユーザの発話が入力されるマイクロホン、ユーザのジェスチャなどを撮影又は感知するカメラ、センサーなど、ディスプレイ装置410に設置された種々のユーザインターフェース環境を含む。または、ユーザ入力部414はディスプレイ装置410と物理的に分離されたリモートコントローラを含んでもよい。
記憶部415はプロセッサ416によってアクセスされ、プロセッサ416の制御によってデータの読取り、書込み、修正、削除、更新などの動作が行われる。記憶部415はディスプレイ装置410の電源の提供有無に関係なくデータを保持できるフラッシュメモリ(flash−memory)、ハードディスクドライブ(hard−disc drive)、SSD(solid−state drive)などといった不揮発性メモリと、処理のためのデータがロードされるバッファ、RAMなどといった揮発性メモリを含む。
プロセッサ416は、受信部411に受信されるコンテンツ信号に対する処理を行い、コンテンツ映像をディスプレイ部412に表示させる。プロセッサ416はコンテンツ信号から映像データを抽出し、映像データをデコードし、映像データをトーンマッピング処理してディスプレイ部412に出力する。プロセッサ416は印刷回路基板上に装着されるCPU、チップセット、バッファ、回路などによって具現されるハードウェアプロセッサを含み、設計方式によってはSOC(system on chip)によって具現することもできる。プロセッサ416はデマルチプレクサ、デコーダ、スケーラ、オーディオDSP、アンプなどの様々なプロセスに対応するモジュールを有し、それらの一部をSOCとすることができる。例えば、デマルチプレクサ、デコーダ、スケーラなどの映像処理に関連したモジュールを映像処理SOCによって具現し、オーディオDSPはSOCと別のチップセットによって具現することが可能である。
以下、本発明の思想を具現するためにディスプレイ装置及びコンテンツ提供装置の動作に関する様々な実施例について説明する。
図5は本発明のディスプレイ装置及びコンテンツ提供装置のデータ伝送及び動作過程の一実施例を示す構成ブロック図である。
図5に示すように、コンテンツ提供装置510は、コンテンツ映像に対応するコンテンツデータ511が再生される間に、UIなどのグラフィック映像に対応するUIデータ512が生成されると、コンテンツ映像上にUIが結合されて表示され得るようにコンテンツデータ511及びUIデータ512を合成する(514)。
一方、コンテンツ提供装置510はコンテンツ映像に対するUIの面積を計算し(515)、計算結果をメタデータの一フィールドに記録する。フィールド名を便宜上、‘Graphic_info_flag’とするが、これは一例に過ぎない。コンテンツ提供装置510は、コンテンツ映像に対するUIの面積が所定の閾値より小さいと、Graphic_info_flag=0に設定し、コンテンツ映像に対するUIの面積が閾値より大きいと、Graphic_info_flag=1に設定する。例えば、閾値が2%のとき、コンテンツ提供装置510は、コンテンツ映像にオーバーレイされたUIの面積がコンテンツ映像の全面積の1%を占有すると、Graphic_info_flag=0に設定する。
すなわち、Graphic_info_flag=1はコンテンツ映像に実質的にUIがオーバーレイされて表示されることを意味し、Graphic_info_flag=0は、コンテンツ映像にUIがオーバーレイされずにコンテンツ映像だけがあるか、またはコンテンツ映像にオーバーレイされたUIが無視できる程度に小さいということを意味する。
コンテンツ提供装置510はコンテンツデータ511及びUIデータ512が合成された映像データと、メタデータ513を共にディスプレイ装置520に伝送する(516)。Graphic_info_flagの値は伝送前にメタデータ513に記録される。
ディスプレイ装置520は映像データ及びメタデータを受信すれば(521)、メタデータを分析してGraphic_info_flagの値を確認する(522)。ディスプレイ装置520は、確認されたGraphic_info_flagの値に対応してDTM又はSTMのいずれかのトーンマッピングの設定を選択する(523)。トーンマッピングの設定において、ディスプレイ装置520はGraphic_info_flag=0であれば、メタデータに指定されたコンテンツ映像の属性に基づいてDTM設定をし、Graphic_info_flag=1であれば、ディスプレイ装置520の属性に基づいてSTM設定をする。
ディスプレイ装置520は映像データ524に対して、決定されたトーンマッピング設定に従ってトーンマッピングを行い(525)、ディスプレイ部に映像を表示する。
図6は、本発明のディスプレイ装置及びコンテンツ提供装置のデータ伝送及び動作過程の他の実施例を示す構成ブロック図である。
図6に示すように、コンテンツ提供装置610は、コンテンツ映像に対応するコンテンツデータ611が再生される間にUIなどのグラフィック映像に対応するUIデータ612が生成されると、コンテンツ映像上にUIが結合されて表示され得るようにコンテンツデータ611及びUIデータ612を合成する(614)。
一方、コンテンツ提供装置610はコンテンツ映像に対するUIの面積を計算し(615)、‘Graphic_info_flag’及び‘Graphic_area’の値を導出する。コンテンツ提供装置610はUI映像が生成されるとGraphic_info_flag=1に設定するが、Graphic_areaにコンテンツ映像に対するUIの面積の値を記録する。
コンテンツ提供装置610は、コンテンツデータ611及びUIデータ612が合成された映像データと共にメタデータ613をディスプレイ装置620に伝送する(616)。Graphic_info_flag及びGraphic_areaの値は伝送前にメタデータ613に記録される。
ディスプレイ装置620は映像データ及びメタデータを受信すれば(621)、メタデータを分析し、Graphic_info_flag及びGraphic_areaの値を確認する(622)。ディスプレイ装置620は、Graphic_info_flag=1であれば、Graphic_areaの値を所定の閾値と比較する。ディスプレイ装置620は、Graphic_areaの値が閾値より大きいと、ディスプレイ装置620の属性に基づいてSTM設定をし、Graphic_areaの値が閾値より小さいと、メタデータに指定されたコンテンツ映像の属性に基づいてDTM設定をする。
ディスプレイ装置620は映像データ624に対して、決定されたトーンマッピング設定に従ってトーンマッピングを行い(625)、ディスプレイ部に映像を表示する。
本実施例が図5に関する連実施例と異なる点は、次の通りである。上の図5に関する実施例では、コンテンツ提供装置がDTM設定及びSTM設定のいずれを選択するかを決定し、ディスプレイ装置はメタデータに記録されたコンテンツ提供装置の選択情報に応じてトーンマッピングを行った。これに比べて、本実施例では、コンテンツ提供装置610はUIが生成されたという情報及びUIの面積に関する情報をディスプレイ装置620に伝達し、当該情報に基づいてディスプレイ装置620がDTM設定及びSTM設定のいずれを選択するかを決定する。
図7は、本発明のディスプレイ装置及びコンテンツ提供装置のデータ伝送及び動作過程の他の実施例を示す構成ブロック図である。
図7に示すように、コンテンツ提供装置710は、コンテンツデータ711及びUIデータ712を合成して映像データを生成する。一方、コンテンツ提供装置710はSTMのためのSTMメタデータ及びDTMのためのDTMメタデータを用意する。STMメタデータはディスプレイ装置720から取得したディスプレイ装置720の属性に基づくトーンマッピング設定情報を含む。DTMメタデータはコンテンツデータ711の属性に基づくトーンマッピング設定情報を含む。
コンテンツ提供装置710はコンテンツ映像に対するUIの面積を計算する(715)。コンテンツ提供装置710は、計算された面積が所定の閾値より大きいと、STMメタデータ及びDTMメタデータの中からSTMメタデータを選択し、計算された面積が閾値より小さいと、DTMメタデータを選択する(716)。
コンテンツ提供装置710は映像データと共に、選択されたメタデータをディスプレイ装置720に伝送する(717)。すなわち、本実施例では、コンテンツ提供装置710がSTM及びDTMのいずれか一つを選択し、選択された方式によるトーンマッピング設定情報を生成してディスプレイ装置720に伝達する。
ディスプレイ装置720はコンテンツ提供装置710から映像データ及びメタデータを受信する(721)。ディスプレイ装置720はメタデータを分析し(722)、メタデータに含まれたトーンマッピング設定情報を取得する(723)。ディスプレイ装置は、取得したトーンマッピング設定情報に応じて映像データ724に対してトーンマッピングを行う(725)。
一方、上の実施例において、コンテンツ映像上にUIがそれ以上表示されないことが検出されると、ディスプレイ装置は直ちに現在場面に対応するDTM設定に切り替えたり、または現在場面が持続する間にはSTM設定を維持し、次の場面に切り替わる時点に、切り替わった場面に対応するDTM設定に切り替えることができる旨説明されている。以下、これに関してより具体的に説明する。
図8は、本発明の実施例に係るディスプレイ装置が時間順序に従う場面別各映像フレームに対してトーンマッピング設定を適用する原理を説明する例示図である。
図8に示すように、ディスプレイ装置は、時間の経過に従ってコンテンツ映像の各場面を順次に表示し、各場面は複数の映像フレームを含む。ディスプレイ装置は各映像フレームに対してDTM又はSTMのいずれかの設定を適用してトーンマッピングを行う。
ディスプレイ装置でコンテンツ映像の場面#aが表示される間の一時点t1に、UIがコンテンツ映像にオーバーレイして表示される。この場合、ディスプレイ装置はDTM設定をSTM設定に切り替え、コンテンツ映像及びUIの合成映像に対してSTM設定に従ってトーンマッピングを行う。UIが表示される間にコンテンツ映像が場面#aから場面#bに切り替わっても、ディスプレイ装置はSTM設定を維持しつつ場面の映像フレームに対してトーンマッピングを行う。
ところが、コンテンツ映像の場面#bが表示される間の一時点t2にUIの表示が終了すると、その以降はコンテンツ映像だけが表示されるので、トーンマッピング設定をSTM設定からDTM設定に切り替えてよい。ここで、トーンマッピング設定がどの時点に切り替わることが好ましいかに関して説明する。
一例示として、ディスプレイ装置は、時点t2において、STM設定から、コンテンツ映像の場面#bに対応するDTM設定に切り替えることが考えられる。ところが、時点t2から次の場面#cに切り替わる時点t3までの時間区間では、コンテンツ映像の場面#bが継続している。仮に、時点t2にトーンマッピングの設定が切り替わると、時点t2以前のコンテンツ映像にはSTM設定が適用されるのに対し、時点t2以降のコンテンツ映像にはDTM設定が適用されることになる。その場合、ユーザは時点t2を境界にコンテンツ映像の画質が大きく変わったように感じてしまう。
ユーザが感じてしまうこのような違和感を最小化するための他の例示として、ディスプレイ装置は、時点t2においてトーンマッピングの設定を切り替えず、コンテンツ映像の場面#bが表示される間にもSTM設定を維持する。そして、ディスプレイ装置は、時点t3においてコンテンツ映像が場面#cに切り替わると、STM設定を、コンテンツ映像の場面#cに対応するDTM設定に切り替える。これによって、ディスプレイ装置は、コンテンツ映像を視聴するユーザが同一場面で画質の変化を感じてしまうことを軽減することができる。
以上の実施例では、トーンマッピングの設定は一時点で全て切り替えられるように説明されている。このような方法も可能であるが、トーンマッピングは映像の画質に大きな影響を及ぼすので、急なトーンマッピング設定の切替は、ユーザにとって映像の画質が突然に変わったように見え、ユーザに違和感を与えることが懸念される。以下、このような違和感を解消するための実施例に関して説明する。
図9は、本発明の実施例に係るディスプレイ装置がトーンマッピング設定を切り替える過程のうち、一番目の映像フレームでの動作を示すフローチャートである。

図9に示すように、ディスプレイ装置は次のような過程によって動作する。DTMからSTMに、又はSTMからDTMにトーンマッピング設定が切り替わる時には、映像の急な画質変化を防止するために、既に設定された時間区間の画質変化区間であるトランジション(transition)区間を備えることができる。例えば、トーンマッピング設定を所定のDTMカーブから所定のSTMカーブに転換、すなわちトランジションしようとするとき、時間の経過に従ってディスプレイ装置はDTMカーブ及びSTMカーブの適用比率を段階的に調整することによって急激な画質変化を抑制することができる。
トーンマッピングの切替開始時点におけるトーンマッピングカーブをC1、切替完了時点におけるトーンマッピングカーブをC2とすれば、切替開始時点と切替完了時点との間の一時点におけるトーンマッピングカーブCcは、‘Cc=C1*Tr+C2(1−Tr)’と表すことができる。Trはトランジション比率であり、100〜0%の範囲の値を有する。切替開始時点にはTr=100%となり、切替開始時点から単位時間だけ経過するに従って、Trは、当該単位時間ごとに既に設定された正の整数値である‘step_size’だけ減少する。切替完了時点になればTr=0となる。例えば、単位時間が3秒であれば、24fpsコンテンツは72フレームの間にTrが100から0%まで段階的に減少しなければならず、これに合わせてstep_sizeの値が事前に設定される。step_sizeの値はトーンマッピングカーブのトランジションの速度を調節する因子となる。トランジション比率は線形に設定されてもよいが、既に設定されたシグモイド(Sigmoid)形態のカーブに設定されてもよい。
トーンマッピング設定のトランジションの具体的な過程は、次の通りである。910段階でディスプレイ装置は、切替開始時点における一番目の映像フレームを確認する。
920段階でディスプレイ装置は、コンテンツ提供装置からGraphic_info_flag=1と記録されたメタデータが受信されるか否か、又はSTM設定情報が記録されたメタデータが受信されるか否かを判断する。すなわち、ディスプレイ装置はコンテンツ映像にUIなどの付加映像が合成されたデータが受信されるか否か判断する。
付加映像があることを示すメタデータが受信されると、930段階でディスプレイ装置は一つの単位時間が経過することに応答してstep_sizeだけトランジション比率を減少させる。すなわち、Tr=100−(step_size)となる。
940段階でディスプレイ装置は、減少したトランジション比率だけトーンマッピング設定をDTMからSTMに転移させる。前述したように、転移される時点のトーンマッピングカーブはCc=C1*Tr+C2(1−Tr)と表すことができる。C1がDTMカーブ、C2がSTMカーブであれば、CcはC1からTrだけC2に隣接したカーブを表す。
一方、付加映像があることを示すメタデータが受信されないと、950段階でディスプレイ装置は、現在のトーンマッピング設定であるDTMを維持する。すなわち、Tr=100になるので、トーンマッピングカーブに変化はない。
図10は、本発明の実施例に係るディスプレイ装置がトーンマッピング設定を切り替える過程のうち、二番目の映像フレーム以降の動作を示すフローチャートである。
図10に示すように、1010段階でディスプレイ装置は、次の順序の映像フレームを確認する。ここで、次の順序の映像フレームは、上の図9における一番目の映像フレームの次の映像フレームがその対象になり得る。
1020段階でディスプレイ装置は、コンテンツ提供装置からGraphic_info_flag=1と記録されたメタデータが受信されるか否か、又はSTM設定情報が記録されたメタデータが受信されるか否かを判断する。
付加映像があることを示すメタデータが受信されると、1030段階でディスプレイ装置は、一つの単位時間が経過することに応答してstep_sizeだけトランジション比率を減少させる。
1040段階でディスプレイ装置は、減少したトランジション比率だけトーンマッピング設定を転移させる。
一方、付加映像があることを示すメタデータが受信されないと、1050段階でディスプレイ装置は、現在映像フレームから時間的に隣接した以前映像フレームのトーンマッピング設定状態を確認する。
以前映像フレームのトーンマッピング設定状態がDTM状態にあった場合、1060段階でディスプレイ装置はDTM設定を維持する。
一方、以前映像フレームの状態がDTMからSTMに移転する段階にあった場合、1070段階でディスプレイ装置は、トーンマッピングが切り替わってから既に設定された時間が経過したか判断する。
既に設定された時間が経過していないと、ディスプレイ装置は直接に1040段階に移行する。一方、既に設定された時間が経過していると、1080段階でディスプレイ装置は、場面が切り替わったか否か判断する。場面が切り替わっていると1060段階に移行し、場面が切り替わっていないと、1040段階に移行する。これは、コンテンツ提供装置又はディスプレイ装置での頻繁なユーザ入力などによってユーザが映像の画質変化を顕著に視認することを防止するためのものであり、DTM設定が適用される間に発生するトーンマッピング設定の切替時に、切り替わったトーンマッピング設定が上記の既に設定された時間だけ維持される。
図11は、本発明に係るディスプレイ装置及びコンテンツ提供装置のデータ伝送及び動作過程の他の実施例を示す構成ブロック図である。
図11に示すように、コンテンツ提供装置1110はコンテンツデータ1111及びUIデータ1112を合成して映像データを生成する(1114)。コンテンツ提供装置1110はコンテンツ映像に対するUIの面積を計算し(1115)、計算結果に対応するようにSTM設定情報を生成する(1116)。例えば、コンテンツ提供装置1110は種々のレファレンスモニターの及びディスプレイ装置の様々な組み合わせに対応してSTM設定情報を保存し、その中からいずれか一つの設定情報を取得することができる。
一方、コンテンツ提供装置1110はコンテンツデータのメタデータ1113に基づいてDTM設定情報を生成する(1117)。
コンテンツ提供装置1110はDTM設定情報及びSTM設定情報のうち、現在状態に合う設定情報を選択する(1118)。コンテンツ提供装置1110は、設定情報が記録されたメタデータと、映像データをディスプレイ装置1120に伝送する(1119)。
ディスプレイ装置1120は映像データ及びメタデータが受信されると(1121)、メタデータを分析し(1122)、メタデータからトーンマッピング設定情報を取得する(1123)。ディスプレイ装置1120は取得したトーンマッピング設定情報に基づいて映像データ1124のトーンマッピングを行う(1125)。
本実施例は、従来のHDMI標準に定義されていない別のメタデータを定義しなくても、標準に定義されたDTMメタデータ設定を利用することができる。コンテンツ提供装置1110は、現在映像フレームに対応するトーンマッピング設定情報を生成し、これをDTMメタデータ標準様式に従ってメタデータに記録してディスプレイ装置1120に伝送する。
図12は、本発明に係るディスプレイ装置及びコンテンツ提供装置のデータ伝送及び動作過程の他の実施例を示す構成ブロック図である。
図12に示すように、本実施例に係るコンテンツ提供装置1210は、コンテンツ映像にUIがオーバーレイされたとき、映像フレーム内でUIが表示される第1領域と、UIが表示されないでコンテンツ映像だけが存在する第2領域を区分し、各領域を区分するための情報をディスプレイ装置1220に提供する。ディスプレイ装置は受信する情報に基づいて映像フレームにおいて第1領域と第2領域とを区分し、第1領域に対してSTM設定を適用し、第2領域に対してDTM設定を適用する方式でトーンマッピングを行う。
具体的な過程は次の通りである。コンテンツ提供装置1210は、全画面においてコンテンツ映像上にオーバーレイされるUIに対応するUIデータ1212を、コンテンツ映像に対応するコンテンツデータ1211と合成して映像データを生成する(1214)。コンテンツ提供装置1210は全画面においてUIの座標を判断し、UI座標情報を生成する(1215)。UI座標情報は、例えば全画面においてUIの領域を四角形で定義するとき、UIの4つの頂点に対応するTop−left、top−right、bottom−left、bottrom−rightの4つの座標を定義する。UI座標情報は、後にSTM設定を適用するための参照情報となり、ディスプレイ装置1220に伝送するメタデータにさらに記録することができる。、
また、コンテンツ提供装置1210は、メタデータ1213を分析してDTM設定のための情報を生成する。コンテンツ提供装置1210は映像データと共に、上記の情報が記録されているメタデータをディスプレイ装置1220に伝送する(1216)。
ディスプレイ装置1220は映像データ及びメタデータを受信すれば(1221)、メタデータを分析して上記の情報を取得する(1222)。ディスプレイ装置1220は取得した情報から、全映像においてコンテンツ映像が占有する領域及びUIが占有する領域を判断し(1223)、DTM設定情報及びSTM設定情報を生成する(1224)。
最終的にディスプレイ装置1220は、映像データ1225に対してトーンマッピングを行う(1226)。ディスプレイ装置1220は全映像において、コンテンツ映像が占有する領域に対してはDTM設定情報を適用してDTMを行い、UIが占有する領域に対してはSTM設定情報を適用してSTMを行う。
すなわち、以上の実施例ではディスプレイ装置が一つの映像フレームに対してDTM又はSTMのいずれかのトーンマッピングを選択的に行うことに比べ、本実施例に係るディスプレイ装置1220は一つの映像フレーム内の分割された領域の特性に基づいて、各領域別に異なるトーンマッピングを行う。これによって、本実施例によれば、コンテンツ映像及びUIのそれぞれに対して最適化されたトーンマッピングを個別に行い、全映像の画質を向上させることができる。
本発明の例示的な実施例に係る方法は、様々なコンピュータ手段で実行可能なプログラム命令の形態にしてコンピュータ読取り可能媒体に記録することができる。このようなコンピュータ読取り可能媒体はプログラム命令、データファイル、データ構造などを単独で又は組み合わせて含むことができる。例えば、コンピュータ読取り可能媒体は、削除又は上書きの可否に関係なく、ROMなどの記憶装置のような揮発性又は不揮発性記憶装置、又は例えばRAM、メモリチップ、装置又は集積回路のようなメモリ、又は例えばCD、DVD、磁気ディスク又は磁気テープなどのような光学又は磁気的に記録可能であると同時に機械(例えば、コンピュータ)で読取り可能な記憶媒体に格納することができる。移動端末に組み込み可能なメモリは、本発明の実施例を具現する指示を含むプログラム又はプログラムを格納するのに適した機械で読取り可能な記憶媒体の一例であることが理解できるだろう。この記憶媒体に記録されるプログラム命令は、本発明のために特別に設計されて構成されたものであってもよく、コンピュータソフトウェアの技術分野において熟練した技術者に公知されて使用可能なものであってもよい。

Claims (15)

  1. ディスプレイ装置であって、
    ディスプレイ部と、
    コンテンツ提供装置からメインコンテンツのデータを受信することが可能な受信部と、
    映像データ及び該映像データにメインコンテンツと共にサブコンテンツが含まれるかを示す参照情報を前記受信部から受信し、前記受信部により受信される映像データに基づいて、前記メインコンテンツ及び該メインコンテンツに選択的に含まれる前記サブコンテンツの映像データを前記ディスプレイ部に表示させるプロセッサであって、前記参照情報に基づいて前記サブコンテンツが含まれない前記メインコンテンツが表示されるかどうかを判断し、前記サブコンテンツが含まれない前記メインコンテンツが表示されると判断すれば、コンテンツの属性に基づく動的トーンマッピングによる映像処理によって前記映像データを表示させ、前記サブコンテンツが前記メインコンテンツに含まれて表示されると判断すれば、前記ディスプレイ装置の属性に基づく静的トーンマッピングによる映像処理によって前記映像データを表示させるプロセッサと
    を備えるディスプレイ装置。
  2. 前記プロセッサは、前記映像データに前記サブコンテンツが含まれるか否かに対応して複数の設定から選択されたいずれか一つの設定に従って、前記映像データのピクセル情報に対応する前記映像データの輝度情報を導出して前記映像データを表示する、請求項1に記載のディスプレイ装置。
  3. 前記プロセッサは、前記映像データに前記サブコンテンツが含まれる場合には、前記ディスプレイ装置の表現可能な輝度を少なくとも含む属性に基づく静的トーンマッピングによる映像処理を行い、前記映像データに前記サブコンテンツが含まれない場合には、前記メインコンテンツの輝度を少なくとも含む属性に基づく動的トーンマッピングによる映像処理を行う、請求項1に記載のディスプレイ装置。
  4. 前記プロセッサは、前記メインコンテンツの場面によって個別に設けられた設定に従って前記映像データの輝度値を前記ディスプレイ部が表現可能な輝度値にマッピングすることにより、前記動的トーンマッピングによる映像処理を行う、請求項3に記載のディスプレイ装置。
  5. 前記プロセッサは、前記ディスプレイ装置の専用輝度範囲に対応して前記映像データの輝度値を前記ディスプレイ部が表現可能な輝度値にマッピングすることにより、前記静的トーンマッピングによる映像処理を行う、請求項3に記載のディスプレイ装置。
  6. 前記プロセッサは、前記コンテンツ提供装置から出力されるメタデータから前記参照情報を導出する、請求項1に記載のディスプレイ装置。
  7. 前記映像データに対する前記サブコンテンツの面積比率が所定の閾値より大きい場合には、前記映像データに前記サブコンテンツが含まれていると判断されて静的トーンマッピングによる映像処理が行われ、前記映像データに対する前記サブコンテンツの面積比率が前記閾値より大きくない場合には、前記映像データに前記サブコンテンツが含まれていないと判断されて動的トーンマッピングによる映像処理が行われる、請求項1に記載のディスプレイ装置。
  8. 前記プロセッサは、前記映像データに前記サブコンテンツが含まれる場合には、静的トーンマッピングによる第1映像処理を行い、
    前記映像データにおいて前記サブコンテンツが含まれない時点から前記メインコンテンツの場面切替時点まで前記第1映像処理を維持し、動的トーンマッピングによる第2映像処理を前記場面切替時点から行う、請求項1に記載のディスプレイ装置。
  9. 前記プロセッサは、静的及び動的トーンマッピングによる複数の映像処理のうちの第1映像処理から第2映像処理への切替時に、時間の経過に従って前記第1映像処理及び前記第2映像処理の適用比率を段階的に調整する、請求項1に記載のディスプレイ装置。
  10. 前記プロセッサは、前記映像データにおいて前記サブコンテンツが表示される領域及び前記サブコンテンツが表示されない領域のそれぞれに対して個別の前記映像処理を行う、請求項1に記載のディスプレイ装置。
  11. ディスプレイ装置の制御方法であって、
    映像データ及び該映像データにメインコンテンツと共にサブコンテンツが含まれるかを示す参照情報をコンテンツ提供装置から受信する段階と、
    前記参照情報に基づいて前記サブコンテンツが含まれない前記メインコンテンツが表示されるかどうかを判断する段階と、
    前記サブコンテンツが含まれない前記メインコンテンツが表示されると判断すれば、コンテンツの属性に基づく動的トーンマッピングによる映像処理を選択する段階と、
    前記サブコンテンツが前記メインコンテンツに含まれて表示されると判断すれば、前記ディスプレイ装置の属性に基づく静的トーンマッピングによる映像処理を選択する段階と、
    前記選択された映像処理によって、前記メインコンテンツ及び該メインコンテンツに選択的に含まれる前記サブコンテンツの映像データを表示する段階と
    を含むディスプレイ装置の制御方法。
  12. 前記映像データに前記サブコンテンツが含まれるか否かに対応して複数の設定から選択されたいずれか一つの設定に従って、前記映像データのピクセル情報に対応する前記映像データの輝度情報を導出して前記映像データを表示する段階を含む、請求項11に記載のディスプレイ装置の制御方法。
  13. 前記映像データに前記サブコンテンツが含まれる場合には、前記ディスプレイ装置の表現可能な輝度を少なくとも含む属性に基づく静的トーンマッピングによる映像処理を行う段階と、
    前記映像データに前記サブコンテンツが含まれない場合には、前記メインコンテンツの輝度を少なくとも含む属性に基づく動的トーンマッピングによる映像処理を行う段階を含む、請求項11に記載のディスプレイ装置の制御方法。
  14. 前記メインコンテンツの場面によって個別に設けられた設定に従って前記映像データの輝度値を前記ディスプレイ装置が表現可能な輝度値にマッピングすることにより、前記動的トーンマッピングによる映像処理を行う段階を含む、請求項13に記載のディスプレイ装置の制御方法。
  15. 前記ディスプレイ装置の専用輝度範囲に対応して前記映像データの輝度値を前記ディスプレイ装置が表現可能な輝度値にマッピングすることにより、前記静的トーンマッピングによる映像処理を行う段階を含む、請求項13に記載のディスプレイ装置の制御方法。
JP2019515440A 2017-11-14 2018-11-12 ディスプレイ装置及びその制御方法 Active JP6803463B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2017-0151403 2017-11-14
KR1020170151403A KR102523672B1 (ko) 2017-11-14 2017-11-14 디스플레이장치 및 그 제어방법과 기록매체
PCT/KR2018/013701 WO2019098619A1 (ko) 2017-11-14 2018-11-12 디스플레이장치 및 그 제어방법과 기록매체

Publications (2)

Publication Number Publication Date
JP2020501387A JP2020501387A (ja) 2020-01-16
JP6803463B2 true JP6803463B2 (ja) 2020-12-23

Family

ID=66540314

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019515440A Active JP6803463B2 (ja) 2017-11-14 2018-11-12 ディスプレイ装置及びその制御方法

Country Status (6)

Country Link
US (1) US11234042B2 (ja)
EP (1) EP3687184A4 (ja)
JP (1) JP6803463B2 (ja)
KR (1) KR102523672B1 (ja)
CN (1) CN110050468A (ja)
WO (1) WO2019098619A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102666909B1 (ko) * 2019-06-19 2024-05-20 삼성전자주식회사 디스플레이장치 및 그 제어방법
CN116456124B (zh) * 2023-06-20 2023-08-22 上海宝玖数字科技有限公司 高延时网络状态下的直播信息展示方法、系统及电子设备

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7404645B2 (en) * 2005-06-20 2008-07-29 Digital Display Innovations, Llc Image and light source modulation for a digital display system
JP3953506B2 (ja) * 2005-10-18 2007-08-08 シャープ株式会社 液晶表示装置
EP2313847A4 (en) * 2008-08-19 2015-12-09 Digimarc Corp METHODS AND SYSTEMS FOR PROCESSING CONTENT
KR101742120B1 (ko) 2011-06-10 2017-05-31 삼성전자주식회사 영상 처리 장치 및 방법
ES2774219T3 (es) 2011-06-14 2020-07-17 Koninklijke Philips Nv Procesamiento de gráficos para video de alto rango dinámico
US9535027B2 (en) 2012-07-25 2017-01-03 Abbott Diabetes Care Inc. Analyte sensors and methods of using same
US9437171B2 (en) 2012-12-05 2016-09-06 Texas Instruments Incorporated Local tone mapping for high dynamic range images
JP6104411B2 (ja) 2013-02-21 2017-03-29 ドルビー ラボラトリーズ ライセンシング コーポレイション オーバーレイグラフィクス合成のためのアピアランスマッピングのシステムおよび装置
KR102176398B1 (ko) * 2013-06-28 2020-11-09 삼성전자주식회사 영상처리장치 및 영상처리방법
JP6324063B2 (ja) * 2013-12-26 2018-05-16 キヤノン株式会社 画像再生装置及びその制御方法
JP6443857B2 (ja) * 2014-06-05 2018-12-26 キヤノン株式会社 画像処理装置、画像処理方法、及び、プログラム
JP6698081B2 (ja) 2014-11-10 2020-05-27 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 符号化のための方法、ビデオプロセッサ、復号のための方法、ビデオ復号器
JP6741975B2 (ja) * 2014-12-09 2020-08-19 パナソニックIpマネジメント株式会社 送信方法および送信装置
KR102330250B1 (ko) * 2015-01-22 2021-11-23 삼성전자주식회사 디스플레이 장치, 제어 장치 및 그 동작 방법
US10109228B2 (en) * 2015-04-10 2018-10-23 Samsung Display Co., Ltd. Method and apparatus for HDR on-demand attenuation control
EP3099081B1 (en) * 2015-05-28 2020-04-29 Samsung Electronics Co., Ltd. Display apparatus and control method thereof
KR101799381B1 (ko) * 2015-05-28 2017-11-22 삼성전자 주식회사 디스플레이장치 및 그 제어방법
JP2018525905A (ja) * 2015-07-22 2018-09-06 アリス エンタープライジズ エルエルシーArris Enterprises Llc 高ダイナミックレンジおよび広色域シーケンスを符号化するシステム
KR20170052364A (ko) * 2015-11-04 2017-05-12 삼성전자주식회사 디스플레이장치 및 그 제어방법
KR20170097375A (ko) * 2016-02-18 2017-08-28 삼성전자주식회사 디스플레이장치 및 그 제어방법
CN106056550B (zh) * 2016-05-25 2019-02-22 广东工业大学 一种基于高动态范围图像的渲染方法和装置
JP6466488B2 (ja) * 2017-02-09 2019-02-06 シャープ株式会社 表示装置、テレビジョン受像機、映像処理方法、制御プログラム、及び記録媒体
EP3644618A4 (en) * 2017-06-21 2020-05-27 Panasonic Intellectual Property Management Co., Ltd. IMAGE DISPLAY SYSTEM AND IMAGE DISPLAY METHOD

Also Published As

Publication number Publication date
KR20190054619A (ko) 2019-05-22
KR102523672B1 (ko) 2023-04-20
EP3687184A1 (en) 2020-07-29
CN110050468A (zh) 2019-07-23
WO2019098619A1 (ko) 2019-05-23
US11234042B2 (en) 2022-01-25
JP2020501387A (ja) 2020-01-16
US20200267440A1 (en) 2020-08-20
EP3687184A4 (en) 2020-08-26

Similar Documents

Publication Publication Date Title
US11140354B2 (en) Method for generating control information based on characteristic data included in metadata
JP7133772B2 (ja) 映像表示システム及び映像表示方法
JP7117626B2 (ja) 映像表示装置及び映像表示方法
WO2014155670A1 (ja) 立体視映像処理装置、立体視映像処理方法及び立体視映像処理用プログラム
CN109691118B (zh) 影像显示系统及影像显示方法
JP2016082541A (ja) 受信機およびプログラム
JP6803463B2 (ja) ディスプレイ装置及びその制御方法
CN113132769A (zh) 显示设备及音画同步方法
JP6928885B2 (ja) 表示装置、表示方法及びコンピュータプログラム
KR20190008070A (ko) 전자 장치, 디스플레이 장치 및 그 제어 방법
JP2021153299A (ja) 再生装置
JP2009038682A (ja) 画像処理装置及び画像処理方法
JP2006324941A (ja) 画像処理装置および方法、並びにプログラム
JP6751893B2 (ja) 再生方法、再生装置、表示方法及び表示装置
JP2010283790A (ja) コンテンツ再生装置
JP2001211407A (ja) 画像再生装置及びプログラム記録媒体
JP2021166363A (ja) 映像再生装置および映像再生方法
JP2004186954A (ja) 画像再生装置
JP2014116920A (ja) 映像コンテンツ再生装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190319

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190319

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20191015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200212

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200902

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20200902

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200910

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20200915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201130

R150 Certificate of patent or registration of utility model

Ref document number: 6803463

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250