Nothing Special   »   [go: up one dir, main page]

JP6609098B2 - 表示制御装置、表示制御方法、及びコンピュータプログラム - Google Patents

表示制御装置、表示制御方法、及びコンピュータプログラム Download PDF

Info

Publication number
JP6609098B2
JP6609098B2 JP2014221961A JP2014221961A JP6609098B2 JP 6609098 B2 JP6609098 B2 JP 6609098B2 JP 2014221961 A JP2014221961 A JP 2014221961A JP 2014221961 A JP2014221961 A JP 2014221961A JP 6609098 B2 JP6609098 B2 JP 6609098B2
Authority
JP
Japan
Prior art keywords
image
projection
unit
display control
projected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014221961A
Other languages
English (en)
Other versions
JP2016090673A (ja
JP2016090673A5 (ja
Inventor
朗弘 大内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014221961A priority Critical patent/JP6609098B2/ja
Priority to US14/923,657 priority patent/US9838656B2/en
Publication of JP2016090673A publication Critical patent/JP2016090673A/ja
Priority to US15/802,973 priority patent/US10205922B2/en
Publication of JP2016090673A5 publication Critical patent/JP2016090673A5/ja
Application granted granted Critical
Publication of JP6609098B2 publication Critical patent/JP6609098B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3182Colour adjustment, e.g. white balance, shading or gamut
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)
  • Image Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Description

本発明は表示装置及びその制御方法、画像処理装置、コンピュータプログラムに関し、特に、投射システムの自動調整の技術に関する。
近年、例えばアミューズメント施設や博物館展示などで、単体あるいは複数の投射装置を用いた投影システムが常設されるようになってきている。このような常設の投影システムにおける一つの課題は、投射装置の設置調整を維持することである。投影システムの使用を長期間継続すると装置の位置姿勢が少しずつ変化するため、投射装置のスクリーンに対する位置関係の変動による画像のゆがみや、複数の投射装置の間の相対的な位置ずれに伴う画像の不連続性を定期的に調整する必要がある。特に複数の投射装置を用いた投影システムにおいて、このような設置調整を手動で行うには専門知識と多大な労力が必要となる。そこで、投射装置から投射する調整パターンをカメラで撮影し、調整パラメータを生成してスクリーン上での投射形状を補正することが知られている(特許文献1)。
しかしながら、特許文献1の構成においては、自動調整のための調整パターンを投射するため、投射システムをオフラインにする必要がある。すなわち、調整を行っている間は画像の投影を中断しなければならない。このような課題に対して、調整パターンを非可視光(赤外光等)で投射することが知られている(特許文献2、特許文献3)。
特開2006−014356号公報 特開2011−211693号公報 特開2012−018214号公報
上記特許文献2、3の構成では、非可視光で調整パターンを投射するため、投射システムをオフラインにすることなく自動調整を行うことができる。しかしながら、非可視光の調整パターンを投射、検出するための構成が別途必要となり、高価になってしまう。
本発明は上記課題に鑑みなされたものであり、画像の投影を継続しながら可視光を用いて投射システムを調整することが可能な技術を提供することを目的とする。
上記目的を達成するため、本発明による表示制御装置は以下の構成を備える。すなわち、入力画像信号のフレーム画像に基づく第1画像内の複数の所定位置の画素値を増加させる第1増加手段と、前記フレーム画像に基づく第2画像内の前記複数の所定位置の画素値を減少させる第1減少手段と、前記第1増加手段により増加させられた前記第1画像におけるオーバーフローの発生の有無を検出する第1検出手段と、前記第1減少手段により減少させられた前記第2画像におけるアンダーフローの発生の有無を検出する第2検出手段と、前記第1検出手段による検出結果に応じて、前記第1減少手段により減少させられた前記第2画像に対して、前記第1検出手段が検出したオーバーフローを補償する補正を行う第2増加手段と、前記第2検出手段による検出結果に応じて、前記第1増加手段により増加させられた前記第1画像に対して、前記第2検出手段が検出したアンダーフローを補償する補正を行う第2減少手段と、前記フレーム画像に基づくN個(N>1)のフレーム画像であって、前記第2増加手段から出力される画像と前記第2減少手段から出力される画像とを含むN個のフレーム画像が、前記入力画像信号に応じたフレーム周波数のN倍のフレーム周波数で投影されるように、投影手段を制御する投影制御手段と、前記投影手段により投影される画像の調整のためのパラメータを、前記投影制御手段による制御に応じて画像が投影されている投影面が撮像されることで得られる撮像画像に基づいて決定する決定手段と、前記投影手段により前記投影面に投影される画像を前記決定手段により決定されるパラメータに基づいて調整する調整手段とを有る。
本発明によれば、画像の投影を継続しながら可視光を用いて投射システムを調整することが可能な技術を提供することができる。
投射型画像表示装置の機能構成例を示すブロック図。 調整処理の処理手順を示すフローチャート。 二次元座標のコード化パターンを説明する図。 投射型画像表示装置の機能構成例を示すブロック図。 合成部の機能構成例を示すブロック図。 合成処理の処理手順を示すフローチャートである。 階調補償処理を説明する図である。 投射型画像表示装置の機能構成例を示すブロック図。 投射型画像表示システムの機能構成例を示すブロック図。 投射型画像表示システムの機能構成例を示すブロック図。
以下、添付図面を参照して本発明の実施の形態を詳細に説明する。
<<実施形態1>>
(投射型画像表示装置)
図1は、本発明の一実施形態(実施形態1)に係る投射型画像表示装置(表示装置)の機能構成の一例を示すブロック図である。本構成図において、10は投射型画像表示装置、100は二次元座標情報生成部、200は合成部、300は投射部、400は画像取得部、500は座標抽出部、600はパラメータ決定部、700は形状補正部である。
二次元座標情報生成部100は、画像に含まれる所定の画素の当該画像における二次元座標(位置)をコード化したパターンを生成する。すなわち、このパターンは、表示対象の画像における所定の座標を符号化して、画像として表したものである。合成部200は、二次元座標情報生成部100で生成されたパターンを画像に合成し被投射画像を生成する。ここで合成とは、パターンを画像に加算あるいは減算することである。投射部300は、不図示の表示パネル上に表示される被投射画像を投射レンズを介してスクリーン(不図示)に投射する。ここで、スクリーンには、投射専用のスクリーンの他、建造物、彫刻、自然物など画像を投射して表示可能なあらゆる物体が含まれる。
画像取得部400は、投射された画像情報を取得する構成要素である。例えば、画像取得部400は、撮像部(カメラ)を有し、この撮像部(カメラ)で撮影された画像情報を取得するように構成することができる。座標抽出部500は、画像取得部400で取得した投射画像からパターンを抽出し、抽出したパターンを更にデコードすることで座標情報を抽出する。
パラメータ決定部600は、座標抽出部500で抽出した座標情報を用いて、例えば座標情報を用いた公知の手法により画像の形状を補正するためのパラメータを決定する。形状補正部700は、パラメータ決定部600で決定されたパラメータに基づいて画像の形状を補正し被投射画像を生成する。
なお、上記の各構成要素はそれぞれ専用のハードウェアにより構成される。もっとも、投射型画像表示装置10の投射部300以外の構成要素は、不図示のCPU(中央演算処理装置)がコンピュータプログラムに基づきRAM(読出し専用メモリ)を用いて演算を行うことで実現するようにしてもよい。
(調整処理)
図2は、本実施形態に係る投射型画像表示装置が実行する調整処理の処理手順を示すフローチャートである。まず、ステップS100で、二次元座標情報生成部100が、画像に含まれる画素の当該画像における二次元座標(位置)をコード化したパターンを生成する。例えば、二次元座標(位置)を米国特許第7907795号に記載される手法を用いてコード化すると、コード化パターンは図3に示すようなドットパターンとなる。図3に示す一群のドットは、画像における所定の画素の二次元座標をコード化したものである。スクリーン上に投射したドットパターンをデコードした座標と表示画像上のコード化された座標との対応から表示画像のゆがみを判定することができる。
次に、ステップS200に進み、ステップS100で生成したドットパターンを合成部200が画像に合成して被投射画像を生成する。
ステップS300に進み、投射部300が、被投射画像を被投射面へ投射する。ここで、ステップS100で生成されるドットパターンは、そのサイズ、密度、および濃度を制御することが可能である。ドットパターン抽出精度とのトレードオフを考慮しつつ、小サイズ、小密度、低濃度に設定することでドットパターンを肉眼で観察することが不可能ないし非常に困難な状態にすることができる。
ステップS400で、画像取得部400が、被投射面(スクリーン)をカメラで撮影した画像情報を取得する。ステップS500へ進み、座標抽出部500が、まず、ステップS400で取得した画像情報からドットパターンを抽出する。ドットパターンは、例えばドットパターンを合成しない元画像との差分により抽出できる。更に抽出したドットパターンをデコードすることで座標情報を抽出する。抽出した座標情報によって投射画像表示装置の表示パネル上の座標と投射面上の座標(撮像画面上の座標)の対応付けが行われる。
ステップS600では、パラメータ決定部600が、ステップS500で抽出した座標情報を用いて、座標情報を用いた公知の手法により画像の形状を補正するためのパラメータを決定する。例えば、座標情報がメッシュを形成する座標であれば、メッシュの各四角形領域の4頂点を用いて射影変換行列を求め、該射影変換行列を用いて形状補正するためのパラメータを決定する。
ステップS700では、形状補正部700が、ステップS600で決定されたパラメータに基づいて画像の形状を補正し被投射画像を生成する。
以上説明したように、表示対象の画像における所定の二次元座標を符号化してドットパターンとして表し、表示対象の画像と合成して投射することで投射画像にほぼ非可視状態で自動調整に利用可能な情報を画像に付加することができる。この非可視情報用いた自動調整を所定の時間間隔で実施することで、投射型画像表示装置の運用を停止することなく品質を保った表示を続けることが可能となる。
<<実施形態2>>
図4は、本発明の第二の実施形態(実施形態2)に係る投射型画像表示装置の機能構成の一例を示すブロック図である。本構成図において、実施形態1に係る構成に含まれる構成要素は同一符号で示している。図4のように、本実施形態の投射型画像表示装置10はフレーム周波数変換部800を備えている。
フレーム周波数変換部800は、画像信号のフレーム周波数をN倍(N>1)に変倍して人の視覚特性では輝度変化に対してフリッカが目立たなくなるような周波数へ変換する。このような周波数として、一般的に70Hz以上でフリッカが感じられなくなると言われている。そこで、フレーム周波数を、例えば、画像信号のフレーム周波数が60Hzであった場合、120Hzへ変換する。以下、N=2の場合の例を説明する。ここで、フレーム周波数60Hzの場合のフレーム画像がA・B・C…であった場合、フレーム周波数120Hzの場合のフレーム画像はA・A・B・B・C・C…とする。一般に、フレーム周波数をN倍に変倍する場合、同一のフレームをN個ずつ順に表示する。
本実施形態において合成部200は、周波数変換されたフレーム周波数に同期して、フレーム周波数変換された画像信号に二次元座標情報生成部100で生成されたドットパターンを加算ないし減算する。上記のようにN=2の場合は、連続するフレームの一方にドットパターンを加算し、もう一方から同一のドットパターンを減算する。変換されたフレーム周波数が2倍より大きな場合(N>2)、画像へのドットパターンの加算および減算は、それぞれ少なくとも一つのフレームに対して行う。複数のフレームに対してドットパターンの加減算を行う場合は、人がフリッカを認識可能なフレーム間隔において加算と減算の回数が等しくなるようにする。
人の視覚特性で輝度変化に対してフリッカが目立たなくなる周波数へ変換されたフレーム画像にドットパターンを加減算することにより、視覚的にドットパターンがそれぞれ相殺されて不可視とすることができる。また、ドットパターンを加減算したフレーム画像の差分からドットパターンを抽出することができるため、実施形態1の構成と比べて実質的に2倍の濃度でドットパターンを検出するができる。したがって、本実施形態によれば、ドットパターン抽出精度をさらに向上させることができる。なお、本実施形態では、表示対象の画像にパターンを加算した加算画像と、画像からパターンを減算した減算画像とを、人間が知覚できるよりも早い周波数で切り替えて投射することで、可視光を用いながら肉眼では知覚できないパターンを表示する。このため、表示対象の画像に合成するパターンは、表示対象画像における所定の座標を符号化してなるパターンに限られず、予め定められたパターンであればどのようなものを用いても構わない。
また、フレーム画像へのドットパターンの加減算は、輝度リニアな階調で行う必要がある。一般に画像信号は、表示デバイスのガンマ特性を考慮した階調処理がされている。そのため、合成部200へ入力される画像信号が輝度リニアな階調でない場合、合成部200の前後にガンマ/デガンマ処理を行って輝度リニアな階調にする。
本実施形態では、フレーム周波数を2倍に変換する場合(N=2)を説明したが、これに限るものではない。また、図4は、フレーム周波数変換部800を形状補正部700の前に配置した例を示しているが、これに限るものではなく、形状補正部700の後に配置してもよい。
以上説明したように、フレーム周波数を人の視覚特性で輝度変化に対してフリッカが目立たなくなる周波数へ変換し、ドットパターンを加算・減算して合成することで二次元座標情報を非可視とすることができる。この非可視情報を自動調整に用いることで、投射型画像表示装置の運用を停止することなく品質を保った表示を続けることが可能となる。すなわち、動画像のフレーム周波数をN倍に変換し、第1のフレームを加算画像とするとともに第2のフレームを減算画像として、加算画像及び減算画像を含む動画像を、入力された動画像のN倍のフレーム周波数でスクリーン上に投射する。このため、本実施形態によれば、加算画像と減算画像の輝度等が平均化されるので、可視光を用いながら肉眼では観察できないパターンを生成・利用することが可能となる。
なお、本実施形態では、動画像を表示する場合の例を説明したが、静止画像を表示する場合も、同様の手法を採ることができる。すなわち、1枚の静止画像からドットパターンを加算した加算画像及びドットパターンを減算した減算画像を生成し、これらを人間が知覚できるよりも早い周波数で切り替えて表示する。これにより、可視光を用いて肉眼で観察できないパターンを生成し、投射装置の調整に用いることができる。
<<実施形態3>>
本発明の第三の実施形態(実施形態3)に係る投射型画像表示装置の機能構成は、特に言及しない限り、図4に示す実施形態2に係る投射型画像表示装置の構成例と同一である。実施形態2において、フレーム画像の階調レベルによっては、フレーム画像へのドットパターンの加減算により階調レベルのオーバーフローあるいはアンダーフローが生じる。このようなオーバーフローあるいはアンダーフローが生じた場合、ドットパターンを相殺するためのバランスが崩れて元画像の表示階調にずれが生じることとなる。そのため、人はこのようなオーバーフロー又はアンダーフローをフリッカとして知覚し、画像の品質低下を認識する可能性がある。本実施形態では、階調レベルのオーバーフロー又はアンダーフローを検知した場合、オーバーフロー又はアンダーフローを補償することで画像の品質を維持する。
図5は、階調レベルのオーバーフロー又はアンダーフローについての課題を解決するための、本実施形態における合成部200の機能構成の一例を示すブロック図である。図5において、210は第一加算器、220は第一減算器、230は第一検出部、240は第二検出部、250は第二加算器、260は第二減算器、270は切替え器(スイッチ)である。
第一加算器210および第一減算器220は、フレーム周波数変換された画像信号に二次元座標情報生成部100で生成されたドットパターンをそれぞれ加算および減算する。第1検出部としての第一検出部230は、第一加算器210でのドットパターンの加算による加算画像における階調レベルのオーバーフローの発生の有無を検出する。第2検出部としての第二検出部240は、第一減算器220でのドットパターンの減算による減算画像における階調レベルのアンダーフローの発生の有無を検出する。なお、図5に示す第一検出部230、第二検出部240の配置順は逆順でもよい。
第二加算器250は、第一加算器210によるドットパターンの加算による階調レベルのオーバーフローを補償する第1補償部として機能する。第二減算器260は、第一減算器220によるドットパターンの減算による階調レベルのアンダーフローを補償する第2補償部として機能する。切替え器270は、形状補正部700から入力された画像に対してドットパターンを加算/減算した結果を、周波数変換されたフレーム周波数に同期して交互に選択して出力する。
(合成処理)
図6は、本実施形態における合成部200が実行する合成処理の処理手順を示すフローチャートである。図6の処理フローの全体は、図2のステップS200に対応する。
まず、ステップS210において、二次元座標情報生成部100で生成されたドットパターンを加算した画像と減算した画像をそれぞれ生成する。ドットパターンの加算は第一加算器210が行い、減算は第一減算器220が行う。図7は合成部による階調補正処理を説明する模式図である。図7は、画像のある行または列の画素値を一次元で示しており、横軸は画素の位置、縦軸は画素値を表している。図7(A)は二次元座標情報生成部100において生成されたドットパターンを示し、図7(B)は合成部200に入力される画像を示している。図7(C)はドットパターンを加算した画像(加算画像)を示し、図7(D)はドットパターンを減算した画像(減算画像)を示している。
ステップS220では、第一加算器210がドットパターンを加算した画像について、第一検出部230が階調のオーバーフローの発生の有無を判定する。オーバーフローが発生していた場合(S220でYES)はステップS230へ進み、オーバーフローが発生していなかった場合(S220でNO)は、そのままステップS240へ進む。
ステップS230では、第一減算器220がドットパターンを減算した画像に対して、第二加算器250がオーバーフロー分の階調レベルを加算することでオーバーフロー分を補償する。図7(E)、図7(F)は、ステップS230におけるオーバーフローの階調補償を模式的に示している。図7(E)は、図7(C)と同様に、第一加算器210が出力する加算画像を示しているが、網掛け部分が示すオーバーフロー分はカットされている。ステップS230では、第二加算器250が、このオーバーフロー分の階調レベルを第一減算器220が出力した減算画像(図7(D))に対して加算する。図7(F)は、第一減算器220が出力した減算画像にオーバーフロー分の階調レベル(網掛け部分)を加算したものを示している。このように、加算画像においてオーバーフローによりカットされた画素値の大きさ(飽和分)を減算画像に加算して、加算画像と減算画像の画素値の平均値を入力画像の画素値に維持することで、フリッカの発生を抑制することができる。ステップS230でのオーバーフローの補償を完了すると、ステップS240へ進む。
ステップS240では、第一減算器220がドットパターンを減算し、第二加算器250が必要に応じてオーバーフロー補償を行った画像について、第二検出部240が階調のアンダーフローの発生の有無を判定する。アンダーフローが発生していた場合(S240でYES)はステップS250へ進み、アンダーフローが発生していなかった場合(S240でNO)は、そのままステップS260へ進む。
S250では、第一加算器210がドットパターンを加算した画像から、第二減算器260がアンダーフロー分の階調レベルを減算することでアンダーフロー分を補償する。図7(G)、図7(H)は、ステップS250におけるオーバーフローの階調補償を模式的に示している。図7(H)は、第一減算器220が出力した減算画像に対して必要に応じてオーバーフロー分を補償したものを示しているが、アンダーフロー分はカットされている。ステップS250では、第二減算器260が、このアンダーフロー分の階調レベルをオーバーフロー分がカットされた加算画像(図7(E))から減算する。図7(G)は、加算画像からアンダーフロー分の階調レベル(網掛け部分)を減算したものを示している。このように、減算画像においてアンダーフローによりカットされた画素値の大きさを、加算画像から減算して、加算画像と減算画像の画素値の平均値を入力画像の画素値に維持することで、フリッカの発生を抑制することができる。ステップS250でのオーバーフローの補償を完了すると、ステップS260へ進む。
ステップS260では、N倍に変倍されたフレーム周期毎にドットパターンを加算した画像と減算した画像を交互に出力する。そして、図2のステップS300へ進む。
以上のように、ドットパターンの加算・減算による階調のオーバーフロー/アンダーフローを補償して、加算画像と減算画像の画素値の平均値を入力画像の画素値と同一にすることで、フリッカを抑止し確実に非可視性を担保することができる。この非可視情報を自動調整に用いることで、投射型画像表示装置の運用を停止することなく品質を保った表示を続けることが可能となる。
<<実施形態4>>
図8は、本発明の第四の実施形態(実施形態4)に係る投射型画像表示装置の機能構成の一例を示すブロック図である。図8の構成は、実施形態2で参照した図4において、画像取得部400が撮像部450に置き換わった以外は、特に言及しない限り実施形態2の構成と同一である。
撮像部450は、光学系を介して入力された光信号を電荷に変換して画像を取得する構成要素であり、静止画または動画のカメラにより実現される。本実施形態の投射型画像表示装置は、撮像部450を内蔵し、スクリーン上に投射された画像を撮像により取得することにより外部に他の機器を必要とすることなく、自動的に調整を行うことが可能となる。すなわち、撮像部を内蔵することで投射型画像表示装置のみで非可視情報を用いた自動調整が可能となる。
<<実施形態5>>
図9は、本発明の第五の実施形態(実施形態5)に係る投射型画像表示システムの機能構成の一例を示すブロック図である。本構成図において、1000は画像処理装置、100は二次元座標情報生成部、200は合成部、301は投射型画像表示装置、400は画像取得部、460は撮像部、500は座標抽出部、600はパラメータ決定部、700は形状補正部である。図1、図4と同一符号の構成要素は、特に言及しない限り、実施形態1、2に係る投射型画像表示装置における機能と同一である。
本実施形態では、自動調整に利用可能な非可視情報の付加、投射された画像からの座標情報の抽出、および形状補正の一連の処理を画像処理装置1000で行う。投射型画像表示装置301は、画像処理装置1000で生成される被投射画像を投射するのみである。画像処理装置1000の各構成要素は、パーソナルコンピュータ(PC)、タブレット端末等の汎用の情報処理装置において、CPUがコンピュータプログラムを実行することにより実現することができる。また、投射型画像表示装置301は、情報処理装置と通信可能な汎用のプロジェクタ装置により実現することができる。撮像部460は、実施形態4で参照した図8の撮像部450と同様に、静止画または動画のカメラにより実現される。なお、画像処理装置1000と、投射型画像表示装置301ないし撮像部460とは、有線ケーブルまたは無線LAN、Bluetooth(登録商標)等の無線通信により接続される。
このように、本実施形態の投射型画像表示システムは汎用の機器により構成し、汎用の投射型画像表示装置を用いて非可視情報を用いた自動調整を行うことが可能となる。
<<実施形態6>>
図10は、本発明の第六の実施形態(実施形態6)に係る投射型画像表示システムの機能構成の一例を示すブロック図である。本構成図において、1001は画像処理装置、100は二次元座標情報生成部、200は合成部、301は投射型画像表示装置、400は画像取得部、460は撮像部、500は座標抽出部、600はパラメータ決定部である。図1、図4、図9と同一符号の構成要素は、特に言及しない限り実施形態1、2、5に係る構成における機能と同一である。
本実施形態では、自動調整に利用可能な非可視情報の付加、投射された画像からの座標情報の抽出、および形状補正パラメータ決定の一連の処理を画像処理装置1001で行う。パラメータ決定部600で決定された形状補正パラメータは、投射型画像表示装置301へ送られ、投射型画像表示装置301が備える投射形状補正機能により投射形状を補正する。ここで、一般に投射型画像表示装置301が備える投射形状補正機能は、画像処理装置1000で投射形状補正を行うよりも高画質である。このため、本実施形態では投射形状の変形のみ汎用の投射型画像表示装置の機能を利用することにより高画質な投射形状補正で非可視情報を用いた自動調整が可能となる。
<<その他の実施形態>>
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
10:投射型画像表示装置、100:二次元座標情報生成部、200:合成部、300:投射部、400:画像取得部、500:座標抽出部、600:パラメータ決定部、700:形状補正部

Claims (13)

  1. 入力画像信号のフレーム画像に基づく第1画像内の複数の所定位置の画素値を増加させる第1増加手段と、
    前記フレーム画像に基づく第2画像内の前記複数の所定位置の画素値を減少させる第1減少手段と、
    前記第1増加手段により増加させられた前記第1画像におけるオーバーフローの発生の有無を検出する第1検出手段と、
    前記第1減少手段により減少させられた前記第2画像におけるアンダーフローの発生の有無を検出する第2検出手段と、
    前記第1検出手段による検出結果に応じて、前記第1減少手段により減少させられた前記第2画像に対して、前記第1検出手段が検出したオーバーフローを補償する補正を行う第2増加手段と、
    前記第2検出手段による検出結果に応じて、前記第1増加手段により増加させられた前記第1画像に対して、前記第2検出手段が検出したアンダーフローを補償する補正を行う第2減少手段と、
    前記フレーム画像に基づくN個(N>1)のフレーム画像であって、前記第2増加手段から出力される画像と前記第2減少手段から出力される画像とを含むN個のフレーム画像が、前記入力画像信号に応じたフレーム周波数のN倍のフレーム周波数で投影されるように、投影手段を制御する投影制御手段と、
    前記投影手段により投影される画像の調整のためのパラメータを、前記投影制御手段による制御に応じて画像が投影されている投影面が撮像されることで得られる撮像画像に基づいて決定する決定手段と、
    前記投影手段により前記投影面に投影される画像を前記決定手段により決定されるパラメータに基づいて調整する調整手段とを有ることを特徴とする表示制御装置。
  2. 前記投影制御手段は、前記第2増加手段から出力される画像と前記第2減少手段から出力される画像とが連続して投影されるように、前記投影手段を制御することを特徴とする請求項1記載の表示制御装置。
  3. 前記第1増加手段により前記複数の所定位置の画素値が増加させられる前の前記第1画像と、前記第1減少手段により前記複数の所定位置の画素値が減少させられる前の前記第2画像とは、同一の画像であることを特徴とする請求項1または2に記載の表示制御装置。
  4. 前記第1増加手段は、前記N個のフレーム画像に含まれる1以上の画像のそれぞれにおける前記複数の所定位置の画素値を増加させ、
    前記第1減少手段は、前記N個のフレーム画像に含まれる1以上の画像のそれぞれにおける前記複数の所定位置の画素値を減少させ、
    前記第1増加手段により前記複数の所定位置の画素値が増加させられる画像の数は、前記第1減少手段により前記複数の所定位置の画素値が減少させられる画像の数と等しいことを特徴とする請求項1乃至の何れか1項に記載の表示制御装置。
  5. 前記撮像画像内の複数の位置であって前記複数の所定位置に対応する複数の位置を特定する特定手段を有し、
    前記決定手段は、前記特定手段による前記撮像画像内の前記複数の位置の特定結果に基づいて前記パラメータを決定することを特徴とする請求項1乃至の何れか1項に記載の表示制御装置。
  6. 前記特定手段は、前記第2増加手段から出力される画像が投影されている前記投影面が撮像されることで得られる第1撮像画像と、前記第2減少手段から出力される画像が投影されている前記投影面が撮像されることで得られる第2撮像画像との差に基づいて、前記複数の位置を特定することを特徴とする請求項に記載の表示制御装置。
  7. 前記複数の所定位置は座標情報を符号化することにより設定されることを特徴とする請求項1乃至の何れか1項に記載の表示制御装置。
  8. 前記決定手段は、前記投影制御手段による制御に応じて画像が投影されている前記投影面が撮像された撮影画像を、前記表示制御装置と通信可能な撮像手段から取得し、当該取得した撮像画像に基づいて前記パラメータを決定することを特徴とする請求項1乃至の何れか1項に記載の表示制御装置。
  9. 前記投影手段は、前記表示制御装置と通信可能なプロジェクタであることを特徴とする請求項1乃至の何れか1項に記載の表示制御装置。
  10. 前記調整手段は、前記決定手段により決定されるパラメータを前記投影手段に出力することで、前記投影手段により前記投影面に投影される画像を調整することを特徴とする請求項に記載の表示制御装置。
  11. 前記投影面を撮像する撮像手段と、
    前記投影制御手段による制御に応じて画像を投影する前記投影手段とを有し、
    前記決定手段は、前記投影制御手段による制御に応じて画像が投影されている前記投影面が前記撮像手段により撮像されることで得られる撮像画像に基づいて前記パラメータを決定することを特徴とする請求項1乃至10の何れか1項に記載の表示制御装置。
  12. 表示システムにより実行される表示制御方法であって、
    入力画像信号のフレーム画像に基づく第1画像内の複数の所定位置の画素値を増加させる第1増加工程と、
    前記フレーム画像に基づく第2画像内の前記複数の所定位置の画素値を減少させる第1減少工程と、
    前記第1増加工程において増加させられた前記第1画像におけるオーバーフローの発生の有無を検出する第1検出工程と、
    前記第1減少工程において減少させられた前記第2画像におけるアンダーフローの発生の有無を検出する第2検出工程と、
    前記第1検出工程における検出結果に応じて、前記第1減少工程において減少させられた前記第2画像に対して、前記第1検出工程において検出したオーバーフローを補償する補正を行う第2増加工程と、
    前記第2検出工程における検出結果に応じて、前記第1増加工程において増加させられた前記第1画像に対して、前記第2検出工程において検出したアンダーフローを補償する補正を行う第2減少工程と、
    前記フレーム画像に基づくN個(N>1)のフレーム画像であって、前記第2増加工程において出力される画像と前記第2減少工程において出力される画像とを含むN個のフレーム画像が、前記入力画像信号に応じたフレーム周波数のN倍のフレーム周波数で投影されるように、投影手段を制御する投影制御工程と、
    前記投影手段により投影される画像の調整のためのパラメータを、前記投影制御工程における制御に応じて画像が投影されている投影面が撮像されることで得られる撮像画像に基づいて決定する決定工程と、
    前記投影手段により前記投影面に投影される画像を前記決定工程において決定されるパラメータに基づいて調整する調整工程とを有ることを特徴とする表示制御方法。
  13. コンピュータを、請求項1乃至11の何れか1項に記載の表示制御装置の各手段として機能させるためのコンピュータプログラム。
JP2014221961A 2014-10-30 2014-10-30 表示制御装置、表示制御方法、及びコンピュータプログラム Expired - Fee Related JP6609098B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014221961A JP6609098B2 (ja) 2014-10-30 2014-10-30 表示制御装置、表示制御方法、及びコンピュータプログラム
US14/923,657 US9838656B2 (en) 2014-10-30 2015-10-27 Display control apparatus, method of controlling the same, and non-transitory computer-readable storage medium
US15/802,973 US10205922B2 (en) 2014-10-30 2017-11-03 Display control apparatus, method of controlling the same, and non-transitory computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014221961A JP6609098B2 (ja) 2014-10-30 2014-10-30 表示制御装置、表示制御方法、及びコンピュータプログラム

Publications (3)

Publication Number Publication Date
JP2016090673A JP2016090673A (ja) 2016-05-23
JP2016090673A5 JP2016090673A5 (ja) 2017-12-07
JP6609098B2 true JP6609098B2 (ja) 2019-11-20

Family

ID=55854177

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014221961A Expired - Fee Related JP6609098B2 (ja) 2014-10-30 2014-10-30 表示制御装置、表示制御方法、及びコンピュータプログラム

Country Status (2)

Country Link
US (2) US9838656B2 (ja)
JP (1) JP6609098B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11202044B2 (en) 2017-05-26 2021-12-14 Sony Corporation Image processing apparatus and method

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6609098B2 (ja) 2014-10-30 2019-11-20 キヤノン株式会社 表示制御装置、表示制御方法、及びコンピュータプログラム
JP7394386B2 (ja) * 2020-03-30 2023-12-08 パナソニックIpマネジメント株式会社 プロジェクタおよび画像投影方法
US11967268B1 (en) * 2022-11-07 2024-04-23 Qualcomm Incorporated Systems and methods of secure imaging

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3449142B2 (ja) * 1996-12-06 2003-09-22 松下電器産業株式会社 画像縮小装置およびその制御方法
US6529600B1 (en) * 1998-06-25 2003-03-04 Koninklijke Philips Electronics N.V. Method and device for preventing piracy of video material from theater screens
JP3445759B2 (ja) 1999-08-05 2003-09-08 日本電信電話株式会社 自動画素位置調整装置
JP3509652B2 (ja) * 1999-08-23 2004-03-22 日本電気株式会社 プロジェクタ装置
JP3592168B2 (ja) * 1999-12-22 2004-11-24 キヤノン株式会社 画像データの符号化復号化方法及び装置
KR20030078895A (ko) * 2001-01-25 2003-10-08 일진다이아몬드 주식회사 서울지사 보정 구역을 사용한 이미지 보상 방법 및 장치
JP4143916B2 (ja) * 2003-02-25 2008-09-03 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US7373294B2 (en) * 2003-05-15 2008-05-13 Lucent Technologies Inc. Intonation transformation for speech therapy and the like
JP4371749B2 (ja) * 2003-09-19 2009-11-25 Necディスプレイソリューションズ株式会社 プロジェクタおよびそのテストパターン検出方法
CN100490512C (zh) * 2003-10-15 2009-05-20 精工爱普生株式会社 多投影显示器
US7410263B2 (en) * 2003-11-06 2008-08-12 Seiko Epson Corporation Rear projection type multi-projection display
EP2408193A3 (en) * 2004-04-16 2014-01-15 James A. Aman Visible and non-visible light sensing camera for videoing and object tracking
EP1777485A4 (en) * 2004-08-03 2012-09-19 Techno Dream 21 Co Ltd METHOD AND DEVICE FOR MEASURING THREE-DIMENSIONAL FORMS
JP4523368B2 (ja) * 2004-09-10 2010-08-11 株式会社マーキュリーシステム 立体視画像生成装置およびプログラム
KR100594806B1 (ko) * 2004-12-28 2006-06-30 삼성전자주식회사 레터박스 경계를 검출하는 디스플레이장치 및 이를 이용한영상 디스플레이 방법
JP3908255B2 (ja) 2005-07-25 2007-04-25 オリンパス株式会社 画像投影システム
US20070115440A1 (en) * 2005-11-21 2007-05-24 Microvision, Inc. Projection display with screen compensation
KR100809351B1 (ko) * 2006-04-03 2008-03-05 삼성전자주식회사 투사 영상을 보정하는 방법 및 장치
KR101225063B1 (ko) * 2006-04-04 2013-01-24 삼성전자주식회사 투사되는 영상을 은닉적으로 보정하는 방법 및 이를 위한장치
AU2006203027B2 (en) 2006-07-14 2009-11-19 Canon Kabushiki Kaisha Improved two-dimensional measurement system
JP4978152B2 (ja) * 2006-10-25 2012-07-18 セイコーエプソン株式会社 プロジェクタ、プログラムおよび情報記憶媒体
JP5264276B2 (ja) 2007-07-10 2013-08-14 キヤノン株式会社 画像表示装置、画像表示方法及びプログラム
US8041203B2 (en) * 2007-10-15 2011-10-18 Olympus Imaging Corp. Camera, camera controlling method, and recording medium storing camera controlling program
JP4999788B2 (ja) * 2008-06-26 2012-08-15 三菱電機株式会社 移動目標検出装置及びコンピュータプログラム及び移動目標検出方法
JP5320865B2 (ja) * 2008-07-04 2013-10-23 セイコーエプソン株式会社 プロジェクタおよびプロジェクタの制御方法
JP5493340B2 (ja) * 2008-11-26 2014-05-14 セイコーエプソン株式会社 投写型表示装置および配置関係検出方法
JP5386956B2 (ja) * 2008-12-04 2014-01-15 セイコーエプソン株式会社 プロジェクタ、表示調整方法、表示調整プログラム及び記録媒体
JP5257055B2 (ja) * 2008-12-24 2013-08-07 富士ゼロックス株式会社 読取装置
CN102804762A (zh) * 2009-06-29 2012-11-28 松下电器产业株式会社 车载用影像显示装置
JP5676874B2 (ja) * 2009-10-30 2015-02-25 キヤノン株式会社 画像処理装置およびその制御方法、プログラム
CN105739209B (zh) * 2009-11-30 2022-05-27 株式会社半导体能源研究所 液晶显示设备、用于驱动该液晶显示设备的方法
JP2011118278A (ja) * 2009-12-07 2011-06-16 Panasonic Corp バックライト装置およびこれを用いた映像表示装置
JP5479064B2 (ja) * 2009-12-11 2014-04-23 キヤノン株式会社 画像処理装置およびその制御方法、プログラム
US20110216205A1 (en) 2010-03-03 2011-09-08 Christie Digital Systems Usa, Inc. Automatic calibration of projection system using non-visible light
JP5740822B2 (ja) * 2010-03-04 2015-07-01 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2011222172A (ja) * 2010-04-06 2011-11-04 Uehira Kazutake 照明方法
EP2843618B1 (en) * 2010-04-18 2016-08-31 Imax Theatres International Limited Double stacked projection
US20130093805A1 (en) * 2010-06-21 2013-04-18 Imax Corporation Double stacked projection
CN102314259B (zh) * 2010-07-06 2015-01-28 株式会社理光 一种在显示区域内检测物体的方法和设备
JP2012018214A (ja) 2010-07-06 2012-01-26 Sanyo Electric Co Ltd 投写型映像表示装置
KR101681779B1 (ko) * 2010-07-14 2016-12-02 엘지디스플레이 주식회사 입체 영상 표시장치와 그 백라이트 제어 방법
JP2012118289A (ja) * 2010-11-30 2012-06-21 Sanyo Electric Co Ltd 投写型映像表示装置
RU2589859C2 (ru) * 2011-02-17 2016-07-10 АЙЛОК ЭлЭлСи Эффективный способ и система для получения данных изображения сцены и изображения радужной оболочки с использованием одного датчика
JP2012208926A (ja) * 2011-03-15 2012-10-25 Nikon Corp 検出装置、入力装置、プロジェクタ、及び電子機器
JP2012205168A (ja) * 2011-03-28 2012-10-22 Toppan Printing Co Ltd 映像処理装置、映像処理方法及び映像処理プログラム
JP2012256980A (ja) * 2011-06-07 2012-12-27 Olympus Corp 画像処理システムおよび画像処理方法
US9344695B2 (en) * 2011-09-15 2016-05-17 Nec Corporation Automatic projection image correction system, automatic projection image correction method, and non-transitory storage medium
CA2847999C (en) * 2011-10-20 2019-11-12 Imax Corporation Invisible or low perceptibility of image alignment in dual projection systems
JP5284446B2 (ja) * 2011-11-14 2013-09-11 株式会社東芝 画像処理装置、及び画像処理方法
JP2013165485A (ja) * 2012-01-11 2013-08-22 Panasonic Corp 画像処理装置、撮像装置およびコンピュータブログラム
JP6037224B2 (ja) * 2012-01-11 2016-12-07 パナソニックIpマネジメント株式会社 画像処理装置、撮像装置、およびプログラム
JP5910157B2 (ja) * 2012-02-23 2016-04-27 株式会社リコー 画像投射装置
US8817120B2 (en) * 2012-05-31 2014-08-26 Apple Inc. Systems and methods for collecting fixed pattern noise statistics of image data
US9113089B2 (en) * 2012-06-06 2015-08-18 Apple Inc. Noise-constrained tone curve generation
JP6089461B2 (ja) * 2012-06-22 2017-03-08 セイコーエプソン株式会社 プロジェクター、画像表示システム、プロジェクターの制御方法
KR101947572B1 (ko) * 2012-07-06 2019-02-14 삼성전자 주식회사 디스플레이장치 및 그 제어방법
CN103869585B (zh) * 2012-12-13 2016-01-27 联想(北京)有限公司 投影设备和用于其的信息处理方法
JP5768193B2 (ja) * 2012-12-18 2015-08-26 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム
JP6116291B2 (ja) * 2013-02-27 2017-04-19 オリンパス株式会社 画像処理装置、画像処理方法及び画像処理プログラム
KR102003776B1 (ko) * 2013-08-13 2019-07-26 한화테크윈 주식회사 감시용 카메라의 자세 검출 방법 및 장치
JP2015069895A (ja) * 2013-09-30 2015-04-13 パナソニックIpマネジメント株式会社 照明制御装置及び照明制御システム
JP2015149691A (ja) * 2014-02-10 2015-08-20 ソニー株式会社 画像補正装置、画像補正方法、及び、撮像装置
WO2015186225A1 (ja) * 2014-06-05 2015-12-10 株式会社ニコン 走査型投影装置、投影方法、及び手術支援システム
JP6386809B2 (ja) * 2014-06-23 2018-09-05 キヤノン株式会社 情報処理装置およびその制御方法、システム、並びにプログラム
KR101609280B1 (ko) * 2014-10-01 2016-04-05 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
JP6609098B2 (ja) 2014-10-30 2019-11-20 キヤノン株式会社 表示制御装置、表示制御方法、及びコンピュータプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11202044B2 (en) 2017-05-26 2021-12-14 Sony Corporation Image processing apparatus and method

Also Published As

Publication number Publication date
US20160127704A1 (en) 2016-05-05
US9838656B2 (en) 2017-12-05
US10205922B2 (en) 2019-02-12
US20180054602A1 (en) 2018-02-22
JP2016090673A (ja) 2016-05-23

Similar Documents

Publication Publication Date Title
JP6609098B2 (ja) 表示制御装置、表示制御方法、及びコンピュータプログラム
JP2018197824A (ja) 投影装置、情報処理装置およびそれらの制御方法、並びにプログラム
US10656506B2 (en) High-speed display device, high-speed display method, and realtime measurement-projection device
JP2020012912A (ja) 映像表示装置、および映像表示方法
US10171781B2 (en) Projection apparatus, method for controlling the same, and projection system
US9672650B2 (en) Image processing apparatus, image processing method, and storage medium
JP2007006021A (ja) 撮像装置および画像処理プログラム
JP6525740B2 (ja) 情報処理装置、情報処理装置の制御方法、画像処理システム及びプログラム
JP2018061130A (ja) 画像処理装置、画像処理方法、及びプログラム
JP5904754B2 (ja) 情報処理システム、情報処理装置、それらの制御方法、およびプログラム
JP7207876B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2007271771A (ja) 画像表示システム及びその制御方法
JP2017034352A (ja) 投射装置およびその制御方法、表示装置
KR20190122692A (ko) 화상 처리 장치 및 화상 처리 방법
JP2014027580A (ja) 撮像装置、及び画像処理方法
JP6364782B2 (ja) フォーカス制御装置、フォーカス制御方法、カメラ装置およびカメラ装置におけるフォーカス制御方法
KR102500462B1 (ko) 화상 처리 장치, 화상 처리 프로그램 및 화상 처리 방법
JP2020025228A (ja) 画像処理装置、電子透かし埋め込み装置、パターン画像の埋め込み方法、およびプログラム
JP2021005798A (ja) 撮像装置、撮像装置の制御方法およびプログラム
JP2016208083A (ja) 画像処理装置、画像処理方法、及びプログラム
JP6140933B2 (ja) 表示装置及びその制御方法
JP2017016061A (ja) 投影装置、投影システム、およびそれらの制御方法、プログラム
JP2019012179A (ja) Hdr画像表示システム
JP6983651B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2021081680A (ja) 投影制御装置、投影システム、投影制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171027

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171027

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180730

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190419

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191025

R151 Written notification of patent or utility model registration

Ref document number: 6609098

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees