Nothing Special   »   [go: up one dir, main page]

JP4620271B2 - Image processing method - Google Patents

Image processing method Download PDF

Info

Publication number
JP4620271B2
JP4620271B2 JP2001072174A JP2001072174A JP4620271B2 JP 4620271 B2 JP4620271 B2 JP 4620271B2 JP 2001072174 A JP2001072174 A JP 2001072174A JP 2001072174 A JP2001072174 A JP 2001072174A JP 4620271 B2 JP4620271 B2 JP 4620271B2
Authority
JP
Japan
Prior art keywords
image
camera
image data
frame
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001072174A
Other languages
Japanese (ja)
Other versions
JP2001333327A (en
Inventor
金城  直人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2001072174A priority Critical patent/JP4620271B2/en
Publication of JP2001333327A publication Critical patent/JP2001333327A/en
Application granted granted Critical
Publication of JP4620271B2 publication Critical patent/JP4620271B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Circuits (AREA)
  • Television Signal Processing For Recording (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

【0001】
本発明は、複数の被写体を合成したプリント等の合成画像を作成するための画像処理方法に関する。
【0002】
【従来の技術】
近年、フィルムに記録された画像情報を光電的に読み取り、これをデジタル画像データ化して、種々のデジタル画像処理を施した後に画像の記録を行う、デジタル露光を利用したデジタルフォトプリンタが実用化されている。このようなデジタルフォトプリンタでは、画像データ処理によって、文字等の画像データを生成し、フィルムに撮影された画像の画像データと組合せることによって、フィルムに撮影された画像に文字等を合成した合成画像が簡単にできるようになっている。
【0003】
また、最近開発されているデジタル電子スチルカメラ(以下、デジタルカメラとする。)においては、撮影により取得した画像をデジタル画像データとして、デジタルカメラ内部に設けられた内部メモリやICカードなどの記録媒体に記録し、記録されたデジタル画像データに基づいて、プリンタやモニタに、撮影により取得した画像を表示したり、あるいはカメラ内部で画像の合成をすることができる。例えば、デジタルカメラで撮影した画像にテンプレートを貼り付けて、一枚の合成画像を作成するデジタルカメラが知られている。このようなテンプレートとしては、フレームやイラスト等の画像、カレンダーやグリーティングカード等の文字などがある。
また、デジタルカメラ内の記録媒体から画像入力手段を介してデジタル画像データを直接前記デジタルフォトプリンタに入力して、デジタルフォトプリンタにおいて画像合成をはじめとする各種画像処理を行うこともできる。
【0004】
従来、画像を合成する方法として様々な方法が知られている。例えば、画像の合成にあたり、画像撮像手段による画像と、外部機器から受信した付加情報受信手段による付加情報とを別々の領域に記憶し、各画像を単独で、あるいは合成画像として表示手段に切り換えて表示するものや、2つの連続した画像を合成してパノラマ画像を作成する際、2つの画像の重なり部分の明度を比較して補正し、2つの画像の明度を合わせるようにして合成するものが知られている。
【0005】
また、特開10−304227号公報には、カメラの表示装置に現に撮影中の撮影対象を表示し、これに対して、さらに既に撮影されて記録されている記録画像を重ねて表示することにより、定点観測画像の撮影を容易に行えるようにするとともに、記録画像を表示する際、接続マークを付加することにより大画面のパノラマ写真の撮影を容易にしたものが開示されている。さらに、特開平5−142682号公報には、パノラマ写真の撮影において、撮影済画像をシフトしてその画像の端部をカメラのファインダ内に表示し、次の画像を撮影する場合の位置合わせに利用するものが開示されている。
また、複数の撮影済画像の合成を、市販の画像処理ソフト(例えば、Adobe 社製ソフト Photoshop 等)を用いて、パーソナルコンピュータや前記デジタルフォトプリンタでの画像処理によって行う方法もある。
【0006】
【発明が解決しようとする課題】
しかしながら、従来のように、例えば、デジタルカメラで撮影された画像にテンプレートを貼り付けて合成画像を作成する場合、通常テンプレートは適正な出力画像となる条件の画像データとしてカメラや記録媒体に予め記憶されているのに対し、撮影画像は必ずしも適正画像ではなく、不十分な露出条件であったり、撮影光源、被写体シーンに起因して、濃度、色、階調を修正する必要がある場合がある。このとき、テンプレートが単純な場合以外は、合成画像中のテンプレートと撮影画像の識別は困難であり、合成画像では、テンプレート画像と撮影画像とを独立に修正することはできず、その一方、合成画像全体を修正しようとすると、いままで適正であったテンプレートが適正でなくなってしまうという問題がある。このとき、デジタルカメラの液晶画面で画像を確認し、調整して再度撮影することも可能であるが、シャッターチャンスを逃したり、時間がかかったりして、実用的ではない。
【0007】
また、画像撮像手段による画像と、外部機器から受信した付加情報とを表示手段に切り換えて表示するものでは、外部機器としてパソコン(パーソナルコンピュータ)を接続すれば、パソコン上でテンプレート合成画像から撮影画像を切り出して、画像処理することも可能であるが、多大の労力を要する。また、パソコン上で修正した画像が必ずしも出力装置の出力画像に画質上一致しているとは言えず、出力画像に合わせていないパソコン上の表示装置での修正では不十分であるという問題がある。また、2つの連続した画像を明度を合わせて合成するものでは、撮影画像と、予め記憶されているテンプレート画像との合成には向いていないという問題がある。
【0008】
また、特開平10−304227号公報に開示されたものは、定点観測用またはパノラマ写真用の位置合わせを目的としており、画像中の複数の被写体を選択して合成した合成画像を得る目的には不向きである。さらに、特開平5−142682号公報に開示されたものも、パノラマ写真用の位置合わせを目的としており、単に撮影済画像の端部を表示するのみであるため、やはり同様に、複数の被写体の合成には向いていないという問題がある。
さらに、前記市販の画像処理ソフトを用いるものでは、個別に撮影した被写体を用いる場合、合成時に不自然に成り易いという問題がある。
【0009】
本発明は、前記従来の問題に鑑みてなされたものであり、複数の被写体を合成した合成画像、特に、合成プリントを容易に作成することができる画像処理方法を提供することを課題とする。
【0010】
【課題を解決するための手段】
前記課題を解決するために、本発明に係る画像処理方法は、被写体を撮影してデジタル画像データを取得し、これに所定の、合成用に参照する画像の画像データを合成して、合成画像の画像データを作成する画像処理方法であって、撮影時に、前記所定の合成用に参照する画像中の1つ以上の少なくとも一部領域に対し、それが合成する対象となる参照画像であることを示す第1の識別情報および指定領域情報を付すとともに、前記参照画像の透過率を変更して、前記参照画像と現在撮影中の撮影コマとが区別できるように、前記参照画像を前記撮影コマに重ねて表示して、撮影が完了すると、前記参照画像が合成される対象となる前記撮影コマの画像に対し、合成される対象であることを示す第2の識別情報を付し、さらに、前記参照画像に合成する際の所定の透過率を示す合成時透過率情報を付し、画像出力時に、前記第1および第2の識別情報と、前記指定領域情報と、前記合成時透過率情報に基づいて、前記参照画像を前記撮影コマの画像に合成した合成画像の画像データを作成することを特徴とする。
【0012】
また、本発明に係る画像処理方法においては、前記透過率は、前記参照画像にグラデーションをかけて設定されることが好ましい。
【0022】
【発明の実施の形態】
以下、本発明に係る画像処理方法について、添付の図面に示される好適実施形態並びに参考例を基に、詳細に説明する。
【0023】
図1は、本発明の一参考例に係るデジタルスチルカメラの概略を示すブロック図である。
図1において、デジタルスチルカメラ(以下、単にカメラとする)10は、被写体を撮像してデジタル画像信号(データ)を得るCCD撮像素子(以下単にCCDとする)14と、このCCD14により得られた画像データを格納する画像メモリ16と、画像メモリ16に格納されている撮影済の画像(画像データ)と現に撮影中の画像(画像データ)をモニタ表示用に合成する画像合成部18と、合成された画像を表示するモニタ12とを含んでいる。
【0024】
また、カメラ10は、各種画像処理を行い出力用の画像を作成する画像処理部20と、スマ−トメディアやメモリスティック等の画像データ記録媒体(以下、記録媒体という)Rに出力用の画像データを記録する記録部22と、上記各部(ユニット)等のカメラ10全体の機能の制御を行うCPU24と、カメラ10に撮影者が合成画像を作成するための参照画像または参照画像領域を指定したり、その他の指示を与えるための操作部26を備えている。
【0025】
さらに、カメラ10は、CPU24による制御に基づく自動露出制御や自動焦点制御等のカメラ制御を行うためのカメラ制御部28を有する。このカメラ制御部28は、図示しないが、自動露出制御や自動焦点制御等のカメラ制御機能に必要な各種のセンサや撮影レンズによる合焦デバイスやシャッタースピードの調整デバイスやCCD14の蓄積時間の制御デバイスや必要に応じて絞りなどの調整デバイス等や立体写真撮影モード、連続撮影(連写)モ−ドおよびビデオ(動画)撮影モ−ド等のモ−ド選択デバイス等を備える。
さらにまた、カメラ10は、カメラ間通信やインタ−ネット等の通信網を介しての通信を行うための通信部30を有していても良い。
【0026】
まず、本発明の画像処理方法の一実施形態について説明する。
図2および図3は、本発明の画像処理方法の一実施形態におけるカメラの使用状態を示す説明図である。図2(a)は、カメラ10により被写体Aを撮影する様子を示しており、このとき、図2(b)に示すように、撮影対象画像が、カメラ10の背面のモニタ12に表示される。
【0027】
ここで、カメラ10で被写体Aを撮影すると、この被写体Aを撮影した画像(コマ)を表す画像信号(データ)がCCD14で得られ、画像メモリ16に格納される。次の画像(N+1コマ)の撮影に際し、この一旦撮影されたコマ(第Nコマとする)の画像データが画像メモリ16から読み出され、モニタ表示に応じた画素密度に間引き処理された後、モニタ12に入力され、モニタ12に表示される。撮影者は、このモニタ12の表示を見て、参照したい部分、すなわち、この撮影対象画像(N+1コマ)と合成して利用したい部分(参照エリア)40を、図2(c)に破線Pで示すような枠で囲んで指定する。この参照エリア40の指定は、操作部26により、例えば操作部26に設けられた電子ペン等により、すなわち、撮影者が電子ペンにより、モニタ12上で、当該参照エリア40を、手書き、あるいは矩形、円形、楕円形等適当な枠で囲んで指定することができる。なお、操作部26による参照エリアの指定方法は、電子ペンによるものの他、どのような方法でも良く、特に限定されるものではない。また、参照エリア40の指定は、1つの画像(1コマ)全体を指定することもできるし、1つの画像内で複数の参照エリア40を指定することも可能である。
【0028】
次に、図3(a)に示すように、今撮影したNコマと合成すべき、N+1コマの撮影を、カメラ10によって、被写体Bに対して行う。この撮影においては、撮影者が操作部26から指示することにより、現在撮影しようとしている、すなわちCCD14でモニタ12に表示のために読み取られ、表示画素密度に間引きされている被写体Bの画像とともに、撮影済のNコマの画像の参照エリア40内の画像が画像合成部18によって合成されて、図3(b)に示すようにモニタ12に表示される。
【0029】
参照エリア40内の画像(参照画像)を被写体Bの画像(撮影対象画像)に合成してモニタ12に表示する際、これらの画像の比重は、撮影者が指定することによって変更することが可能である。すなわち、参照画像の透過率を変えて、モニタ12上で、参照画像と撮影対象画像が容易に区別できるようにする。したがって、モニタ12上での参照画像が表示される領域においては、100%参照画像の状態から、100%撮影対象画像の状態の間において、半透明の参照画像と実画像である撮影対象画像との合成が様々な段階で表示可能である。また、参照エリア40にグラデーションをかけた透過率としても良い。例えば、参照エリアの周辺ほど、透過率を高く (すなわち、合成する対象となる参照画像の比重が小と)なるようにしても良い。
なお、この透過率の設定は、モニタ12への表示と、実際に画像出力、例えばプリント出力する場合とで異なる値を設定することも可能である。従って、モニタ12に表示する際には、モニタ12上で被写体Bの位置合わせが容易になるように半透明にし、プリント等の再現画像を出力する場合には、100%参照画像とすることもできる。
【0030】
図3(b)に示すような参照画像と撮影対象画像が重なって見える合成画像をモニタ12で確認後、被写体Bを撮影する。このような合成画像はモニタ12上に表示されているのみであり、実際に撮影される被写体Bの画像には参照画像は撮影されない。撮影された被写体Bの画像は画像メモリ16に格納される。
また、この時、撮影者が操作部26から指示することによって、NコマとN+1コマとが合成する対象と合成される対象であることを示す識別情報(データ)等の合成編集情報が付加される。Nコマの画像に対しては、合成用に参照する画像であることを示す(第1の)識別情報と、指定された参照画像領域(参照エリア40)を表す指定領域情報または参照エリア40内の参照画像に対する加工処理内容を示す加工情報およびそのプリント等の画像出力時の透過率を示す合成時透過率情報等が付加される。N+1コマの画像に対しては、合成される対象であることを示す(第2の)識別情報が付加される。
【0031】
この指定領域情報中の形状データとしては、指定エリアが任意の形状の場合、その外周画素の情報(画素の位置またはチェーンコードの様な画素間の連結情報)、または指定エリア内画素の位置にエリア番号を割り当てるテーブル、または指定エリア内画素の位置に透過率データを割り当てたテーブル、等により表現する方法がある。
【0032】
カメラ10では、Nコマ目の被写体Aの撮影画像およびN+1コマ目の被写体Bの撮影画像の画像データは、画像メモリ16から読み出され、画像処理部20において、色や濃度の補正等の各種画像処理が施され、記録媒体Rに応じた出力用画像データに変換された後、記録部22において記録媒体Rに記録される。
なお、これらの記録媒体Rに記録される画像データには、上述した合成編集情報が付加される。特に、Nコマ目の合成用撮影画像データには、参照画像を含むことを示す(第1の)識別情報、指定領域情報または参照画像の加工情報および合成時透過率情報等が付加され、N+1コマ目の被合成用撮影画像データには、参照画像が合成されることを示す(第2の)識別情報が付加される。
こうして、撮影時に、カメラ側で、以上のような撮影画像データの取得と、これらの撮影画像データへの合成編集情報の付加が行われる。
【0033】
一方、本発明では、画像出力の際には、フォトプリンタにおいて、撮影時に取得された撮影画像データとこれに付加された合成編集情報が利用される。
図4に、本発明の画像処理方法の画像出力時に用いられるフォトプリンタの一実施例を示す。
同図に示すフォトプリンタ50は、記録媒体Rから被合成用撮影画像データおよび合成用撮影画像データ等の画像データと第1および第2の識別情報や参照画像の指定領域情報または加工情報および合成時透過率情報等の合成編集情報を読み出すドライバ52と、ドライバ52によって読み出された画像データを保存するフレームメモリ54と、ドライバ52によって読み出された合成編集情報を取得して保存する情報取得部56と、フレームメモリ54に保存された画像データを読み出して画像出力に必要な各種の画像処理を施す画像処理部58と、情報取得部56からの合成編集情報に基づいて被合成用撮影画像データに対して、合成用撮影画像データ中の参照画像を合成する画像合成部60と、合成用撮影画像データの代わりとなる引用画像データを取得する引用画像取得部62と、画像合成部60で合成された合成画像データから再現画像として、または再現画像データとして出力する画像出力部64とを有する。
【0034】
ここで、画像合成部60は、情報取得部56からの第1の識別情報に基づく合成用画像データ中の、情報取得部56からの参照画像の指定領域情報または加工情報に基づいて指定される参照画像を、情報取得部56からの合成時透過率情報に基づく透過率で、情報取得部56からの第2の識別情報に基づく被合成用画像データに合成する。なお、画像合成部60は、情報取得部56からの合成編集情報に基づいて、フレームメモリ54から画像処理部58を介して得られる合成用撮影画像データの代わりに、引用画像取得部62から参照画像をえるための引用画像データを取得してもよい。また、画像データや合成編集情報等を記録媒体Rからドライバ52によって読み出しているが、カメラ10の画像メモリ16から直接読み出してもよい。
【0035】
また、画像出力部64は、合成された再現画像を写真プリントPとして出力するプリンタ66と、合成された再現画像の画像データをインターネット等の通信網Nを介して配信する通信デバイス68およびMO,CD−R,FD等の画像データ記録媒体ROに記録し、合成再現画像データが記録された記録媒体ROを出力するメディアドライバ70とを有する。
本発明においては、合成再現画像データは、上述した3つの出力形態を取ることができるが、以下では、プリンタ66によって写真プリントPとして出力される場合を代表例として、フォトプリンタ50側で行われる本発明の画像処理方法の画像出力時のプロセスについて、上述した一実施形態に基づいてより具体的に説明する。
【0036】
フォトプリンタ50では、プリント時には、合成する対象であることを示す識別データおよびコマNo.、枠位置、形状データ、合成時の透過率等の枠指定情報により、前記Nコマの画像の参照画像と、撮影対象であるN+1コマの画像を、加重平均により合成して、図5に示すような、モニタ12に表示した撮影画像と同一シーンの合成画像を作成する。
なお、プリント時には、透過率をモニタ表示時とは変えてもよく、また、参照画像に対して特に加工処理を行わず、100%参照画像を合成するような場合には単に合成の指示のみすればよく、加工情報や透過率情報の設定は不要である。また、撮影後に、合成オン、オフの設定も可能であり、合成をしないようにすることもできる。
また、上に述べたように各コマに識別情報等を付加するのではなく、参照画像とする引用コマの名称または番号に関する情報、指定領域情報、参照画像が合成されるコマの名称または番号に関する情報と、さらに必要に応じて加工情報や合成時透過率情報等を含む編集情報を作成して、これを記録しておき、この編集情報に基づいて合成プリントを作成するようにしてもよい。
【0037】
このように、本実施形態では、一方の合成用に参照される画像の一部領域を参照画像として指定し、図3(b)に示すように、これを半透明画像として撮影対象画像に重ね合わせモニタに表示するようにしているため、合成画像の位置合わせが容易であり、以下述べるような様々な応用が可能である。なお、画像の表示はモニタには限定されず、ファインダ内に表示するようにしてもよい。
【0038】
上記では、参照画像として既に撮影された画像を用いたが、背景用テンプレート、キャラクタパターン、CG画像等をカメラ10内の画像メモリ16に保持しておいて、あるいはインターネット等の通信手段から読み込んで用いるようにしてもよい。例えば、珍しい動物等の画像を透明度を調整してモニタに表示し、子供を撮影するとき、モニタ上で子供の画像と動物の画像を重ね合わせ、子供がその動物を抱いているようなシーンを撮影することもできる。このとき、合成画像をモニタ上で確認できるため、子供が丁度動物を抱いているようなポーズをとらせることが容易にできる。なお、このような場合には、カメラ10の画像メモリ16側では、表示用の画素密度の粗い参照画像データのみを保存しておき、フォトプリンタ50の引用画像取得部62側では、写真プリントPの出力画素密度に応じた高画素密度の参照画像データを保存しておくようにしてもよい。
【0039】
また、前記参照画像の指定は、上の例では、撮影者が電子ペンで枠を指定していたが、このように手入力の枠指定でなく、被写体距離の最も近いエリア、あるいは合焦したエリアを、主要被写体と見做して、これを自動的に切り出すようにしてもよい。
さらに、上の例のように参照画像をそのまま撮影対象画像と合成するのではなく、カメラ10の画像処理部20またはフォトプリンタ50の画像処理部58において、参照画像に対して、移動、回転、拡縮、濃度・色修正、2値化、エッジ化、あるいは、例えば市販のPhotoshop 等の画像処理ソフトにより油彩や水彩等といった画風変更を行ったり等の加工を行うようにしてもよい。
【0040】
また、上の例のようにNコマ目とN+1コマ目を合成した画像を、カメラ内のメモリに記録しておき、これをさらに参照画像としてN+2コマ目以降の画像との合成に用いるようにしてもよい。
また、撮影対象画像の撮影倍率に応じて自動的に参照画像サイズを調整して、モニタに合成表示するようにしてもよい(サイズ比較、ものさし合成)。
また、識別情報に合成順序に関する情報を加えて、プリント時に、この合成順序により合成するようにしてもよい。
【0041】
従来の、個別に撮影したコマをパソコンで画像処理によって切り貼りして合成する手法では限界があるが、上に説明した本実施形態の方法によれば、合成用に撮影時の構図を工夫するのが容易であり、娯楽性を大いに向上させることができる。また、モニタに表示して観察することにより、簡単なサイズの比較や計測に利用することができる。
【0042】
また、合成する対象となる参照画像中の主要被写体と、合成される対象となる撮影対象画像または撮影済画像中の主要被写体との間で、濃度または色またはその両方を揃えるように、カメラ10側で撮影時のカメラ制御を行っても良いし、またはフォトプリンタ50側で合成処理を行っても良い。
例えば、カメラ10側では、撮影対象画像中の顔等の主要被写体の濃度が、参照画像中の顔等の主要被写体の濃度とほぼ同一の濃度となるように、カメラ10のCPU24によってカメラ制御部28を制御して、図示しない絞りやシャタースピ−ドやCCD14の蓄積時間の調整によるカメラ10の自動露出を制御しても良いし、あるいは、参照画像を含む合成用画像の撮影時のカメラ制御データを記録しておき、撮影対象画像の撮影時におけるカメラ制御に同一の制御を適用するようにしても良い。
【0043】
また、フォトプリンタ50側では、合成処理時に、予め画像処理部58で参照画像と撮影対象画像のどちらかの主要被写体を基準に、あるいは、両者の単純平均または加重平均を基準に、濃度または色味を揃えるように色濃度調整を行った後に、合成処理部60で合成するようにしても良い。なお、この色味調整は、合成処理部60で行っても良い。
【0044】
また、本発明の画像処理方法において、参照画像の透過率を変えてモニタ上に撮影対象画像と重ねて表示する方法を用いれば、次に説明するようにパノラマ写真の撮影が容易になる。
パノラマ写真の撮影においては、撮影者が、カメラ10の操作部26からパノラマモードを設定し、図6に示すように、被写体を画角をずらしながら、NコマとN+1コマとを連続的に撮影する。このとき、図7に破線Qで示すように、前コマのエッジ画像を半透明状に表示する。
図6に示す例では、被写体を左から右へ、カメラ10の方向をずらしながら撮影しているため、N+1コマの撮影の際、Nコマの右端のエッジ画像を、図7に破線Qで示すように、モニタ12の画面左端に表示する。このとき、カメラ10の傾きを自動検出し、上下に切り換えるようにしてもよい。
【0045】
撮影者は、前コマ(Nコマ)と実写画像(N+1コマ)の該当エリアが重なるように画角を決めて撮影すればよい。これは、モニタ12で確認しながら行うことができるため容易である。
フォトプリンタ50でのプリント時には、重複部分を連結して一枚のパノラマ画像に仕上げる。これはモニタ表示用としてもよい。
その他、カメラ10で自動的にマッチング処理を実行し、最適画角を知らせるようにしてもよい。このようにすれば、効率的にパノラマ写真の撮影を行うことができる。
【0046】
次に、本発明の画像処理方法の他の参考例について、説明する。
この参考例は、本発明を立体写真(ステレオ写真)の撮影に応用したものである。
【0047】
立体写真の撮影においては、撮影者が、カメラ10の操作部26から立体(ステレオ)モードを設定し、カメラ10を平行移動して、図8に示すように、左目で見た画像(Nコマ)と、右目で見た画像(N+1コマ)とを、連続的に撮影する。
このとき、前コマ(Nコマ)の残像の一部をモニタ12またはファインダ内に表示する。第Nコマの画像(図8に示す例では、左目画像)の最も被写体距離が大であるエリア(図8においては、遠景の山80)を自動的に切り出し、第N+1コマ(図8に示す例では、右目画像)の撮影時に、モニタ12の画面内の、特に、同一位置に表示する。これは、風景シーンの遠景の山等は略無限遠点とみなせ、無限遠点を見る場合には、図8に符号L、Mで示すように左右両目で画角がほとんど平行と見做せるため、各コマの画像において、無限遠点の画像(山80の画像)は略同一位置に見えるからである。
【0048】
撮影者は、N+1コマの撮影において、モニタ12に表示された前コマ(Nコマ)の残像と、実写画像であるN+1コマの該当エリアとが、図8のN+1コマに符号82で示すように、重なるように画角をきめて撮影すればよい。すなわち、被写体の同一部分が重なるようにして撮影すればよい。このとき、前コマの残像画像は、エッジのみを半透明に表示するとより位置合わせが容易である。
プリント時は、関連コマ(左右の目で見た画像)を2つ並べたステレオ画像として仕上げたり、あるいは、レンチキュラーを用いて1枚の立体写真に仕上げてもよい。
【0049】
従来、立体写真を撮影するには、専用のカメラや、ミラーやレンズ等のアダプタを必要としたり、2台のカメラを連結したりする等の特殊な装備が必要であった。
これに対し、上記参考例では、上に説明したように、コンパス等の機材なしで、確実に光軸を揃えることができ、簡単に立体写真を撮影することが可能となる。
【0050】
なお、立体写真の撮影において、上述したようなモニタ表示による位置合わせ撮影では、モニタの表示精度や手振れにより、撮影画像において、無限遠点がコマ間で位置ずれを起こす可能性がある。この場合、擬似的に左右両目画像の光軸がほぼ平行な画像を得るという立体写真モードの前提が崩れてしまう。
そこで、ラボのフォトプリンタ50における立体プリント作成処理において、位置補正を行うことが望ましい。これは、例えば、以下のような処理によって行うことができる。
【0051】
立体写真モードで撮影したコマを第Nコマと第N+1コマとする。
第Nコマ画像から撮影距離が無限遠点であるエリアを自動的に切り出し、立体プリント対象コマ(ここでは第N+1コマ)との間で、位置ずらしによるパターンマッチングを行い、最も前記無限遠点エリアが両コマ間で一致する位置ずれベクトル(位置ずれ補正ベクトル)を検出する。
次に、第Nコマの画面全体について位置ずれベクトル分を平行移動して、無限遠点エリアについて両コマ間での位置ずれを解消した後、第Nコマ画像および第N+1コマ画像を用いて、立体プリントを作成する。
なお、上記例では、平行移動による位置ずれ補正について記述したが、回転角のずれも同様に補正できる。
【0052】
次に、本発明の画像処理方法の他の参考例について説明する。
この参考例は、本発明を動画に応用したものである。
上述した本発明の画像処理方法を前述の静止画における種々の手法に対して、上述した編集情報に加えて、動画における参照画像または合成される対象となる画像(撮影画像)の開始および終了を指示するための情報を付加することにより達成することができる。
この時、カメラ10においては、連写(連続撮影)モードやビデオモードが設定できるようになっているのがよい。あるいは、カメラ10自体が、デジタルビデオカメラであるのが良い。
【0053】
次に、本発明の画像処理方法を実施する他の参考例について説明する。
この参考例は、本発明の画像処理方法を、互いに通信可能な複数のカメラに適用したものである。
ここで用いられるカメラ10には、図1に示すように、通信部30が設けられている。本参考例では、複数のカメラ間で参照画像データの授受を行い、各カメラ10における合成する画像および合成される対象となる画像に同一のグループであることを示すグループ識別情報(ID)を割り付けておき、フォトプリンタ50での合成処理時に、このグループIDを用いて、各カメラ10の撮影画像に参照画像を合成するものである。
【0054】
例えば、前述の参考例においては、第1のカメラ10で、参照画像を指定し、参照画像データを第2のカメラ10に有線または無線で伝送する。この時、参照画像データにグループIDを付加しておく。このグループIDは、仮の設定であって良い。なお、伝送される参照画像データは、モニタ表示用であるため、撮影画像などのようなオリジナル画像より解像度が低くても良い。
次に、第2のカメラ10では、モニタ12に第1のカメラ10から受信した参照画像を表示しながら、被写体を撮影する。こうして、第2のカメラ10で撮影された画像の画像データには、グループIDを付加して記録するが、受信した参照画像データ自体を記録する必要はない。
画像合成時には、第1および第2のカメラ10の撮影画像データ、参照画像指定データおよびグループIDを用いて、フォトプリンタ50において、画像合成処理を実行する。
【0055】
また、本参考例としては、上記第2のカメラ10において、第1のカメラ10から参照画像データとしてオリジナル画像データ(高解像度のまま)を送信してもらい、それを撮影画像データとともに記録しておき、第2のカメラ単独のデータで、フォトプリンタ50による画像合成処理を行っても良い。
また、本参考例の他の例としては、2台の以上のカメラ10間において、相互に参照画像の指定および参照画像データの授受を行い、フォトプリンタ50で合成画像を作成することも可能である。
また、本参考例のさらに他の例としては、上述した手法を用い、グループ化された画像を、上述のフォトプリンタ50による合成処理の他に、インデックス画像や、連続コマ再生の動画像として作成しても良い。
【0056】
ところで、本発明の画像処理方法においては、撮影時におけるカメラ側での撮影画像の取得と、これらの撮影画像への種々の合成編集情報の付加は、上述した本発明のデジタルカメラ10に限定されず、本発明の画像処理方法が実施できる構成要素を備えていれば、撮影画像を写真フィルムF等の画像記録媒体に記録する従来型の光学カメラ、いわゆるアナログカメラであっても良い。例えば、本発明の画像処理方法に用いられるアナログカメラの場合には、図1に示すデジタルカメラ10の記録部22を除く全ての構成要素を備え、記録部22の代りに、APS写真フィルムではフィルムに設けられた磁気層、ICチップ付きフィルムカートリッジの場合にはICチップに、カメラにICカードなどがある場合にはICカードなどに、種々の合成編集情報をフィルムの撮影コマに関連付けて記録する記録部を有していれば良い。
【0057】
以上、本発明のデジタルカメラおよび画像処理方法について、種々の実施例並びに参考例を挙げて詳細に説明したが、本発明は、以上説明したものに限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な改良や変更を行ってもよいのはもちろんである。
【0058】
【発明の効果】
以上説明した通り、本発明によれば、複数の画像を合成した合成写真を作成する時、その合成用の画像の撮影時において、その構図を容易に工夫することができ、娯楽性の高い効果的な画像を簡単に得ることができるとともに、簡単なサイズの比較や計測に利用することができる。
さらに、本発明によれば、立体写真の撮影に利用した場合には、複雑な装備を必要とせず、簡単に立体写真を撮影することができる。
また、本発明によれば、動画への適用も可能であり、また、複数のカメラ、複数の撮影者間で、共通の画像を共有することができ、被写体撮影の多様性を得ることができ、画像合成時に娯楽性の高い画像を出力することができる。
【図面の簡単な説明】
【図1】 本発明の一参考例に係るデジタルスチルカメラの概略を示すブロック図である。
【図2】 (a)は、本発明に係る画像処理方法の一実施形態において、図1に示すカメラで被写体を撮影する様子を示す説明図であり、(b)は、カメラのモニタ表示を示す説明図であり、(c)は、参照画像を枠で指定する様子を示す説明図である。
【図3】 (a)は、同じく本実施形態においてカメラで被写体を撮影する様子を示す説明図であり、(b)は、画像を重ねて表示するカメラのモニタ表示を示す説明図である。
【図4】 本発明に係る画像処理方法における画像合成および合成画像の出力を実施するフォトプリンタの一実施形態の概略を示すブロック図である。
【図5】 本発明法で得られる完成プリントを示す説明図である。
【図6】 本発明法を利用してパノラマ写真を撮影する様子を示す説明図である。
【図7】 本発明法を利用してパノラマ写真を撮影する際の、モニタ表示を示す説明図である。
【図8】 本発明法を利用して立体写真を撮影する様子を示す説明図である。
【符号の説明】
10 カメラ
12 モニタ
14 CCD
16 画像メモリ
18、60 画像合成部
20、58 画像処理部
22 画像記録部
24 CPU
26 操作部
28 カメラ制御部
30 通信部
40 参照エリア
50 フォトプリンタ
52、70 ドライバ
54 フレームメモリ
56 情報取得部
62 引用画像取得部
64 画像出力部
66 プリンタ
68 通信デバイス
[0001]
The present invention creates a composite image such as a print in which a plurality of subjects are combined. Images for It relates to the processing method.
[0002]
[Prior art]
In recent years, digital photo printers using digital exposure have been put into practical use, in which image information recorded on film is photoelectrically read, converted into digital image data, and subjected to various digital image processing to record images. ing. In such a digital photo printer, image data such as characters is generated by image data processing and combined with image data of an image photographed on a film to synthesize characters etc. on the image photographed on the film. Images can be easily created.
[0003]
Further, in a digital electronic still camera (hereinafter referred to as a digital camera) that has been recently developed, an image acquired by photographing is used as digital image data, and a recording medium such as an internal memory or an IC card provided in the digital camera. Based on the recorded digital image data, an image acquired by photographing can be displayed on a printer or a monitor, or an image can be synthesized inside the camera. For example, a digital camera is known that creates a single composite image by pasting a template to an image taken with a digital camera. Examples of such templates include images such as frames and illustrations, and characters such as calendars and greeting cards.
It is also possible to directly input digital image data from a recording medium in the digital camera to the digital photo printer via an image input means, and perform various image processing such as image synthesis in the digital photo printer.
[0004]
Conventionally, various methods are known for synthesizing images. For example, when compositing images, the image by the image capturing means and the additional information by the additional information receiving means received from the external device are stored in separate areas, and each image is switched to the display means alone or as a composite image. When creating a panoramic image by combining two consecutive images to be displayed, the brightness of the overlapping portion of the two images is compared and corrected, and the two images are combined to match the lightness Are known.
[0005]
Japanese Patent Application Laid-Open No. 10-304227 displays a subject to be photographed on a display device of a camera, and further displays a recorded image that has already been photographed and recorded. In addition, it is disclosed that a fixed-point observation image can be easily captured and a large-screen panoramic photograph can be easily captured by adding a connection mark when displaying a recorded image. Furthermore, in Japanese Patent Laid-Open No. 5-142682, in panoramic photography, a photographed image is shifted and an end portion of the image is displayed in the finder of the camera for alignment when photographing the next image. What to use is disclosed.
There is also a method of combining a plurality of photographed images by image processing with a personal computer or the digital photo printer using commercially available image processing software (for example, Adobe Photoshop software).
[0006]
[Problems to be solved by the invention]
However, as in the prior art, for example, when a template is pasted on an image taken with a digital camera to create a composite image, the normal template is stored in advance in the camera or recording medium as image data under the condition that an appropriate output image is obtained. In contrast, captured images are not necessarily proper images, and may have insufficient exposure conditions, or it may be necessary to correct the density, color, and gradation due to the shooting light source and subject scene. . At this time, unless the template is simple, it is difficult to identify the template and the photographed image in the composite image. In the composite image, the template image and the photographed image cannot be corrected independently. When trying to correct the entire image, there is a problem that a template that has been appropriate so far is no longer appropriate. At this time, it is possible to check the image on the liquid crystal screen of the digital camera, adjust it, and take a picture again, but this is not practical because it misses a photo opportunity or takes time.
[0007]
In addition, in the case where an image taken by the image pickup means and the additional information received from the external device are switched and displayed on the display means, if a personal computer (PC) is connected as the external device, the shot image is taken from the template composite image on the personal computer. It is possible to cut out the image and process the image, but a great deal of labor is required. Moreover, it cannot be said that the image corrected on the personal computer necessarily matches the output image of the output device in terms of image quality, and there is a problem that correction on the display device on the personal computer that does not match the output image is insufficient. . In addition, there is a problem in that two consecutive images that are combined with lightness are not suitable for combining a captured image and a template image stored in advance.
[0008]
Further, what is disclosed in Japanese Patent Laid-Open No. 10-304227 is intended for positioning for fixed point observation or panoramic photography, and for the purpose of obtaining a composite image obtained by selecting a plurality of subjects in an image and combining them. It is unsuitable. Further, the one disclosed in Japanese Patent Laid-Open No. 5-142682 is also intended for alignment for panoramic photographs, and merely displays the end of the photographed image. There is a problem that it is not suitable for synthesis.
Furthermore, when using the commercially available image processing software, there is a problem that when using a subject photographed individually, it tends to be unnatural at the time of synthesis.
[0009]
The present invention has been made in view of the above-described conventional problems, and it is possible to easily create a composite image obtained by combining a plurality of subjects, particularly a composite print. Image It is an object to provide a processing method.
[0010]
[Means for Solving the Problems]
In order to solve the above-described problem, an image processing method according to the present invention acquires a digital image data by photographing a subject, synthesizes image data of a predetermined image that is referred to for composition, and composes a composite image. An image processing method for generating image data of a reference image, which is a reference image to be synthesized with respect to at least a partial region of one or more images in the image to be referenced for the predetermined composition at the time of shooting. The reference image is added to the imaging frame so that the reference image and the currently-captured imaging frame can be distinguished by changing the transmittance of the reference image. When the shooting is completed, the second identification information indicating that the reference image is to be combined is attached to the image of the shooting frame that is to be combined. In the reference image Attaching transmittance information indicating a predetermined transmittance at the time of combining, and at the time of image output, based on the first and second identification information, the designated area information, and the combining transmittance information, Image data of a synthesized image is created by synthesizing the reference image with the image of the shooting frame.
[0012]
Also, In the image processing method according to the present invention, the transmittance is set by applying gradation to the reference image. It is preferable.
[0022]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention Image A preferred embodiment of the processing method shown in the accompanying drawings And reference examples This will be described in detail.
[0023]
FIG. 1 illustrates the present invention. One reference example Digital still Overview of the camera FIG.
In FIG. 1, a digital still camera (hereinafter simply referred to as a camera) 10 is obtained by a CCD image sensor (hereinafter simply referred to as a CCD) 14 that captures a subject and obtains a digital image signal (data), and the CCD 14. An image memory 16 for storing image data, an image composition unit 18 for compositing a captured image (image data) stored in the image memory 16 and an image currently being captured (image data) for monitor display, and composition And a monitor 12 for displaying the displayed image.
[0024]
The camera 10 also performs an image processing unit 20 that performs various image processing and creates an image for output, and an image for output on an image data recording medium (hereinafter referred to as a recording medium) R such as a smart medium or a memory stick. A recording unit 22 for recording data, a CPU 24 for controlling the functions of the entire camera 10 such as the above-described units (units), and a reference image or a reference image area for a photographer to create a composite image on the camera 10 Or an operation unit 26 for giving other instructions.
[0025]
Further, the camera 10 includes a camera control unit 28 for performing camera control such as automatic exposure control and automatic focus control based on control by the CPU 24. Although not shown, the camera control unit 28 is a focusing device using various sensors and photographing lenses necessary for camera control functions such as automatic exposure control and automatic focus control, a shutter speed adjusting device, and a CCD 14 accumulation time control device. If necessary, an adjustment device such as an aperture, a mode selection device such as a stereoscopic photography mode, a continuous photography (continuous photography) mode, and a video (moving picture) photography mode are provided.
Furthermore, the camera 10 may include a communication unit 30 for performing communication via a communication network such as inter-camera communication or the Internet.
[0026]
First, Image of the present invention Of processing method One embodiment Will be described.
2 and 3 show the image processing method of the present invention. One embodiment It is explanatory drawing which shows the use condition of the camera in. FIG. 2A shows a state where the subject A is photographed by the camera 10, and at this time, as shown in FIG. 2B, the photographing target image is displayed on the monitor 12 on the back of the camera 10. .
[0027]
Here, when the subject A is photographed by the camera 10, an image signal (data) representing an image (frame) obtained by photographing the subject A is obtained by the CCD 14 and stored in the image memory 16. At the time of shooting the next image (N + 1 frame), the image data of the frame once taken (referred to as the Nth frame) is read from the image memory 16 and thinned to a pixel density corresponding to the monitor display. The data is input to the monitor 12 and displayed on the monitor 12. The photographer looks at the display on the monitor 12 and shows a portion to be referred to, that is, a portion (reference area) 40 to be used in combination with the shooting target image (N + 1 frame) by a broken line P in FIG. Specify with a frame as shown. The reference area 40 is designated by the operation unit 26, for example, an electronic pen or the like provided in the operation unit 26, that is, the photographer draws the reference area 40 on the monitor 12 by handwriting or rectangle. It can be specified by enclosing it in an appropriate frame such as circular, oval. The reference area designation method by the operation unit 26 may be any method other than using an electronic pen, and is not particularly limited. In addition, the reference area 40 can be specified as an entire image (one frame), or a plurality of reference areas 40 can be specified within one image.
[0028]
Next, as shown in FIG. 3A, N + 1 frames that should be combined with the N frames that have been captured are shot on the subject B by the camera 10. In this photographing, the photographer gives an instruction from the operation unit 26 to be currently photographing, that is, together with the image of the subject B read for display on the monitor 12 by the CCD 14 and thinned to the display pixel density, The images in the reference area 40 of the captured N-frame images are combined by the image combining unit 18 and displayed on the monitor 12 as shown in FIG.
[0029]
When the image in the reference area 40 (reference image) is combined with the image of the subject B (image to be captured) and displayed on the monitor 12, the specific gravity of these images can be changed by the photographer. It is. That is, the transmittance of the reference image is changed so that the reference image and the image to be captured can be easily distinguished on the monitor 12. Therefore, in the area where the reference image is displayed on the monitor 12, between the state of the 100% reference image and the state of the 100% target image, the translucent reference image and the actual target image are displayed. Can be displayed at various stages. Alternatively, the reference area 40 may have a transmittance with gradation. For example, the transmittance may be higher at the periphery of the reference area (that is, the specific gravity of the reference image to be combined is smaller).
Note that the transmittance can be set to a different value between the display on the monitor 12 and the actual image output, for example, print output. Therefore, when displaying on the monitor 12, it is made translucent so that the alignment of the subject B can be easily performed on the monitor 12, and when a reproduced image such as a print is output, it may be a 100% reference image. it can.
[0030]
3B is photographed after confirming on the monitor 12 a composite image in which the reference image and the image to be photographed appear to overlap each other as shown in FIG. Such a composite image is only displayed on the monitor 12, and the reference image is not captured in the image of the subject B that is actually captured. The captured image of the subject B is stored in the image memory 16.
At this time, when the photographer gives an instruction from the operation unit 26, composite editing information such as identification information (data) indicating that the N frame and N + 1 frame are to be combined with the target to be combined is added. The For the N-frame image, (first) identification information indicating that the image is to be referred to for composition, and designated area information indicating the designated reference image area (reference area 40) or within the reference area 40 The processing information indicating the processing content of the reference image and the composition-time transmittance information indicating the transmittance at the time of image output such as the print are added. For the (N + 1) -frame image, (second) identification information indicating that it is an object to be combined is added.
[0031]
As the shape data in the designated area information, when the designated area has an arbitrary shape, information on the outer peripheral pixel (pixel position or connection information between pixels such as a chain code), or the position of the pixel in the designated area There is a method of expressing by an area number assignment table or a table in which transmittance data is assigned to the position of a pixel in a designated area.
[0032]
In the camera 10, the image data of the captured image of the subject A of the Nth frame and the captured image of the subject B of the (N + 1) th frame are read from the image memory 16, and the image processing unit 20 performs various corrections such as color and density correction. After image processing is performed and converted into output image data corresponding to the recording medium R, the data is recorded on the recording medium R by the recording unit 22.
Note that the composite editing information described above is added to the image data recorded on these recording media R. In particular, the (first) identification information indicating that the reference image is included, the designated area information or the reference image processing information, the composition-time transmittance information, and the like are added to the N-th-frame composition captured image data. (Second) identification information indicating that a reference image is to be combined is added to the framed combined image data.
Thus, at the time of shooting, the camera side obtains the above-described shot image data and adds composite editing information to these shot image data.
[0033]
On the other hand, in the present invention, when outputting an image, the photo printer uses captured image data acquired at the time of shooting and composite editing information added thereto.
FIG. 4 shows an embodiment of a photo printer used at the time of image output of the image processing method of the present invention.
The photo printer 50 shown in the figure includes image data such as composite image data and composite image data from the recording medium R, first and second identification information, designated area information or reference information of the reference image, and composition. A driver 52 that reads out composite editing information such as temporal transmission information, a frame memory 54 that stores image data read out by the driver 52, and an information acquisition that acquires and stores the composite editing information read out by the driver 52. Unit 56, image processing unit 58 that reads out image data stored in frame memory 54 and performs various image processing necessary for image output, and a combined photographed image based on composite editing information from information acquisition unit 56 An image composition unit 60 that synthesizes the reference image in the composite photographed image data with the data, and a substitute for the composite photographed image data. Having a reference image acquisition unit 62 for acquiring image data, and an image output unit 64 for outputting the reproduced image from the composite image data synthesized by the image synthesizing unit 60, or as reproduction image data.
[0034]
Here, the image composition unit 60 is designated based on the designated area information or the processing information of the reference image from the information acquisition unit 56 in the image data for synthesis based on the first identification information from the information acquisition unit 56. The reference image is synthesized with the image data for synthesis based on the second identification information from the information acquisition unit 56 with the transmittance based on the transmission-time transmission information from the information acquisition unit 56. Note that the image composition unit 60 refers to the reference image acquisition unit 62 instead of the composite captured image data obtained from the frame memory 54 via the image processing unit 58 based on the composite editing information from the information acquisition unit 56. Quoted image data for obtaining an image may be acquired. Further, although image data, composite editing information, and the like are read from the recording medium R by the driver 52, they may be directly read from the image memory 16 of the camera 10.
[0035]
The image output unit 64 outputs a combined reproduction image as a photographic print P, a printer 66, and communication devices 68 and MO, which distribute image data of the combined reproduction image via a communication network N such as the Internet. A media driver 70 that records on an image data recording medium RO such as a CD-R, FD, etc., and outputs the recording medium RO on which composite reproduction image data is recorded.
In the present invention, the combined reproduction image data can take the above-described three output forms. In the following, the case where the combined reproduction image data is output as a photographic print P by the printer 66 is performed on the photo printer 50 side as a representative example. The process at the time of image output of the image processing method of the present invention has been described above. One embodiment This will be described more specifically based on the above.
[0036]
In the photo printer 50, at the time of printing, the identification data and frame No. The frame N, the frame reference information such as the frame position, the shape data, and the transmissivity at the time of synthesis, and the N + 1 frame images to be photographed are synthesized by weighted averaging, and are shown in FIG. A composite image of the same scene as the captured image displayed on the monitor 12 is created.
When printing, the transmittance may be changed from that when the monitor is displayed. When the reference image is not particularly processed and a 100% reference image is synthesized, only the compositing instruction is given. There is no need to set processing information and transmittance information. In addition, after the shooting, composition on / off can be set, and composition can be prevented from being performed.
In addition, as described above, identification information or the like is not added to each frame, but information on the name or number of a quoted frame as a reference image, designated area information, and the name or number of a frame on which the reference image is synthesized. Editing information including information and, if necessary, processing information and composition transmittance information may be created and recorded, and a composite print may be created based on the editing information.
[0037]
As described above, in this embodiment, a partial region of an image that is referred to for one composition is designated as a reference image, and as shown in FIG. Since the image is displayed on the alignment monitor, the alignment of the composite image is easy, and various applications as described below are possible. The display of the image is not limited to the monitor, and may be displayed in the viewfinder.
[0038]
In the above, an image that has already been taken is used as a reference image. However, a background template, a character pattern, a CG image, or the like is stored in the image memory 16 in the camera 10 or read from a communication means such as the Internet. You may make it use. For example, when an image of a rare animal is displayed on a monitor with adjusted transparency and a child is photographed, a scene in which the child's image and the animal image are superimposed on the monitor and the child is holding the animal. You can also shoot. At this time, since the composite image can be confirmed on the monitor, it is possible to easily make the child pose as if holding the animal. In such a case, only the reference image data with a low display pixel density is stored on the image memory 16 side of the camera 10, and the photo print P is stored on the quoted image acquisition unit 62 side of the photo printer 50. Reference image data having a high pixel density corresponding to the output pixel density may be stored.
[0039]
In the above example, the photographer specified the frame with the electronic pen in the above example. However, instead of manually specifying the frame in this way, the area closest to the subject distance or in-focus is selected. The area may be regarded as a main subject and automatically cut out.
Further, the reference image is not directly combined with the image to be photographed as in the above example, but the image processing unit 20 of the camera 10 or the image processing unit 58 of the photo printer 50 moves, rotates, Processing such as enlargement / reduction, density / color correction, binarization, edging, or image style change such as oil or watercolor may be performed by image processing software such as commercially available Photoshop.
[0040]
In addition, as shown in the above example, an image obtained by combining the Nth frame and the (N + 1) th frame is recorded in the memory in the camera, and this is used as a reference image for combining with the image after the N + 2 frame. May be.
Further, the reference image size may be automatically adjusted according to the shooting magnification of the shooting target image, and may be combined and displayed on the monitor (size comparison, ruler combining).
Further, information relating to the composition order may be added to the identification information, and composition may be performed in accordance with this composition order at the time of printing.
[0041]
There is a limit to the conventional method of cutting and pasting individually shot frames by image processing on a personal computer, but according to the method of this embodiment described above, the composition at the time of shooting is devised for composition. Is easy and can greatly enhance entertainment. Moreover, by displaying and observing on a monitor, it can utilize for the comparison and measurement of a simple size.
[0042]
In addition, the camera 10 is configured so that the density and / or the color of the main subject in the reference image to be synthesized and the main subject in the to-be-photographed image to be synthesized or the photographed image are aligned. Camera control at the time of shooting may be performed on the side, or composition processing may be performed on the photo printer 50 side.
For example, on the camera 10 side, the CPU 24 of the camera 10 controls the camera control unit so that the density of the main subject such as the face in the image to be captured becomes substantially the same as the density of the main subject such as the face in the reference image. 28 may be used to control the automatic exposure of the camera 10 by adjusting the aperture, shutter speed, and accumulation time of the CCD 14 (not shown), or camera control data at the time of taking a composite image including a reference image May be recorded, and the same control may be applied to the camera control at the time of capturing the image to be captured.
[0043]
On the photo printer 50 side, the density or color is preliminarily determined by the image processing unit 58 on the basis of either the main subject of the reference image or the image to be captured, or the simple average or the weighted average of the two at the time of composition processing. After adjusting the color density so as to match the taste, the composition processing unit 60 may perform composition. Note that this color adjustment may be performed by the synthesis processing unit 60.
[0044]
Further, in the image processing method of the present invention, if a method of changing the transmittance of the reference image and displaying it on the monitor so as to be superimposed on the image to be photographed, panoramic photography can be easily performed as described below.
In panoramic photography, the photographer sets the panoramic mode from the operation unit 26 of the camera 10, and continuously shoots N frames and N + 1 frames while shifting the angle of view of the subject as shown in FIG. To do. At this time, as indicated by a broken line Q in FIG. 7, the edge image of the previous frame is displayed in a translucent manner.
In the example shown in FIG. 6, since the subject is shot from left to right while shifting the direction of the camera 10, the edge image at the right end of N frames is shown by a broken line Q in FIG. As shown in FIG. At this time, the tilt of the camera 10 may be automatically detected and switched up and down.
[0045]
The photographer may shoot with the angle of view determined so that the corresponding areas of the previous frame (N frames) and the actual image (N + 1 frames) overlap. This is easy because it can be performed while checking on the monitor 12.
At the time of printing with the photo printer 50, overlapping portions are connected to complete a single panoramic image. This may be for monitor display.
In addition, the matching process may be automatically executed by the camera 10 to notify the optimum angle of view. In this way, panoramic photographs can be taken efficiently.
[0046]
Next, the image processing method of the present invention Other reference examples Will be described.
this Reference example Is an application of the present invention to stereoscopic photography.
[0047]
In taking a three-dimensional photograph, a photographer sets a stereoscopic (stereo) mode from the operation unit 26 of the camera 10, moves the camera 10 in parallel, and as shown in FIG. ) And an image (N + 1 frames) viewed with the right eye are continuously photographed.
At this time, a part of the afterimage of the previous frame (N frame) is displayed on the monitor 12 or the finder. The area (the distant mountain 80 in FIG. 8) having the longest subject distance of the N-th frame image (the left-eye image in the example shown in FIG. 8) is automatically cut out, and the N + 1-th frame (shown in FIG. 8). In the example, the right eye image) is displayed, particularly at the same position in the screen of the monitor 12. This is because a distant view of a landscape scene can be regarded as a point at almost infinity, and when the point at infinity is viewed, it can be considered that the angle of view is almost parallel between the left and right eyes, as indicated by symbols L and M in FIG. Therefore, in the image of each frame, the image at the infinity point (the image of the mountain 80) appears at substantially the same position.
[0048]
When the photographer takes N + 1 frames, the afterimage of the previous frame (N frames) displayed on the monitor 12 and the corresponding area of N + 1 frames, which are actual images, are indicated by reference numeral 82 in N + 1 frames of FIG. You can shoot with a wide angle of view so that they overlap. That is, it is only necessary to shoot so that the same part of the subject overlaps. At this time, the afterimage of the previous frame is easier to align if only the edges are displayed semi-transparently.
At the time of printing, it may be finished as a stereo image in which two related frames (images seen with the left and right eyes) are arranged, or may be finished into a single stereoscopic photograph using a lenticular.
[0049]
Conventionally, in order to take a three-dimensional photograph, special equipment such as a dedicated camera, an adapter such as a mirror or a lens, or connecting two cameras has been required.
In contrast, the above Reference example As described above, the optical axes can be reliably aligned without using a compass or other equipment, and a three-dimensional photograph can be easily taken.
[0050]
It should be noted that, in stereo photography, in the alignment photography based on the monitor display as described above, there is a possibility that the point at infinity in the photographed image is displaced between frames due to the display accuracy of the monitor and camera shake. In this case, the premise of the stereoscopic photograph mode that obtains an image in which the optical axes of the left and right eye images are substantially parallel is broken.
Therefore, it is desirable to perform position correction in the three-dimensional print creation process in the photo printer 50 of the laboratory. This can be performed, for example, by the following processing.
[0051]
Frames shot in the stereoscopic photo mode are designated as the Nth frame and the N + 1th frame.
An area where the shooting distance is an infinite point is automatically cut out from the Nth frame image, and pattern matching is performed by shifting the position with the frame to be stereoscopically printed (here, the (N + 1) th frame). Detects a position shift vector (position shift correction vector) that matches between both frames.
Next, after shifting the position displacement vector for the entire Nth frame screen to eliminate the position shift between both frames for the infinity point area, using the Nth frame image and the (N + 1) th frame image, Create a 3D print.
In the above example, the positional deviation correction by the parallel movement has been described, but the rotational angle deviation can be similarly corrected.
[0052]
Next, the image processing method of the present invention Other reference examples Will be described.
this Reference example Is an application of the present invention to moving images.
The image processing method of the present invention described above is used. The above Achieved by adding information for instructing the start and end of a reference image in a moving image or an image (captured image) to be synthesized in addition to the editing information described above to various methods for still images can do.
At this time, the camera 10 is preferably configured so that a continuous shooting (continuous shooting) mode and a video mode can be set. Alternatively, the camera 10 itself may be a digital video camera.
[0053]
next, Image of the present invention Implement the processing method Other reference examples Will be described.
this Reference example Is an application of the image processing method of the present invention to a plurality of cameras that can communicate with each other.
The camera 10 used here is provided with a communication unit 30 as shown in FIG. Book Reference example Then, reference image data is exchanged between a plurality of cameras, and group identification information (ID) indicating the same group is assigned to an image to be synthesized and an image to be synthesized in each camera 10, At the time of composition processing by the photo printer 50, the group ID is used to compose the reference image with the photographed image of each camera 10.
[0054]
For example, Reference example above The first camera 10 designates a reference image, and the reference image data is transmitted to the second camera 10 by wire or wirelessly. At this time, a group ID is added to the reference image data. This group ID may be a temporary setting. Since the transmitted reference image data is for monitor display, the resolution may be lower than that of an original image such as a captured image.
Next, the second camera 10 captures the subject while displaying the reference image received from the first camera 10 on the monitor 12. In this way, the image data of the image captured by the second camera 10 is recorded with the group ID added thereto, but it is not necessary to record the received reference image data itself.
At the time of image composition, image composition processing is executed in the photo printer 50 using the captured image data, reference image designation data, and group ID of the first and second cameras 10.
[0055]
Also book Reference example as, Second In the camera 10, the original image data (high resolution) is transmitted as reference image data from the first camera 10, and is recorded together with the photographed image data. Image composition processing by the printer 50 may be performed.
Also book Other examples of reference examples As an example, it is possible to designate a reference image and exchange reference image data between two or more cameras 10 and create a composite image with the photo printer 50.
Also book Other examples of reference examples as, The method described above The grouped images may be created as an index image or a moving image for continuous frame reproduction, in addition to the composition processing by the photo printer 50 described above.
[0056]
By the way, in the image processing method of the present invention, the acquisition of captured images on the camera side at the time of shooting and the addition of various composite editing information to these captured images are limited to the digital camera 10 of the present invention described above. Instead, it may be a conventional optical camera that records a photographed image on an image recording medium such as a photographic film F, or a so-called analog camera, as long as it has components that can implement the image processing method of the present invention. For example, in the case of an analog camera used in the image processing method of the present invention, all components except for the recording unit 22 of the digital camera 10 shown in FIG. 1 are provided, and instead of the recording unit 22, an APS photographic film is a film. Recording that records various composite editing information in association with film frames on an IC chip in the case of a film cartridge with a magnetic layer or IC chip provided, or on an IC card if the camera has an IC card or the like It is only necessary to have a part.
[0057]
As described above, various embodiments of the digital camera and the image processing method of the present invention are described. And reference examples However, the present invention is not limited to what has been described above, and various modifications and changes may be made without departing from the scope of the present invention. .
[0058]
【The invention's effect】
As described above, according to the present invention, when creating a composite photograph in which a plurality of images are combined, the composition can be easily devised at the time of shooting the composite image, and the effect is highly entertaining. A simple image can be easily obtained, and it can be used for simple size comparison and measurement.
Furthermore, according to the present invention, when used for taking a stereoscopic photograph, it is possible to easily take a stereoscopic photograph without requiring complicated equipment.
Further, according to the present invention, it can be applied to a moving image, and a common image can be shared among a plurality of cameras and a plurality of photographers, so that a variety of subject photographing can be obtained. It is possible to output a highly entertaining image during image synthesis.
[Brief description of the drawings]
FIG. 1 of the present invention One reference example Digital still Overview of the camera FIG.
2A is an explanatory view showing a state where a subject is photographed by the camera shown in FIG. 1 in an embodiment of the image processing method according to the present invention, and FIG. 2B is a monitor display of the camera. It is explanatory drawing shown, (c) is explanatory drawing which shows a mode that a reference image is designated with a frame.
FIG. 3A is an explanatory view showing a state where a subject is photographed by a camera in the present embodiment, and FIG. 3B is an explanatory view showing a monitor display of a camera that displays images superimposed.
FIG. 4 is a block diagram illustrating an outline of an embodiment of a photo printer that performs image synthesis and output of a synthesized image in the image processing method according to the present invention.
FIG. 5 is an explanatory view showing a completed print obtained by the method of the present invention.
FIG. 6 is an explanatory diagram showing a state of taking a panoramic picture using the method of the present invention.
FIG. 7 is an explanatory diagram showing a monitor display when a panoramic photograph is taken using the method of the present invention.
FIG. 8 is an explanatory diagram showing how a stereoscopic photograph is taken using the method of the present invention.
[Explanation of symbols]
10 Camera
12 Monitor
14 CCD
16 Image memory
18, 60 Image composition unit
20, 58 Image processing unit
22 Image recording unit
24 CPU
26 Operation unit
28 Camera control unit
30 Communication Department
40 reference area
50 Photo printer
52, 70 drivers
54 frame memory
56 Information acquisition unit
62 Citation Image Acquisition Unit
64 Image output unit
66 Printer
68 Communication devices

Claims (2)

被写体を撮影してデジタル画像データを取得し、これに所定の、合成用に参照する画像の画像データを合成して、合成画像の画像データを作成する画像処理方法であって、
撮影時に、前記所定の合成用に参照する画像中の1つ以上の少なくとも一部領域に対し、それが合成する対象となる参照画像であることを示す第1の識別情報および指定領域情報を付すとともに、前記参照画像の透過率を変更して、前記参照画像と現在撮影中の撮影コマとが区別できるように、前記参照画像を前記撮影コマに重ねて表示して、
撮影が完了すると、前記参照画像が合成される対象となる前記撮影コマの画像に対し、合成される対象であることを示す第2の識別情報を付し、
さらに、前記参照画像に合成する際の所定の透過率を示す合成時透過率情報を付し、
画像出力時に、前記第1および第2の識別情報と、前記指定領域情報と、前記合成時透過率情報に基づいて、前記参照画像を前記撮影コマの画像に合成した合成画像の画像データを作成することを特徴とする画像処理方法。
An image processing method for photographing a subject to acquire digital image data, combining image data of a predetermined image to be combined with the image data, and generating image data of the combined image,
At the time of shooting, first identification information and designated area information indicating that it is a reference image to be synthesized are attached to at least one partial area in one or more images to be referred to for the predetermined composition. In addition, by changing the transmittance of the reference image, the reference image is displayed so as to overlap the shooting frame so that the reference image and the currently shot shooting frame can be distinguished,
When shooting is completed, second identification information indicating that the reference image is to be combined is attached to the image of the shooting frame that is to be combined.
Furthermore, the transmission information at the time of synthesis indicating a predetermined transmittance when combining with the reference image is attached,
At the time of image output, based on the first and second identification information, the specified area information, and the composition-time transmittance information, image data of a synthesized image is created by synthesizing the reference image with the image of the shooting frame An image processing method.
請求項に記載の画像処理方法であって、
さらに、前記透過率は、前記参照画像にグラデーションをかけて設定されることを特徴とする画像処理方法。
The image processing method according to claim 1 ,
Further, the transmittance is set by applying gradation to the reference image.
JP2001072174A 2000-03-14 2001-03-14 Image processing method Expired - Fee Related JP4620271B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001072174A JP4620271B2 (en) 2000-03-14 2001-03-14 Image processing method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2000-69976 2000-03-14
JP2000069976 2000-03-14
JP2001072174A JP4620271B2 (en) 2000-03-14 2001-03-14 Image processing method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2008230683A Division JP4750835B2 (en) 2000-03-14 2008-09-09 Digital camera and image processing method

Publications (2)

Publication Number Publication Date
JP2001333327A JP2001333327A (en) 2001-11-30
JP4620271B2 true JP4620271B2 (en) 2011-01-26

Family

ID=26587411

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001072174A Expired - Fee Related JP4620271B2 (en) 2000-03-14 2001-03-14 Image processing method

Country Status (1)

Country Link
JP (1) JP4620271B2 (en)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7623733B2 (en) 2002-08-09 2009-11-24 Sharp Kabushiki Kaisha Image combination device, image combination method, image combination program, and recording medium for combining images having at least partially same background
JP4072674B2 (en) 2002-09-06 2008-04-09 ソニー株式会社 Image processing apparatus and method, recording medium, and program
JP4350389B2 (en) * 2003-02-10 2009-10-21 ソニー株式会社 Communication network system, portable terminal device, and computer program
JP3946676B2 (en) 2003-08-28 2007-07-18 株式会社東芝 Captured image processing apparatus and method
JP4742296B2 (en) * 2004-09-22 2011-08-10 カシオ計算機株式会社 Imaging apparatus, composite image creation method, and program
JP2007166383A (en) * 2005-12-15 2007-06-28 Nec Saitama Ltd Digital camera, image composing method, and program
JP4914278B2 (en) 2007-04-16 2012-04-11 富士フイルム株式会社 Image processing apparatus, method, and program
JP4772009B2 (en) 2007-08-07 2011-09-14 三洋電機株式会社 Digital camera
JP4989362B2 (en) * 2007-08-17 2012-08-01 富士フイルム株式会社 IMAGING DEVICE, THROUGH IMAGE DISPLAY METHOD, AND CAPTURED IMAGE RECORDING METHOD
JP4898655B2 (en) * 2007-12-27 2012-03-21 株式会社アイエスピー Imaging apparatus and image composition program
JP4610634B2 (en) * 2008-05-16 2011-01-12 シャープ株式会社 Image processing method, program executed by computer to implement the method, and recording medium recording the program
JP4607992B2 (en) * 2008-08-20 2011-01-05 株式会社メイクソフトウェア Photo print providing apparatus and method, and program
JP5206421B2 (en) * 2009-01-07 2013-06-12 カシオ計算機株式会社 Digital camera, photographing recording method, and photographing control program
JP2010245613A (en) * 2009-04-01 2010-10-28 Olympus Imaging Corp Camera, display image control method and display image control program
JP5267396B2 (en) * 2009-09-16 2013-08-21 ソニー株式会社 Image processing apparatus and method, and program
JP5402719B2 (en) * 2010-02-26 2014-01-29 富士通株式会社 Stereoscopic image capturing apparatus, stereoscopic image capturing method, and stereoscopic image capturing program
JP5383576B2 (en) 2010-03-31 2014-01-08 富士フイルム株式会社 Imaging apparatus, imaging method, and program
JP2012070362A (en) * 2010-08-25 2012-04-05 Nikon Corp Imaging apparatus and imaging system
JP2012205114A (en) * 2011-03-25 2012-10-22 Casio Comput Co Ltd Image processing device, image processing method, and program
JP2013029995A (en) * 2011-07-28 2013-02-07 Clarion Co Ltd Imaging system
CN103247037A (en) * 2012-02-10 2013-08-14 联想(北京)有限公司 Image processing method, device and electronic device
JP5922517B2 (en) * 2012-07-19 2016-05-24 株式会社ゼンリンデータコム Electronic equipment with shooting function
JP5999336B2 (en) * 2012-09-13 2016-09-28 カシオ計算機株式会社 Imaging apparatus, imaging processing method, and program
WO2014193136A1 (en) * 2013-05-29 2014-12-04 최우혁 Electronic device, control method of electronic device and computer readable recording medium
JP6202560B2 (en) * 2013-08-16 2017-09-27 株式会社メイクソフトウェア Photo shooting game device, photo sticker creating device, photo shooting game device control method, and photo shooting game device control program
JP6536012B2 (en) * 2014-11-05 2019-07-03 コニカミノルタ株式会社 IMAGE GENERATION APPARATUS, IMAGE GENERATION CONTROL PROGRAM, AND IMAGE GENERATION CONTROL METHOD
CN112530823B (en) * 2020-10-30 2024-02-06 普冉半导体(上海)股份有限公司 Method for detecting coordinate deviation in electronic bitmap in wafer test process

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0918773A (en) * 1995-06-27 1997-01-17 Canon Inc Image pickup device
JP3530653B2 (en) * 1995-09-26 2004-05-24 キヤノン株式会社 Panoramic image synthesis device
JPH10124038A (en) * 1996-10-18 1998-05-15 Fujitsu General Ltd Picture synthesizing device
JPH10224673A (en) * 1997-02-10 1998-08-21 Sharp Corp Electronic still camera
JP4355371B2 (en) * 1997-09-10 2009-10-28 株式会社ニコン camera
JP3905190B2 (en) * 1997-09-29 2007-04-18 富士フイルム株式会社 Image reproduction method, apparatus and system
JP3907816B2 (en) * 1998-03-12 2007-04-18 富士フイルム株式会社 Image processing method
JP2995033B2 (en) * 1998-03-16 1999-12-27 三洋電機株式会社 Digital camera
JPH11298764A (en) * 1998-04-14 1999-10-29 Fuji Photo Film Co Ltd Digital still camera with composite image display function

Also Published As

Publication number Publication date
JP2001333327A (en) 2001-11-30

Similar Documents

Publication Publication Date Title
JP4750835B2 (en) Digital camera and image processing method
JP4620271B2 (en) Image processing method
JP5127787B2 (en) Compound eye photographing apparatus and control method thereof
US5913088A (en) Photographic system capable of creating and utilizing applets on photographic film
US5583971A (en) Filmless method and apparatus for producing 3-D photographs
US6944328B2 (en) Method and apparatus of generating three dimensional image data having one file structure and recording the image data on a recording medium, and recording medium for storing the three dimensional image data having one file structure
JP4957759B2 (en) Imaging apparatus and imaging method
JPH09181913A (en) Camera system
JP4356621B2 (en) Imaging apparatus and imaging method
US20020171746A1 (en) Template for an image capture device
JPH09181966A (en) Image processing method and device
JP2014506026A (en) Portrait image synthesis from multiple images captured by a portable device
JPH1188672A (en) Image-processing method, its device, image reproduction method and its device and image-confirming device used for the method
JP5214547B2 (en) Image display apparatus and method, and program
JP5567901B2 (en) Interchangeable lens and imaging system for stereo photography
JP2011119874A (en) Camera unit, and lens unit
JP2006211386A (en) Stereoscopic image processing apparatus, stereoscopic image display apparatus, and stereoscopic image generating method
JP4536231B2 (en) Imaging device
JP3939127B2 (en) Imaging device
JP4309740B2 (en) Imaging apparatus and imaging method
JP4512276B2 (en) Imaging device
JP2000098547A (en) Deformable photograph system, deformable film package and deformation camera
JP2006238086A (en) Digital camera for stereoscopic photography and stereoscopic photography method
JP2000102035A (en) Stereoscopic photograph system
JP2005229280A (en) Image processing apparatus and method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071204

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20071204

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20080123

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20080212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080513

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080709

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080728

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080812

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080909

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20081118

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20081219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100909

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101028

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131105

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4620271

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees