JP5461151B2 - Camera and image composition method - Google Patents
Camera and image composition method Download PDFInfo
- Publication number
- JP5461151B2 JP5461151B2 JP2009260245A JP2009260245A JP5461151B2 JP 5461151 B2 JP5461151 B2 JP 5461151B2 JP 2009260245 A JP2009260245 A JP 2009260245A JP 2009260245 A JP2009260245 A JP 2009260245A JP 5461151 B2 JP5461151 B2 JP 5461151B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- water surface
- water
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Exposure Control For Cameras (AREA)
- Structure And Mechanism Of Cameras (AREA)
- Studio Circuits (AREA)
- Studio Devices (AREA)
Description
本発明は、水上の被写体と水中の被写体とをそれぞれ撮影するカメラ及び画像合成方法に関する。 The present invention relates to a camera and an image composition method for photographing a water subject and a water subject, respectively .
近年、カメラなど携帯機器は、防水機能を向上させて水中に落としても壊れないようなものが多く出て来ており、さらに水中での利用を可能としたものが増加している。特に、水中には陸上とは異なる被写体が存在するため、撮影機能などを強化することによって、ユーザの楽しみは増加する傾向にある。
例えば、従来例としての特許3635500号においては、水中であるか否かを判定する判定手段を備えることにより、水中における被写体の撮影も行うことができるカメラが開示されている。
In recent years, many portable devices such as cameras have been improved so that they can be waterproofed and not broken even when dropped in water, and the number of devices that can be used in water is increasing. In particular, since there is a subject different from the land in water, the enjoyment of the user tends to increase by enhancing the photographing function and the like.
For example, Japanese Patent No. 3635500 as a conventional example discloses a camera that can also shoot a subject underwater by including a determination unit that determines whether or not the subject is underwater.
しかし、水辺の撮影では、水上側と水中側とを同時撮影したいというニーズがあるが、上記従来例は、水中での撮影を行うことを想定したものであったので、一部が水上にある被写体のシーンの撮影に対する対応が考慮されていなかった。
このため、水上側となる水上被写体と、水中側となる水中被写体とを同時に撮影できるカメラが望まれる。
しかし、波により水面が変動するような状況においては、水上被写体像と水中被写体像とを撮像面に同時に含む(又は収めた)タイミングで、撮影することが困難になる。
However, in waterside shooting, there is a need to simultaneously shoot the water side and the underwater side, but the above conventional example was supposed to shoot underwater, so some is on the water Correspondence to shooting of the scene of the subject was not considered.
For this reason, a camera that can simultaneously photograph a water subject on the water side and a water subject on the water side is desired.
However, in a situation where the water surface fluctuates due to waves, it becomes difficult to take a picture at a timing at which a water subject image and an underwater subject image are simultaneously included (or stored) on the imaging surface.
なお、特開2005−215684号公報には、カメラの撮影タイミングを自動で決定することが開示されている。
しかし、この公報は、人物の顔に関するもので、被写体そのものの特徴を検出するものであって、被写体を取り巻く、特殊な環境に対応するものでない。
本発明は上述した点に鑑みてなされたもので、水面が変動する撮像又は撮影状況においても、水上被写体及び水中被写体の両画像を同時に含む画像を取得するのに適したカメラ及び画像合成方法を提供することを目的とする。
Japanese Patent Laid-Open No. 2005-215684 discloses that the shooting timing of a camera is automatically determined.
However, this publication relates to a person's face and detects the characteristics of the subject itself, and does not correspond to a special environment surrounding the subject.
The present invention has been made in view of the above points, and provides a camera and an image synthesizing method suitable for acquiring an image including both a water subject and an underwater subject at the same time even in an imaging or photographing situation in which the water surface fluctuates. The purpose is to provide.
本発明の1態様に係るカメラは、水面上部側の水上被写体と、水面下部側の水中被写体とをそれぞれ撮影するための撮像部と、
上記撮像部で撮像した被写体の画像から、上記水上被写体の水上被写体画像と、上記水中被写体の水中被写体画像との境界の水面部に対応する水面部画像を検出する水面部画像検出部と、
上記撮像部で撮像した被写体の画像における上記水面部画像の上側に上記水中被写体画像、又は上記水面部画像の下側に上記水上被写体画像を合成して、合成画像を生成する画像合成部と、
を具備する。
本発明の1態様に係る画像合成方法は、水面上部側の水上被写体と、水面下部側の水中被写体とをそれぞれ撮影するための撮像ステップと、
上記撮像ステップで撮像した被写体の画像から、上記水上被写体の水上被写体画像と、上記水中被写体の水中被写体画像との境界の水面部に対応する水面部画像を検出する水面部画像検出ステップと、
上記撮像ステップで撮像した上記被写体の画像における上記水面部画像の上側に上記水中被写体画像、又は上記水面部画像の下側に上記水上被写体画像を合成して、合成画像を生成する画像合成ステップと、
を具備する。
本発明の他の1態様に係るカメラは、水面上部側の水上被写体と、水面下部側の水中被写体とを同時に撮影するための撮像部と、
上記撮像部が上記水上被写体と上記水中被写体とを同時に撮影するための撮影モードとしての半水中撮影モードの撮影状態に設定されたことを自動的に検出する半水中撮影モード判定部と、
上記半水中撮影モード判定部による半水中撮影モードの撮影状態の判定後における複数の撮影タイミングにより上記撮像部により撮影された複数の画像から水面が変動する水面部により発生する水面部画像を検出し、該水面部画像の少なくとも一部に上記水上被写体の水上被写体画像又は上記水中被写体の水中被写体画像を合成して上記水面部画像の領域を低減した合成画像を生成する画像合成部と、
を具備する。
The camera according to one aspect of the present invention includes an imaging unit for capturing a water subject on the upper side of the water surface and an underwater subject on the lower side of the water surface,
From the image of the subject captured by the imaging unit, and the water subject image of the water subject, and the water surface portion image detecting unit for detecting a water surface portion image corresponding to the water surface of the boundary between the water subject image of the underwater object,
An image compositing unit that synthesizes the underwater subject image above the water surface image in the image of the subject imaged by the imaging unit or the water subject image below the water surface image, and generates a composite image;
It includes a.
An image compositing method according to one aspect of the present invention includes an imaging step for capturing a water subject on the upper side of the water surface and an underwater subject on the lower side of the water surface,
From the image of the subject captured by the imaging step, the water subject image of the water subject, and the water surface portion image detection step of detecting a water surface portion image corresponding to the water surface of the boundary between the water subject image of the underwater object,
An image synthesis step for generating a composite image by combining the underwater subject image above the water surface image in the image of the subject imaged in the imaging step or the above water subject image below the water surface image; ,
It includes a.
A camera according to another aspect of the present invention includes an imaging unit for simultaneously photographing a water subject on the upper side of the water surface and an underwater subject on the lower side of the water surface,
A semi-underwater shooting mode determination unit that automatically detects that the imaging unit is set to a shooting state of a semi-underwater shooting mode as a shooting mode for simultaneously shooting the water subject and the underwater subject;
A water surface image generated by a water surface portion where the water surface fluctuates is detected from a plurality of images photographed by the imaging unit at a plurality of photographing timings after determination of the photographing state of the semi-underwater photographing mode by the semi-underwater photographing mode determining unit. An image composition unit that synthesizes the water subject image of the water subject or the underwater subject image of the underwater subject to at least a part of the water surface image to generate a composite image in which the area of the water surface image is reduced;
It includes a.
本発明の更に他の1態様に係るカメラは、水面上部側の水上被写体と、水面下部側の水中被写体とを同時に撮影するための撮像部と、
上記撮像部で撮像した被写体の画像から、水面が変動する水面部によって生じる水面部画像を検出し、上記水上被写体の水上被写体画像と、上記水中被写体の水中被写体画像の同時撮影するための撮影タイミングを決定する撮影タイミング決定部と、
上記撮影タイミング決定部で決定した撮影タイミング付近の複数のタイミングで撮影された複数の上記被写体の画像から合成画像を生成する画像合成部と、
を具備することを特徴とする。
A camera according to still another aspect of the present invention includes an imaging unit for simultaneously photographing a water subject on the upper side of the water surface and an underwater subject on the lower side of the water surface,
Shooting timing for detecting a water surface image generated by a water surface portion where the water surface fluctuates from the image of the subject imaged by the imaging unit, and simultaneously photographing the water subject image of the water subject and the underwater subject image of the underwater subject. A shooting timing determination unit for determining
An image composition unit for generating a composite image from a plurality of images of the subject photographed at a plurality of timings near the photographing timing determined by the photographing timing determination unit;
It is characterized by comprising.
本発明によれば、水面が変動する撮像又は撮影状況においても、水上被写体及び水中被写体の両画像を同時に含む画像を取得するのに適したカメラ及び画像合成方法を実現できる。 According to the present invention, it is possible to realize a camera and an image synthesizing method suitable for acquiring an image including both images of a water subject and an underwater subject even in an imaging or shooting situation in which the water surface varies.
以下、図面を参照して本発明の実施形態を説明する。
(第1の実施形態)
図1に示す本発明の第1の実施形態の撮影機能を備えた防水構造のカメラ1は、図2A及び図2Bに示すように箱型形状である。このカメラ1の外装体としての防水構造のケース2の前面における中央から左側に、かつ上部側に寄った位置に、被写体を撮像(撮影)する撮像部3を構成する撮影レンズ3aが設けられている。
実際には、図4、図5、図6に示すように撮影レンズ3aの前にカバーガラス3cが配置され、撮影レンズ3aを防水して保護している。また、カバーガラス3c及び撮影レンズ3aは、図示しないレンズ鏡筒に取り付けられている。そして、撮影レンズ3aの結像位置には、電荷結合素子(CCD)等の撮像素子3bが配置されており、撮影レンズ3aと撮像素子3bとにより図1の撮像部3が形成される。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(First embodiment)
A
Actually, as shown in FIGS. 4, 5, and 6, a
また、図1に示すように撮像部3は、ピント合わせ部3dにより、撮像素子3bの撮像面に結像される被写体像のピント合わせを行うことができる。このピント合わせ部3dは、例えば撮影レンズ3aを、その光軸方向に移動させる駆動部3e(図4参照)を用いて構成される。
なお、駆動部3eにより撮影レンズ3aを移動する代わりに、撮像素子3bを光軸方向に移動させる構成にしても良い。また、図1等においては撮像部3とピント合わせ部3dとを別体で示しているが、撮像部3がピント合わせ部3dを含む構成でも良い。
この撮像部3の撮像素子3bは、その撮像面に結像された被写体像を光電変換した撮像信号を、図1に示す画像処理と制御とを行う画像処理&制御部4に出力する。
Further, as shown in FIG. 1, the
Instead of moving the
The
画像処理&制御部4は、撮像信号に対する画像処理を行い、表示用の画像信号を生成して表示部5に出力する。表示部5は、入力される表示用の画像信号に対応する画像をその表示画面(単に画面とも言う)で表示する。
この表示部5で表示される画像は、撮像素子3bの撮像面に結像された被写体像に対応する画像であり、ユーザはこの画像を観察することにより、撮影画像として記録するか否かを確認する。
このため、通常の撮影モードにおいては、画像処理&制御部4は、撮像素子3bの撮像面に結像された被写体像を、表示部5の画面に通常画像として表示する。
The image processing &
The image displayed on the
Therefore, in the normal shooting mode, the image processing &
表示部5は、図2Bに示すようにケース2の背面側に形成され、この背面における全面よりも若干小さい矩形サイズで、例えば液晶パネルを用いて形成されている。
また、図2A、図2Bに示すようにケース2の上面における例えば右寄りの位置には撮影操作を行うレリーズボタン6aが設けられている。撮影者(ユーザ)により図1に示すようにレリーズボタン6aを含む操作部6が操作されると、操作結果が操作判定部7により判定される。
この操作判定部7による判定結果の情報は、画像処理&制御部4に入力される。画像処理&制御部4は、判定結果に対応した制御を行う。
操作判定部7が、レリーズ操作(撮影指示操作)であると判定した場合には、画像処理&制御部4は、撮像部3により撮像された画像を、撮影画像として記録部8に記録する。
As shown in FIG. 2B, the
As shown in FIGS. 2A and 2B, a
Information on the determination result by the operation determination unit 7 is input to the image processing &
When the operation determination unit 7 determines that the operation is a release operation (shooting instruction operation), the image processing &
また、図1に示す操作部6として、図2Bに示すようにモード設定スイッチ6bが設けられている。
ユーザは、モード設定スイッチ6bを操作して、スイッチメニューから撮影モードや、再生モードの設定を行ったり、後述する半水中撮影モードに設定したり、ピント合わせの設定等を行うことができるようにしている。
そして、このモード設定スイッチ6bは、半水中撮影モードに設定するための半水中撮影モード設定部の機能を持つ。
なお、複数の設定機能を持つモード設定スイッチ6bの他に、ユーザが各種の指示操作を直接行う操作ボタンなどを設けるようにしても良い。また、モード設定スイッチ6bから選択して行うことができる複数の機能を、独立して行う操作ボタンを設けるようにしても良い。
Further, as the operation unit 6 shown in FIG. 1, a
The user can operate the
The
In addition to the
例えば、図1においては、操作部6内に半水中撮影モードに設定するための半水中撮影モード設定部としての半水中撮影モードボタン6cを独立して設けた例を示している。なお、本実施形態においては、画像処理&制御部4は、後述するように半水中撮影モードの撮影状態を自動認識する半水中撮影モード判定部4gの機能を備えている。このため、自動認識を行う設定状態においては、ユーザは手動による半水中撮影モードボタン6cの操作を必要としない。
また、本実施形態においては、半水中撮影モード(設定)時においては、水上側の被写体の(水上被写体)画像に対してピント合わせの制御を行うが、水上側の被写体までの距離が大きい場合(例えが透明度に応じて設定された境界距離Lbを超える場合)には、水中での透明度を考慮して水中側の被写体の(水中被写体)画像にピント合わせを優先して行う条件を設けている。
For example, FIG. 1 shows an example in which a semi-underwater
In this embodiment, in the semi-underwater shooting mode (setting), focus control is performed on the (water subject) image of the water-side subject, but the distance to the water-side subject is large. (For example, when the boundary distance Lb set in accordance with the transparency is exceeded), a condition for prioritizing focusing on the underwater subject (underwater subject) image is set in consideration of the transparency in water. Yes.
この境界距離Lbは、デフォルト設定においては、例えばLb=3mに設定されている。ユーザは、図示しない境界距離設定ボタンを操作して、実際の水中の透明度に応じた値に変更設定することができる。
画像処理&制御部4には、時計の情報を出力する時計部9が接続され、撮影操作等が行われた場合には画像処理&制御部4は、記録部8に記録する画像に撮影日時の情報を追加して記録する。また、図2Aに示すようにケース2の前面にはストロボ装置10が設けられている。
また、画像処理&制御部4には、このカメラ1の特に撮影時の姿勢を検出する姿勢検出部としての加速度検知部11が接続されている。この加速度検知部11は、ケース2内に、そのケース2の上下、左右(水平)、及び奥行き方向に働く加速度をそれぞれ検知する3個の加速度センサにより構成される。
The boundary distance Lb is set to Lb = 3 m, for example, in the default setting. The user can change and set the value according to the actual underwater transparency by operating a boundary distance setting button (not shown).
A clock unit 9 that outputs clock information is connected to the image processing &
Further, the image processing &
なお、図13(B)では、半水中撮影を行う場合に適したカメラ1の撮像部3が下寄りとなるようにケース2の長辺が重力が作用する上下方向に平行な縦長となる状態を示し、この場合にはこの縦長の方向に働く重力(加速度)を検知する点線で示す加速度センサ11aにより、その縦長の方向が画像の上下方向に該当する姿勢であることが検出される。
本実施形態のカメラ1は、図3Aに示すように水上(水面上部)側の人物の顔や船や風景等の水上被写体と、水中(水面下部)側の人物部分や魚や亀や水草等の水中被写体を同時に(つまり、同じ画面内に入れて)、撮影することができるようにすることを目的の1つとする。そして、このように水上被写体と水中被写体とを同時に撮影することを「半水中撮影」と呼ぶ。
In FIG. 13B, the long side of the
As shown in FIG. 3A, the
図3Aに示すような被写体を、図3Bに示すようにユーザ13がカメラ1を半水中撮影モードの撮影状態(姿勢状態)に設定し、半水中撮影モードボタン6cをONする指示操作をすることにより、画像処理&制御部4は、カメラ1を半水中撮影モードの動作状態にする。
なお、図3A及び図3Bにおいて符号Wは水面を示し、また水上側部分(つまり空気中側)をWu、水中側部分をWiで示している。また、符号Tは、半水中撮影モードにおける撮影対象の被写体における(簡単化のために)水上及び水中にまたがる人物の被写体に付けている。
そして、本実施形態においては、図1の画像処理&制御部4が、以下に説明するように画像合成部4a、表示制御部4b、ピント制御部4c、距離換算部4d、ローコントラスト領域検出部4fの各機能を持つ構成にしている。
3A, the
3A and 3B, the symbol W indicates the water surface, the water upper side portion (that is, the air side) is indicated by Wu, and the underwater side portion is indicated by Wi. Further, the symbol T is attached to a subject of a person who straddles water and water (for simplicity) in a subject to be photographed in the semi-underwater photographing mode.
In the present embodiment, the image processing &
また、画像処理&制御部4は、例えばCPUを用いて構成され、上記の各機能を実行するためのプログラムを格納したメモリ12が画像処理&制御部4に接続されている。なお、このメモリ12は、例えばフラッシュメモリ等の不揮発性メモリにより構成されている。また、画像処理&制御部4は、その内部に各種の機能を実行する場合のデータ等を一時的に記憶するためにRAMなどのメモリ(図示略)を備えている。
上記のように半水中撮影を行う場合、図3Bに示すようにユーザ13は、カメラ1の(撮像部3の)撮影レンズ3aの下半分近くを水面下に水没させて、半水中撮影を行う半水中撮影モードの撮影状態にする。
図3Bに示すカメラ1は、図4に示すような状態に設定される。図4のように設定された半水中撮影モードの状態においては、カメラ1の前面側の撮像部3の撮影レンズ3aは、その下半分程度が水面下に水没する。
Further, the image processing &
When performing semi-underwater photography as described above, as shown in FIG. 3B, the
The
また、図4においては半水中撮影モードに設定された被写体に対して、撮像部3の撮影レンズ3aを例えば水上側の被写体にピント合わせを行った状態を示している。
なお、図4にて示す撮像部3を構成する撮影レンズ3aは、ピント合わせ部3dを構成する駆動部3eにより光軸方向に移動可能となる。また、ピント合わせ部3dは、位置センサ3fを備え、駆動部3eにより設定された撮影レンズ3aの位置を検出して、その位置情報を画像処理&制御部4のピント制御部4c及び距離換算部4dに出力する。
図4に示すように水上側の被写体としての例えば人物の被写体Tにピントを合わせた状態に設定すると、水中での屈折率nwによって、水中では人物の被写体Tの後ろの(距離)位置にピントが合った状態となってしまう。
FIG. 4 shows a state in which the photographing
4 can be moved in the optical axis direction by a
As shown in FIG. 4, for example, when a person's subject T as a water-side subject is set in a focused state, the underwater refraction index nw causes the subject to focus on the (distance) position behind the person's subject T underwater. Will be in a suitable state.
この場合(水中では人物の被写体Tの後ろにピントが合った状態)には、人物の被写体Tよりも手前側にある魚などに対しては、よりピントが合わなくなる方向となるために都合が悪い。また、水中の透明度(透過率)の関係から、水上に比較すると、水中では遠景側は不鮮明になり易い。この理由からも、水中側を水上側よりも遠方側にピントを合わせしてしまう事は、不都合となる。
このため、本実施形態においては、画像処理&制御部4のピント制御部4cは、図4に示すピント合わせ位置よりも近距離側にピント合わせ(フォーカス設定)を行うように制御する。
このピント制御部4cによるピント合わせした制御状態の撮像部3(の撮影レンズ3a)の状態を図5に示す。図5に示すように撮影レンズ3aは、図4に示した撮影レンズ3aの位置(図5において点線で示した位置)よりも前方側に移動した位置にセットされる。
In this case (in the state where the subject is in focus behind the human subject T underwater), it is convenient for the fish and the like on the near side of the human subject T to be out of focus. bad. In addition, due to the transparency (transmittance) in water, the distant view side tends to be unclear in water compared to on water. For this reason as well, it is inconvenient to focus the underwater side farther than the water side.
For this reason, in the present embodiment, the focus control unit 4c of the image processing &
FIG. 5 shows a state of the imaging unit 3 (the photographing
このようにセットすることにより、図4のピント合わせの位置よりも近距離側にピント合わせした状態になる。なお、図5中においては、水面上の位置から水中側でピント合わせした状態に対して、水上側の光路を経て撮像素子3bに結像させた場合におけるずれ量から概略のボケ量Uとして示している。
ここでのピント合わせする処理方法は、図6に示すようになる。半水中撮影モードでのピント合わせが開始すると、最初のステップS1において画像処理&制御部4のピント制御部4cは、ピント合わせ部3dの駆動部3eを駆動させて撮影レンズ3aを光軸方向に移動させる。
移動の際に、画像処理&制御部4は、撮像素子3bの撮像信号の各フレームから得られる最も明るい部分の輝度信号と最も暗い部分の輝度信号との差に相当するコントラスト信号を検出する。
By setting in this way, the camera is brought into a state of focusing closer to the nearer side than the focusing position in FIG. In FIG. 5, an approximate blur amount U is shown from a shift amount when an image is formed on the
The processing method for focusing here is as shown in FIG. When focusing in the semi-underwater shooting mode is started, in the first step S1, the focus control unit 4c of the image processing &
During the movement, the image processing &
ステップS2において画像処理&制御部4は、コントラスト信号がピークとなる位置に撮影レンズ3aを設定する。設定されたその位置は、位置センサ3fにより検出され、位置センサ3fは、その位置情報を距離換算部4dに送る。
次のステップS3において距離換算部4dは位置情報から、このピント合わせした被写体までの距離(被写体距離という)Lを算出する。
さらに次のステップS4において距離換算部4dは、得られた被写体距離Lに対して、水の屈折率nw(=1.33)を考慮して、その被写体距離Lよりも近距離側の距離を、実際にピント合わせするピント合わせ距離Lhとして算出する。
この場合、画像処理&制御部4の距離換算部4dは、被写体距離Lに対して予め用意した補正係数C(例えば、図10にて説明するようにデフォルト値としてC=1.3)を用いて、ピント合わせ距離LhをL/Cにより決定する。
In step S2, the image processing &
In the next step S3, the distance conversion unit 4d calculates a distance (referred to as subject distance) L to the focused subject from the position information.
Further, in the next step S4, the distance conversion unit 4d considers the water refractive index nw (= 1.33) with respect to the obtained subject distance L, and sets a distance closer to the subject distance L than the subject distance L. Then, it is calculated as the focusing distance Lh for actual focusing.
In this case, the distance conversion unit 4d of the image processing &
換言すると、距離換算部4dは、水上側で求めた被写体距離Lを、水上及び水中の両方の被写体に対して鮮明に(撮像及び)撮影するのに適したピント合わせ距離Lhに換算する。
そして、距離換算部4dは、そのピント合わせ距離Lhをピント制御部4cに送り、図6のピント合わせ距離Lhを算出する処理を終了する。
従って、本実施形態におけるピント制御部4cは、半水中撮影モード設定時において、ピント合わせをする場合には、水上被写体に対する被写体距離Lを算出して、水中の屈折率を考慮してピント合わせをするピント位置に設定する制御を行う。
上述した図5等に示す場合は、水面Wの高さが変動していない状態の場合を示しているが、実際には水面Wの高さが風などにより局所的に変動して波31が発生する場合がある。図7は、波31の発生により、撮像素子3bの撮像面に結像される撮影対象となる被写体像が影響を受ける様子を示す。
In other words, the distance conversion unit 4d converts the subject distance L obtained on the water side into a focusing distance Lh suitable for clear (imaging and photographing) both water and underwater subjects.
Then, the distance conversion unit 4d sends the focus distance Lh to the focus control unit 4c, and ends the process of calculating the focus distance Lh in FIG.
Therefore, the focus control unit 4c according to the present embodiment calculates the subject distance L with respect to the water subject and focuses in consideration of the refractive index in water when focusing when setting the semi-underwater shooting mode. Control to set the focus position.
In the case shown in FIG. 5 and the like described above, a case where the height of the water surface W has not changed is shown, but in reality, the height of the water surface W locally fluctuates due to wind or the like and the
この図7に示すように撮影レンズ3aに被写体側から入射される光は、水面Wが変動した波31における山となる部分から谷となる部分、つまり図7中の斜線で示す領域32の水面部によって、実質的に遮られて、撮像素子3bに結像することが妨げられる。 図7に示す状態においては、水面Wの変動により撮像素子3bの撮像面における一部の領域が影響を受ける様子を示していたが、図8A及び図8Bの場合のように(撮像部3の)撮影レンズ3aのレンズ径よりも大きな波31がある状態においては、より大きな影響を受ける。
図8Aは、撮影レンズ3aの直前に波31が谷となった状態を示す。この状態は、撮影レンズ3aは水面Wの上の空気中に望む状態となる。この状態においては、撮影レンズ3aの直前の波31における谷となる部分から山となる斜線で示す部分は、(撮影対象となる)被写体の撮像を遮る領域(つまりピントがずれてかつ低コントラスト状態で不鮮明に撮像を行い、実質的に撮影対象となる被写体の撮影が不能または欠落する領域)32aとなる。なお、θは、カメラ1の撮像部3の視野を表している。
As shown in FIG. 7, the light incident on the
FIG. 8A shows a state in which the
この場合には、(撮像部3の)撮像素子3bの撮像面に結像される被写体像から取得される画像、又はその画像を表示部5に表示した場合の画像IAは、図9Aのようになる。
図9Aに示すように、図8Aで示した(水面Wの高さが変動する水面部)領域32aのためにカメラ1の視野θの上部側部分の水上被写体における一部の画像Aとして撮像により取得することができるが、その下側は領域32aのために、撮影対象の被写体を実質的に撮影できない水面パターン(水面部画像)としての画像領域32bが発生する。
換言すると、本来の撮影対象の被写体を撮像した場合の画像において、水面Wの高さが局所的に変動する水面部の為に、実質的に撮影できない(又は欠落する)画像領域32bが発生する。後述するように、この画像領域32bは、水面パターン(水面部画像)として検出される。
In this case, an image acquired from the subject image formed on the imaging surface of the
As shown in FIG. 9A, for the
In other words, in the image when the original subject to be photographed is imaged, an
また、図8Bは、カメラ1が波31の山の中に水没した状態を示す。この状態においても、斜線で示す部分が、撮影対象の被写体に対する撮像を遮る領域32cとなる。そして、この場合に取得できる画像IBは図9Bのようになる。
図9Bに示すように、図8Bで示した領域32cのためにカメラ1の視野θの下部側部分の水中被写体の一部の画像Bとして撮像により取得することができるが、その上側は領域32cのために、撮影対象の被写体を撮影できない水面パターンとしての画像領域32dが発生する。
そして、本実施形態における画像処理&制御部4の画像合成部4aは、水面部により撮影が妨げられた水上被写体の画像及び水中被写体の画像の少なくとも一方を補間する合成画像を生成する。具体的には、画像合成部4aは、図9Aの画像IAと図9Bとの画像IBを合成して図9Cに示すような合成画像ICを生成する画像合成処理を行う。そして、表示制御部4bは、この画像合成部4aが生成した合成画像ICを表示部5に出力し、表示部5は図9Cの合成画像ICを表示する。
FIG. 8B shows a state in which the
As shown in FIG. 9B, for the
Then, the image composition unit 4a of the image processing &
図9Cに示す合成画像ICは、画像IAの下部側のローコントラスト領域の画像領域32bに、画像IBの上部側のローコントラスト領域以外(つまり画像B)を合成する。この場合には、中央部に水面付近のみによる水面パターンが残るが、その上下に水上被写体に相当する(水上被写体)画像Aと、水中被写体に相当する(水中被写体)画像Bを同時に収めた合成画像ICが得られる。
なお、画像IAと画像IBとをそれぞれ取得した撮影タイミングの時間差は、通常小さいと考えられるので、撮像部3による視野の変化を無視して、同じ撮影状態と見なして、図9Aにおける画像IAの下部側のローコントラスト領域の画像領域32bを、図9Bの画像IBにおける画像Bによる置換や補間することにより、図9Cに示す合成画像ICを生成する画像合成を行う。
The synthesized image IC shown in FIG. 9C synthesizes an
Note that the time difference between the shooting timings for acquiring the images IA and IB is generally considered to be small, so that the change in the field of view by the
換言すると、本実施形態においては、半水中撮影モードの撮影状態において、水上被写体及び水中被写体を撮影した場合、水面が変動する水面部による影響のために水上被写体及び水中被写体の一方の画像が取得できない場合には、その一方の画像に対して、取得できた他方の画像又はその他の画像によって(置換の場合を含む)補間等を行って、合成画像を生成する画像合成部4aを有する。
画像処理&制御部4は、図9Cに示すような合成画像ICを生成するために、図9Aと図9Bとの各画像における実質的に撮像できない画像領域32b又は32dを水面が変動する水面部の画像としての水面部画像を検出するための図1に示す水面部画像検出部4eの機能を持つ。
In other words, in the present embodiment, in the shooting state in the semi-underwater shooting mode, when an overwater subject and an underwater subject are photographed, one image of the overwater subject and the underwater subject is acquired due to the influence of the water surface portion where the water surface fluctuates. When the image cannot be obtained, the image composing unit 4a generates a composite image by performing interpolation or the like on the other image or the other image (including the case of replacement).
In order to generate a composite image IC as shown in FIG. 9C, the image processing &
この水面部画像検出部4eは、水面部が持つ特性としてのコントラストが低い領域としてのローコントラスト領域を検出するローコントラスト領域検出部4fの機能を含む。なお、本明細書においては、水面部は、主に変動する水面の場合に用いているが、変動しない水面の場合もあり得る。
このローコントラスト領域検出部4fは、撮像素子3bにより撮像された画像の各画素の輝度値を予め設定された閾値以下となるか否か比較し、この閾値以下となる画素の領域を水面部による水面部画像の可能性が高いローコントラスト領域として検出する。
The water surface image detection unit 4e includes a function of a low contrast region detection unit 4f that detects a low contrast region as a region having a low contrast as a characteristic of the water surface portion. In addition, in this specification, although the water surface part is mainly used in the case of the water surface which fluctuates, it may be the water surface which does not fluctuate.
The low contrast region detection unit 4f compares whether or not the luminance value of each pixel of the image captured by the
水面部画像検出部4eは、検出されたローコントラスト領域が、後述の図11にて説明する所定の条件を満たす判定結果の場合に水面部画像(水面パターン)であると判定する。
また、図8A及び図8Bの場合に対応する図9A及び図9Bの画像状態は、時間的に変化する。このため、本実施形態においては、撮像により取得される画像の上下部分での明るさ(コントラスト)の変化を時間的に監視する。
The water surface image detection unit 4e determines that the detected low contrast region is a water surface image (water surface pattern) when the determination result satisfies a predetermined condition described in FIG.
Further, the image states of FIGS. 9A and 9B corresponding to the cases of FIGS. 8A and 8B change with time. For this reason, in the present embodiment, changes in brightness (contrast) in the upper and lower portions of an image acquired by imaging are temporally monitored.
本実施形態に係るカメラ1は、水面上部側の水上被写体と、水面下部側の水中被写体とを同時に撮影するための撮像部3と、この記撮像部3で撮像した被写体の画像から、水上被写体の(水上被写体)画像と、水中被写体の(水中被写体)画像との境界の水面部に対応する水面部画像を検出する水面部画像検出部4eと、水面部画像の検出結果に基づいて、撮像部3の視野内における水面部の存在によって撮影が妨げられた(水上被写体)画像及び(水中被写体)画像の少なくとも一方を補間するための合成画像を生成する画像合成部4aと、を具備することを特徴とする。
また、このカメラ1は、撮像部3が水上被写体と水中被写体とを同時に撮影するための撮影モードとしての半水中撮影モードの撮影状態に設定されたことを自動的に検出する半水中撮影モード判定部4gを有し、画像合成部4aは、半水中撮影モード判定部4gによる半水中撮影モードの撮影状態の判定後における複数の撮影タイミングにより撮像部3により撮影された複数の画像から水面が変動する水面部により発生する水面部画像を検出し、該水面部画像の少なくとも一部に水上被写体の(水上被写体)画像又は水中被写体の(水中被写体)画像を合成して水面部画像の領域を低減した合成画像を生成する機能を持つことを特徴とする。
The
In addition, the
次に図10を参照して本実施形態におけるカメラ1の主に画像処理&制御部4による撮影・記録と共に、合成画像を生成して表示する処理手順を説明する。
撮影の動作が開始すると、最初のステップS11において画像処理&制御部4は、ユーザ13により撮影モードに設定されたか否かの判定を行う。撮影モードに設定された場合には、次のステップS12において画像処理&制御部4は、撮像部3により撮像された画像を、表示部5で表示するための画像処理を行って、表示部5に出力し、表示部5は(撮像素子3bにより撮像された被写体の画像としての)スルー画として表示する。
Next, with reference to FIG. 10, a processing procedure for generating and displaying a composite image together with photographing / recording mainly by the image processing &
When the shooting operation starts, in the first step S11, the image processing &
次のステップS13において画像処理&制御部4は、カメラ1が半水中撮影モードの撮影状態に設定されたか否かの判定を行う。この判定を自動判定で行う設定となっている場合には、半水中撮影モードの撮影状態の自動判定が、後述する図12の処理手順により行われる。
半水中撮影モードの撮影状態に設定されていない場合には、ステップS14に示すように画像処理&制御部4のピント制御部4cは、画面中央でピント合わせを行う。その後、次のステップS15において画像処理&制御部4は、通常撮影の処理を行った後、ステップS11の処理に移る。
一方、ステップS13において、半水中撮影モードの撮影状態であると判定された場合には、ステップS16において画像処理&制御部4のピント制御部4cは、画面上部でピント合わせを行い、かつ画面下部で露出を決定する。
In the next step S13, the image processing &
When the shooting state in the semi-underwater shooting mode is not set, the focus control unit 4c of the image processing &
On the other hand, if it is determined in step S13 that the shooting state is the semi-underwater shooting mode, the focus control unit 4c of the image processing &
なお、画像処理&制御部4は、ピント合わせ等の処理を撮像素子3bの撮像面に結像された被写体像の画像(例えば被写体は撮像面に上下反転して結像される)に対して行うが、表示部5の画面に被写体像を、実際の被写体の上下関係を保った状態で表示した場合を基準にして説明する。
つまり、ピント制御部4cは、水上側の被写体を撮像した撮像信号(画像信号)に基づいてピント合わせを行い、上述した被写体距離Lを算出(検出)する。一方、露出に関しては水中側の被写体の撮影に適した明るさとなるように露出を決定する。
また、本実施形態においては、上述したように水中部分の被写体も鮮明に撮影できるようにピント合わせ距離Lhに設定する制御処理を行う。
次のステップS17において画像処理&制御部4の距離換算部4dは、被写体距離Lから実際にピント合わせするピント合わせ距離Lhに換算する換算を行う。具体的には、この距離換算部4dは、被写体距離Lを、補正係数Cとしての1.3により除算してピント合わせ距離Lhを算出する。つまりLh=L/1.3に設定する。そして、ピント制御部4cは、撮影レンズ3aをこのピント合わせ距離Lhのピント位置に設定する。
The image processing &
That is, the focus control unit 4c performs focusing based on an imaging signal (image signal) obtained by imaging a water-side subject, and calculates (detects) the subject distance L described above. On the other hand, the exposure is determined so that the brightness is suitable for photographing an underwater subject.
Further, in the present embodiment, as described above, the control process for setting the focus distance Lh so that the subject in the underwater portion can be captured clearly is performed.
In the next step S17, the distance conversion unit 4d of the image processing &
そして、ステップS18の処理に進む。ステップS17の処理により設定された撮像部3の撮影状態は、図5に示した状態に対応する。
このような設定は、人物の被写体Tにおける水中部分の身体部分の手前の魚と、水上の身体部分とのピントのバランスがより良好になる(両方の被写体に対するピントがバランスし、一方が不鮮明となってしまうようなピント合わせにならない)との考慮に基づく。
上記の場合には、補正係数CとしてC=1.3にしているが、水中の魚を主な撮影対象としないで、水上の身体部分と水面下の身体部分を主な撮影対象とする場合には、ピント合わせ距離LhをL/1.2程度に設定してもよい。
このために、補正係数Cとして、デフォルト値として例えばC=1.3に設定し、ユーザ13による選択操作により補正係数Cの値を例えば1.1〜1.3の範囲程度で変更することができるようにしても良い。
Then, the process proceeds to step S18. The shooting state of the
Such a setting provides a better balance of the focus between the fish in front of the body part in the underwater part of the subject T of the person and the body part on the water (the focus on both subjects is balanced, and one is unclear) It is based on the consideration that it will not be in focus.
In the above case, the correction coefficient C is set to C = 1.3, but the underwater fish is not the main object to be imaged, and the body part above the water and the body part below the surface are the main object to be imaged. Alternatively, the focusing distance Lh may be set to about L / 1.2.
For this reason, as the correction coefficient C, for example, C = 1.3 is set as a default value, and the value of the correction coefficient C is changed within a range of, for example, 1.1 to 1.3 by a selection operation by the
また、水中の被写体は、(水上側に比較して透明度のため)暗くなったり、コントラストが下がったり、浮遊物の影響などを受けやすいので、ステップS16において、信頼性の高い水上被写体からピント合わせをして、信頼性(精度の)高い被写体距離Lを求めることができるようにしている。
また、このようなシーンの撮影においては、特に水中の方に撮影したいものがあると考え、水中側の被写体の明るさにより露出を決める制御を行うようにしている。また、領域を水中と水上とに分けて、それぞれの領域の画像に対して、画像処理&制御部4で画像処理する場合の増幅率(ゲイン)を切り替えて両方の明るさが適切になるようにしても良い。
In addition, an underwater subject tends to be dark (because it is more transparent than the water upper side), has a reduced contrast, and is susceptible to floating substances. Thus, the object distance L with high reliability (accuracy) can be obtained.
Further, in shooting such a scene, it is considered that there is something particularly to be taken underwater, and control is performed to determine exposure based on the brightness of the subject on the underwater side. Moreover, the area is divided into underwater and overwater, and the brightness of both is made appropriate by switching the amplification factor (gain) when the image processing &
ステップS18において画像処理&制御部4は、レリーズ操作がされたか否かを判定する。そして、レリーズ操作が行われていない場合には、ステップS11の処理に戻る。
一方、レリーズ操作が行われた場合には、次のステップS19において画像処理&制御部4の水面部画像検出部4eは、図9A又は図9Bのように水面部のために欠落する画像領域の発生があるか否かつまり、水面パターン(水面部画像)が発生しているか否かの検出を行う。
そして、次のステップS20において水面部画像検出部(水面パターン検出部)4eは、水面パターンが中央部に存在し、かつ画面下部がローコントラスト領域であるか否かをローコントラスト領域検出部4fの機能を用いて判定する。
In step S18, the image processing &
On the other hand, when the release operation is performed, in the next step S19, the water surface image detection unit 4e of the image processing &
Then, in the next step S20, the water surface image detection unit (water surface pattern detection unit) 4e determines whether the water surface pattern exists in the center and whether the lower part of the screen is a low contrast region or not. Judge using function.
この判定結果に該当する場合には、次のステップS21において画像処理&制御部4は、この判定が行われた画像を画像IAとして時計部9による日時情報を付加して撮影すると共に、記録部8に記録する。そして、ステップS20の処理に戻る。
一方、ステップS20の判定結果に該当しない場合にもステップS22の処理に進む。
ステップS22において水面部画像検出部4eは、水面パターンが中央部に存在し、かつ画面上部がローコントラスト領域であるか否かをローコントラスト領域検出部4fの機能を用いて判定する。
この判定結果に該当する場合には、次のステップS23において画像処理&制御部4は、この判定が行われた画像を画像IBとして時計部9による日時情報を付加して撮影すると共に、記録部8に記録する。そして、次のステップS22の処理に戻る。
If the determination result is satisfied, in the next step S21, the image processing &
On the other hand, also when it does not correspond to the determination result of step S20, it progresses to the process of step S22.
In step S22, the water surface image detection unit 4e determines whether or not the water surface pattern exists in the center and the upper part of the screen is a low contrast region using the function of the low contrast region detection unit 4f.
If this determination result is met, in the next step S23, the image processing &
一方、ステップS22の判定結果に該当しない場合には、ステップS24の処理に進む。
ステップS24において画像処理&制御部4の画像合成部4aは、画像IAが記録部8に記録されている場合には、この画像IAのローコントラスト領域に、画像IBのローコントラスト領域以外の画像を合成して合成画像ICを生成する。表示制御部4bは、この合成画像ICを表示部5で表示する制御を行い、表示部5において、図9Cのような合成画像ICが表示される。
従って、本実施形態においては図9A又は図9Bに示すように本来の撮影対象となる被写体の一部しか撮影できないタイミングで撮影を行った場合においても、複数のタイミングで撮影した画像を合成して被写体のほぼ全容を表す図9Cに示すような合成画像ICを表示部5で表示するので、ユーザ13は、その合成画像ICを観察することができるようになる。
On the other hand, when it does not correspond to the determination result of step S22, the process proceeds to step S24.
In step S24, when the image IA is recorded in the recording unit 8, the image composition unit 4a of the image processing &
Therefore, in this embodiment, as shown in FIG. 9A or FIG. 9B, even when shooting is performed at a timing when only a part of the subject to be originally captured can be captured, the images captured at a plurality of timings are combined. Since the composite image IC as shown in FIG. 9C representing almost the entire subject is displayed on the
このステップS24の処理の後、最初のステップS11の処理に戻る。なお、ユーザ13の設定に応じて、画像処理&制御部4が合成画像ICを記録部8に記録するようにしても良い。
一方、ステップS11において撮影モードでない場合には、ステップS25において画像処理&制御部4は、再生モードであるか否かの判定を行う。再生モードでない場合には、ステップS27に移る。
ステップS11の判定結果が再生モードの場合には、ステップS26において画像処理&制御部4は、記録部8に記録されている画像を再生する。次のステップS27において画像処理&制御部4は、終了の操作が行われたか否かの判定を行う。終了の操作が行われていない場合には、ステップS11の処理に戻り、終了の操作が行われた場合にはカメラ1の電源をOFFにして、図10の処理を終了する。
After the process of step S24, the process returns to the first step S11. Note that the image processing &
On the other hand, if the shooting mode is not set in step S11, the image processing &
If the determination result in step S11 is the playback mode, the image processing &
図11は図10のステップS19の水面パターン検出の処理手順の1例を示す。水面パターン検出の処理が開始すると、最初のステップS31において画像処理&制御部4の水面部画像検出部4eは、画面中央部に所定値以上のコントラスト変化があるか否かの判定を行う。
なお、この場合、画像処理&制御部4の水面部画像検出部4eは、加速度センサによる重力加速度の方向により、カメラ1の上下方向を識別(判別)する。そして画面の上下方向の中央部付近に、所定値以上のコントラスト変化があるか否かの判定を行う。
FIG. 11 shows an example of the processing procedure of the water surface pattern detection in step S19 of FIG. When the water surface pattern detection process is started, in the first step S31, the water surface image detection unit 4e of the image processing &
In this case, the water surface image detection unit 4e of the image processing &
画面中央部に水の境界となる水面(水面部)があると、その水面を境界として光を吸収する水中側と、光の吸収の少ない水上側とで、明暗(コントラスト)変化がある。そして、水面部画像検出部4eは、そのコントラスト変化を判定する。
次のステップS32において水面部画像検出部4eは、コントラスト変化の境界、又はそのコントラスト変化している部分の(低いコントラスト領域としての)ローコントラスト領域の水平方向の範囲を判定する。
そして次のステップS33において水面部画像検出部4eは、ローコントラスト領域が(水面の様に)水平方向に帯状に存在しているか否かの判定を行う。
ローコントラスト領域が水平方向に帯状に存在する判定結果の場合には、次のステップS34において水面部画像検出部4eは、画面の上下でコントラスト差があるか否かの判定を行う。
When there is a water surface (water surface portion) serving as a boundary of water at the center of the screen, there is a change in contrast (contrast) between the underwater side that absorbs light using the water surface as a boundary and the upper surface of water that absorbs less light. And the water surface part image detection part 4e determines the contrast change.
In the next step S32, the water surface image detection unit 4e determines a horizontal range of a low contrast region (as a low contrast region) of a boundary of contrast change or a portion of the contrast change.
In the next step S33, the water surface image detection unit 4e determines whether or not the low contrast region is present in a strip shape in the horizontal direction (like the water surface).
In the case of the determination result that the low contrast region exists in a strip shape in the horizontal direction, in the next step S34, the water surface image detection unit 4e determines whether or not there is a contrast difference between the top and bottom of the screen.
画面の上下でコントラスト差があると判定した場合には、ステップS35において水面部画像検出部4eは、ステップS33及びS34の条件に該当するローコントラスト領域を水面パターン(水面部画像)と判定し、この図11の処理を終了する。
また、ステップS33の判定に該当しない判定結果の場合、及びステップS34の判定に該当しない判定結果の場合には水面パターンに該当しないと判定して、図11の処理を終了する。図11の処理が終了すると、図10のステップS20の処理に移る。また、図10におけるステップS13の半水中撮影モードの撮影状態であるか否かを自動判定する処理手順は、図12のようになる。
If it is determined that there is a contrast difference between the top and bottom of the screen, in step S35, the water surface image detection unit 4e determines that the low contrast region corresponding to the conditions of steps S33 and S34 is a water surface pattern (water surface image), The process of FIG. 11 is terminated.
Moreover, in the case of the determination result not corresponding to the determination in step S33 and in the case of the determination result not corresponding to the determination in step S34, it is determined not to correspond to the water surface pattern, and the processing in FIG. When the process of FIG. 11 is completed, the process proceeds to step S20 of FIG. Further, the processing procedure for automatically determining whether or not the shooting state is the semi-underwater shooting mode in step S13 in FIG. 10 is as shown in FIG.
この半水中撮影モードの撮影状態であるか否かの判定処理が開始すると、最初のステップS41において画像処理&制御部4は、画面中央部にローコントラスト領域が存在するか否かの判定を行う。ローコントラスト領域が存在する判定結果の場合には次のステップS42において画像処理&制御部4は、画面の上下の判定を行う。
この場合、画像処理&制御部4は、加速度センサによる検知結果を利用して上下の判定を行う。
その後ステップS43において画像処理&制御部4は、ローコントラスト領域が帯状に画面を水平方向に横断しているかの判定を行う。この判定結果に該当する場合には、次のステップS44において画像処理&制御部4は、加速度センサの検知結果を用いて、カメラ1に倒れ無しかの判定を行う。
When the process for determining whether or not the shooting state is in the semi-underwater shooting mode is started, in the first step S41, the image processing &
In this case, the image processing &
Thereafter, in step S43, the image processing &
ユーザ13は、図1A、図1Bに示したカメラ1により半水中撮影を行う場合、図8A又は図8Bのように撮影レンズ3aが、カメラ1の中央位置よりも下寄りとなる姿勢状態に保持する。
また、このカメラ1の場合には、ユーザ13は、カメラ1の縦長の方向を、重力が作用する上下方向に設定した状態となる。図13(B)は、図8Aに相当するカメラ1の姿勢状態を示す。
この場合、画像処理&制御部4は、点線で示す加速度センサ11aと、この加速度センサ11aによる上下方向と垂直となる紙面横方向の加速度を検出する図示しない加速度センサによる検知結果を用いて、カメラ1に倒れ無しかの判定を行う。
When the
In the case of this
In this case, the image processing &
図13(B)の状態は、カメラ1の縦長の方向が上下方向に平行な倒れ(傾き)が無い状態を示し、これに対して図13(C)及び図13(D)は、時計回り方向及び反時計回り方向に倒れがある状態を示している。
図13(B)のように倒れが無い判定結果の場合には、ステップS45において画像処理&制御部4は、この状態のカメラ1が半水中撮影モードの撮影状態であると判定して、この図12の処理を終了する。
一方、ステップS41の判定に該当しない判定結果、ステップS43の判定に該当しない判定結果、ステップS44の判定に該当しない判定結果の場合には、ステップS46において画像処理&制御部4は、この状態のカメラ1が半水中撮影モードの撮影状態でないと判定して、この図12の処理を終了する。
The state of FIG. 13B shows a state in which the longitudinal direction of the
In the case of the determination result that there is no tilt as shown in FIG. 13B, in step S45, the image processing &
On the other hand, in the case of the determination result not corresponding to the determination in step S41, the determination result not corresponding to the determination in step S43, or the determination result not corresponding to the determination in step S44, the image processing &
なお、図12におけるステップS45及びステップS46の判定の後、ステップS47に示すように判定結果に応じた(表示部5による)表示切換を行うようにしても良い。情報を表示部5で表示するようにしても良い。
図14はこの場合の処理手順を示す。表示切換の処理が開始すると、最初のステップS61において画像処理&制御部4は、半水中撮影モードの撮影状態であるかの判定を行う。
半水中撮影モードの撮影状態である判定結果の場合には次のステップS62において画像処理&制御部4は、図13(A)に示すように表示部5の例えば上半分に、この判定結果のモード表示、例えば「半水中撮影モードです」という主旨の表示を行う。そして、この表示切換の処理を終了する。
In addition, after the determination of step S45 and step S46 in FIG. 12, as shown in step S47, display switching according to the determination result (by the display unit 5) may be performed. Information may be displayed on the
FIG. 14 shows a processing procedure in this case. When the display switching process is started, in the first step S61, the image processing &
In the case of the determination result indicating the shooting state in the semi-underwater shooting mode, in the next step S62, the image processing &
一方、ステップS61の判定が半水中撮影モードの撮影状態でない場合には次のステップS63において画像処理&制御部4は、通常の画像表示(つまり表示部5の表示面に通常の画像を全画面表示)を行い、この表示切換の処理を終了する。
このような表示を行うようにすると、ユーザ13は半水中撮影モードの撮影状態に設定されたことを確認できる。そして、このような表示を行うことにより、ユーザ13に対する操作性を向上できる。
なお、図12に示す半水中撮影モードの撮影状態を判定する処理手順の変形例として図15Aに示す処理手順を採用しても良い。なお、この変形例の処理手順は、半水中撮影モードの撮影状態の判定を行うと共に、その判定の処理手順において水面パターンの判定も行う。このため、図10に適用した場合には、ステップS18の次の水面パターンの検出処理を行う際に上記の判定結果を用いて次のステップS20の処理に進むことができる。
On the other hand, when the determination in step S61 is not the shooting state in the semi-underwater shooting mode, in the next step S63, the image processing &
When such a display is performed, the
Note that the processing procedure shown in FIG. 15A may be adopted as a modification of the processing procedure for determining the shooting state in the semi-underwater shooting mode shown in FIG. The processing procedure of this modified example determines the shooting state in the semi-underwater shooting mode, and also determines the water surface pattern in the determination processing procedure. For this reason, when applied to FIG. 10, when the detection process of the next water surface pattern of step S18 is performed, it can progress to the process of the next step S20 using said determination result.
図15Aに示す半水中撮影モードの撮影状態に対する判定処理が開始すると、最初のステップS71において画像処理&制御部4は、画面中央部にコントラスト変化があるか否かの判定を行う。この場合、画像処理&制御部4は、加速度センサによる重力加速度の方向により、カメラ1の上下方向を識別(判別)する。そして画面の上下方向の中央部付近にコントラスト変化があるか否かの判定を行う。
画面中央部に水の境界となる水面があると、その水面を境界として光を吸収する水中側と、光の吸収の少ない水上側とで、コントラスト(明暗)変化がある。
そして、画面中央部にコントラスト変化があると判定した場合には次のステップS72において画像処理&制御部4は、コントラスト変化の境界は、画面を水平方向(横方向)に横断しているか否かの判定を行う。水面の場合には、コントラスト変化の境界が画面を横断していることになる。
When the determination process for the shooting state in the semi-underwater shooting mode shown in FIG. 15A is started, in the first step S71, the image processing &
If there is a water surface serving as a water boundary in the center of the screen, there is a contrast (brightness / darkness) change between the underwater side that absorbs light with the water surface as a boundary and the upper side of the water that absorbs less light.
If it is determined that there is a contrast change in the center of the screen, in the next step S72, the image processing &
コントラスト変化の境界が、画面を横断している判定結果の場合には、次のステップS73において画像処理&制御部4は、画面の上下の明暗を比較する処理を行う。この場合にも、画像処理&制御部4は、加速度センサの信号から画面の上下(の姿勢)を判定(識別)する。
次のステップS74において画像処理&制御部4は、コントラストが低いローコントラスト領域が下に暗いか(つまり、下側が暗いローコントラスト領域となっているか)否かの判定を行う。この場合の判定として、ローコントラスト領域の判定を行わないで単に、上の画像に比較して下の画像が暗いか否かの判定を行うようにしても良い。図15Bのような被写体の場合には、下の水中側が暗くなる。
If the determination result indicates that the contrast change boundary crosses the screen, in the next step S73, the image processing &
In the next step S74, the image processing &
下が暗い判定結果の場合には、次のステップS75において画像処理&制御部4は、画面の上下の色調を比較する。そして、次のステップS76において画像処理&制御部4は、上部に比較して下部に赤成分が少ないかを判定する。
上部に比較して下部に赤成分が少ないと、ステップS77において画像処理&制御部4は、半水中撮影モードの撮影状態であると判定する。また、ステップS79に示すようにコントラスト変化の境界を水面パターンと判定する。
そして、画像処理&制御部4は、図10のステップS16の処理に進む。
一方、ステップS71,S72、S74、S76の判定に該当しない場合には、ステップS78において画像処理&制御部4は、半水中撮影モードの撮影状態でないと判定して、図10のステップS14の処理に進む。
If the determination result is dark at the bottom, in the next step S75, the image processing &
If the red component is lower in the lower portion than in the upper portion, the image processing &
Then, the image processing &
On the other hand, if the determination in steps S71, S72, S74, and S76 is not applicable, the image processing &
なお、2つのステップS74及びS76の判定処理の一方の判定結果からステップS77又はS78の判定を行うようにしても良い。
図15Aの処理によると、ステップS77の判定結果から、ステップS72の画面中央部でコントラスト変化の境界が画面を横断している部分を水面パターンと判定して、その上部側が水上被写体、下部側が水中被写体と判定(識別)することができる。
図15Bは、図15Aの半水中撮影モードの判定に対応する説明図で、この図15Bは、半水中撮影モードの撮影状態における被写体の代表例を示す。
図15Bに示すように水中は水上に比較して、透明度が低く、また光の吸収により暗く、また浮遊物が存在することがしばしばあり、これらによりコントラストが低いローコントラスト領域となる。
Note that the determination in step S77 or S78 may be performed from one determination result of the determination processing in two steps S74 and S76.
According to the processing of FIG. 15A, from the determination result of step S77, a portion where the boundary of the contrast change crosses the screen in the center of the screen in step S72 is determined as a water surface pattern. It can be determined (identified) as a subject.
FIG. 15B is an explanatory diagram corresponding to the determination of the semi-underwater photographing mode in FIG. 15A, and FIG. 15B shows a representative example of the subject in the photographing state in the semi-underwater photographing mode.
As shown in FIG. 15B, the water has a lower transparency than the water, is darker due to light absorption, and often has floating substances, which results in a low contrast region having a low contrast.
また、可視領域における特に長波長側の赤い波長が、短波長側よりも吸収されやすく、青の色調になり易い(換言すると、赤成分が少ない色調となる)。従って、図15Aの処理手順により、半水中撮影モードの判定を行うことができる。
このような動作を行う第1の実施形態に係るカメラ1によれば、水面Wが変動する水面部のために水上被写体あるいは水中被写体部分が欠落又は撮影できないような撮影タイミングで撮影を行った複数の画像を合成することにより、水上被写体及び水中被写体を同時に含む合成画像を生成することが可能となる。
従って、ユーザ13は、水面Wの変動による影響を低減した水上被写体及び水中被写体を同時に含む良好な画質の画像としての合成画像を取得でき、また、その良好な画質の画像を観察(鑑賞)することができる。
In addition, the red wavelength, particularly on the long wavelength side in the visible region, is more easily absorbed than the short wavelength side, and tends to have a blue color tone (in other words, a color tone with less red component). Accordingly, the semi-underwater shooting mode can be determined by the processing procedure of FIG. 15A.
According to the
Therefore, the
(第2の実施形態)
図16は本発明の第2の実施形態の携帯カメラ部(図面中では、単にカメラ部)1Bの構成を示す。本実施形態の携帯カメラ部1Bは、図17に示すように防水機能を持つ携帯電話51に搭載されている。この携帯電話51は、携帯カメラ部1Bと表示部5とが別体であり、携帯カメラ部1Bと表示部5は折り曲げ部により折り曲げ可能に連結されている。
図16に示す携帯カメラ部1Bは、図1に示したカメラ1においてさらに画像処理&制御部4内に、少なくとも複数枚分の画像を記録する記録容量を持って、所定期間中、撮像された画像を一時的に記録(記憶)する仮記録部4hを備える。なお、一時的に画像を記録することを仮記録とも言う。また、仮記録部4hに画像を一時的に記録する場合、その画像を仮記録するタイミングも同時に記録する。
また、本実施形態においては、画像処理&制御部4は、半水中撮影モードにおける実質的に良好と考えられる画像を撮影画像として記録部8に記録(撮影・記録)する撮影タイミングを決定する撮影タイミング決定部4iの機能を持つ。
(Second Embodiment)
FIG. 16 shows a configuration of a portable camera unit (simply a camera unit in the drawing) 1B according to the second embodiment of the present invention. The
The
Further, in the present embodiment, the image processing &
ローコントラスト領域検出部4fは、撮像している画像においてローコントラスト領域を検出した場合には、仮記録部4hにその画像を仮記録(一時的に記録)する。仮記録された画像は、画像合成部4a及び表示制御部4bを経て、良好と判定された画像が表示部5に表示される。
図17は、図16に示した構成の携帯カメラ部1Bを備えた携帯電話51を用いて、ユーザ13が池53の水面付近で泳いでいる亀を鑑賞対象の被写体として撮像して、鑑賞している様子を示す。
この図17に示すようにユーザ13は、携帯カメラ部1Bの(撮像部3の)撮影レンズ3aの中央位置を水面付近に設定して、池53の水上被写体及び水中被写体を撮影する半水中撮影モードの撮影状態に設定することができる。
When the low contrast region detection unit 4f detects a low contrast region in the image being captured, the low contrast region detection unit 4f temporarily records (temporarily records) the image in the temporary recording unit 4h. The temporarily recorded image is displayed on the
FIG. 17 shows an image of a turtle swimming near the water surface of a
As shown in FIG. 17, the
上述した図7において説明したように水面Wが変動した斜線で示す領域32によって、視野θ内における被写体像の結像が実質的に妨げられる。このため、図17の撮影状態で撮像したある撮像タイミングで取得した画像を表示部5で表示した場合には、図18Aのような画像IC′になる。
この場合には、中央付近に水面パターン(水面部画像)が発生し、その上下が水上被写体の(水上被写体)画像及び水中被写体の(水中被写体)画像となる。
水面Wは、風などのために時間的に変動する状況であると、撮像タイミングに依存して、図18B、図18Cに示す画像IA′、IB′のように図18Aの画像IC′に比較すると良好でない画像になる。このため、本実施形態は、図18B、図18Cのような画像の場合には表示を行わないで、より良好な図18Aのような画像、又はより良好な合成画像を表示することができるようにしている。
なお、実際には、これらの画像がそれぞれ良好な画像であるか、又は水面パターンによりかなり影響された良好でない画像であるかを判定する処理を行うことが必要となる。このため、判定結果が決まるまでの間においては、図18B、図18Cのような画像も一時的に表示するようにしても良い。
画像処理&制御部4は、ローコントラスト領域を検出した場合には仮記録部4hにその画像を一時的に記録する。そして、画像処理&制御部4は、図19に示す表示制御の処理手順に従って表示部5に画像を表示する制御を行う。
As described with reference to FIG. 7 described above, the formation of the subject image within the field of view θ is substantially hindered by the
In this case, a water surface pattern (water surface image) is generated in the vicinity of the center, and the upper and lower sides thereof are a water subject (water subject) image and an underwater subject (underwater subject) image.
When the water surface W is in a time-varying state due to wind or the like, it is compared with the image IC ′ in FIG. 18A like images IA ′ and IB ′ shown in FIGS. 18B and 18C depending on the imaging timing. Then, the image is not good. For this reason, in the present embodiment, it is possible to display a better image as shown in FIG. 18A or a better composite image without performing display in the case of the images as shown in FIGS. 18B and 18C. I have to.
In practice, it is necessary to perform a process for determining whether each of these images is a good image or an unfavorable image considerably influenced by the water surface pattern. Therefore, images such as those shown in FIGS. 18B and 18C may be temporarily displayed until the determination result is determined.
When detecting the low contrast region, the image processing &
図19の表示制御の処理が開始すると、最初のステップS101において画像処理&制御部4は、撮像部3により撮像された被写体の画像の取り込みを行う。次のステップS102において画像処理&制御部4のローコントラスト領域検出部4fは、撮像した画像におけるローコントラスト領域の検出を行う。
そして、ローコントラスト領域検出部4fは、検出したローコントラスト領域が図18Aのように画面の(上下方向における)中央部のみか否かの判定を行う。この判定を行う場合、画像処理&制御部4は、加速度センサによる検知結果を利用して画面の上下方向を認識する。なお、中央部のみか否かの判定を行う場合、コントラストが低いローコントラスト領域の上下方向の幅、つまりローコントラスト領域が水平方向に帯状になっている場合のその帯の幅が所定値(又は閾値)以下であるか否かにより判定する。その幅が所定値以下であると良好な画像であると判定される。
ローコントラスト領域が中央部のみでない判定結果の場合には、次のステップS103において画像処理&制御部4は、画面の上方部分がローコントラスト領域であるか否か、つまり、図18Bのようにローコントラスト領域が上方に広がっているか否かの判定を行う。
When the display control process in FIG. 19 is started, the image processing &
Then, the low contrast region detection unit 4f determines whether or not the detected low contrast region is only the center portion (in the vertical direction) of the screen as shown in FIG. 18A. When making this determination, the image processing &
If the determination result is that the low contrast region is not only in the central portion, in the next step S103, the image processing &
画面の上方部分がローコントラスト領域である判定結果の場合には、次のステップS104において画像処理&制御部4は、この画像を仮記録部4hに画像IA′として仮記録し、ステップS111の処理に移る。
図18Bは、この画像IA′の場合の1例である。この場合には、下部側の水中被写体の画像A′と共に、その上部側に水面部による水面部画像(水面パターン)としてのローコントラスト領域の画像領域32eが発生した画像IA′となる。
一方、ステップS103において画面の上方部分がローコントラスト領域でない判定結果の場合には、ステップS105において画像処理&制御部4は、画面の下方部分がローコントラスト領域であるか、つまり、図18Cのようにローコントラスト領域が下方に広がっているか否かの判定を行う。
In the case of the determination result that the upper part of the screen is the low contrast area, in the next step S104, the image processing &
FIG. 18B shows an example of this image IA ′. In this case, together with the image A ′ of the underwater subject on the lower side, an image IA ′ in which an image region 32e of a low contrast region as a water surface image (water surface pattern) by the water surface is generated on the upper side.
On the other hand, if it is determined in step S103 that the upper part of the screen is not the low contrast area, the image processing &
画面の下方部分がローコントラスト領域である判定結果の場合には、次のステップS106において画像処理&制御部4は、この画像を仮記録部4hに画像IB′として仮記録する。図18Cは、この画像IB′の場合の1例である。この場合には、上部側の水中被写体の画像B′と共に、その下部側に水面部による水面部画像(水面パターン)としてのローコントラスト領域の画像領域32fが発生した画像IB′となる。
次のステップS107において画像処理&制御部4は、上記仮記録部4hに仮記録した画像IA′のローコントラスト領域に、画像IB′のローコントラスト領域以外の画像部分を合成した合成画像を生成し、この合成画像を表示部5で表示する。
図18Bの画像IA′に、図18Cの画像IB′を合成した場合には、図18Aの画像IC′に示すものに類似した合成画像となる。
このように良好な画像でないと判定した場合には、仮記録した複数の画像を合成することにより、良好な画像を生成して表示する。具体的には、上方にローコントラスト領域が広がった画像IA′と、下方にローコントラスト領域が広がった画像IB′とから、一方のローコントラスト領域を他方の画像におけるローコントラスト領域以外の画像で置換による補間を行うことによって、良好な合成画像を生成して表示する。
従って、ユーザ13は、良好でない画像しか撮像できない状況であっても、良好な画像を観察(鑑賞)することができる。
If the determination result is that the lower part of the screen is the low contrast region, in the next step S106, the image processing &
In the next step S107, the image processing &
When the image IB ′ in FIG. 18C is synthesized with the image IA ′ in FIG. 18B, a synthesized image similar to that shown in the image IC ′ in FIG. 18A is obtained.
When it is determined that the image is not good as described above, a good image is generated and displayed by combining a plurality of temporarily recorded images. Specifically, one low-contrast region is replaced with an image other than the low-contrast region in the other image, from the image IA ′ having the low-contrast region extended upward and the image IB ′ having the low-contrast region extended downward. A good composite image is generated and displayed by performing interpolation according to.
Therefore, the
ステップS107の処理の後、画像処理&制御部4は、ステップS111の処理に進む。
なお、ステップS105において画面の上方部分がローコントラスト領域でない判定結果の場合には、ステップS108において画像処理&制御部4は、その画像を表示することなく、ステップS111の処理に進む。
また、ステップS102においてローコントラスト領域が中央部のみの判定結果の場合には、ステップS109において画像処理&制御部4は、その画像を仮記録部4hに仮記録する。図18Aの画像IC′は、この場合に該当する画像例である。
そして、次のステップS110において画像処理&制御部4は、仮記録部4hに仮記録した画像を(良好な画像であるために)そのまま表示部5で表示する。そして、画像処理&制御部4は、ステップS111の処理に進む。
After the process of step S107, the image processing &
If it is determined in step S105 that the upper part of the screen is not a low contrast area, the image processing &
If it is determined in step S102 that the low-contrast area is the central portion only, in step S109, the image processing &
In the next step S110, the image processing &
ステップS111において画像処理&制御部4は、表示終了の操作が行われたか否かの判定を行う。表示終了の操作が行われていない場合には、ステップS101に戻り、次の画像の取り込みを行い、同様の処理を行う。一方、表示終了の操作が行われた場合には、図19の処理を終了する。
なお、図19に示すフローチャートでは、ステップS106の画像IB′の仮記録の後に、ステップS107において合成画像を生成して表示する処理を行う処理手順にしているが、この処理手順に限定されるものでない。
例えば、仮記録部4hに画像IA′又は画像IB′を仮記録した場合、合成を行うべき画像IB′又は画像IA′がすでに仮記録されている場合には、合成画像を生成して表示するようにしても良い。
In step S <b> 111, the image processing &
In the flowchart shown in FIG. 19, after the temporary recording of the image IB ′ in step S106, a processing procedure for generating and displaying a composite image in step S107 is used. However, the processing procedure is limited to this processing procedure. Not.
For example, when the image IA ′ or the image IB ′ is temporarily recorded in the temporary recording unit 4h, if the image IB ′ or the image IA ′ to be combined is already temporarily recorded, a combined image is generated and displayed. You may do it.
具体的には、図19のステップS105の処理の後、ステップS107に進むようにしても良い。但し、ステップS107においては、上記のように合成を行うべき画像IB′又は画像IA′がすでに仮記録されているか否かを判定し、仮記録されていない場合には合成画像を生成しないで、ステップS111に進み、仮記録されている場合には合成画像を生成して表示する。
また、図19に示すステップS107に記載した場合に限定されるものでなく、画像IB′のローコントラスト領域に画像IA′のローコントラスト以外の画像を合成して表示するようにしても良い。
図20は、このような処理手順(図19を若干修正)に対応した表示制御のタイミング図を示し、横方向が時間tを示す。また、符号Tfは、撮像部3による被写体を1画面(フレーム)分、撮像する場合の撮像周期を示し、表示周期と同じとしている。
Specifically, after the process of step S105 in FIG. 19, the process may proceed to step S107. However, in step S107, it is determined whether or not the image IB ′ or the image IA ′ to be synthesized has already been temporarily recorded as described above. If the image has not been temporarily recorded, a synthesized image is not generated. Proceeding to step S111, if temporarily recorded, a composite image is generated and displayed.
Further, the present invention is not limited to the case described in step S107 shown in FIG. 19, and an image other than the low contrast of image IA ′ may be combined and displayed in the low contrast region of image IB ′.
FIG. 20 is a timing chart of display control corresponding to such a processing procedure (slightly modified FIG. 19), and the horizontal direction indicates time t. A symbol Tf indicates an imaging cycle when the subject by the
最上段(1段目)は、撮像部3により撮像されて、画像処理&制御部4に取り込まれた画像IC′、IA′、IB′における時間順の(撮像)画像Cj、Aj、Bj、をそれぞれ示し、その下段(2段目)には表示部5で実際に表示される画像Cj、Djを示す。なお画像IC′は、ローコントラスト領域が中央部のみの場合の良好と考えられる画像を意味する。
これに対して、画像Aj,Bjは、画像Cj程には良好ではない画像のため、そのままでは表示されない。そして、画像Djは、画像Aj、Bj(jが異なる場合もある)を合成した合成画像であり、表示される画像となる。また、j=1,2,3,…は、撮像された画像の時間順を示すパラメータである。
The uppermost stage (first stage) is taken by the
On the other hand, the images Aj and Bj are not as good as the image Cj and are not displayed as they are. The image Dj is a combined image obtained by combining the images Aj and Bj (j may be different), and is a displayed image. J = 1, 2, 3,... Are parameters indicating the time order of the captured images.
図20に示すように画像C1が撮像された場合には、次のフレームから、表示部5によりその画像C1が表示される。この画像C1は、次の画像C2が表示されるまで、又は合成画像D1が表示されるまで、その表示が継続する。
図20の例では、画像C2の次に、画像A1、A2が撮像されるが、まだ画像B1が撮像されていない(そして仮記録もされていない)ので、表示されない。そして、画像B1が撮像されると、(画像B1と画像A2との合成による)合成画像D1として表示される。
なお、この表示例では、合成画像を表示する場合、Bj(具体的にはB1)以前に複数の画像Aj(具体的では画像A1,A2)が仮記録されている場合、最新の画像(A2)と合成する。画像B1の次に画像B2が撮像されると、この画像B2と画像A2との合成画像D2が表示される。
When the image C1 is captured as shown in FIG. 20, the
In the example of FIG. 20, images A1 and A2 are captured next to image C2, but are not displayed because image B1 has not yet been captured (and has not been provisionally recorded). When the image B1 is captured, it is displayed as a composite image D1 (by combining the image B1 and the image A2).
In this display example, when a composite image is displayed, when a plurality of images Aj (specifically images A1 and A2) are provisionally recorded before Bj (specifically B1), the latest image (A2) is displayed. ). When an image B2 is captured next to the image B1, a composite image D2 of the image B2 and the image A2 is displayed.
その後、画像C3が撮像されてその画像C3が表示される。その後、画像A3が撮像されると、この画像A3と、その時間前における最新の画像B2とで合成画像D3が表示される。以後も同様の規則で表示されることになる。
このように表示制御することにより、水面部のために、水上被写体のみの画像や、水中被写体のみの画像しか撮像できない状況においても、水上被写体及び水中被写体を同時に含む合成画像(図20における画像D1,D2等)や、中央部のみがローコントラスト領域となる水上被写体及び水中被写体を同時に含むと考えられる画像(図20における画像C1,C2等)を表示部5で表示することができるようになる。
従って、ユーザ13はこのように鑑賞対象の被写体を良好に撮像した状態に相当する画像を鑑賞することができる。
Thereafter, the image C3 is captured and the image C3 is displayed. Thereafter, when the image A3 is captured, the composite image D3 is displayed with the image A3 and the latest image B2 before that time. Thereafter, the same rule is displayed.
By controlling the display in this way, the composite image including the water subject and the underwater subject at the same time (image D1 in FIG. 20) even in the situation where only the image of the water subject or only the image of the underwater subject can be captured due to the water surface portion. , D2, etc.) and an image (images C1, C2, etc. in FIG. 20) that is considered to include both a floating subject and an underwater subject whose only the central portion is a low contrast region can be displayed on the
Therefore, the
図20に示した表示の変形例として、合成画像を表示する場合、上下方向のローコントラスト領域が小さいもの、つまり上下方向にローコントラスト領域の広がりが小さいものを選択して合成画像を生成して表示するようにしても良い。
また、上述においては、撮像した画像を表示する場合に関する説明であった。本実施形態は、さらに表示と撮影・記録との制御とを連動させるような撮影モードを選択することもできる。この撮影・記録は、仮記録ではなく、記録部8に画像を記録することを意味し、その意味が明らかな場合には簡略的には撮影又は記録とも言う。
本実施形態においては、表示と撮影との制御とを連動させる場合、上述した画像C1等の良好な画像のみを撮影・記録するモードと、さらに合成画像も撮影・記録するモードを選択することができるようにしている。また、本実施形態においては、仮記録部4hを設けることにより、撮影タイミングを逃すことなく、画像C1等の良好な画像を、記録部8に撮影・記録することができるようにしている。
As a modification of the display shown in FIG. 20, when a composite image is displayed, a composite image is generated by selecting a small low contrast region in the vertical direction, that is, a small low contrast region in the vertical direction. It may be displayed.
In the above description, the captured image is displayed. In the present embodiment, it is also possible to select a shooting mode that links display and shooting / recording control. This shooting / recording is not temporary recording but means that an image is recorded in the recording unit 8, and when the meaning is clear, it is also simply called shooting or recording.
In the present embodiment, when the control of display and shooting is linked, it is possible to select a mode for shooting and recording only a good image such as the image C1 and a mode for shooting and recording a composite image. I can do it. In the present embodiment, the provisional recording unit 4h is provided so that a good image such as the image C1 can be photographed and recorded in the recording unit 8 without missing the photographing timing.
この場合に係る携帯カメラ1Bは、水面上部側の水上被写体と、水面下部側の水中被写体とを同時に撮影するための撮像部3と、この撮像部3で撮像した被写体の画像から、水面が変動する水面部によって生じる水面部画像を検出し、水上被写体の(水上被写体)画像と水中被写体の(水中被写体)画像の同時撮影に適した撮影タイミングを決定する撮影タイミング決定部4iと、撮影タイミング決定部4iで決定した撮影タイミング付近の複数のタイミングで撮像された複数の被写体の画像から合成画像を生成する画像合成部4aと、を具備することを特徴とする。
より具体的には、画像処理&制御部4の撮影タイミング決定部4iは、(仮記録部4hに記録可能な)所定期間中に撮像部3によりそれぞれ撮像された複数の画像を、そのタイミングと共に一時的に仮記録部4hに記録する。
In the
More specifically, the imaging
さらに、撮影タイミング決定部4iは、仮記録部4hに一時的に記録された画像に対して水面部画像における水面部の影響が小さい、又は(水上被写体)画像及び(水中被写体)画像の同時撮影に該当する撮影すべき撮影画像であるか否かを決定(判定)する。そして、撮影タイミング決定部4iは、決定した撮影画像を仮記録部4hから記録部8に撮影画像として撮影・記録するタイミングを、撮影すべき撮影画像を撮影する撮影タイミングとして決定する(撮影タイミングとする)ことを特徴とする。
なお、この場合の撮影画像は、図18Aに示すようにローコントラスト領域が画面の中央部のみに存在するものが該当する。
Further, the photographing
Note that the captured image in this case corresponds to an image in which a low contrast region exists only in the center of the screen as shown in FIG. 18A.
図21Aは表示と撮影とを連動させた場合の処理手順の一部のフローチャートを示す。
図21Aは、例えば図19のフローチャートにおいて、ステップS110とステップS111との間にステップS121とステップS122との処理を行う処理手順となっている。ステップS110において図20の画像C1,C2等をそのまま表示部5に表示した後、ステップS121において画像処理&制御部4は、表示と撮影・記録との制御を連動させる設定(選択)であるかの判定を行う。
ユーザ13は、表示と撮影との制御を連動させる場合には、例えばモード設定スイッチ6bの操作によるメニュー画面から連動を選択すれば良い。画像処理&制御部4は、この選択結果を参照することにより連動させるモードであるか否かを判定する。
FIG. 21A shows a flowchart of a part of the processing procedure when display and shooting are linked.
FIG. 21A shows a processing procedure for performing the processing of step S121 and step S122 between step S110 and step S111 in the flowchart of FIG. 19, for example. After the images C1, C2, etc. in FIG. 20 are displayed on the
The
連動させない判定結果の場合には、画像処理&制御部4は、ステップS121の後ステップS111に進む。この場合には、図19と同様の処理を行うことになる。
一方、連動の判定結果の場合には、ステップS121の処理の後、ステップS122において画像処理&制御部4は、表示部5で表示した場合の画像を撮影し、記録部8に記録する処理を行った後、ステップS111に進む。その他は、図19、又は上述したように合成画像の生成、表示に関する一部を変形した処理手順と同様である。
図21Aに示した処理手順に沿った場合の撮影・記録の様子を図20の3段目に示す。なお、図20の3段目においては、撮影・記録(1)として示している。具体的にはローコントラスト領域が中央部のみとなる画質が良好と考えられる画像C1が(2段目に示すように)表示されると、その表示に連動して、3段目に示すように画像C1が撮影すべき撮影画像として仮記録部4hから記録部8に撮影・記録される。
In the case of the determination result that is not linked, the image processing &
On the other hand, in the case of the interlocking determination result, after the processing of step S121, in step S122, the image processing &
The state of photographing / recording along the processing procedure shown in FIG. 21A is shown in the third row of FIG. Note that, in the third row of FIG. 20, the shooting / recording (1) is shown. Specifically, when an image C1 considered to have good image quality with a low contrast area only in the center is displayed (as shown in the second row), as shown in the third row in conjunction with the display. The image C1 is photographed and recorded from the temporary recording unit 4h to the recording unit 8 as a photographed image to be photographed.
この場合、撮影画像と共に、仮記録部4hに仮記録されたタイミング又は記録部8に記録されるタイミングが撮影タイミングとして記録される。なお、画像C1が継続して表示された場合には、その撮影・記録は最初の画像C1のみとなる。その後の画像C2等においても、表示に連動して撮影・記録が行われる。
従って、この場合には、画像処理&制御部4は、表示部5に表示する画質が良好と考えられる画像に連動して撮影して記録する撮影タイミングを決定する撮影タイミング決定部4iの機能を持つ。また、上記の説明のように、この撮影タイミング付近のタイミング(なお、このタイミングも撮影タイミングに含まれるように定義しても良い)において、画像合成部4aは合成画像を生成し、生成された合成画像は表示部5で表示される。
In this case, together with the captured image, the timing temporarily recorded in the temporary recording unit 4h or the timing recorded in the recording unit 8 is recorded as the imaging timing. When the image C1 is continuously displayed, only the first image C1 is captured / recorded. In the subsequent image C2 and the like, shooting and recording are performed in conjunction with the display.
Therefore, in this case, the image processing &
また、画像C1、C2等の撮影・記録の他に合成画像を撮影・記録するようにしても良い。この場合の1例として、図20の2段目の表示と連動して合成画像D1,D2,…を撮影・記録する。この他に、図20の4段目に撮影・記録(2)に示すように撮影・記録しても良い。図20の4段目に示す例では、複数の合成画像を連続して表示した場合には、その中から、例えが上下方向におけるローコントラスト領域の広がりの最も小さい画像を用いて生成した合成画像のみを撮影・記録するようにしている。 In addition to photographing / recording the images C1, C2, etc., a composite image may be photographed / recorded. As an example of this case, the composite images D1, D2,... Are photographed and recorded in conjunction with the second display in FIG. In addition, as shown in the shooting / recording (2) on the fourth row in FIG. 20, shooting / recording may be performed. In the example shown in the fourth row of FIG. 20, when a plurality of composite images are displayed in succession, a composite image generated using, for example, an image with the smallest spread of the low contrast region in the vertical direction from among them. Only to shoot and record.
具体例においては、画像B1が撮像されると、この画像B1と仮記録された表示されない最新の画像A2とによる合成画像D1が表示され、次のフレームにおいて画像B2と画像A2とによる合成画像D2とが連続して表示される。この場合、上下方向におけるローコントラスト領域の広がりが画像B1よりも画像B2の方が小さい場合であるとして、合成画像D2を撮影・記録する。なお、合成画像D2を記録部8に実際に記録するタイミングは、合成画像D2の表示後となる。
図21Bはこのような処理を行う処理手順を示す。図21Bの処理手順は、図19におけるステップS106からステップS111に進む処理手順を変形した内容に該当する。
In a specific example, when the image B1 is picked up, a composite image D1 composed of the image B1 and the latest image A2 that has been temporarily recorded and is not displayed is displayed, and a composite image D2 composed of the image B2 and the image A2 in the next frame. And are displayed continuously. In this case, the composite image D2 is captured and recorded on the assumption that the spread of the low contrast region in the vertical direction is smaller in the image B2 than in the image B1. Note that the timing at which the composite image D2 is actually recorded in the recording unit 8 is after the display of the composite image D2.
FIG. 21B shows a processing procedure for performing such processing. The processing procedure of FIG. 21B corresponds to a modification of the processing procedure that proceeds from step S106 to step S111 in FIG.
ステップS106において画像IB′(図20では画像B1)として仮記録した後、ステップS131において画像処理&制御部4は、仮記録部4hに画像IA′が仮記録されているか否かの判定を行う。
仮記録部4hに画像IA′が仮記録されていない場合にはステップS111に進み、逆に仮記録部4hに画像IA′が仮記録されている場合にはステップS132に進む。
このステップS132において画像処理&制御部4は、画像IB′と、仮記録部4hに仮記録され、表示されない最新の画像IA′とで合成画像を生成し、その合成画像を表示する。この場合、画像処理&制御部4は、例えば画像IB′のローコントラスト領域に、最新の画像IA′のローコントラスト領域以外の画像を合成して表示部5に表示する。つまり、画像IB′のローコントラスト領域を、画像IA′の(ローコントラスト領域以外の)画像で置換による補正を行い、画像IB′のローコントラスト領域を低減した良好な画像を生成して、表示部5で表示する。
After temporarily recording as image IB ′ (image B1 in FIG. 20) in step S106, in step S131, the image processing &
If the image IA ′ is not temporarily recorded in the temporary recording unit 4h, the process proceeds to step S111. Conversely, if the image IA ′ is temporarily recorded in the temporary recording unit 4h, the process proceeds to step S132.
In step S132, the image processing &
さらに次のステップS133において画像処理&制御部4は、複数の画像IB′が連続して存在し、連続しているものの最後の画像であるか否かの判定を行う。これに該当しない場合にはステップS111に進む。
一方、S133の判定に該当する場合には次のステップS134において画像処理&制御部4は、上下方向(より厳密には中央部から下方向)にローコントラスト領域の広がりが最も小さい画像をIB′minを検出する。そして、画像処理&制御部4は、この画像IB′minと画像IA′による合成画像を撮影・記録して、ステップS111に進む。
Further, in the next step S133, the image processing &
On the other hand, if the determination in S133 is satisfied, in the next step S134, the image processing &
なお、画像IB′minを検出するためには、連続する画像IB′の最後の画像の検出(判定)が必要になるため、上記のように実際に記録部8に合成画像を撮影・記録するタイミングは、撮像したタイミングや仮記録したタイミングよりも若干遅れる。但し、仮記録する場合、仮記録するタイミング(時間)を同時に仮記録しておくことにより、実際に記録部8に記録する撮影タイミング(時間)として、それらのタイミングを記録するようにすれば、実際の記録動作が若干遅れることは問題にならない。また、仮記録するタイミングと記録部8に記録するタイミングとの差が小さいような場合には、いずれのタイミングを用いても良い。
図20の4段目においては、さらに画像C3の次に画像A3、A4が順次撮像されると、図21Bに示した処理と類似した処理(IA′とIB′とを入れ替えた処理)が行われる。
In order to detect the image IB′min, it is necessary to detect (determine) the last image of the continuous images IB ′. Therefore, the composite image is actually captured and recorded in the recording unit 8 as described above. The timing is slightly delayed from the timing at which the image is taken and the timing at which temporary recording is performed. However, in the case of temporary recording, by temporarily recording the timing (time) for temporary recording at the same time, if those timings are recorded as the shooting timing (time) actually recorded in the recording unit 8, It does not matter that the actual recording operation is slightly delayed. In addition, when the difference between the timing for temporary recording and the timing for recording in the recording unit 8 is small, any timing may be used.
In the fourth row in FIG. 20, when images A3 and A4 are sequentially captured next to image C3, processing similar to the processing shown in FIG. 21B (processing in which IA ′ and IB ′ are switched) is performed. Is called.
そして、同様に合成画像D3、D4においては、上下方向におけるローコントラスト領域の広がりが最も小さい画像を用いた場合の合成画像D4を撮影・記録する。ここで、上下方向におけるローコントラスト領域の広がりは、画像A3よりも画像A4の方が小さいとしている。
このように表示と撮影の制御を行う第2の実施形態によれば、第1の実施形態の効果の他に、水上被写体及び水中被写体とを同時に含むような良好な撮像状態に相当する画像を表示することも、記録部8に撮影・記録することができる。
なお、第1の実施形態においても、合成画像における例えばローコントラスト領域が上下方向において閾値よりも小さいか否かを判定し、閾値よりも小さい判定結果の場合には良好な画像として記録部8に記録するようにしても良い。また、水面部の影響が小さいと判定した合成画像を撮影画像として記録部8に記録しても良い。
また、上述した実施形態等を部分的に組み合わせたり、発明の要旨を変更することなく変形して構成される実施形態も本発明に属する。
Similarly, in the composite images D3 and D4, the composite image D4 when the image having the smallest spread of the low contrast region in the vertical direction is used is captured and recorded. Here, the spread of the low contrast region in the vertical direction is assumed to be smaller in the image A4 than in the image A3.
According to the second embodiment that controls display and shooting in this way, in addition to the effects of the first embodiment, an image corresponding to a good imaging state that includes a water subject and an underwater subject at the same time is displayed. Displaying can also be performed by photographing and recording in the recording unit 8.
Also in the first embodiment, it is determined whether, for example, a low-contrast region in the composite image is smaller than a threshold value in the vertical direction, and if the determination result is smaller than the threshold value, a good image is stored in the recording unit 8. It may be recorded. Further, a composite image determined to have a small influence on the water surface portion may be recorded in the recording unit 8 as a captured image.
In addition, embodiments that are configured by partially combining the above-described embodiments or the like without changing the gist of the invention also belong to the present invention.
1…カメラ、1B…携帯カメラ部、2…ケース、3…撮像部、3a…撮影レンズ、3b…撮像素子、3d…ピント合わせ部、4…画像処理&制御部、4a…画像合成部、4b…表示制御部、4c…ピント制御部、4e…水面部画像検出部、4f…ローコントラスト領域検出部、4g…半水中撮影モード判定部、4h…仮記録部、4i…撮影タイミング決定部、5…表示部、8…記録部、15…加速度検知部、31…波
DESCRIPTION OF
Claims (10)
上記撮像部で撮像した被写体の画像から、上記水上被写体の水上被写体画像と、上記水中被写体の水中被写体画像との境界の水面部に対応する水面部画像を検出する水面部画像検出部と、
上記撮像部で撮像した被写体の画像における上記水面部画像の上側に上記水中被写体画像、又は上記水面部画像の下側に上記水上被写体画像を合成して、合成画像を生成する画像合成部と、
を具備することを特徴とするカメラ。 An imaging unit for capturing a water subject on the upper surface of the water surface and an underwater object on the lower surface side of the water surface;
From the image of the subject captured by the imaging unit, and the water subject image of the water subject, and the water surface portion image detecting unit for detecting a water surface portion image corresponding to the water surface of the boundary between the water subject image of the underwater object,
An image compositing unit that synthesizes the underwater subject image above the water surface image in the image of the subject imaged by the imaging unit or the water subject image below the water surface image, and generates a composite image;
A camera comprising:
上記水面部画像検出部の検出結果に基づいて、上記撮像部の視野内における上記水面部の存在によって撮影が妨げられた上記水上被写体画像及び上記水中被写体画像の少なくとも一方を補間して、上記合成画像を生成することを特徴とする請求項1に記載のカメラ。 The image composition unit
Based on the detection result of the water surface portion picture image detection unit interpolates at least one of the water object image and the underwater object image photographing is hindered by the presence of the water surface portion of the field of view of the imaging unit, the The camera according to claim 1, wherein a composite image is generated.
上記撮像部で撮像した被写体の画像から、少なくとも水平方向に帯状に延びるローコントラストのローコントラスト領域の検出結果により上記水面を含む水面部に対応する上記水面部画像を検出することを特徴とする請求項1に記載のカメラ。 The water surface image detection unit is
The water surface image corresponding to a water surface portion including the water surface is detected from a detection result of a low contrast low contrast region extending in a strip shape in the horizontal direction from an image of a subject imaged by the imaging unit. Item 14. The camera according to Item 1.
水平方向に帯状に延びる上記ローコントラスト領域が上又は下方向に広がって存在している場合の上記水面部画像を含む被写体の画像に対して、上記水中被写体画像又は上記水上被写体画像を合成して、上記合成画像を生成することを特徴とする請求項3に記載のカメラ。 The image composition unit
The underwater subject image or the above water subject image is synthesized with the subject image including the water surface image when the low contrast region extending in a strip shape in the horizontal direction extends upward or downward. The camera according to claim 3, wherein the composite image is generated.
上記撮像ステップで撮像した被写体の画像から、上記水上被写体の水上被写体画像と、上記水中被写体の水中被写体画像との境界の水面部に対応する水面部画像を検出する水面部画像検出ステップと、
上記撮像ステップで撮像した上記被写体の画像における上記水面部画像の上側に上記水中被写体画像、又は上記水面部画像の下側に上記水上被写体画像を合成して、合成画像を生成する画像合成ステップと、
を具備することを特徴とする画像合成方法。 An imaging step for capturing a water subject on the upper surface of the water surface and an underwater object on the lower surface of the water surface;
From the image of the subject captured by the imaging step, the water subject image of the water subject, and the water surface portion image detection step of detecting a water surface portion image corresponding to the water surface of the boundary between the water subject image of the underwater object,
An image synthesis step for generating a composite image by combining the underwater subject image above the water surface image in the image of the subject imaged in the imaging step or the above water subject image below the water surface image; ,
An image synthesizing method comprising:
上記撮像部が上記水上被写体と上記水中被写体とを同時に撮影するための撮影モードとしての半水中撮影モードの撮影状態に設定されたことを自動的に検出する半水中撮影モード判定部と、
上記半水中撮影モード判定部による半水中撮影モードの撮影状態の判定後における複数の撮影タイミングにより上記撮像部により撮影された複数の画像から水面が変動する水面部により発生する水面部画像を検出し、該水面部画像の少なくとも一部に上記水上被写体の水上被写体画像又は上記水中被写体の水中被写体画像を合成して上記水面部画像の領域を低減した合成画像を生成する画像合成部と、
を具備することを特徴とするカメラ。 An imaging unit for simultaneously photographing a water subject on the upper surface of the water surface and an underwater object on the lower surface of the water surface;
A semi-underwater shooting mode determination unit that automatically detects that the imaging unit is set to a shooting state of a semi-underwater shooting mode as a shooting mode for simultaneously shooting the water subject and the underwater subject;
A water surface image generated by a water surface portion where the water surface fluctuates is detected from a plurality of images photographed by the imaging unit at a plurality of photographing timings after determination of the photographing state of the semi-underwater photographing mode by the semi-underwater photographing mode determining unit. An image composition unit that synthesizes the water subject image of the water subject or the underwater subject image of the underwater subject to at least a part of the water surface image to generate a composite image in which the area of the water surface image is reduced;
A camera comprising:
上記撮像部で撮像した被写体の画像から、水面が変動する水面部によって生じる水面部画像を検出し、上記水上被写体の水上被写体画像と上記水中被写体の水中被写体画像の同時撮影に適した撮影タイミングを決定する撮影タイミング決定部と、
上記撮影タイミング決定部で決定した撮影タイミング付近の複数のタイミングで撮像された複数の上記被写体の画像から合成画像を生成する画像合成部と、
を具備することを特徴とするカメラ。 An imaging unit for simultaneously photographing a water subject on the upper surface of the water surface and an underwater object on the lower surface of the water surface;
A water surface image generated by a water surface portion where the water surface fluctuates is detected from the image of the subject imaged by the imaging unit, and a shooting timing suitable for simultaneous shooting of the water subject image of the water subject and the underwater subject image of the underwater subject is determined. A shooting timing determination unit to be determined;
An image compositing unit that generates a composite image from a plurality of images of the subject imaged at a plurality of timings near the photographing timing determined by the photographing timing determining unit;
A camera comprising:
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009260245A JP5461151B2 (en) | 2009-11-13 | 2009-11-13 | Camera and image composition method |
US12/868,864 US8379112B2 (en) | 2009-09-09 | 2010-08-26 | Waterproof camera and display method |
US13/727,438 US8970771B2 (en) | 2009-09-09 | 2012-12-26 | Waterproof camera having a semi-underwater photographing mode |
US14/613,966 US9277127B2 (en) | 2009-09-09 | 2015-02-04 | Waterproof camera having a semi-underwater photographing mode |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009260245A JP5461151B2 (en) | 2009-11-13 | 2009-11-13 | Camera and image composition method |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014005250A Division JP5715273B2 (en) | 2014-01-15 | 2014-01-15 | camera |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2011109267A JP2011109267A (en) | 2011-06-02 |
JP2011109267A5 JP2011109267A5 (en) | 2012-12-27 |
JP5461151B2 true JP5461151B2 (en) | 2014-04-02 |
Family
ID=44232306
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009260245A Expired - Fee Related JP5461151B2 (en) | 2009-09-09 | 2009-11-13 | Camera and image composition method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5461151B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8822424B2 (en) | 2007-11-21 | 2014-09-02 | Achaogen, Inc. | Antibacterial aminoglycoside analogs |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6045348B2 (en) * | 2013-01-04 | 2016-12-14 | オリンパス株式会社 | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD |
JP6163358B2 (en) * | 2013-05-31 | 2017-07-12 | 日本放送協会 | Underwater imaging device and underwater imaging method |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0875981A (en) * | 1994-09-05 | 1996-03-22 | Olympus Optical Co Ltd | Camera |
JP3382739B2 (en) * | 1994-11-14 | 2003-03-04 | オリンパス光学工業株式会社 | Underwater camera |
JP2000224576A (en) * | 1999-01-29 | 2000-08-11 | Tokuji Terada | Underwater on-water synchronous photographing device |
JP4280970B2 (en) * | 2002-11-26 | 2009-06-17 | ソニー株式会社 | camera |
-
2009
- 2009-11-13 JP JP2009260245A patent/JP5461151B2/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8822424B2 (en) | 2007-11-21 | 2014-09-02 | Achaogen, Inc. | Antibacterial aminoglycoside analogs |
Also Published As
Publication number | Publication date |
---|---|
JP2011109267A (en) | 2011-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9277127B2 (en) | Waterproof camera having a semi-underwater photographing mode | |
KR101058656B1 (en) | Image pickup device capable of displaying live preview images | |
JP4904108B2 (en) | Imaging apparatus and image display control method | |
JP5563283B2 (en) | Image processing device | |
JP2012227839A (en) | Imaging apparatus | |
JP6833801B2 (en) | Imaging equipment, imaging methods, programs and recording media | |
US7805068B2 (en) | Imaging apparatus | |
JP2007027967A (en) | Photographing apparatus | |
US20130307994A1 (en) | Photometric device, imaging device, and camera | |
JP5461151B2 (en) | Camera and image composition method | |
JP4406461B2 (en) | Imaging device | |
JP4053321B2 (en) | Electronic camera | |
JP2005311764A (en) | Digital camera | |
JP5715273B2 (en) | camera | |
JP2004328606A (en) | Imaging device | |
JP5908007B2 (en) | Camera, camera water surface fluctuation detection method, camera water surface fluctuation detection program | |
JP5581838B2 (en) | Automatic focusing control device, electronic camera and automatic focusing control method | |
JP4854417B2 (en) | Imaging apparatus and method, program, and storage medium | |
JP4852504B2 (en) | Imaging apparatus and focus state display method | |
JP2008211674A (en) | Image signal processing method and apparatus | |
JP5275189B2 (en) | camera | |
JP5479636B2 (en) | Camera and camera operation method | |
JP5390311B2 (en) | Camera and display method | |
JP4760497B2 (en) | Image data generation apparatus and image data generation method | |
JP4761039B2 (en) | Imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121108 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121108 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130909 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130917 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131010 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131224 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140115 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5461151 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R157 | Certificate of patent or utility model (correction) |
Free format text: JAPANESE INTERMEDIATE CODE: R157 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees | ||
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |