Nothing Special   »   [go: up one dir, main page]

JP5461151B2 - Camera and image composition method - Google Patents

Camera and image composition method Download PDF

Info

Publication number
JP5461151B2
JP5461151B2 JP2009260245A JP2009260245A JP5461151B2 JP 5461151 B2 JP5461151 B2 JP 5461151B2 JP 2009260245 A JP2009260245 A JP 2009260245A JP 2009260245 A JP2009260245 A JP 2009260245A JP 5461151 B2 JP5461151 B2 JP 5461151B2
Authority
JP
Japan
Prior art keywords
image
subject
water surface
water
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009260245A
Other languages
Japanese (ja)
Other versions
JP2011109267A5 (en
JP2011109267A (en
Inventor
一弥 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Imaging Corp
Original Assignee
Olympus Imaging Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=44232306&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP5461151(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Olympus Imaging Corp filed Critical Olympus Imaging Corp
Priority to JP2009260245A priority Critical patent/JP5461151B2/en
Priority to US12/868,864 priority patent/US8379112B2/en
Publication of JP2011109267A publication Critical patent/JP2011109267A/en
Priority to US13/727,438 priority patent/US8970771B2/en
Publication of JP2011109267A5 publication Critical patent/JP2011109267A5/en
Application granted granted Critical
Publication of JP5461151B2 publication Critical patent/JP5461151B2/en
Priority to US14/613,966 priority patent/US9277127B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Exposure Control For Cameras (AREA)
  • Structure And Mechanism Of Cameras (AREA)
  • Studio Circuits (AREA)
  • Studio Devices (AREA)

Description

本発明は、水上の被写体と水中の被写体とをそれぞれ撮影するカメラ及び画像合成方法に関する。 The present invention relates to a camera and an image composition method for photographing a water subject and a water subject, respectively .

近年、カメラなど携帯機器は、防水機能を向上させて水中に落としても壊れないようなものが多く出て来ており、さらに水中での利用を可能としたものが増加している。特に、水中には陸上とは異なる被写体が存在するため、撮影機能などを強化することによって、ユーザの楽しみは増加する傾向にある。
例えば、従来例としての特許3635500号においては、水中であるか否かを判定する判定手段を備えることにより、水中における被写体の撮影も行うことができるカメラが開示されている。
In recent years, many portable devices such as cameras have been improved so that they can be waterproofed and not broken even when dropped in water, and the number of devices that can be used in water is increasing. In particular, since there is a subject different from the land in water, the enjoyment of the user tends to increase by enhancing the photographing function and the like.
For example, Japanese Patent No. 3635500 as a conventional example discloses a camera that can also shoot a subject underwater by including a determination unit that determines whether or not the subject is underwater.

しかし、水辺の撮影では、水上側と水中側とを同時撮影したいというニーズがあるが、上記従来例は、水中での撮影を行うことを想定したものであったので、一部が水上にある被写体のシーンの撮影に対する対応が考慮されていなかった。
このため、水上側となる水上被写体と、水中側となる水中被写体とを同時に撮影できるカメラが望まれる。
しかし、波により水面が変動するような状況においては、水上被写体像と水中被写体像とを撮像面に同時に含む(又は収めた)タイミングで、撮影することが困難になる。
However, in waterside shooting, there is a need to simultaneously shoot the water side and the underwater side, but the above conventional example was supposed to shoot underwater, so some is on the water Correspondence to shooting of the scene of the subject was not considered.
For this reason, a camera that can simultaneously photograph a water subject on the water side and a water subject on the water side is desired.
However, in a situation where the water surface fluctuates due to waves, it becomes difficult to take a picture at a timing at which a water subject image and an underwater subject image are simultaneously included (or stored) on the imaging surface.

なお、特開2005−215684号公報には、カメラの撮影タイミングを自動で決定することが開示されている。
しかし、この公報は、人物の顔に関するもので、被写体そのものの特徴を検出するものであって、被写体を取り巻く、特殊な環境に対応するものでない。
本発明は上述した点に鑑みてなされたもので、水面が変動する撮像又は撮影状況においても、水上被写体及び水中被写体の両画像を同時に含む画像を取得するのに適したカメラ及び画像合成方法を提供することを目的とする。
Japanese Patent Laid-Open No. 2005-215684 discloses that the shooting timing of a camera is automatically determined.
However, this publication relates to a person's face and detects the characteristics of the subject itself, and does not correspond to a special environment surrounding the subject.
The present invention has been made in view of the above points, and provides a camera and an image synthesizing method suitable for acquiring an image including both a water subject and an underwater subject at the same time even in an imaging or photographing situation in which the water surface fluctuates. The purpose is to provide.

本発明の1態様に係るカメラは、水面上部側の水上被写体と、水面下部側の水中被写体とをそれぞれ撮影するための撮像部と、
上記撮像部で撮像した被写体の画像から、上記水上被写体の水上被写体画像と、上記水中被写体の水中被写体画像との境界の水面部に対応する水面部画像を検出する水面部画像検出部と、
上記撮像部で撮像した被写体の画像における上記水面部画像の上側に上記水中被写体画像、又は上記水面部画像の下側に上記水上被写体画像を合成して、合成画像を生成する画像合成部と、
を具備する。
本発明の1態様に係る画像合成方法は、水面上部側の水上被写体と、水面下部側の水中被写体とをそれぞれ撮影するための撮像ステップと、
上記撮像ステップで撮像した被写体の画像から、上記水上被写体の水上被写体画像と、上記水中被写体の水中被写体画像との境界の水面部に対応する水面部画像を検出する水面部画像検出ステップと、
上記撮像ステップで撮像した上記被写体の画像における上記水面部画像の上側に上記水中被写体画像、又は上記水面部画像の下側に上記水上被写体画像を合成して、合成画像を生成する画像合成ステップと、
を具備する。
本発明の他の1態様に係るカメラは、水面上部側の水上被写体と、水面下部側の水中被写体とを同時に撮影するための撮像部と、
上記撮像部が上記水上被写体と上記水中被写体とを同時に撮影するための撮影モードとしての半水中撮影モードの撮影状態に設定されたことを自動的に検出する半水中撮影モード判定部と、
上記半水中撮影モード判定部による半水中撮影モードの撮影状態の判定後における複数の撮影タイミングにより上記撮像部により撮影された複数の画像から水面が変動する水面部により発生する水面部画像を検出し、該水面部画像の少なくとも一部に上記水上被写体の水上被写体画像又は上記水中被写体の水中被写体画像を合成して上記水面部画像の領域を低減した合成画像を生成する画像合成部と、
を具備する。
The camera according to one aspect of the present invention includes an imaging unit for capturing a water subject on the upper side of the water surface and an underwater subject on the lower side of the water surface,
From the image of the subject captured by the imaging unit, and the water subject image of the water subject, and the water surface portion image detecting unit for detecting a water surface portion image corresponding to the water surface of the boundary between the water subject image of the underwater object,
An image compositing unit that synthesizes the underwater subject image above the water surface image in the image of the subject imaged by the imaging unit or the water subject image below the water surface image, and generates a composite image;
It includes a.
An image compositing method according to one aspect of the present invention includes an imaging step for capturing a water subject on the upper side of the water surface and an underwater subject on the lower side of the water surface,
From the image of the subject captured by the imaging step, the water subject image of the water subject, and the water surface portion image detection step of detecting a water surface portion image corresponding to the water surface of the boundary between the water subject image of the underwater object,
An image synthesis step for generating a composite image by combining the underwater subject image above the water surface image in the image of the subject imaged in the imaging step or the above water subject image below the water surface image; ,
It includes a.
A camera according to another aspect of the present invention includes an imaging unit for simultaneously photographing a water subject on the upper side of the water surface and an underwater subject on the lower side of the water surface,
A semi-underwater shooting mode determination unit that automatically detects that the imaging unit is set to a shooting state of a semi-underwater shooting mode as a shooting mode for simultaneously shooting the water subject and the underwater subject;
A water surface image generated by a water surface portion where the water surface fluctuates is detected from a plurality of images photographed by the imaging unit at a plurality of photographing timings after determination of the photographing state of the semi-underwater photographing mode by the semi-underwater photographing mode determining unit. An image composition unit that synthesizes the water subject image of the water subject or the underwater subject image of the underwater subject to at least a part of the water surface image to generate a composite image in which the area of the water surface image is reduced;
It includes a.

本発明の更に他の1態様に係るカメラは、水面上部側の水上被写体と、水面下部側の水中被写体とを同時に撮影するための撮像部と、
上記撮像部で撮像した被写体の画像から、水面が変動する水面部によって生じる水面部画像を検出し、上記水上被写体の水上被写体画像と、上記水中被写体の水中被写体画像の同時撮影するための撮影タイミングを決定する撮影タイミング決定部と、
上記撮影タイミング決定部で決定した撮影タイミング付近の複数のタイミングで撮影された複数の上記被写体の画像から合成画像を生成する画像合成部と、
を具備することを特徴とする。
A camera according to still another aspect of the present invention includes an imaging unit for simultaneously photographing a water subject on the upper side of the water surface and an underwater subject on the lower side of the water surface,
Shooting timing for detecting a water surface image generated by a water surface portion where the water surface fluctuates from the image of the subject imaged by the imaging unit, and simultaneously photographing the water subject image of the water subject and the underwater subject image of the underwater subject. A shooting timing determination unit for determining
An image composition unit for generating a composite image from a plurality of images of the subject photographed at a plurality of timings near the photographing timing determined by the photographing timing determination unit;
It is characterized by comprising.

本発明によれば、水面が変動する撮像又は撮影状況においても、水上被写体及び水中被写体の両画像を同時に含む画像を取得するのに適したカメラ及び画像合成方法を実現できる。 According to the present invention, it is possible to realize a camera and an image synthesizing method suitable for acquiring an image including both images of a water subject and an underwater subject even in an imaging or shooting situation in which the water surface varies.

図1は本発明の第1の実施形態に係るカメラの構成を示すブロック図。FIG. 1 is a block diagram showing a configuration of a camera according to the first embodiment of the present invention. 図2Aはカメラの前面側の構成を示す斜視図。FIG. 2A is a perspective view showing the configuration of the front side of the camera. 図2Bはカメラの背面側の構成を示す斜視図。FIG. 2B is a perspective view showing the configuration of the back side of the camera. 図3Aは水上及び水中にまたがる被写体を示す図。FIG. 3A is a diagram showing a subject that is on the water and straddles the water. 図3Bは図3Aの水上及び水中にまたがる被写体をユーザがカメラにより両方同時に撮影する半水中撮影モード時の様子を示す図。FIG. 3B is a diagram illustrating a state in a semi-underwater photographing mode in which the user simultaneously photographs both of the subject straddling the water and the water in FIG. 3A with the camera. 図4は半水中撮影モード時のピント合わせを行う場合の説明図。FIG. 4 is an explanatory diagram when performing focusing in the semi-underwater shooting mode. 図5は第1の実施形態における半水中撮影モード時に実際にピント合わせした様子の動作説明図。FIG. 5 is an operation explanatory diagram showing a state where focusing is actually performed in the semi-underwater photographing mode according to the first embodiment. 図6は図5に示したピント合わせを行う場合の処理手順を示すフローチャート。FIG. 6 is a flowchart showing a processing procedure in the case of performing the focusing shown in FIG. 図7は水面が局所的に変動する波がある場合に、乱れた水面部分により本来の撮影対象の被写体像が結像されない状況が発生する様子の説明図。FIG. 7 is an explanatory diagram illustrating a situation in which a subject image to be originally photographed is not formed due to a disturbed water surface portion when there is a wave whose water surface fluctuates locally. 図8Aは撮影レンズ径よりも大きな波がある状態で半水中撮影モードの撮影状態で撮影している様子を示す図。FIG. 8A is a diagram illustrating a state in which shooting is performed in a shooting state in a semi-underwater shooting mode in a state where there is a wave larger than the shooting lens diameter. 図8Bは図8Aと同様の状態において、時間的に変動する波により図8Aとは異なる撮影状態になった様子を示す図。FIG. 8B is a diagram illustrating a state in which the imaging state is different from that in FIG. 8A due to a time-varying wave in the same state as in FIG. 8A. 図9Aは図8Aの状態で撮影された画像例を示す図。FIG. 9A is a diagram showing an example of an image taken in the state of FIG. 8A. 図9Bは図8Bの状態で撮影された画像例を示す図。9B is a diagram showing an example of an image taken in the state of FIG. 8B. 図9Cは第1の実施形態における画像合成部により生成される合成画像例を示す図。FIG. 9C is a diagram illustrating an example of a composite image generated by the image composition unit in the first embodiment. 図10は第1の実施形態における画像処理&制御部による撮影を行う場合の処理手順の1例を示すフローチャート。FIG. 10 is a flowchart illustrating an example of a processing procedure when shooting is performed by the image processing & control unit according to the first embodiment. 図11は図10における水面パターン検知の処理手順を示すフローチャート。FIG. 11 is a flowchart showing a water surface pattern detection processing procedure in FIG. 10. 図12は図10における半水中撮影モードの撮影状態であるか否かの判定を行う処理手順を示すフローチャート。12 is a flowchart showing a processing procedure for determining whether or not the shooting state is the semi-underwater shooting mode in FIG. 図13の(A),(B),(C),(D)は図12の処理手順における説明図。(A), (B), (C), and (D) of FIG. 13 are explanatory diagrams in the processing procedure of FIG. 図14は図12の判定結果に対応した表示切換を行う場合の処理手順を示すフローチャート。FIG. 14 is a flowchart showing a processing procedure when display switching corresponding to the determination result of FIG. 12 is performed. 図15Aは変形例における図12の半水中撮影モードの撮影状態であるか否かの判定を行う処理手順を示すフローチャート。FIG. 15A is a flowchart showing a processing procedure for determining whether or not the photographing state of the semi-underwater photographing mode of FIG. 図15Bは半水中撮影モードに対応した代表的な被写体を示す説明図。FIG. 15B is an explanatory view showing a typical subject corresponding to the semi-underwater shooting mode. 図16は本発明の第2の実施形態に係る携帯電話の携帯カメラ部の構成を示すブロック図。FIG. 16 is a block diagram showing a configuration of a mobile camera unit of a mobile phone according to the second embodiment of the present invention. 図17はユーザが携帯電話を用いて池内の亀を撮像して鑑賞している様子を示す図。FIG. 17 is a diagram illustrating a state in which a user images and appreciates a turtle in a pond using a mobile phone. 図18Aは図17におけるあるタイミングにより得られる画像例を示す図。18A is a diagram showing an example of an image obtained at a certain timing in FIG. 図18Bは図17におけるあるタイミングにより得られる画像例を示す図。18B is a diagram showing an example of an image obtained at a certain timing in FIG. 図18Cは図17におけるあるタイミングにより得られる画像例を示す図。18C is a diagram showing an example of an image obtained at a certain timing in FIG. 図19は第2の実施形態における画像処理&制御部による鑑賞を行う場合の処理手順の1例を示すフローチャート。FIG. 19 is a flowchart illustrating an example of a processing procedure when viewing by the image processing & control unit according to the second embodiment. 図20は図19に対応した動作説明用のタイミング図。FIG. 20 is a timing diagram for explaining the operation corresponding to FIG. 図21Aは表示と撮影・記録とを連動させた場合の処理手順の一部を示すフローチャート。FIG. 21A is a flowchart showing a part of a processing procedure when display and shooting / recording are linked. 図21Bは合成画像も撮影・記録する場合の処理手順の一部を示すフローチャート。FIG. 21B is a flowchart showing a part of the processing procedure when a composite image is also taken and recorded.

以下、図面を参照して本発明の実施形態を説明する。
(第1の実施形態)
図1に示す本発明の第1の実施形態の撮影機能を備えた防水構造のカメラ1は、図2A及び図2Bに示すように箱型形状である。このカメラ1の外装体としての防水構造のケース2の前面における中央から左側に、かつ上部側に寄った位置に、被写体を撮像(撮影)する撮像部3を構成する撮影レンズ3aが設けられている。
実際には、図4、図5、図6に示すように撮影レンズ3aの前にカバーガラス3cが配置され、撮影レンズ3aを防水して保護している。また、カバーガラス3c及び撮影レンズ3aは、図示しないレンズ鏡筒に取り付けられている。そして、撮影レンズ3aの結像位置には、電荷結合素子(CCD)等の撮像素子3bが配置されており、撮影レンズ3aと撮像素子3bとにより図1の撮像部3が形成される。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(First embodiment)
A waterproof camera 1 having a photographing function according to the first embodiment of the present invention shown in FIG. 1 has a box shape as shown in FIGS. 2A and 2B. A photographing lens 3a constituting the imaging unit 3 that images (photographs) a subject is provided at a position from the center to the left side of the front surface of the waterproof case 2 as an exterior body of the camera 1 and closer to the upper side. Yes.
Actually, as shown in FIGS. 4, 5, and 6, a cover glass 3c is disposed in front of the photographing lens 3a to protect the photographing lens 3a by waterproofing. The cover glass 3c and the photographing lens 3a are attached to a lens barrel (not shown). An imaging element 3b such as a charge coupled device (CCD) is disposed at the imaging position of the photographing lens 3a, and the imaging unit 3 of FIG. 1 is formed by the photographing lens 3a and the imaging element 3b.

また、図1に示すように撮像部3は、ピント合わせ部3dにより、撮像素子3bの撮像面に結像される被写体像のピント合わせを行うことができる。このピント合わせ部3dは、例えば撮影レンズ3aを、その光軸方向に移動させる駆動部3e(図4参照)を用いて構成される。
なお、駆動部3eにより撮影レンズ3aを移動する代わりに、撮像素子3bを光軸方向に移動させる構成にしても良い。また、図1等においては撮像部3とピント合わせ部3dとを別体で示しているが、撮像部3がピント合わせ部3dを含む構成でも良い。
この撮像部3の撮像素子3bは、その撮像面に結像された被写体像を光電変換した撮像信号を、図1に示す画像処理と制御とを行う画像処理&制御部4に出力する。
Further, as shown in FIG. 1, the imaging unit 3 can focus the subject image formed on the imaging surface of the imaging device 3b by the focusing unit 3d. The focusing unit 3d is configured by using, for example, a driving unit 3e (see FIG. 4) that moves the photographing lens 3a in the optical axis direction.
Instead of moving the photographic lens 3a by the drive unit 3e, the image sensor 3b may be moved in the optical axis direction. 1 and the like, the imaging unit 3 and the focusing unit 3d are shown separately, but the imaging unit 3 may include a focusing unit 3d.
The imaging device 3b of the imaging unit 3 outputs an imaging signal obtained by photoelectrically converting the subject image formed on the imaging surface to the image processing & control unit 4 that performs the image processing and control shown in FIG.

画像処理&制御部4は、撮像信号に対する画像処理を行い、表示用の画像信号を生成して表示部5に出力する。表示部5は、入力される表示用の画像信号に対応する画像をその表示画面(単に画面とも言う)で表示する。
この表示部5で表示される画像は、撮像素子3bの撮像面に結像された被写体像に対応する画像であり、ユーザはこの画像を観察することにより、撮影画像として記録するか否かを確認する。
このため、通常の撮影モードにおいては、画像処理&制御部4は、撮像素子3bの撮像面に結像された被写体像を、表示部5の画面に通常画像として表示する。
The image processing & control unit 4 performs image processing on the imaging signal, generates a display image signal, and outputs it to the display unit 5. The display unit 5 displays an image corresponding to the input display image signal on its display screen (also simply referred to as a screen).
The image displayed on the display unit 5 is an image corresponding to the subject image formed on the imaging surface of the image sensor 3b, and the user observes this image to determine whether or not to record it as a captured image. Check.
Therefore, in the normal shooting mode, the image processing & control unit 4 displays the subject image formed on the imaging surface of the imaging device 3b as a normal image on the screen of the display unit 5.

表示部5は、図2Bに示すようにケース2の背面側に形成され、この背面における全面よりも若干小さい矩形サイズで、例えば液晶パネルを用いて形成されている。
また、図2A、図2Bに示すようにケース2の上面における例えば右寄りの位置には撮影操作を行うレリーズボタン6aが設けられている。撮影者(ユーザ)により図1に示すようにレリーズボタン6aを含む操作部6が操作されると、操作結果が操作判定部7により判定される。
この操作判定部7による判定結果の情報は、画像処理&制御部4に入力される。画像処理&制御部4は、判定結果に対応した制御を行う。
操作判定部7が、レリーズ操作(撮影指示操作)であると判定した場合には、画像処理&制御部4は、撮像部3により撮像された画像を、撮影画像として記録部8に記録する。
As shown in FIG. 2B, the display unit 5 is formed on the back side of the case 2 and has a rectangular size slightly smaller than the entire surface on the back side, for example, using a liquid crystal panel.
As shown in FIGS. 2A and 2B, a release button 6a for performing a photographing operation is provided on the upper surface of the case 2, for example, on the right side. When the photographer (user) operates the operation unit 6 including the release button 6 a as shown in FIG. 1, the operation determination unit 7 determines the operation result.
Information on the determination result by the operation determination unit 7 is input to the image processing & control unit 4. The image processing & control unit 4 performs control corresponding to the determination result.
When the operation determination unit 7 determines that the operation is a release operation (shooting instruction operation), the image processing & control unit 4 records the image captured by the imaging unit 3 in the recording unit 8 as a captured image.

また、図1に示す操作部6として、図2Bに示すようにモード設定スイッチ6bが設けられている。
ユーザは、モード設定スイッチ6bを操作して、スイッチメニューから撮影モードや、再生モードの設定を行ったり、後述する半水中撮影モードに設定したり、ピント合わせの設定等を行うことができるようにしている。
そして、このモード設定スイッチ6bは、半水中撮影モードに設定するための半水中撮影モード設定部の機能を持つ。
なお、複数の設定機能を持つモード設定スイッチ6bの他に、ユーザが各種の指示操作を直接行う操作ボタンなどを設けるようにしても良い。また、モード設定スイッチ6bから選択して行うことができる複数の機能を、独立して行う操作ボタンを設けるようにしても良い。
Further, as the operation unit 6 shown in FIG. 1, a mode setting switch 6b is provided as shown in FIG. 2B.
The user can operate the mode setting switch 6b to set the shooting mode and the playback mode from the switch menu, set to a semi-underwater shooting mode, which will be described later, and set the focus. ing.
The mode setting switch 6b has a function of a semi-underwater shooting mode setting unit for setting the semi-underwater shooting mode.
In addition to the mode setting switch 6b having a plurality of setting functions, an operation button for directly performing various instruction operations by the user may be provided. In addition, operation buttons for independently performing a plurality of functions that can be selected from the mode setting switch 6b may be provided.

例えば、図1においては、操作部6内に半水中撮影モードに設定するための半水中撮影モード設定部としての半水中撮影モードボタン6cを独立して設けた例を示している。なお、本実施形態においては、画像処理&制御部4は、後述するように半水中撮影モードの撮影状態を自動認識する半水中撮影モード判定部4gの機能を備えている。このため、自動認識を行う設定状態においては、ユーザは手動による半水中撮影モードボタン6cの操作を必要としない。
また、本実施形態においては、半水中撮影モード(設定)時においては、水上側の被写体の(水上被写体)画像に対してピント合わせの制御を行うが、水上側の被写体までの距離が大きい場合(例えが透明度に応じて設定された境界距離Lbを超える場合)には、水中での透明度を考慮して水中側の被写体の(水中被写体)画像にピント合わせを優先して行う条件を設けている。
For example, FIG. 1 shows an example in which a semi-underwater shooting mode button 6c as a semi-underwater shooting mode setting unit for setting the semi-underwater shooting mode in the operation unit 6 is provided independently. In the present embodiment, the image processing & control unit 4 includes a function of a semi-underwater shooting mode determination unit 4g that automatically recognizes the shooting state of the semi-underwater shooting mode, as will be described later. For this reason, in the setting state in which automatic recognition is performed, the user does not need to manually operate the semi-underwater photographing mode button 6c.
In this embodiment, in the semi-underwater shooting mode (setting), focus control is performed on the (water subject) image of the water-side subject, but the distance to the water-side subject is large. (For example, when the boundary distance Lb set in accordance with the transparency is exceeded), a condition for prioritizing focusing on the underwater subject (underwater subject) image is set in consideration of the transparency in water. Yes.

この境界距離Lbは、デフォルト設定においては、例えばLb=3mに設定されている。ユーザは、図示しない境界距離設定ボタンを操作して、実際の水中の透明度に応じた値に変更設定することができる。
画像処理&制御部4には、時計の情報を出力する時計部9が接続され、撮影操作等が行われた場合には画像処理&制御部4は、記録部8に記録する画像に撮影日時の情報を追加して記録する。また、図2Aに示すようにケース2の前面にはストロボ装置10が設けられている。
また、画像処理&制御部4には、このカメラ1の特に撮影時の姿勢を検出する姿勢検出部としての加速度検知部11が接続されている。この加速度検知部11は、ケース2内に、そのケース2の上下、左右(水平)、及び奥行き方向に働く加速度をそれぞれ検知する3個の加速度センサにより構成される。
The boundary distance Lb is set to Lb = 3 m, for example, in the default setting. The user can change and set the value according to the actual underwater transparency by operating a boundary distance setting button (not shown).
A clock unit 9 that outputs clock information is connected to the image processing & control unit 4, and when a shooting operation or the like is performed, the image processing & control unit 4 adds a shooting date and time to an image recorded in the recording unit 8. Add and record the information. As shown in FIG. 2A, a strobe device 10 is provided on the front surface of the case 2.
Further, the image processing & control unit 4 is connected to an acceleration detection unit 11 as a posture detection unit that detects the posture of the camera 1 at the time of photographing. The acceleration detection unit 11 is configured in the case 2 by three acceleration sensors that respectively detect acceleration acting in the vertical and horizontal (horizontal) and depth directions of the case 2.

なお、図13(B)では、半水中撮影を行う場合に適したカメラ1の撮像部3が下寄りとなるようにケース2の長辺が重力が作用する上下方向に平行な縦長となる状態を示し、この場合にはこの縦長の方向に働く重力(加速度)を検知する点線で示す加速度センサ11aにより、その縦長の方向が画像の上下方向に該当する姿勢であることが検出される。
本実施形態のカメラ1は、図3Aに示すように水上(水面上部)側の人物の顔や船や風景等の水上被写体と、水中(水面下部)側の人物部分や魚や亀や水草等の水中被写体を同時に(つまり、同じ画面内に入れて)、撮影することができるようにすることを目的の1つとする。そして、このように水上被写体と水中被写体とを同時に撮影することを「半水中撮影」と呼ぶ。
In FIG. 13B, the long side of the case 2 is vertically long parallel to the vertical direction in which gravity acts so that the imaging unit 3 of the camera 1 suitable for performing semi-underwater shooting is on the lower side. In this case, the acceleration sensor 11a indicated by a dotted line that detects gravity (acceleration) acting in the vertically long direction detects that the vertically long direction corresponds to the vertical direction of the image.
As shown in FIG. 3A, the camera 1 according to the present embodiment includes a human face on the surface of the water (upper water surface), a water subject such as a ship or a landscape, a person portion on the underwater (lower water surface) side, an underwater such as a fish, a turtle or aquatic plants. One of the purposes is to enable the subject to be photographed simultaneously (that is, within the same screen). And photographing such a water subject and an underwater subject at the same time is called “semi-underwater photography”.

図3Aに示すような被写体を、図3Bに示すようにユーザ13がカメラ1を半水中撮影モードの撮影状態(姿勢状態)に設定し、半水中撮影モードボタン6cをONする指示操作をすることにより、画像処理&制御部4は、カメラ1を半水中撮影モードの動作状態にする。
なお、図3A及び図3Bにおいて符号Wは水面を示し、また水上側部分(つまり空気中側)をWu、水中側部分をWiで示している。また、符号Tは、半水中撮影モードにおける撮影対象の被写体における(簡単化のために)水上及び水中にまたがる人物の被写体に付けている。
そして、本実施形態においては、図1の画像処理&制御部4が、以下に説明するように画像合成部4a、表示制御部4b、ピント制御部4c、距離換算部4d、ローコントラスト領域検出部4fの各機能を持つ構成にしている。
3A, the user 13 sets the camera 1 to the shooting state (posture state) of the semi-underwater shooting mode, and performs an instruction operation to turn on the semi-underwater shooting mode button 6c, as shown in FIG. 3B. Thus, the image processing & control unit 4 puts the camera 1 into the operation state of the semi-underwater shooting mode.
3A and 3B, the symbol W indicates the water surface, the water upper side portion (that is, the air side) is indicated by Wu, and the underwater side portion is indicated by Wi. Further, the symbol T is attached to a subject of a person who straddles water and water (for simplicity) in a subject to be photographed in the semi-underwater photographing mode.
In the present embodiment, the image processing & control unit 4 in FIG. 1 performs an image composition unit 4a, a display control unit 4b, a focus control unit 4c, a distance conversion unit 4d, and a low contrast region detection unit as described below. The configuration has each function of 4f.

また、画像処理&制御部4は、例えばCPUを用いて構成され、上記の各機能を実行するためのプログラムを格納したメモリ12が画像処理&制御部4に接続されている。なお、このメモリ12は、例えばフラッシュメモリ等の不揮発性メモリにより構成されている。また、画像処理&制御部4は、その内部に各種の機能を実行する場合のデータ等を一時的に記憶するためにRAMなどのメモリ(図示略)を備えている。
上記のように半水中撮影を行う場合、図3Bに示すようにユーザ13は、カメラ1の(撮像部3の)撮影レンズ3aの下半分近くを水面下に水没させて、半水中撮影を行う半水中撮影モードの撮影状態にする。
図3Bに示すカメラ1は、図4に示すような状態に設定される。図4のように設定された半水中撮影モードの状態においては、カメラ1の前面側の撮像部3の撮影レンズ3aは、その下半分程度が水面下に水没する。
Further, the image processing & control unit 4 is configured using, for example, a CPU, and a memory 12 storing a program for executing the above functions is connected to the image processing & control unit 4. The memory 12 is composed of a nonvolatile memory such as a flash memory. In addition, the image processing & control unit 4 includes a memory (not shown) such as a RAM for temporarily storing data and the like when executing various functions.
When performing semi-underwater photography as described above, as shown in FIG. 3B, the user 13 performs semi-underwater photography by immersing the lower half of the photographing lens 3a (of the imaging unit 3) of the camera 1 under the water surface. Set the shooting mode to the semi-underwater shooting mode.
The camera 1 shown in FIG. 3B is set to the state shown in FIG. In the state of the semi-underwater photographing mode set as shown in FIG. 4, the lower half of the photographing lens 3a of the imaging unit 3 on the front side of the camera 1 is submerged under the water surface.

また、図4においては半水中撮影モードに設定された被写体に対して、撮像部3の撮影レンズ3aを例えば水上側の被写体にピント合わせを行った状態を示している。
なお、図4にて示す撮像部3を構成する撮影レンズ3aは、ピント合わせ部3dを構成する駆動部3eにより光軸方向に移動可能となる。また、ピント合わせ部3dは、位置センサ3fを備え、駆動部3eにより設定された撮影レンズ3aの位置を検出して、その位置情報を画像処理&制御部4のピント制御部4c及び距離換算部4dに出力する。
図4に示すように水上側の被写体としての例えば人物の被写体Tにピントを合わせた状態に設定すると、水中での屈折率nwによって、水中では人物の被写体Tの後ろの(距離)位置にピントが合った状態となってしまう。
FIG. 4 shows a state in which the photographing lens 3a of the imaging unit 3 is focused on, for example, a subject on the water side with respect to the subject set in the semi-underwater photographing mode.
4 can be moved in the optical axis direction by a driving unit 3e constituting a focusing unit 3d. The focus adjustment unit 3d includes a position sensor 3f, detects the position of the photographing lens 3a set by the drive unit 3e, and uses the position information as a focus control unit 4c and a distance conversion unit of the image processing & control unit 4. Output to 4d.
As shown in FIG. 4, for example, when a person's subject T as a water-side subject is set in a focused state, the underwater refraction index nw causes the subject to focus on the (distance) position behind the person's subject T underwater. Will be in a suitable state.

この場合(水中では人物の被写体Tの後ろにピントが合った状態)には、人物の被写体Tよりも手前側にある魚などに対しては、よりピントが合わなくなる方向となるために都合が悪い。また、水中の透明度(透過率)の関係から、水上に比較すると、水中では遠景側は不鮮明になり易い。この理由からも、水中側を水上側よりも遠方側にピントを合わせしてしまう事は、不都合となる。
このため、本実施形態においては、画像処理&制御部4のピント制御部4cは、図4に示すピント合わせ位置よりも近距離側にピント合わせ(フォーカス設定)を行うように制御する。
このピント制御部4cによるピント合わせした制御状態の撮像部3(の撮影レンズ3a)の状態を図5に示す。図5に示すように撮影レンズ3aは、図4に示した撮影レンズ3aの位置(図5において点線で示した位置)よりも前方側に移動した位置にセットされる。
In this case (in the state where the subject is in focus behind the human subject T underwater), it is convenient for the fish and the like on the near side of the human subject T to be out of focus. bad. In addition, due to the transparency (transmittance) in water, the distant view side tends to be unclear in water compared to on water. For this reason as well, it is inconvenient to focus the underwater side farther than the water side.
For this reason, in the present embodiment, the focus control unit 4c of the image processing & control unit 4 performs control so as to perform focusing (focus setting) closer to the near distance side than the focusing position shown in FIG.
FIG. 5 shows a state of the imaging unit 3 (the photographing lens 3a) in a control state in which the focus control unit 4c is focused. As shown in FIG. 5, the photographing lens 3a is set at a position moved forward from the position of the photographing lens 3a shown in FIG. 4 (the position indicated by the dotted line in FIG. 5).

このようにセットすることにより、図4のピント合わせの位置よりも近距離側にピント合わせした状態になる。なお、図5中においては、水面上の位置から水中側でピント合わせした状態に対して、水上側の光路を経て撮像素子3bに結像させた場合におけるずれ量から概略のボケ量Uとして示している。
ここでのピント合わせする処理方法は、図6に示すようになる。半水中撮影モードでのピント合わせが開始すると、最初のステップS1において画像処理&制御部4のピント制御部4cは、ピント合わせ部3dの駆動部3eを駆動させて撮影レンズ3aを光軸方向に移動させる。
移動の際に、画像処理&制御部4は、撮像素子3bの撮像信号の各フレームから得られる最も明るい部分の輝度信号と最も暗い部分の輝度信号との差に相当するコントラスト信号を検出する。
By setting in this way, the camera is brought into a state of focusing closer to the nearer side than the focusing position in FIG. In FIG. 5, an approximate blur amount U is shown from a shift amount when an image is formed on the image sensor 3b through the optical path on the water side with respect to a state in which the water is focused from a position on the water surface. ing.
The processing method for focusing here is as shown in FIG. When focusing in the semi-underwater shooting mode is started, in the first step S1, the focus control unit 4c of the image processing & control unit 4 drives the driving unit 3e of the focusing unit 3d to move the shooting lens 3a in the optical axis direction. Move.
During the movement, the image processing & control unit 4 detects a contrast signal corresponding to the difference between the luminance signal of the brightest part and the luminance signal of the darkest part obtained from each frame of the imaging signal of the imaging device 3b.

ステップS2において画像処理&制御部4は、コントラスト信号がピークとなる位置に撮影レンズ3aを設定する。設定されたその位置は、位置センサ3fにより検出され、位置センサ3fは、その位置情報を距離換算部4dに送る。
次のステップS3において距離換算部4dは位置情報から、このピント合わせした被写体までの距離(被写体距離という)Lを算出する。
さらに次のステップS4において距離換算部4dは、得られた被写体距離Lに対して、水の屈折率nw(=1.33)を考慮して、その被写体距離Lよりも近距離側の距離を、実際にピント合わせするピント合わせ距離Lhとして算出する。
この場合、画像処理&制御部4の距離換算部4dは、被写体距離Lに対して予め用意した補正係数C(例えば、図10にて説明するようにデフォルト値としてC=1.3)を用いて、ピント合わせ距離LhをL/Cにより決定する。
In step S2, the image processing & control unit 4 sets the photographing lens 3a at a position where the contrast signal reaches a peak. The set position is detected by the position sensor 3f, and the position sensor 3f sends the position information to the distance conversion unit 4d.
In the next step S3, the distance conversion unit 4d calculates a distance (referred to as subject distance) L to the focused subject from the position information.
Further, in the next step S4, the distance conversion unit 4d considers the water refractive index nw (= 1.33) with respect to the obtained subject distance L, and sets a distance closer to the subject distance L than the subject distance L. Then, it is calculated as the focusing distance Lh for actual focusing.
In this case, the distance conversion unit 4d of the image processing & control unit 4 uses a correction coefficient C prepared in advance for the subject distance L (for example, C = 1.3 as a default value as described in FIG. 10). The focus distance Lh is determined by L / C.

換言すると、距離換算部4dは、水上側で求めた被写体距離Lを、水上及び水中の両方の被写体に対して鮮明に(撮像及び)撮影するのに適したピント合わせ距離Lhに換算する。
そして、距離換算部4dは、そのピント合わせ距離Lhをピント制御部4cに送り、図6のピント合わせ距離Lhを算出する処理を終了する。
従って、本実施形態におけるピント制御部4cは、半水中撮影モード設定時において、ピント合わせをする場合には、水上被写体に対する被写体距離Lを算出して、水中の屈折率を考慮してピント合わせをするピント位置に設定する制御を行う。
上述した図5等に示す場合は、水面Wの高さが変動していない状態の場合を示しているが、実際には水面Wの高さが風などにより局所的に変動して波31が発生する場合がある。図7は、波31の発生により、撮像素子3bの撮像面に結像される撮影対象となる被写体像が影響を受ける様子を示す。
In other words, the distance conversion unit 4d converts the subject distance L obtained on the water side into a focusing distance Lh suitable for clear (imaging and photographing) both water and underwater subjects.
Then, the distance conversion unit 4d sends the focus distance Lh to the focus control unit 4c, and ends the process of calculating the focus distance Lh in FIG.
Therefore, the focus control unit 4c according to the present embodiment calculates the subject distance L with respect to the water subject and focuses in consideration of the refractive index in water when focusing when setting the semi-underwater shooting mode. Control to set the focus position.
In the case shown in FIG. 5 and the like described above, a case where the height of the water surface W has not changed is shown, but in reality, the height of the water surface W locally fluctuates due to wind or the like and the wave 31 is generated. May occur. FIG. 7 shows how the subject image to be imaged that is imaged on the imaging surface of the imaging device 3b is affected by the generation of the wave 31. FIG.

この図7に示すように撮影レンズ3aに被写体側から入射される光は、水面Wが変動した波31における山となる部分から谷となる部分、つまり図7中の斜線で示す領域32の水面部によって、実質的に遮られて、撮像素子3bに結像することが妨げられる。 図7に示す状態においては、水面Wの変動により撮像素子3bの撮像面における一部の領域が影響を受ける様子を示していたが、図8A及び図8Bの場合のように(撮像部3の)撮影レンズ3aのレンズ径よりも大きな波31がある状態においては、より大きな影響を受ける。
図8Aは、撮影レンズ3aの直前に波31が谷となった状態を示す。この状態は、撮影レンズ3aは水面Wの上の空気中に望む状態となる。この状態においては、撮影レンズ3aの直前の波31における谷となる部分から山となる斜線で示す部分は、(撮影対象となる)被写体の撮像を遮る領域(つまりピントがずれてかつ低コントラスト状態で不鮮明に撮像を行い、実質的に撮影対象となる被写体の撮影が不能または欠落する領域)32aとなる。なお、θは、カメラ1の撮像部3の視野を表している。
As shown in FIG. 7, the light incident on the photographic lens 3a from the object side is the water surface of the region 32 indicated by the oblique lines in FIG. The part is substantially interrupted to prevent image formation on the image sensor 3b. In the state shown in FIG. 7, a state in which a part of the image pickup surface of the image pickup device 3 b is affected by the fluctuation of the water surface W is shown. However, as in the case of FIGS. ) In the state where there is a wave 31 larger than the lens diameter of the photographing lens 3a, it is more greatly affected.
FIG. 8A shows a state in which the wave 31 is a trough just before the photographing lens 3a. In this state, the photographing lens 3a becomes a desired state in the air above the water surface W. In this state, the portion indicated by the oblique line that is the peak from the valley portion in the wave 31 immediately before the photographic lens 3a is an area that blocks imaging of the subject (that is, the subject to be photographed) (that is, out of focus and in a low contrast state) In this case, the image is unclearly imaged, and an area in which imaging of a subject to be imaged is substantially impossible or missing) 32a. Note that θ represents the field of view of the imaging unit 3 of the camera 1.

この場合には、(撮像部3の)撮像素子3bの撮像面に結像される被写体像から取得される画像、又はその画像を表示部5に表示した場合の画像IAは、図9Aのようになる。
図9Aに示すように、図8Aで示した(水面Wの高さが変動する水面部)領域32aのためにカメラ1の視野θの上部側部分の水上被写体における一部の画像Aとして撮像により取得することができるが、その下側は領域32aのために、撮影対象の被写体を実質的に撮影できない水面パターン(水面部画像)としての画像領域32bが発生する。
換言すると、本来の撮影対象の被写体を撮像した場合の画像において、水面Wの高さが局所的に変動する水面部の為に、実質的に撮影できない(又は欠落する)画像領域32bが発生する。後述するように、この画像領域32bは、水面パターン(水面部画像)として検出される。
In this case, an image acquired from the subject image formed on the imaging surface of the imaging element 3b (of the imaging unit 3) or an image IA when the image is displayed on the display unit 5 is as shown in FIG. 9A. become.
As shown in FIG. 9A, for the region 32a shown in FIG. 8A (the water surface portion where the height of the water surface W fluctuates), a part of the surface A of the field of view of the camera 1 is captured as a partial image A of the surface subject. Although it can be acquired, an image area 32b is generated as a water surface pattern (water surface image) in which the subject to be imaged cannot be substantially imaged because of the area 32a below.
In other words, in the image when the original subject to be photographed is imaged, an image region 32b that cannot be substantially photographed (or is missing) occurs due to the water surface portion where the height of the water surface W varies locally. . As will be described later, the image region 32b is detected as a water surface pattern (water surface portion image).

また、図8Bは、カメラ1が波31の山の中に水没した状態を示す。この状態においても、斜線で示す部分が、撮影対象の被写体に対する撮像を遮る領域32cとなる。そして、この場合に取得できる画像IBは図9Bのようになる。
図9Bに示すように、図8Bで示した領域32cのためにカメラ1の視野θの下部側部分の水中被写体の一部の画像Bとして撮像により取得することができるが、その上側は領域32cのために、撮影対象の被写体を撮影できない水面パターンとしての画像領域32dが発生する。
そして、本実施形態における画像処理&制御部4の画像合成部4aは、水面部により撮影が妨げられた水上被写体の画像及び水中被写体の画像の少なくとも一方を補間する合成画像を生成する。具体的には、画像合成部4aは、図9Aの画像IAと図9Bとの画像IBを合成して図9Cに示すような合成画像ICを生成する画像合成処理を行う。そして、表示制御部4bは、この画像合成部4aが生成した合成画像ICを表示部5に出力し、表示部5は図9Cの合成画像ICを表示する。
FIG. 8B shows a state in which the camera 1 is submerged in the mountain of the wave 31. Even in this state, the hatched portion is a region 32c that blocks imaging of the subject to be imaged. The image IB that can be acquired in this case is as shown in FIG. 9B.
As shown in FIG. 9B, for the region 32c shown in FIG. 8B, it can be obtained by imaging as a partial image B of the underwater subject in the lower part of the field of view θ of the camera 1, but the upper side is the region 32c. For this reason, an image region 32d is generated as a water surface pattern in which the subject to be photographed cannot be photographed.
Then, the image composition unit 4a of the image processing & control unit 4 in the present embodiment generates a composite image that interpolates at least one of the image of the water subject and the image of the underwater subject that has been prevented from being photographed by the water surface portion. Specifically, the image composition unit 4a performs image composition processing for composing the image IB of FIG. 9A and the image IB of FIG. 9B to generate a composite image IC as shown in FIG. 9C. Then, the display control unit 4b outputs the composite image IC generated by the image composition unit 4a to the display unit 5, and the display unit 5 displays the composite image IC of FIG. 9C.

図9Cに示す合成画像ICは、画像IAの下部側のローコントラスト領域の画像領域32bに、画像IBの上部側のローコントラスト領域以外(つまり画像B)を合成する。この場合には、中央部に水面付近のみによる水面パターンが残るが、その上下に水上被写体に相当する(水上被写体)画像Aと、水中被写体に相当する(水中被写体)画像Bを同時に収めた合成画像ICが得られる。
なお、画像IAと画像IBとをそれぞれ取得した撮影タイミングの時間差は、通常小さいと考えられるので、撮像部3による視野の変化を無視して、同じ撮影状態と見なして、図9Aにおける画像IAの下部側のローコントラスト領域の画像領域32bを、図9Bの画像IBにおける画像Bによる置換や補間することにより、図9Cに示す合成画像ICを生成する画像合成を行う。
The synthesized image IC shown in FIG. 9C synthesizes an image region 32b in the lower contrast region on the lower side of the image IA with a region other than the low contrast region on the upper side of the image IB (that is, the image B). In this case, a water surface pattern only in the vicinity of the water surface remains in the center, but a composite image that simultaneously includes an image A corresponding to a water subject (water subject) and an image B corresponding to an underwater subject (underwater subject) at the top and bottom. An image IC is obtained.
Note that the time difference between the shooting timings for acquiring the images IA and IB is generally considered to be small, so that the change in the field of view by the imaging unit 3 is ignored and the same shooting state is assumed, and the image IA in FIG. Image composition for generating a composite image IC shown in FIG. 9C is performed by replacing or interpolating the image region 32b of the lower low contrast region with the image B in the image IB of FIG. 9B.

換言すると、本実施形態においては、半水中撮影モードの撮影状態において、水上被写体及び水中被写体を撮影した場合、水面が変動する水面部による影響のために水上被写体及び水中被写体の一方の画像が取得できない場合には、その一方の画像に対して、取得できた他方の画像又はその他の画像によって(置換の場合を含む)補間等を行って、合成画像を生成する画像合成部4aを有する。
画像処理&制御部4は、図9Cに示すような合成画像ICを生成するために、図9Aと図9Bとの各画像における実質的に撮像できない画像領域32b又は32dを水面が変動する水面部の画像としての水面部画像を検出するための図1に示す水面部画像検出部4eの機能を持つ。
In other words, in the present embodiment, in the shooting state in the semi-underwater shooting mode, when an overwater subject and an underwater subject are photographed, one image of the overwater subject and the underwater subject is acquired due to the influence of the water surface portion where the water surface fluctuates. When the image cannot be obtained, the image composing unit 4a generates a composite image by performing interpolation or the like on the other image or the other image (including the case of replacement).
In order to generate a composite image IC as shown in FIG. 9C, the image processing & control unit 4 has a water surface portion in which the water surface fluctuates in the image region 32b or 32d that cannot be substantially captured in the images of FIGS. 9A and 9B. 1 has the function of the water surface image detection unit 4e shown in FIG.

この水面部画像検出部4eは、水面部が持つ特性としてのコントラストが低い領域としてのローコントラスト領域を検出するローコントラスト領域検出部4fの機能を含む。なお、本明細書においては、水面部は、主に変動する水面の場合に用いているが、変動しない水面の場合もあり得る。
このローコントラスト領域検出部4fは、撮像素子3bにより撮像された画像の各画素の輝度値を予め設定された閾値以下となるか否か比較し、この閾値以下となる画素の領域を水面部による水面部画像の可能性が高いローコントラスト領域として検出する。
The water surface image detection unit 4e includes a function of a low contrast region detection unit 4f that detects a low contrast region as a region having a low contrast as a characteristic of the water surface portion. In addition, in this specification, although the water surface part is mainly used in the case of the water surface which fluctuates, it may be the water surface which does not fluctuate.
The low contrast region detection unit 4f compares whether or not the luminance value of each pixel of the image captured by the image sensor 3b is equal to or less than a preset threshold value, and determines the pixel region that is equal to or less than the threshold value by the water surface portion. It is detected as a low contrast region having a high possibility of a water surface image.

水面部画像検出部4eは、検出されたローコントラスト領域が、後述の図11にて説明する所定の条件を満たす判定結果の場合に水面部画像(水面パターン)であると判定する。
また、図8A及び図8Bの場合に対応する図9A及び図9Bの画像状態は、時間的に変化する。このため、本実施形態においては、撮像により取得される画像の上下部分での明るさ(コントラスト)の変化を時間的に監視する。
The water surface image detection unit 4e determines that the detected low contrast region is a water surface image (water surface pattern) when the determination result satisfies a predetermined condition described in FIG.
Further, the image states of FIGS. 9A and 9B corresponding to the cases of FIGS. 8A and 8B change with time. For this reason, in the present embodiment, changes in brightness (contrast) in the upper and lower portions of an image acquired by imaging are temporally monitored.

本実施形態に係るカメラ1は、水面上部側の水上被写体と、水面下部側の水中被写体とを同時に撮影するための撮像部3と、この記撮像部3で撮像した被写体の画像から、水上被写体の(水上被写体)画像と、水中被写体の(水中被写体)画像との境界の水面部に対応する水面部画像を検出する水面部画像検出部4eと、水面部画像の検出結果に基づいて、撮像部3の視野内における水面部の存在によって撮影が妨げられた(水上被写体)画像及び(水中被写体)画像の少なくとも一方を補間するための合成画像を生成する画像合成部4aと、を具備することを特徴とする。
また、このカメラ1は、撮像部3が水上被写体と水中被写体とを同時に撮影するための撮影モードとしての半水中撮影モードの撮影状態に設定されたことを自動的に検出する半水中撮影モード判定部4gを有し、画像合成部4aは、半水中撮影モード判定部4gによる半水中撮影モードの撮影状態の判定後における複数の撮影タイミングにより撮像部3により撮影された複数の画像から水面が変動する水面部により発生する水面部画像を検出し、該水面部画像の少なくとも一部に水上被写体の(水上被写体)画像又は水中被写体の(水中被写体)画像を合成して水面部画像の領域を低減した合成画像を生成する機能を持つことを特徴とする。
The camera 1 according to the present embodiment includes an imaging unit 3 for simultaneously capturing a water subject on the upper side of the water surface and an underwater subject on the lower side of the water surface, and an image of the subject captured by the imaging unit 3. A water surface image detection unit 4e for detecting a water surface image corresponding to the water surface portion of the boundary between the (water subject) image and the underwater object (underwater object) image, and imaging based on the detection result of the water surface image An image composition unit 4a for generating a composite image for interpolating at least one of a (water subject) image and an (underwater subject) image whose shooting is hindered by the presence of a water surface portion in the field of view of the unit 3; It is characterized by.
In addition, the camera 1 is a semi-underwater shooting mode determination that automatically detects that the imaging unit 3 has been set to a shooting state in a semi-underwater shooting mode as a shooting mode for simultaneously shooting a water subject and an underwater subject. 4g, and the image composition unit 4a changes the water surface from a plurality of images captured by the imaging unit 3 at a plurality of shooting timings after the determination of the shooting state of the semi-underwater shooting mode by the semi-underwater shooting mode determination unit 4g. The water surface image generated by the surface of the water surface is detected, and the water surface image area is reduced by synthesizing at least a part of the water surface image with a water subject (water subject) image or an underwater subject (underwater subject) image. It has a function of generating the synthesized image.

次に図10を参照して本実施形態におけるカメラ1の主に画像処理&制御部4による撮影・記録と共に、合成画像を生成して表示する処理手順を説明する。
撮影の動作が開始すると、最初のステップS11において画像処理&制御部4は、ユーザ13により撮影モードに設定されたか否かの判定を行う。撮影モードに設定された場合には、次のステップS12において画像処理&制御部4は、撮像部3により撮像された画像を、表示部5で表示するための画像処理を行って、表示部5に出力し、表示部5は(撮像素子3bにより撮像された被写体の画像としての)スルー画として表示する。
Next, with reference to FIG. 10, a processing procedure for generating and displaying a composite image together with photographing / recording mainly by the image processing & control unit 4 of the camera 1 in the present embodiment will be described.
When the shooting operation starts, in the first step S11, the image processing & control unit 4 determines whether or not the user 13 has set the shooting mode. When the photographing mode is set, in the next step S12, the image processing & control unit 4 performs image processing for displaying the image captured by the imaging unit 3 on the display unit 5, and the display unit 5 And the display unit 5 displays it as a through image (as an image of the subject imaged by the image sensor 3b).

次のステップS13において画像処理&制御部4は、カメラ1が半水中撮影モードの撮影状態に設定されたか否かの判定を行う。この判定を自動判定で行う設定となっている場合には、半水中撮影モードの撮影状態の自動判定が、後述する図12の処理手順により行われる。
半水中撮影モードの撮影状態に設定されていない場合には、ステップS14に示すように画像処理&制御部4のピント制御部4cは、画面中央でピント合わせを行う。その後、次のステップS15において画像処理&制御部4は、通常撮影の処理を行った後、ステップS11の処理に移る。
一方、ステップS13において、半水中撮影モードの撮影状態であると判定された場合には、ステップS16において画像処理&制御部4のピント制御部4cは、画面上部でピント合わせを行い、かつ画面下部で露出を決定する。
In the next step S13, the image processing & control unit 4 determines whether or not the camera 1 has been set to the shooting state in the semi-underwater shooting mode. When this determination is set to be performed automatically, automatic determination of the shooting state in the semi-underwater shooting mode is performed according to the processing procedure of FIG.
When the shooting state in the semi-underwater shooting mode is not set, the focus control unit 4c of the image processing & control unit 4 performs focusing at the center of the screen as shown in step S14. Thereafter, in the next step S15, the image processing & control unit 4 performs the normal photographing process, and then proceeds to the process of step S11.
On the other hand, if it is determined in step S13 that the shooting state is the semi-underwater shooting mode, the focus control unit 4c of the image processing & control unit 4 focuses in the upper part of the screen and the lower part of the screen in step S16. To determine the exposure.

なお、画像処理&制御部4は、ピント合わせ等の処理を撮像素子3bの撮像面に結像された被写体像の画像(例えば被写体は撮像面に上下反転して結像される)に対して行うが、表示部5の画面に被写体像を、実際の被写体の上下関係を保った状態で表示した場合を基準にして説明する。
つまり、ピント制御部4cは、水上側の被写体を撮像した撮像信号(画像信号)に基づいてピント合わせを行い、上述した被写体距離Lを算出(検出)する。一方、露出に関しては水中側の被写体の撮影に適した明るさとなるように露出を決定する。
また、本実施形態においては、上述したように水中部分の被写体も鮮明に撮影できるようにピント合わせ距離Lhに設定する制御処理を行う。
次のステップS17において画像処理&制御部4の距離換算部4dは、被写体距離Lから実際にピント合わせするピント合わせ距離Lhに換算する換算を行う。具体的には、この距離換算部4dは、被写体距離Lを、補正係数Cとしての1.3により除算してピント合わせ距離Lhを算出する。つまりLh=L/1.3に設定する。そして、ピント制御部4cは、撮影レンズ3aをこのピント合わせ距離Lhのピント位置に設定する。
The image processing & control unit 4 performs processing such as focusing on an image of a subject image formed on the imaging surface of the image sensor 3b (for example, the subject is inverted and imaged on the imaging surface). However, a description will be given with reference to a case where the subject image is displayed on the screen of the display unit 5 while maintaining the vertical relationship of the actual subject.
That is, the focus control unit 4c performs focusing based on an imaging signal (image signal) obtained by imaging a water-side subject, and calculates (detects) the subject distance L described above. On the other hand, the exposure is determined so that the brightness is suitable for photographing an underwater subject.
Further, in the present embodiment, as described above, the control process for setting the focus distance Lh so that the subject in the underwater portion can be captured clearly is performed.
In the next step S17, the distance conversion unit 4d of the image processing & control unit 4 performs conversion for converting from the subject distance L to the focusing distance Lh that is actually focused. Specifically, the distance conversion unit 4d calculates the focus distance Lh by dividing the subject distance L by 1.3 as the correction coefficient C. That is, Lh = L / 1.3 is set. Then, the focus control unit 4c sets the photographic lens 3a to the focus position of the focus distance Lh.

そして、ステップS18の処理に進む。ステップS17の処理により設定された撮像部3の撮影状態は、図5に示した状態に対応する。
このような設定は、人物の被写体Tにおける水中部分の身体部分の手前の魚と、水上の身体部分とのピントのバランスがより良好になる(両方の被写体に対するピントがバランスし、一方が不鮮明となってしまうようなピント合わせにならない)との考慮に基づく。
上記の場合には、補正係数CとしてC=1.3にしているが、水中の魚を主な撮影対象としないで、水上の身体部分と水面下の身体部分を主な撮影対象とする場合には、ピント合わせ距離LhをL/1.2程度に設定してもよい。
このために、補正係数Cとして、デフォルト値として例えばC=1.3に設定し、ユーザ13による選択操作により補正係数Cの値を例えば1.1〜1.3の範囲程度で変更することができるようにしても良い。
Then, the process proceeds to step S18. The shooting state of the imaging unit 3 set by the processing in step S17 corresponds to the state shown in FIG.
Such a setting provides a better balance of the focus between the fish in front of the body part in the underwater part of the subject T of the person and the body part on the water (the focus on both subjects is balanced, and one is unclear) It is based on the consideration that it will not be in focus.
In the above case, the correction coefficient C is set to C = 1.3, but the underwater fish is not the main object to be imaged, and the body part above the water and the body part below the surface are the main object to be imaged. Alternatively, the focusing distance Lh may be set to about L / 1.2.
For this reason, as the correction coefficient C, for example, C = 1.3 is set as a default value, and the value of the correction coefficient C is changed within a range of, for example, 1.1 to 1.3 by a selection operation by the user 13. You may be able to do it.

また、水中の被写体は、(水上側に比較して透明度のため)暗くなったり、コントラストが下がったり、浮遊物の影響などを受けやすいので、ステップS16において、信頼性の高い水上被写体からピント合わせをして、信頼性(精度の)高い被写体距離Lを求めることができるようにしている。
また、このようなシーンの撮影においては、特に水中の方に撮影したいものがあると考え、水中側の被写体の明るさにより露出を決める制御を行うようにしている。また、領域を水中と水上とに分けて、それぞれの領域の画像に対して、画像処理&制御部4で画像処理する場合の増幅率(ゲイン)を切り替えて両方の明るさが適切になるようにしても良い。
In addition, an underwater subject tends to be dark (because it is more transparent than the water upper side), has a reduced contrast, and is susceptible to floating substances. Thus, the object distance L with high reliability (accuracy) can be obtained.
Further, in shooting such a scene, it is considered that there is something particularly to be taken underwater, and control is performed to determine exposure based on the brightness of the subject on the underwater side. Moreover, the area is divided into underwater and overwater, and the brightness of both is made appropriate by switching the amplification factor (gain) when the image processing & control unit 4 performs image processing on the image of each area. Anyway.

ステップS18において画像処理&制御部4は、レリーズ操作がされたか否かを判定する。そして、レリーズ操作が行われていない場合には、ステップS11の処理に戻る。
一方、レリーズ操作が行われた場合には、次のステップS19において画像処理&制御部4の水面部画像検出部4eは、図9A又は図9Bのように水面部のために欠落する画像領域の発生があるか否かつまり、水面パターン(水面部画像)が発生しているか否かの検出を行う。
そして、次のステップS20において水面部画像検出部(水面パターン検出部)4eは、水面パターンが中央部に存在し、かつ画面下部がローコントラスト領域であるか否かをローコントラスト領域検出部4fの機能を用いて判定する。
In step S18, the image processing & control unit 4 determines whether or not a release operation has been performed. If the release operation has not been performed, the process returns to step S11.
On the other hand, when the release operation is performed, in the next step S19, the water surface image detection unit 4e of the image processing & control unit 4 detects an image area that is missing due to the water surface as shown in FIG. 9A or 9B. It is detected whether or not there is an occurrence, that is, whether or not a water surface pattern (water surface image) has occurred.
Then, in the next step S20, the water surface image detection unit (water surface pattern detection unit) 4e determines whether the water surface pattern exists in the center and whether the lower part of the screen is a low contrast region or not. Judge using function.

この判定結果に該当する場合には、次のステップS21において画像処理&制御部4は、この判定が行われた画像を画像IAとして時計部9による日時情報を付加して撮影すると共に、記録部8に記録する。そして、ステップS20の処理に戻る。
一方、ステップS20の判定結果に該当しない場合にもステップS22の処理に進む。
ステップS22において水面部画像検出部4eは、水面パターンが中央部に存在し、かつ画面上部がローコントラスト領域であるか否かをローコントラスト領域検出部4fの機能を用いて判定する。
この判定結果に該当する場合には、次のステップS23において画像処理&制御部4は、この判定が行われた画像を画像IBとして時計部9による日時情報を付加して撮影すると共に、記録部8に記録する。そして、次のステップS22の処理に戻る。
If the determination result is satisfied, in the next step S21, the image processing & control unit 4 takes the image on which this determination has been performed as an image IA and adds the date and time information by the clock unit 9 and shoots the recording unit. Record in 8. Then, the process returns to step S20.
On the other hand, also when it does not correspond to the determination result of step S20, it progresses to the process of step S22.
In step S22, the water surface image detection unit 4e determines whether or not the water surface pattern exists in the center and the upper part of the screen is a low contrast region using the function of the low contrast region detection unit 4f.
If this determination result is met, in the next step S23, the image processing & control unit 4 takes the image for which this determination has been made as an image IB and adds the date and time information by the clock unit 9, and also records it. Record in 8. Then, the process returns to the next step S22.

一方、ステップS22の判定結果に該当しない場合には、ステップS24の処理に進む。
ステップS24において画像処理&制御部4の画像合成部4aは、画像IAが記録部8に記録されている場合には、この画像IAのローコントラスト領域に、画像IBのローコントラスト領域以外の画像を合成して合成画像ICを生成する。表示制御部4bは、この合成画像ICを表示部5で表示する制御を行い、表示部5において、図9Cのような合成画像ICが表示される。
従って、本実施形態においては図9A又は図9Bに示すように本来の撮影対象となる被写体の一部しか撮影できないタイミングで撮影を行った場合においても、複数のタイミングで撮影した画像を合成して被写体のほぼ全容を表す図9Cに示すような合成画像ICを表示部5で表示するので、ユーザ13は、その合成画像ICを観察することができるようになる。
On the other hand, when it does not correspond to the determination result of step S22, the process proceeds to step S24.
In step S24, when the image IA is recorded in the recording unit 8, the image composition unit 4a of the image processing & control unit 4 adds an image other than the low contrast region of the image IB to the low contrast region of the image IA. The composite image IC is generated by combining. The display control unit 4b performs control to display the composite image IC on the display unit 5, and the display unit 5 displays the composite image IC as shown in FIG. 9C.
Therefore, in this embodiment, as shown in FIG. 9A or FIG. 9B, even when shooting is performed at a timing when only a part of the subject to be originally captured can be captured, the images captured at a plurality of timings are combined. Since the composite image IC as shown in FIG. 9C representing almost the entire subject is displayed on the display unit 5, the user 13 can observe the composite image IC.

このステップS24の処理の後、最初のステップS11の処理に戻る。なお、ユーザ13の設定に応じて、画像処理&制御部4が合成画像ICを記録部8に記録するようにしても良い。
一方、ステップS11において撮影モードでない場合には、ステップS25において画像処理&制御部4は、再生モードであるか否かの判定を行う。再生モードでない場合には、ステップS27に移る。
ステップS11の判定結果が再生モードの場合には、ステップS26において画像処理&制御部4は、記録部8に記録されている画像を再生する。次のステップS27において画像処理&制御部4は、終了の操作が行われたか否かの判定を行う。終了の操作が行われていない場合には、ステップS11の処理に戻り、終了の操作が行われた場合にはカメラ1の電源をOFFにして、図10の処理を終了する。
After the process of step S24, the process returns to the first step S11. Note that the image processing & control unit 4 may record the composite image IC in the recording unit 8 according to the setting of the user 13.
On the other hand, if the shooting mode is not set in step S11, the image processing & control unit 4 determines in step S25 whether or not the playback mode is set. If it is not the playback mode, the process proceeds to step S27.
If the determination result in step S11 is the playback mode, the image processing & control unit 4 plays back the image recorded in the recording unit 8 in step S26. In the next step S27, the image processing & control unit 4 determines whether or not an end operation has been performed. If the end operation has not been performed, the process returns to step S11. If the end operation has been performed, the camera 1 is turned off, and the process in FIG. 10 ends.

図11は図10のステップS19の水面パターン検出の処理手順の1例を示す。水面パターン検出の処理が開始すると、最初のステップS31において画像処理&制御部4の水面部画像検出部4eは、画面中央部に所定値以上のコントラスト変化があるか否かの判定を行う。
なお、この場合、画像処理&制御部4の水面部画像検出部4eは、加速度センサによる重力加速度の方向により、カメラ1の上下方向を識別(判別)する。そして画面の上下方向の中央部付近に、所定値以上のコントラスト変化があるか否かの判定を行う。
FIG. 11 shows an example of the processing procedure of the water surface pattern detection in step S19 of FIG. When the water surface pattern detection process is started, in the first step S31, the water surface image detection unit 4e of the image processing & control unit 4 determines whether or not there is a contrast change of a predetermined value or more in the center of the screen.
In this case, the water surface image detection unit 4e of the image processing & control unit 4 identifies (discriminates) the vertical direction of the camera 1 based on the direction of gravity acceleration by the acceleration sensor. Then, it is determined whether or not there is a contrast change equal to or greater than a predetermined value near the center of the screen in the vertical direction.

画面中央部に水の境界となる水面(水面部)があると、その水面を境界として光を吸収する水中側と、光の吸収の少ない水上側とで、明暗(コントラスト)変化がある。そして、水面部画像検出部4eは、そのコントラスト変化を判定する。
次のステップS32において水面部画像検出部4eは、コントラスト変化の境界、又はそのコントラスト変化している部分の(低いコントラスト領域としての)ローコントラスト領域の水平方向の範囲を判定する。
そして次のステップS33において水面部画像検出部4eは、ローコントラスト領域が(水面の様に)水平方向に帯状に存在しているか否かの判定を行う。
ローコントラスト領域が水平方向に帯状に存在する判定結果の場合には、次のステップS34において水面部画像検出部4eは、画面の上下でコントラスト差があるか否かの判定を行う。
When there is a water surface (water surface portion) serving as a boundary of water at the center of the screen, there is a change in contrast (contrast) between the underwater side that absorbs light using the water surface as a boundary and the upper surface of water that absorbs less light. And the water surface part image detection part 4e determines the contrast change.
In the next step S32, the water surface image detection unit 4e determines a horizontal range of a low contrast region (as a low contrast region) of a boundary of contrast change or a portion of the contrast change.
In the next step S33, the water surface image detection unit 4e determines whether or not the low contrast region is present in a strip shape in the horizontal direction (like the water surface).
In the case of the determination result that the low contrast region exists in a strip shape in the horizontal direction, in the next step S34, the water surface image detection unit 4e determines whether or not there is a contrast difference between the top and bottom of the screen.

画面の上下でコントラスト差があると判定した場合には、ステップS35において水面部画像検出部4eは、ステップS33及びS34の条件に該当するローコントラスト領域を水面パターン(水面部画像)と判定し、この図11の処理を終了する。
また、ステップS33の判定に該当しない判定結果の場合、及びステップS34の判定に該当しない判定結果の場合には水面パターンに該当しないと判定して、図11の処理を終了する。図11の処理が終了すると、図10のステップS20の処理に移る。また、図10におけるステップS13の半水中撮影モードの撮影状態であるか否かを自動判定する処理手順は、図12のようになる。
If it is determined that there is a contrast difference between the top and bottom of the screen, in step S35, the water surface image detection unit 4e determines that the low contrast region corresponding to the conditions of steps S33 and S34 is a water surface pattern (water surface image), The process of FIG. 11 is terminated.
Moreover, in the case of the determination result not corresponding to the determination in step S33 and in the case of the determination result not corresponding to the determination in step S34, it is determined not to correspond to the water surface pattern, and the processing in FIG. When the process of FIG. 11 is completed, the process proceeds to step S20 of FIG. Further, the processing procedure for automatically determining whether or not the shooting state is the semi-underwater shooting mode in step S13 in FIG. 10 is as shown in FIG.

この半水中撮影モードの撮影状態であるか否かの判定処理が開始すると、最初のステップS41において画像処理&制御部4は、画面中央部にローコントラスト領域が存在するか否かの判定を行う。ローコントラスト領域が存在する判定結果の場合には次のステップS42において画像処理&制御部4は、画面の上下の判定を行う。
この場合、画像処理&制御部4は、加速度センサによる検知結果を利用して上下の判定を行う。
その後ステップS43において画像処理&制御部4は、ローコントラスト領域が帯状に画面を水平方向に横断しているかの判定を行う。この判定結果に該当する場合には、次のステップS44において画像処理&制御部4は、加速度センサの検知結果を用いて、カメラ1に倒れ無しかの判定を行う。
When the process for determining whether or not the shooting state is in the semi-underwater shooting mode is started, in the first step S41, the image processing & control unit 4 determines whether or not a low contrast region exists in the center of the screen. . In the case of a determination result in which a low contrast region exists, in the next step S42, the image processing & control unit 4 determines whether the screen is up or down.
In this case, the image processing & control unit 4 makes an up / down determination using the detection result of the acceleration sensor.
Thereafter, in step S43, the image processing & control unit 4 determines whether the low contrast region crosses the screen in the horizontal direction in a band shape. If this determination result is satisfied, in the next step S44, the image processing & control unit 4 determines whether or not the camera 1 has fallen using the detection result of the acceleration sensor.

ユーザ13は、図1A、図1Bに示したカメラ1により半水中撮影を行う場合、図8A又は図8Bのように撮影レンズ3aが、カメラ1の中央位置よりも下寄りとなる姿勢状態に保持する。
また、このカメラ1の場合には、ユーザ13は、カメラ1の縦長の方向を、重力が作用する上下方向に設定した状態となる。図13(B)は、図8Aに相当するカメラ1の姿勢状態を示す。
この場合、画像処理&制御部4は、点線で示す加速度センサ11aと、この加速度センサ11aによる上下方向と垂直となる紙面横方向の加速度を検出する図示しない加速度センサによる検知結果を用いて、カメラ1に倒れ無しかの判定を行う。
When the user 13 performs semi-underwater shooting with the camera 1 shown in FIGS. 1A and 1B, the user 13 holds the shooting lens 3 a in a posture state in which the shooting lens 3 a is lower than the center position of the camera 1 as shown in FIG. 8A or 8B. To do.
In the case of this camera 1, the user 13 is in a state where the vertically long direction of the camera 1 is set to the vertical direction in which gravity acts. FIG. 13B shows a posture state of the camera 1 corresponding to FIG. 8A.
In this case, the image processing & control unit 4 uses the acceleration sensor 11a indicated by the dotted line and the detection result by the acceleration sensor (not shown) that detects the acceleration in the horizontal direction of the paper perpendicular to the vertical direction by the acceleration sensor 11a. 1 determines whether there is no fall.

図13(B)の状態は、カメラ1の縦長の方向が上下方向に平行な倒れ(傾き)が無い状態を示し、これに対して図13(C)及び図13(D)は、時計回り方向及び反時計回り方向に倒れがある状態を示している。
図13(B)のように倒れが無い判定結果の場合には、ステップS45において画像処理&制御部4は、この状態のカメラ1が半水中撮影モードの撮影状態であると判定して、この図12の処理を終了する。
一方、ステップS41の判定に該当しない判定結果、ステップS43の判定に該当しない判定結果、ステップS44の判定に該当しない判定結果の場合には、ステップS46において画像処理&制御部4は、この状態のカメラ1が半水中撮影モードの撮影状態でないと判定して、この図12の処理を終了する。
The state of FIG. 13B shows a state in which the longitudinal direction of the camera 1 is not tilted (inclined) parallel to the vertical direction, while FIGS. 13C and 13D are clockwise. The state which has fallen in the direction and the counterclockwise direction is shown.
In the case of the determination result that there is no tilt as shown in FIG. 13B, in step S45, the image processing & control unit 4 determines that the camera 1 in this state is in the shooting state in the semi-underwater shooting mode. The process of FIG.
On the other hand, in the case of the determination result not corresponding to the determination in step S41, the determination result not corresponding to the determination in step S43, or the determination result not corresponding to the determination in step S44, the image processing & control unit 4 in this state It is determined that the camera 1 is not in the shooting state of the semi-underwater shooting mode, and the processing in FIG.

なお、図12におけるステップS45及びステップS46の判定の後、ステップS47に示すように判定結果に応じた(表示部5による)表示切換を行うようにしても良い。情報を表示部5で表示するようにしても良い。
図14はこの場合の処理手順を示す。表示切換の処理が開始すると、最初のステップS61において画像処理&制御部4は、半水中撮影モードの撮影状態であるかの判定を行う。
半水中撮影モードの撮影状態である判定結果の場合には次のステップS62において画像処理&制御部4は、図13(A)に示すように表示部5の例えば上半分に、この判定結果のモード表示、例えば「半水中撮影モードです」という主旨の表示を行う。そして、この表示切換の処理を終了する。
In addition, after the determination of step S45 and step S46 in FIG. 12, as shown in step S47, display switching according to the determination result (by the display unit 5) may be performed. Information may be displayed on the display unit 5.
FIG. 14 shows a processing procedure in this case. When the display switching process is started, in the first step S61, the image processing & control unit 4 determines whether or not the shooting state is the semi-underwater shooting mode.
In the case of the determination result indicating the shooting state in the semi-underwater shooting mode, in the next step S62, the image processing & control unit 4 displays the determination result in, for example, the upper half of the display unit 5 as shown in FIG. A mode display is displayed, for example, a message indicating that the mode is “semi-underwater shooting mode”. Then, the display switching process is terminated.

一方、ステップS61の判定が半水中撮影モードの撮影状態でない場合には次のステップS63において画像処理&制御部4は、通常の画像表示(つまり表示部5の表示面に通常の画像を全画面表示)を行い、この表示切換の処理を終了する。
このような表示を行うようにすると、ユーザ13は半水中撮影モードの撮影状態に設定されたことを確認できる。そして、このような表示を行うことにより、ユーザ13に対する操作性を向上できる。
なお、図12に示す半水中撮影モードの撮影状態を判定する処理手順の変形例として図15Aに示す処理手順を採用しても良い。なお、この変形例の処理手順は、半水中撮影モードの撮影状態の判定を行うと共に、その判定の処理手順において水面パターンの判定も行う。このため、図10に適用した場合には、ステップS18の次の水面パターンの検出処理を行う際に上記の判定結果を用いて次のステップS20の処理に進むことができる。
On the other hand, when the determination in step S61 is not the shooting state in the semi-underwater shooting mode, in the next step S63, the image processing & control unit 4 displays a normal image on the display screen of the display unit 5 (that is, a normal image on the full screen). Display) and the display switching process is terminated.
When such a display is performed, the user 13 can confirm that the shooting state in the semi-underwater shooting mode is set. And by performing such a display, the operativity with respect to the user 13 can be improved.
Note that the processing procedure shown in FIG. 15A may be adopted as a modification of the processing procedure for determining the shooting state in the semi-underwater shooting mode shown in FIG. The processing procedure of this modified example determines the shooting state in the semi-underwater shooting mode, and also determines the water surface pattern in the determination processing procedure. For this reason, when applied to FIG. 10, when the detection process of the next water surface pattern of step S18 is performed, it can progress to the process of the next step S20 using said determination result.

図15Aに示す半水中撮影モードの撮影状態に対する判定処理が開始すると、最初のステップS71において画像処理&制御部4は、画面中央部にコントラスト変化があるか否かの判定を行う。この場合、画像処理&制御部4は、加速度センサによる重力加速度の方向により、カメラ1の上下方向を識別(判別)する。そして画面の上下方向の中央部付近にコントラスト変化があるか否かの判定を行う。
画面中央部に水の境界となる水面があると、その水面を境界として光を吸収する水中側と、光の吸収の少ない水上側とで、コントラスト(明暗)変化がある。
そして、画面中央部にコントラスト変化があると判定した場合には次のステップS72において画像処理&制御部4は、コントラスト変化の境界は、画面を水平方向(横方向)に横断しているか否かの判定を行う。水面の場合には、コントラスト変化の境界が画面を横断していることになる。
When the determination process for the shooting state in the semi-underwater shooting mode shown in FIG. 15A is started, in the first step S71, the image processing & control unit 4 determines whether or not there is a contrast change in the center of the screen. In this case, the image processing & control unit 4 identifies (discriminates) the vertical direction of the camera 1 based on the direction of gravitational acceleration by the acceleration sensor. Then, it is determined whether or not there is a contrast change near the center of the screen in the vertical direction.
If there is a water surface serving as a water boundary in the center of the screen, there is a contrast (brightness / darkness) change between the underwater side that absorbs light with the water surface as a boundary and the upper side of the water that absorbs less light.
If it is determined that there is a contrast change in the center of the screen, in the next step S72, the image processing & control unit 4 determines whether the boundary of the contrast change crosses the screen in the horizontal direction (horizontal direction). Judgment is made. In the case of the water surface, the boundary of the contrast change crosses the screen.

コントラスト変化の境界が、画面を横断している判定結果の場合には、次のステップS73において画像処理&制御部4は、画面の上下の明暗を比較する処理を行う。この場合にも、画像処理&制御部4は、加速度センサの信号から画面の上下(の姿勢)を判定(識別)する。
次のステップS74において画像処理&制御部4は、コントラストが低いローコントラスト領域が下に暗いか(つまり、下側が暗いローコントラスト領域となっているか)否かの判定を行う。この場合の判定として、ローコントラスト領域の判定を行わないで単に、上の画像に比較して下の画像が暗いか否かの判定を行うようにしても良い。図15Bのような被写体の場合には、下の水中側が暗くなる。
If the determination result indicates that the contrast change boundary crosses the screen, in the next step S73, the image processing & control unit 4 performs a process of comparing the top and bottom of the screen. Also in this case, the image processing & control unit 4 determines (identifies) the top and bottom (or posture) of the screen from the signal of the acceleration sensor.
In the next step S74, the image processing & control unit 4 determines whether or not the low contrast region with low contrast is dark downward (that is, the lower side is a dark low contrast region). As a determination in this case, it is also possible to simply determine whether the lower image is darker than the upper image without determining the low contrast region. In the case of a subject like FIG. 15B, the lower underwater side becomes dark.

下が暗い判定結果の場合には、次のステップS75において画像処理&制御部4は、画面の上下の色調を比較する。そして、次のステップS76において画像処理&制御部4は、上部に比較して下部に赤成分が少ないかを判定する。
上部に比較して下部に赤成分が少ないと、ステップS77において画像処理&制御部4は、半水中撮影モードの撮影状態であると判定する。また、ステップS79に示すようにコントラスト変化の境界を水面パターンと判定する。
そして、画像処理&制御部4は、図10のステップS16の処理に進む。
一方、ステップS71,S72、S74、S76の判定に該当しない場合には、ステップS78において画像処理&制御部4は、半水中撮影モードの撮影状態でないと判定して、図10のステップS14の処理に進む。
If the determination result is dark at the bottom, in the next step S75, the image processing & control unit 4 compares the upper and lower color tones of the screen. In the next step S76, the image processing & control unit 4 determines whether the red component is lower in the lower part than in the upper part.
If the red component is lower in the lower portion than in the upper portion, the image processing & control unit 4 determines in step S77 that the shooting state is the semi-underwater shooting mode. Further, as shown in step S79, the boundary of contrast change is determined as a water surface pattern.
Then, the image processing & control unit 4 proceeds to the process of step S16 in FIG.
On the other hand, if the determination in steps S71, S72, S74, and S76 is not applicable, the image processing & control unit 4 determines in step S78 that the shooting state is not in the semi-underwater shooting mode, and the processing in step S14 in FIG. Proceed to

なお、2つのステップS74及びS76の判定処理の一方の判定結果からステップS77又はS78の判定を行うようにしても良い。
図15Aの処理によると、ステップS77の判定結果から、ステップS72の画面中央部でコントラスト変化の境界が画面を横断している部分を水面パターンと判定して、その上部側が水上被写体、下部側が水中被写体と判定(識別)することができる。
図15Bは、図15Aの半水中撮影モードの判定に対応する説明図で、この図15Bは、半水中撮影モードの撮影状態における被写体の代表例を示す。
図15Bに示すように水中は水上に比較して、透明度が低く、また光の吸収により暗く、また浮遊物が存在することがしばしばあり、これらによりコントラストが低いローコントラスト領域となる。
Note that the determination in step S77 or S78 may be performed from one determination result of the determination processing in two steps S74 and S76.
According to the processing of FIG. 15A, from the determination result of step S77, a portion where the boundary of the contrast change crosses the screen in the center of the screen in step S72 is determined as a water surface pattern. It can be determined (identified) as a subject.
FIG. 15B is an explanatory diagram corresponding to the determination of the semi-underwater photographing mode in FIG. 15A, and FIG. 15B shows a representative example of the subject in the photographing state in the semi-underwater photographing mode.
As shown in FIG. 15B, the water has a lower transparency than the water, is darker due to light absorption, and often has floating substances, which results in a low contrast region having a low contrast.

また、可視領域における特に長波長側の赤い波長が、短波長側よりも吸収されやすく、青の色調になり易い(換言すると、赤成分が少ない色調となる)。従って、図15Aの処理手順により、半水中撮影モードの判定を行うことができる。
このような動作を行う第1の実施形態に係るカメラ1によれば、水面Wが変動する水面部のために水上被写体あるいは水中被写体部分が欠落又は撮影できないような撮影タイミングで撮影を行った複数の画像を合成することにより、水上被写体及び水中被写体を同時に含む合成画像を生成することが可能となる。
従って、ユーザ13は、水面Wの変動による影響を低減した水上被写体及び水中被写体を同時に含む良好な画質の画像としての合成画像を取得でき、また、その良好な画質の画像を観察(鑑賞)することができる。
In addition, the red wavelength, particularly on the long wavelength side in the visible region, is more easily absorbed than the short wavelength side, and tends to have a blue color tone (in other words, a color tone with less red component). Accordingly, the semi-underwater shooting mode can be determined by the processing procedure of FIG. 15A.
According to the camera 1 according to the first embodiment performing such an operation, a plurality of images shot at shooting timings such that a water subject or an underwater subject portion is missing or cannot be photographed due to a water surface portion where the water surface W fluctuates. By synthesizing these images, it is possible to generate a composite image that includes the water subject and the water subject at the same time.
Therefore, the user 13 can acquire a composite image as a high-quality image that simultaneously includes a floating subject and an underwater subject that are less affected by fluctuations in the water surface W, and observe (appreciate) the good-quality image. be able to.

(第2の実施形態)
図16は本発明の第2の実施形態の携帯カメラ部(図面中では、単にカメラ部)1Bの構成を示す。本実施形態の携帯カメラ部1Bは、図17に示すように防水機能を持つ携帯電話51に搭載されている。この携帯電話51は、携帯カメラ部1Bと表示部5とが別体であり、携帯カメラ部1Bと表示部5は折り曲げ部により折り曲げ可能に連結されている。
図16に示す携帯カメラ部1Bは、図1に示したカメラ1においてさらに画像処理&制御部4内に、少なくとも複数枚分の画像を記録する記録容量を持って、所定期間中、撮像された画像を一時的に記録(記憶)する仮記録部4hを備える。なお、一時的に画像を記録することを仮記録とも言う。また、仮記録部4hに画像を一時的に記録する場合、その画像を仮記録するタイミングも同時に記録する。
また、本実施形態においては、画像処理&制御部4は、半水中撮影モードにおける実質的に良好と考えられる画像を撮影画像として記録部8に記録(撮影・記録)する撮影タイミングを決定する撮影タイミング決定部4iの機能を持つ。
(Second Embodiment)
FIG. 16 shows a configuration of a portable camera unit (simply a camera unit in the drawing) 1B according to the second embodiment of the present invention. The portable camera unit 1B of this embodiment is mounted on a cellular phone 51 having a waterproof function as shown in FIG. In the mobile phone 51, the mobile camera unit 1B and the display unit 5 are separate bodies, and the mobile camera unit 1B and the display unit 5 are connected to each other so as to be bent by a bending unit.
The portable camera unit 1B shown in FIG. 16 has a recording capacity for recording at least a plurality of images in the image processing & control unit 4 in the camera 1 shown in FIG. A temporary recording unit 4h that temporarily records (stores) an image is provided. Note that temporarily recording an image is also called temporary recording. When an image is temporarily recorded in the temporary recording unit 4h, the timing for temporarily recording the image is recorded at the same time.
Further, in the present embodiment, the image processing & control unit 4 determines the shooting timing for recording (shooting / recording) in the recording unit 8 an image that is considered to be substantially good in the semi-underwater shooting mode as a shot image. It has the function of the timing determination unit 4i.

ローコントラスト領域検出部4fは、撮像している画像においてローコントラスト領域を検出した場合には、仮記録部4hにその画像を仮記録(一時的に記録)する。仮記録された画像は、画像合成部4a及び表示制御部4bを経て、良好と判定された画像が表示部5に表示される。
図17は、図16に示した構成の携帯カメラ部1Bを備えた携帯電話51を用いて、ユーザ13が池53の水面付近で泳いでいる亀を鑑賞対象の被写体として撮像して、鑑賞している様子を示す。
この図17に示すようにユーザ13は、携帯カメラ部1Bの(撮像部3の)撮影レンズ3aの中央位置を水面付近に設定して、池53の水上被写体及び水中被写体を撮影する半水中撮影モードの撮影状態に設定することができる。
When the low contrast region detection unit 4f detects a low contrast region in the image being captured, the low contrast region detection unit 4f temporarily records (temporarily records) the image in the temporary recording unit 4h. The temporarily recorded image is displayed on the display unit 5 through the image composition unit 4a and the display control unit 4b.
FIG. 17 shows an image of a turtle swimming near the water surface of a pond 53 as a subject to be viewed using the mobile phone 51 including the mobile camera unit 1B having the configuration shown in FIG. It shows how it is.
As shown in FIG. 17, the user 13 sets the center position of the photographing lens 3a (of the imaging unit 3) of the portable camera unit 1B near the water surface, and shoots a water subject and an underwater subject in the pond 53. The mode can be set to the shooting state.

上述した図7において説明したように水面Wが変動した斜線で示す領域32によって、視野θ内における被写体像の結像が実質的に妨げられる。このため、図17の撮影状態で撮像したある撮像タイミングで取得した画像を表示部5で表示した場合には、図18Aのような画像IC′になる。
この場合には、中央付近に水面パターン(水面部画像)が発生し、その上下が水上被写体の(水上被写体)画像及び水中被写体の(水中被写体)画像となる。
水面Wは、風などのために時間的に変動する状況であると、撮像タイミングに依存して、図18B、図18Cに示す画像IA′、IB′のように図18Aの画像IC′に比較すると良好でない画像になる。このため、本実施形態は、図18B、図18Cのような画像の場合には表示を行わないで、より良好な図18Aのような画像、又はより良好な合成画像を表示することができるようにしている。
なお、実際には、これらの画像がそれぞれ良好な画像であるか、又は水面パターンによりかなり影響された良好でない画像であるかを判定する処理を行うことが必要となる。このため、判定結果が決まるまでの間においては、図18B、図18Cのような画像も一時的に表示するようにしても良い。
画像処理&制御部4は、ローコントラスト領域を検出した場合には仮記録部4hにその画像を一時的に記録する。そして、画像処理&制御部4は、図19に示す表示制御の処理手順に従って表示部5に画像を表示する制御を行う。
As described with reference to FIG. 7 described above, the formation of the subject image within the field of view θ is substantially hindered by the region 32 indicated by the oblique lines in which the water surface W fluctuates. For this reason, when an image acquired at a certain imaging timing captured in the imaging state of FIG. 17 is displayed on the display unit 5, an image IC ′ as shown in FIG. 18A is obtained.
In this case, a water surface pattern (water surface image) is generated in the vicinity of the center, and the upper and lower sides thereof are a water subject (water subject) image and an underwater subject (underwater subject) image.
When the water surface W is in a time-varying state due to wind or the like, it is compared with the image IC ′ in FIG. 18A like images IA ′ and IB ′ shown in FIGS. 18B and 18C depending on the imaging timing. Then, the image is not good. For this reason, in the present embodiment, it is possible to display a better image as shown in FIG. 18A or a better composite image without performing display in the case of the images as shown in FIGS. 18B and 18C. I have to.
In practice, it is necessary to perform a process for determining whether each of these images is a good image or an unfavorable image considerably influenced by the water surface pattern. Therefore, images such as those shown in FIGS. 18B and 18C may be temporarily displayed until the determination result is determined.
When detecting the low contrast region, the image processing & control unit 4 temporarily records the image in the temporary recording unit 4h. Then, the image processing & control unit 4 performs control to display an image on the display unit 5 in accordance with the display control processing procedure shown in FIG.

図19の表示制御の処理が開始すると、最初のステップS101において画像処理&制御部4は、撮像部3により撮像された被写体の画像の取り込みを行う。次のステップS102において画像処理&制御部4のローコントラスト領域検出部4fは、撮像した画像におけるローコントラスト領域の検出を行う。
そして、ローコントラスト領域検出部4fは、検出したローコントラスト領域が図18Aのように画面の(上下方向における)中央部のみか否かの判定を行う。この判定を行う場合、画像処理&制御部4は、加速度センサによる検知結果を利用して画面の上下方向を認識する。なお、中央部のみか否かの判定を行う場合、コントラストが低いローコントラスト領域の上下方向の幅、つまりローコントラスト領域が水平方向に帯状になっている場合のその帯の幅が所定値(又は閾値)以下であるか否かにより判定する。その幅が所定値以下であると良好な画像であると判定される。
ローコントラスト領域が中央部のみでない判定結果の場合には、次のステップS103において画像処理&制御部4は、画面の上方部分がローコントラスト領域であるか否か、つまり、図18Bのようにローコントラスト領域が上方に広がっているか否かの判定を行う。
When the display control process in FIG. 19 is started, the image processing & control unit 4 captures an image of the subject imaged by the imaging unit 3 in the first step S101. In the next step S102, the low contrast region detection unit 4f of the image processing & control unit 4 detects a low contrast region in the captured image.
Then, the low contrast region detection unit 4f determines whether or not the detected low contrast region is only the center portion (in the vertical direction) of the screen as shown in FIG. 18A. When making this determination, the image processing & control unit 4 recognizes the vertical direction of the screen using the detection result by the acceleration sensor. When determining whether or not it is only the central part, the vertical width of the low contrast region having a low contrast, that is, the width of the band when the low contrast region is banded in the horizontal direction is a predetermined value (or Judgment is made by whether or not it is equal to or less than (threshold). If the width is less than or equal to a predetermined value, it is determined that the image is good.
If the determination result is that the low contrast region is not only in the central portion, in the next step S103, the image processing & control unit 4 determines whether or not the upper part of the screen is the low contrast region, that is, as shown in FIG. It is determined whether or not the contrast area extends upward.

画面の上方部分がローコントラスト領域である判定結果の場合には、次のステップS104において画像処理&制御部4は、この画像を仮記録部4hに画像IA′として仮記録し、ステップS111の処理に移る。
図18Bは、この画像IA′の場合の1例である。この場合には、下部側の水中被写体の画像A′と共に、その上部側に水面部による水面部画像(水面パターン)としてのローコントラスト領域の画像領域32eが発生した画像IA′となる。
一方、ステップS103において画面の上方部分がローコントラスト領域でない判定結果の場合には、ステップS105において画像処理&制御部4は、画面の下方部分がローコントラスト領域であるか、つまり、図18Cのようにローコントラスト領域が下方に広がっているか否かの判定を行う。
In the case of the determination result that the upper part of the screen is the low contrast area, in the next step S104, the image processing & control unit 4 temporarily records this image as the image IA ′ in the temporary recording unit 4h, and the process of step S111 Move on.
FIG. 18B shows an example of this image IA ′. In this case, together with the image A ′ of the underwater subject on the lower side, an image IA ′ in which an image region 32e of a low contrast region as a water surface image (water surface pattern) by the water surface is generated on the upper side.
On the other hand, if it is determined in step S103 that the upper part of the screen is not the low contrast area, the image processing & control unit 4 determines in step S105 whether the lower part of the screen is the low contrast area, that is, as shown in FIG. It is then determined whether the low contrast region extends downward.

画面の下方部分がローコントラスト領域である判定結果の場合には、次のステップS106において画像処理&制御部4は、この画像を仮記録部4hに画像IB′として仮記録する。図18Cは、この画像IB′の場合の1例である。この場合には、上部側の水中被写体の画像B′と共に、その下部側に水面部による水面部画像(水面パターン)としてのローコントラスト領域の画像領域32fが発生した画像IB′となる。
次のステップS107において画像処理&制御部4は、上記仮記録部4hに仮記録した画像IA′のローコントラスト領域に、画像IB′のローコントラスト領域以外の画像部分を合成した合成画像を生成し、この合成画像を表示部5で表示する。
図18Bの画像IA′に、図18Cの画像IB′を合成した場合には、図18Aの画像IC′に示すものに類似した合成画像となる。
このように良好な画像でないと判定した場合には、仮記録した複数の画像を合成することにより、良好な画像を生成して表示する。具体的には、上方にローコントラスト領域が広がった画像IA′と、下方にローコントラスト領域が広がった画像IB′とから、一方のローコントラスト領域を他方の画像におけるローコントラスト領域以外の画像で置換による補間を行うことによって、良好な合成画像を生成して表示する。
従って、ユーザ13は、良好でない画像しか撮像できない状況であっても、良好な画像を観察(鑑賞)することができる。
If the determination result is that the lower part of the screen is the low contrast region, in the next step S106, the image processing & control unit 4 temporarily records this image as the image IB 'in the temporary recording unit 4h. FIG. 18C shows an example of this image IB ′. In this case, together with the image B ′ of the underwater subject on the upper side, an image IB ′ in which an image region 32 f of a low contrast region as a water surface image (water surface pattern) by the water surface is generated on the lower side.
In the next step S107, the image processing & control unit 4 generates a composite image in which an image portion other than the low contrast region of the image IB ′ is combined with the low contrast region of the image IA ′ temporarily recorded in the temporary recording unit 4h. The composite image is displayed on the display unit 5.
When the image IB ′ in FIG. 18C is synthesized with the image IA ′ in FIG. 18B, a synthesized image similar to that shown in the image IC ′ in FIG. 18A is obtained.
When it is determined that the image is not good as described above, a good image is generated and displayed by combining a plurality of temporarily recorded images. Specifically, one low-contrast region is replaced with an image other than the low-contrast region in the other image, from the image IA ′ having the low-contrast region extended upward and the image IB ′ having the low-contrast region extended downward. A good composite image is generated and displayed by performing interpolation according to.
Therefore, the user 13 can observe (appreciate) a good image even in a situation where only a bad image can be captured.

ステップS107の処理の後、画像処理&制御部4は、ステップS111の処理に進む。
なお、ステップS105において画面の上方部分がローコントラスト領域でない判定結果の場合には、ステップS108において画像処理&制御部4は、その画像を表示することなく、ステップS111の処理に進む。
また、ステップS102においてローコントラスト領域が中央部のみの判定結果の場合には、ステップS109において画像処理&制御部4は、その画像を仮記録部4hに仮記録する。図18Aの画像IC′は、この場合に該当する画像例である。
そして、次のステップS110において画像処理&制御部4は、仮記録部4hに仮記録した画像を(良好な画像であるために)そのまま表示部5で表示する。そして、画像処理&制御部4は、ステップS111の処理に進む。
After the process of step S107, the image processing & control unit 4 proceeds to the process of step S111.
If it is determined in step S105 that the upper part of the screen is not a low contrast area, the image processing & control unit 4 proceeds to the process of step S111 without displaying the image in step S108.
If it is determined in step S102 that the low-contrast area is the central portion only, in step S109, the image processing & control unit 4 temporarily records the image in the temporary recording unit 4h. An image IC ′ in FIG. 18A is an image example corresponding to this case.
In the next step S110, the image processing & control unit 4 displays the image temporarily recorded in the temporary recording unit 4h on the display unit 5 as it is (to be a good image). Then, the image processing & control unit 4 proceeds to the process of step S111.

ステップS111において画像処理&制御部4は、表示終了の操作が行われたか否かの判定を行う。表示終了の操作が行われていない場合には、ステップS101に戻り、次の画像の取り込みを行い、同様の処理を行う。一方、表示終了の操作が行われた場合には、図19の処理を終了する。
なお、図19に示すフローチャートでは、ステップS106の画像IB′の仮記録の後に、ステップS107において合成画像を生成して表示する処理を行う処理手順にしているが、この処理手順に限定されるものでない。
例えば、仮記録部4hに画像IA′又は画像IB′を仮記録した場合、合成を行うべき画像IB′又は画像IA′がすでに仮記録されている場合には、合成画像を生成して表示するようにしても良い。
In step S <b> 111, the image processing & control unit 4 determines whether a display end operation has been performed. If the display end operation has not been performed, the process returns to step S101, the next image is captured, and the same processing is performed. On the other hand, when the display end operation is performed, the processing in FIG. 19 is ended.
In the flowchart shown in FIG. 19, after the temporary recording of the image IB ′ in step S106, a processing procedure for generating and displaying a composite image in step S107 is used. However, the processing procedure is limited to this processing procedure. Not.
For example, when the image IA ′ or the image IB ′ is temporarily recorded in the temporary recording unit 4h, if the image IB ′ or the image IA ′ to be combined is already temporarily recorded, a combined image is generated and displayed. You may do it.

具体的には、図19のステップS105の処理の後、ステップS107に進むようにしても良い。但し、ステップS107においては、上記のように合成を行うべき画像IB′又は画像IA′がすでに仮記録されているか否かを判定し、仮記録されていない場合には合成画像を生成しないで、ステップS111に進み、仮記録されている場合には合成画像を生成して表示する。
また、図19に示すステップS107に記載した場合に限定されるものでなく、画像IB′のローコントラスト領域に画像IA′のローコントラスト以外の画像を合成して表示するようにしても良い。
図20は、このような処理手順(図19を若干修正)に対応した表示制御のタイミング図を示し、横方向が時間tを示す。また、符号Tfは、撮像部3による被写体を1画面(フレーム)分、撮像する場合の撮像周期を示し、表示周期と同じとしている。
Specifically, after the process of step S105 in FIG. 19, the process may proceed to step S107. However, in step S107, it is determined whether or not the image IB ′ or the image IA ′ to be synthesized has already been temporarily recorded as described above. If the image has not been temporarily recorded, a synthesized image is not generated. Proceeding to step S111, if temporarily recorded, a composite image is generated and displayed.
Further, the present invention is not limited to the case described in step S107 shown in FIG. 19, and an image other than the low contrast of image IA ′ may be combined and displayed in the low contrast region of image IB ′.
FIG. 20 is a timing chart of display control corresponding to such a processing procedure (slightly modified FIG. 19), and the horizontal direction indicates time t. A symbol Tf indicates an imaging cycle when the subject by the imaging unit 3 is captured for one screen (frame), and is the same as the display cycle.

最上段(1段目)は、撮像部3により撮像されて、画像処理&制御部4に取り込まれた画像IC′、IA′、IB′における時間順の(撮像)画像Cj、Aj、Bj、をそれぞれ示し、その下段(2段目)には表示部5で実際に表示される画像Cj、Djを示す。なお画像IC′は、ローコントラスト領域が中央部のみの場合の良好と考えられる画像を意味する。
これに対して、画像Aj,Bjは、画像Cj程には良好ではない画像のため、そのままでは表示されない。そして、画像Djは、画像Aj、Bj(jが異なる場合もある)を合成した合成画像であり、表示される画像となる。また、j=1,2,3,…は、撮像された画像の時間順を示すパラメータである。
The uppermost stage (first stage) is taken by the imaging unit 3 and is taken in the image processing & control unit 4 in time order (imaging) images Cj, Aj, Bj in the images IC ′, IA ′, IB ′. In the lower part (second stage), images Cj and Dj actually displayed on the display unit 5 are shown. The image IC ′ means an image that is considered good when the low-contrast region is only in the center.
On the other hand, the images Aj and Bj are not as good as the image Cj and are not displayed as they are. The image Dj is a combined image obtained by combining the images Aj and Bj (j may be different), and is a displayed image. J = 1, 2, 3,... Are parameters indicating the time order of the captured images.

図20に示すように画像C1が撮像された場合には、次のフレームから、表示部5によりその画像C1が表示される。この画像C1は、次の画像C2が表示されるまで、又は合成画像D1が表示されるまで、その表示が継続する。
図20の例では、画像C2の次に、画像A1、A2が撮像されるが、まだ画像B1が撮像されていない(そして仮記録もされていない)ので、表示されない。そして、画像B1が撮像されると、(画像B1と画像A2との合成による)合成画像D1として表示される。
なお、この表示例では、合成画像を表示する場合、Bj(具体的にはB1)以前に複数の画像Aj(具体的では画像A1,A2)が仮記録されている場合、最新の画像(A2)と合成する。画像B1の次に画像B2が撮像されると、この画像B2と画像A2との合成画像D2が表示される。
When the image C1 is captured as shown in FIG. 20, the display unit 5 displays the image C1 from the next frame. This image C1 continues to be displayed until the next image C2 is displayed or until the composite image D1 is displayed.
In the example of FIG. 20, images A1 and A2 are captured next to image C2, but are not displayed because image B1 has not yet been captured (and has not been provisionally recorded). When the image B1 is captured, it is displayed as a composite image D1 (by combining the image B1 and the image A2).
In this display example, when a composite image is displayed, when a plurality of images Aj (specifically images A1 and A2) are provisionally recorded before Bj (specifically B1), the latest image (A2) is displayed. ). When an image B2 is captured next to the image B1, a composite image D2 of the image B2 and the image A2 is displayed.

その後、画像C3が撮像されてその画像C3が表示される。その後、画像A3が撮像されると、この画像A3と、その時間前における最新の画像B2とで合成画像D3が表示される。以後も同様の規則で表示されることになる。
このように表示制御することにより、水面部のために、水上被写体のみの画像や、水中被写体のみの画像しか撮像できない状況においても、水上被写体及び水中被写体を同時に含む合成画像(図20における画像D1,D2等)や、中央部のみがローコントラスト領域となる水上被写体及び水中被写体を同時に含むと考えられる画像(図20における画像C1,C2等)を表示部5で表示することができるようになる。
従って、ユーザ13はこのように鑑賞対象の被写体を良好に撮像した状態に相当する画像を鑑賞することができる。
Thereafter, the image C3 is captured and the image C3 is displayed. Thereafter, when the image A3 is captured, the composite image D3 is displayed with the image A3 and the latest image B2 before that time. Thereafter, the same rule is displayed.
By controlling the display in this way, the composite image including the water subject and the underwater subject at the same time (image D1 in FIG. 20) even in the situation where only the image of the water subject or only the image of the underwater subject can be captured due to the water surface portion. , D2, etc.) and an image (images C1, C2, etc. in FIG. 20) that is considered to include both a floating subject and an underwater subject whose only the central portion is a low contrast region can be displayed on the display unit 5. .
Therefore, the user 13 can appreciate an image corresponding to a state in which the subject to be appreciated is captured well.

図20に示した表示の変形例として、合成画像を表示する場合、上下方向のローコントラスト領域が小さいもの、つまり上下方向にローコントラスト領域の広がりが小さいものを選択して合成画像を生成して表示するようにしても良い。
また、上述においては、撮像した画像を表示する場合に関する説明であった。本実施形態は、さらに表示と撮影・記録との制御とを連動させるような撮影モードを選択することもできる。この撮影・記録は、仮記録ではなく、記録部8に画像を記録することを意味し、その意味が明らかな場合には簡略的には撮影又は記録とも言う。
本実施形態においては、表示と撮影との制御とを連動させる場合、上述した画像C1等の良好な画像のみを撮影・記録するモードと、さらに合成画像も撮影・記録するモードを選択することができるようにしている。また、本実施形態においては、仮記録部4hを設けることにより、撮影タイミングを逃すことなく、画像C1等の良好な画像を、記録部8に撮影・記録することができるようにしている。
As a modification of the display shown in FIG. 20, when a composite image is displayed, a composite image is generated by selecting a small low contrast region in the vertical direction, that is, a small low contrast region in the vertical direction. It may be displayed.
In the above description, the captured image is displayed. In the present embodiment, it is also possible to select a shooting mode that links display and shooting / recording control. This shooting / recording is not temporary recording but means that an image is recorded in the recording unit 8, and when the meaning is clear, it is also simply called shooting or recording.
In the present embodiment, when the control of display and shooting is linked, it is possible to select a mode for shooting and recording only a good image such as the image C1 and a mode for shooting and recording a composite image. I can do it. In the present embodiment, the provisional recording unit 4h is provided so that a good image such as the image C1 can be photographed and recorded in the recording unit 8 without missing the photographing timing.

この場合に係る携帯カメラ1Bは、水面上部側の水上被写体と、水面下部側の水中被写体とを同時に撮影するための撮像部3と、この撮像部3で撮像した被写体の画像から、水面が変動する水面部によって生じる水面部画像を検出し、水上被写体の(水上被写体)画像と水中被写体の(水中被写体)画像の同時撮影に適した撮影タイミングを決定する撮影タイミング決定部4iと、撮影タイミング決定部4iで決定した撮影タイミング付近の複数のタイミングで撮像された複数の被写体の画像から合成画像を生成する画像合成部4aと、を具備することを特徴とする。
より具体的には、画像処理&制御部4の撮影タイミング決定部4iは、(仮記録部4hに記録可能な)所定期間中に撮像部3によりそれぞれ撮像された複数の画像を、そのタイミングと共に一時的に仮記録部4hに記録する。
In the portable camera 1B according to this case, the water surface fluctuates from the image pickup unit 3 for simultaneously photographing a water subject on the upper side of the water surface and an underwater subject on the lower side of the water surface, and the image of the subject imaged by the image pickup unit 3. A shooting timing determination unit 4i for detecting a water surface image generated by a water surface portion to be detected and determining a shooting timing suitable for simultaneous shooting of a (water subject) image of a water subject and an (underwater subject) image of a water subject; And an image composition unit 4a that generates a composite image from images of a plurality of subjects imaged at a plurality of timings near the photographing timing determined by the unit 4i.
More specifically, the imaging timing determination unit 4i of the image processing & control unit 4 displays a plurality of images respectively captured by the imaging unit 3 during a predetermined period (recordable in the temporary recording unit 4h) together with the timing. Temporary recording is performed in the temporary recording unit 4h.

さらに、撮影タイミング決定部4iは、仮記録部4hに一時的に記録された画像に対して水面部画像における水面部の影響が小さい、又は(水上被写体)画像及び(水中被写体)画像の同時撮影に該当する撮影すべき撮影画像であるか否かを決定(判定)する。そして、撮影タイミング決定部4iは、決定した撮影画像を仮記録部4hから記録部8に撮影画像として撮影・記録するタイミングを、撮影すべき撮影画像を撮影する撮影タイミングとして決定する(撮影タイミングとする)ことを特徴とする。
なお、この場合の撮影画像は、図18Aに示すようにローコントラスト領域が画面の中央部のみに存在するものが該当する。
Further, the photographing timing determination unit 4i has a small influence of the water surface portion on the water surface image with respect to the image temporarily recorded in the temporary recording unit 4h, or simultaneously shoots the (water subject) image and the (underwater subject) image. It is determined (determined) whether or not it is a captured image corresponding to the above. Then, the shooting timing determination unit 4i determines the timing for shooting and recording the determined shot image as a shot image from the temporary recording unit 4h to the recording unit 8 as the shooting timing for shooting the shot image to be shot (shooting timing and It is characterized by that.
Note that the captured image in this case corresponds to an image in which a low contrast region exists only in the center of the screen as shown in FIG. 18A.

図21Aは表示と撮影とを連動させた場合の処理手順の一部のフローチャートを示す。
図21Aは、例えば図19のフローチャートにおいて、ステップS110とステップS111との間にステップS121とステップS122との処理を行う処理手順となっている。ステップS110において図20の画像C1,C2等をそのまま表示部5に表示した後、ステップS121において画像処理&制御部4は、表示と撮影・記録との制御を連動させる設定(選択)であるかの判定を行う。
ユーザ13は、表示と撮影との制御を連動させる場合には、例えばモード設定スイッチ6bの操作によるメニュー画面から連動を選択すれば良い。画像処理&制御部4は、この選択結果を参照することにより連動させるモードであるか否かを判定する。
FIG. 21A shows a flowchart of a part of the processing procedure when display and shooting are linked.
FIG. 21A shows a processing procedure for performing the processing of step S121 and step S122 between step S110 and step S111 in the flowchart of FIG. 19, for example. After the images C1, C2, etc. in FIG. 20 are displayed on the display unit 5 as they are in step S110, in step S121, is the image processing & control unit 4 set (selection) to link the display and shooting / recording control? Judgment is made.
The user 13 may select the interlock from the menu screen by operating the mode setting switch 6b, for example, when interlocking the control of display and photographing. The image processing & control unit 4 determines whether or not the mode is linked by referring to the selection result.

連動させない判定結果の場合には、画像処理&制御部4は、ステップS121の後ステップS111に進む。この場合には、図19と同様の処理を行うことになる。
一方、連動の判定結果の場合には、ステップS121の処理の後、ステップS122において画像処理&制御部4は、表示部5で表示した場合の画像を撮影し、記録部8に記録する処理を行った後、ステップS111に進む。その他は、図19、又は上述したように合成画像の生成、表示に関する一部を変形した処理手順と同様である。
図21Aに示した処理手順に沿った場合の撮影・記録の様子を図20の3段目に示す。なお、図20の3段目においては、撮影・記録(1)として示している。具体的にはローコントラスト領域が中央部のみとなる画質が良好と考えられる画像C1が(2段目に示すように)表示されると、その表示に連動して、3段目に示すように画像C1が撮影すべき撮影画像として仮記録部4hから記録部8に撮影・記録される。
In the case of the determination result that is not linked, the image processing & control unit 4 proceeds to step S111 after step S121. In this case, the same processing as in FIG. 19 is performed.
On the other hand, in the case of the interlocking determination result, after the processing of step S121, in step S122, the image processing & control unit 4 captures an image displayed on the display unit 5 and records it in the recording unit 8. After that, go to step S111. Others are the same as those in FIG. 19 or the processing procedure in which a part of the generation and display of the composite image is modified as described above.
The state of photographing / recording along the processing procedure shown in FIG. 21A is shown in the third row of FIG. Note that, in the third row of FIG. 20, the shooting / recording (1) is shown. Specifically, when an image C1 considered to have good image quality with a low contrast area only in the center is displayed (as shown in the second row), as shown in the third row in conjunction with the display. The image C1 is photographed and recorded from the temporary recording unit 4h to the recording unit 8 as a photographed image to be photographed.

この場合、撮影画像と共に、仮記録部4hに仮記録されたタイミング又は記録部8に記録されるタイミングが撮影タイミングとして記録される。なお、画像C1が継続して表示された場合には、その撮影・記録は最初の画像C1のみとなる。その後の画像C2等においても、表示に連動して撮影・記録が行われる。
従って、この場合には、画像処理&制御部4は、表示部5に表示する画質が良好と考えられる画像に連動して撮影して記録する撮影タイミングを決定する撮影タイミング決定部4iの機能を持つ。また、上記の説明のように、この撮影タイミング付近のタイミング(なお、このタイミングも撮影タイミングに含まれるように定義しても良い)において、画像合成部4aは合成画像を生成し、生成された合成画像は表示部5で表示される。
In this case, together with the captured image, the timing temporarily recorded in the temporary recording unit 4h or the timing recorded in the recording unit 8 is recorded as the imaging timing. When the image C1 is continuously displayed, only the first image C1 is captured / recorded. In the subsequent image C2 and the like, shooting and recording are performed in conjunction with the display.
Therefore, in this case, the image processing & control unit 4 has the function of the shooting timing determination unit 4i that determines the shooting timing for shooting and recording in conjunction with an image that is considered to have good image quality displayed on the display unit 5. Have. Further, as described above, the image composition unit 4a generates a composite image at the timing near the photographing timing (note that this timing may be defined to be included in the photographing timing). The composite image is displayed on the display unit 5.

また、画像C1、C2等の撮影・記録の他に合成画像を撮影・記録するようにしても良い。この場合の1例として、図20の2段目の表示と連動して合成画像D1,D2,…を撮影・記録する。この他に、図20の4段目に撮影・記録(2)に示すように撮影・記録しても良い。図20の4段目に示す例では、複数の合成画像を連続して表示した場合には、その中から、例えが上下方向におけるローコントラスト領域の広がりの最も小さい画像を用いて生成した合成画像のみを撮影・記録するようにしている。   In addition to photographing / recording the images C1, C2, etc., a composite image may be photographed / recorded. As an example of this case, the composite images D1, D2,... Are photographed and recorded in conjunction with the second display in FIG. In addition, as shown in the shooting / recording (2) on the fourth row in FIG. 20, shooting / recording may be performed. In the example shown in the fourth row of FIG. 20, when a plurality of composite images are displayed in succession, a composite image generated using, for example, an image with the smallest spread of the low contrast region in the vertical direction from among them. Only to shoot and record.

具体例においては、画像B1が撮像されると、この画像B1と仮記録された表示されない最新の画像A2とによる合成画像D1が表示され、次のフレームにおいて画像B2と画像A2とによる合成画像D2とが連続して表示される。この場合、上下方向におけるローコントラスト領域の広がりが画像B1よりも画像B2の方が小さい場合であるとして、合成画像D2を撮影・記録する。なお、合成画像D2を記録部8に実際に記録するタイミングは、合成画像D2の表示後となる。
図21Bはこのような処理を行う処理手順を示す。図21Bの処理手順は、図19におけるステップS106からステップS111に進む処理手順を変形した内容に該当する。
In a specific example, when the image B1 is picked up, a composite image D1 composed of the image B1 and the latest image A2 that has been temporarily recorded and is not displayed is displayed, and a composite image D2 composed of the image B2 and the image A2 in the next frame. And are displayed continuously. In this case, the composite image D2 is captured and recorded on the assumption that the spread of the low contrast region in the vertical direction is smaller in the image B2 than in the image B1. Note that the timing at which the composite image D2 is actually recorded in the recording unit 8 is after the display of the composite image D2.
FIG. 21B shows a processing procedure for performing such processing. The processing procedure of FIG. 21B corresponds to a modification of the processing procedure that proceeds from step S106 to step S111 in FIG.

ステップS106において画像IB′(図20では画像B1)として仮記録した後、ステップS131において画像処理&制御部4は、仮記録部4hに画像IA′が仮記録されているか否かの判定を行う。
仮記録部4hに画像IA′が仮記録されていない場合にはステップS111に進み、逆に仮記録部4hに画像IA′が仮記録されている場合にはステップS132に進む。
このステップS132において画像処理&制御部4は、画像IB′と、仮記録部4hに仮記録され、表示されない最新の画像IA′とで合成画像を生成し、その合成画像を表示する。この場合、画像処理&制御部4は、例えば画像IB′のローコントラスト領域に、最新の画像IA′のローコントラスト領域以外の画像を合成して表示部5に表示する。つまり、画像IB′のローコントラスト領域を、画像IA′の(ローコントラスト領域以外の)画像で置換による補正を行い、画像IB′のローコントラスト領域を低減した良好な画像を生成して、表示部5で表示する。
After temporarily recording as image IB ′ (image B1 in FIG. 20) in step S106, in step S131, the image processing & control unit 4 determines whether or not the image IA ′ is temporarily recorded in the temporary recording unit 4h. .
If the image IA ′ is not temporarily recorded in the temporary recording unit 4h, the process proceeds to step S111. Conversely, if the image IA ′ is temporarily recorded in the temporary recording unit 4h, the process proceeds to step S132.
In step S132, the image processing & control unit 4 generates a composite image using the image IB 'and the latest image IA' which is temporarily recorded in the temporary recording unit 4h and not displayed, and displays the composite image. In this case, the image processing & control unit 4 synthesizes an image other than the low contrast region of the latest image IA ′ with the low contrast region of the image IB ′, for example, and displays it on the display unit 5. That is, the low-contrast area of the image IB ′ is corrected by replacement with an image (other than the low-contrast area) of the image IA ′, and a good image in which the low-contrast area of the image IB ′ is reduced is generated. 5 is displayed.

さらに次のステップS133において画像処理&制御部4は、複数の画像IB′が連続して存在し、連続しているものの最後の画像であるか否かの判定を行う。これに該当しない場合にはステップS111に進む。
一方、S133の判定に該当する場合には次のステップS134において画像処理&制御部4は、上下方向(より厳密には中央部から下方向)にローコントラスト領域の広がりが最も小さい画像をIB′minを検出する。そして、画像処理&制御部4は、この画像IB′minと画像IA′による合成画像を撮影・記録して、ステップS111に進む。
Further, in the next step S133, the image processing & control unit 4 determines whether or not a plurality of images IB ′ are continuously present and are the last one of the consecutive images. If not, the process proceeds to step S111.
On the other hand, if the determination in S133 is satisfied, in the next step S134, the image processing & control unit 4 selects an image with the smallest expansion of the low contrast region in the vertical direction (more strictly, from the center to the lower side). Detect min. Then, the image processing & control unit 4 captures and records a composite image of the image IB′min and the image IA ′, and proceeds to step S111.

なお、画像IB′minを検出するためには、連続する画像IB′の最後の画像の検出(判定)が必要になるため、上記のように実際に記録部8に合成画像を撮影・記録するタイミングは、撮像したタイミングや仮記録したタイミングよりも若干遅れる。但し、仮記録する場合、仮記録するタイミング(時間)を同時に仮記録しておくことにより、実際に記録部8に記録する撮影タイミング(時間)として、それらのタイミングを記録するようにすれば、実際の記録動作が若干遅れることは問題にならない。また、仮記録するタイミングと記録部8に記録するタイミングとの差が小さいような場合には、いずれのタイミングを用いても良い。
図20の4段目においては、さらに画像C3の次に画像A3、A4が順次撮像されると、図21Bに示した処理と類似した処理(IA′とIB′とを入れ替えた処理)が行われる。
In order to detect the image IB′min, it is necessary to detect (determine) the last image of the continuous images IB ′. Therefore, the composite image is actually captured and recorded in the recording unit 8 as described above. The timing is slightly delayed from the timing at which the image is taken and the timing at which temporary recording is performed. However, in the case of temporary recording, by temporarily recording the timing (time) for temporary recording at the same time, if those timings are recorded as the shooting timing (time) actually recorded in the recording unit 8, It does not matter that the actual recording operation is slightly delayed. In addition, when the difference between the timing for temporary recording and the timing for recording in the recording unit 8 is small, any timing may be used.
In the fourth row in FIG. 20, when images A3 and A4 are sequentially captured next to image C3, processing similar to the processing shown in FIG. 21B (processing in which IA ′ and IB ′ are switched) is performed. Is called.

そして、同様に合成画像D3、D4においては、上下方向におけるローコントラスト領域の広がりが最も小さい画像を用いた場合の合成画像D4を撮影・記録する。ここで、上下方向におけるローコントラスト領域の広がりは、画像A3よりも画像A4の方が小さいとしている。
このように表示と撮影の制御を行う第2の実施形態によれば、第1の実施形態の効果の他に、水上被写体及び水中被写体とを同時に含むような良好な撮像状態に相当する画像を表示することも、記録部8に撮影・記録することができる。
なお、第1の実施形態においても、合成画像における例えばローコントラスト領域が上下方向において閾値よりも小さいか否かを判定し、閾値よりも小さい判定結果の場合には良好な画像として記録部8に記録するようにしても良い。また、水面部の影響が小さいと判定した合成画像を撮影画像として記録部8に記録しても良い。
また、上述した実施形態等を部分的に組み合わせたり、発明の要旨を変更することなく変形して構成される実施形態も本発明に属する。
Similarly, in the composite images D3 and D4, the composite image D4 when the image having the smallest spread of the low contrast region in the vertical direction is used is captured and recorded. Here, the spread of the low contrast region in the vertical direction is assumed to be smaller in the image A4 than in the image A3.
According to the second embodiment that controls display and shooting in this way, in addition to the effects of the first embodiment, an image corresponding to a good imaging state that includes a water subject and an underwater subject at the same time is displayed. Displaying can also be performed by photographing and recording in the recording unit 8.
Also in the first embodiment, it is determined whether, for example, a low-contrast region in the composite image is smaller than a threshold value in the vertical direction, and if the determination result is smaller than the threshold value, a good image is stored in the recording unit 8. It may be recorded. Further, a composite image determined to have a small influence on the water surface portion may be recorded in the recording unit 8 as a captured image.
In addition, embodiments that are configured by partially combining the above-described embodiments or the like without changing the gist of the invention also belong to the present invention.

1…カメラ、1B…携帯カメラ部、2…ケース、3…撮像部、3a…撮影レンズ、3b…撮像素子、3d…ピント合わせ部、4…画像処理&制御部、4a…画像合成部、4b…表示制御部、4c…ピント制御部、4e…水面部画像検出部、4f…ローコントラスト領域検出部、4g…半水中撮影モード判定部、4h…仮記録部、4i…撮影タイミング決定部、5…表示部、8…記録部、15…加速度検知部、31…波 DESCRIPTION OF SYMBOLS 1 ... Camera, 1B ... Portable camera part, 2 ... Case, 3 ... Imaging part, 3a ... Shooting lens, 3b ... Imaging element, 3d ... Focusing part, 4 ... Image processing & control part, 4a ... Image composition part, 4b Display control unit, 4c ... Focus control unit, 4e ... Water surface image detection unit, 4f ... Low contrast region detection unit, 4g ... Semi-underwater shooting mode determination unit, 4h ... Temporary recording unit, 4i ... Shooting timing determination unit, 5 ... display unit, 8 ... recording unit, 15 ... acceleration detection unit, 31 ... wave

特許3635500号Patent 3635500 特開2005−215684号公報JP 2005-215684 A

Claims (10)

水面上部側の水上被写体と、水面下部側の水中被写体とをそれぞれ撮影するための撮像部と、
上記撮像部で撮像した被写体の画像から、上記水上被写体の水上被写体画像と、上記水中被写体の水中被写体画像との境界の水面部に対応する水面部画像を検出する水面部画像検出部と、
上記撮像部で撮像した被写体の画像における上記水面部画像の上側に上記水中被写体画像、又は上記水面部画像の下側に上記水上被写体画像を合成して、合成画像を生成する画像合成部と、
を具備することを特徴とするカメラ。
An imaging unit for capturing a water subject on the upper surface of the water surface and an underwater object on the lower surface side of the water surface;
From the image of the subject captured by the imaging unit, and the water subject image of the water subject, and the water surface portion image detecting unit for detecting a water surface portion image corresponding to the water surface of the boundary between the water subject image of the underwater object,
An image compositing unit that synthesizes the underwater subject image above the water surface image in the image of the subject imaged by the imaging unit or the water subject image below the water surface image, and generates a composite image;
A camera comprising:
上記画像合成部は、
上記水面部画像検出部の検出結果に基づいて、上記撮像部の視野内における上記水面部の存在によって撮影が妨げられた上記水上被写体画像及び上記水中被写体画像の少なくとも一方を補間して、上記合成画像を生成することを特徴とする請求項1に記載のカメラ。
The image composition unit
Based on the detection result of the water surface portion picture image detection unit interpolates at least one of the water object image and the underwater object image photographing is hindered by the presence of the water surface portion of the field of view of the imaging unit, the The camera according to claim 1, wherein a composite image is generated.
上記水面部画像検出部は、
上記撮像部で撮像した被写体の画像から、少なくとも水平方向に帯状に延びるローコントラストのローコントラスト領域の検出結果により上記水面を含む水面部に対応する上記水面部画像を検出することを特徴とする請求項1に記載のカメラ。
The water surface image detection unit is
The water surface image corresponding to a water surface portion including the water surface is detected from a detection result of a low contrast low contrast region extending in a strip shape in the horizontal direction from an image of a subject imaged by the imaging unit. Item 14. The camera according to Item 1.
上記画像合成部は、
水平方向に帯状に延びる上記ローコントラスト領域が上又は下方向に広がって存在している場合の上記水面部画像を含む被写体の画像に対して、上記水中被写体画像又は上記水上被写体画像を合成して、上記合成画像を生成することを特徴とする請求項3に記載のカメラ。
The image composition unit
The underwater subject image or the above water subject image is synthesized with the subject image including the water surface image when the low contrast region extending in a strip shape in the horizontal direction extends upward or downward. The camera according to claim 3, wherein the composite image is generated.
上記合成画像を表示部に表示すると共に、上記ローコントラスト領域上下方向の幅が閾値以下と判定された際に、上記合成画像を撮影画像として記録部に記録することを特徴とする請求項4に記載のカメラ。 And displays the composite image in Table radical 113, when the vertical width of the low contrast region is determined to the threshold value or less, wherein, characterized in that the recording unit as a shadow image shooting the composite image Item 5. The camera according to Item 4. 水面上部側の水上被写体と、水面下部側の水中被写体とをそれぞれ撮影するための撮像ステップと、
上記撮像ステップで撮像した被写体の画像から、上記水上被写体の水上被写体画像と、上記水中被写体の水中被写体画像との境界の水面部に対応する水面部画像を検出する水面部画像検出ステップと、
上記撮像ステップで撮像した上記被写体の画像における上記水面部画像の上側に上記水中被写体画像、又は上記水面部画像の下側に上記水上被写体画像を合成して、合成画像を生成する画像合成ステップと、
を具備することを特徴とする画像合成方法。
An imaging step for capturing a water subject on the upper surface of the water surface and an underwater object on the lower surface of the water surface;
From the image of the subject captured by the imaging step, the water subject image of the water subject, and the water surface portion image detection step of detecting a water surface portion image corresponding to the water surface of the boundary between the water subject image of the underwater object,
An image synthesis step for generating a composite image by combining the underwater subject image above the water surface image in the image of the subject imaged in the imaging step or the above water subject image below the water surface image; ,
An image synthesizing method comprising:
水面上部側の水上被写体と、水面下部側の水中被写体とを同時に撮影するための撮像部と、
上記撮像部が上記水上被写体と上記水中被写体とを同時に撮影するための撮影モードとしての半水中撮影モードの撮影状態に設定されたことを自動的に検出する半水中撮影モード判定部と、
上記半水中撮影モード判定部による半水中撮影モードの撮影状態の判定後における複数の撮影タイミングにより上記撮像部により撮影された複数の画像から水面が変動する水面部により発生する水面部画像を検出し、該水面部画像の少なくとも一部に上記水上被写体の水上被写体画像又は上記水中被写体の水中被写体画像を合成して上記水面部画像の領域を低減した合成画像を生成する画像合成部と、
を具備することを特徴とするカメラ。
An imaging unit for simultaneously photographing a water subject on the upper surface of the water surface and an underwater object on the lower surface of the water surface;
A semi-underwater shooting mode determination unit that automatically detects that the imaging unit is set to a shooting state of a semi-underwater shooting mode as a shooting mode for simultaneously shooting the water subject and the underwater subject;
A water surface image generated by a water surface portion where the water surface fluctuates is detected from a plurality of images photographed by the imaging unit at a plurality of photographing timings after determination of the photographing state of the semi-underwater photographing mode by the semi-underwater photographing mode determining unit. An image composition unit that synthesizes the water subject image of the water subject or the underwater subject image of the underwater subject to at least a part of the water surface image to generate a composite image in which the area of the water surface image is reduced;
A camera comprising:
水面上部側の水上被写体と、水面下部側の水中被写体とを同時に撮影するための撮像部と、
上記撮像部で撮像した被写体の画像から、水面が変動する水面部によって生じる水面部画像を検出し、上記水上被写体の水上被写体画像と上記水中被写体の水中被写体画像の同時撮影に適した撮影タイミングを決定する撮影タイミング決定部と、
上記撮影タイミング決定部で決定した撮影タイミング付近の複数のタイミングで撮像された複数の上記被写体の画像から合成画像を生成する画像合成部と、
を具備することを特徴とするカメラ。
An imaging unit for simultaneously photographing a water subject on the upper surface of the water surface and an underwater object on the lower surface of the water surface;
A water surface image generated by a water surface portion where the water surface fluctuates is detected from the image of the subject imaged by the imaging unit, and a shooting timing suitable for simultaneous shooting of the water subject image of the water subject and the underwater subject image of the underwater subject is determined. A shooting timing determination unit to be determined;
An image compositing unit that generates a composite image from a plurality of images of the subject imaged at a plurality of timings near the photographing timing determined by the photographing timing determining unit;
A camera comprising:
上記撮影タイミング決定部は、所定期間中に上記撮像部によりそれぞれ撮像された複数の画像を、撮像したタイミングと共に一時的に仮記録部に記録し、該仮記録部に一時的に記録された画像に対して上記水面部画像における水面部の影響が小さい、又は上記水上被写体画像及び上記水中被写体画像の同時撮影に該当する撮影すべき撮影画像であるか否かを決定し、決定した撮影画像を上記仮記録部から記録部に撮影画像として撮影タイミングと共に記録することを特徴とする請求項8に記載のカメラ。   The imaging timing determination unit temporarily records a plurality of images captured by the imaging unit during a predetermined period together with the imaging timing in the temporary recording unit, and the images temporarily recorded in the temporary recording unit Whether the influence of the water surface portion in the water surface image is small, or a photographed image to be photographed corresponding to simultaneous photographing of the water subject image and the underwater subject image. 9. The camera according to claim 8, wherein the temporary recording unit records the captured image as a captured image together with a capturing timing. 上記水面部の影響が小さいと判定された合成画像を、撮影画像として上記記録部に記録することを特徴とする請求項9に記載のカメラ。   The camera according to claim 9, wherein a composite image determined to have a small influence of the water surface portion is recorded in the recording unit as a captured image.
JP2009260245A 2009-09-09 2009-11-13 Camera and image composition method Expired - Fee Related JP5461151B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2009260245A JP5461151B2 (en) 2009-11-13 2009-11-13 Camera and image composition method
US12/868,864 US8379112B2 (en) 2009-09-09 2010-08-26 Waterproof camera and display method
US13/727,438 US8970771B2 (en) 2009-09-09 2012-12-26 Waterproof camera having a semi-underwater photographing mode
US14/613,966 US9277127B2 (en) 2009-09-09 2015-02-04 Waterproof camera having a semi-underwater photographing mode

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009260245A JP5461151B2 (en) 2009-11-13 2009-11-13 Camera and image composition method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2014005250A Division JP5715273B2 (en) 2014-01-15 2014-01-15 camera

Publications (3)

Publication Number Publication Date
JP2011109267A JP2011109267A (en) 2011-06-02
JP2011109267A5 JP2011109267A5 (en) 2012-12-27
JP5461151B2 true JP5461151B2 (en) 2014-04-02

Family

ID=44232306

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009260245A Expired - Fee Related JP5461151B2 (en) 2009-09-09 2009-11-13 Camera and image composition method

Country Status (1)

Country Link
JP (1) JP5461151B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8822424B2 (en) 2007-11-21 2014-09-02 Achaogen, Inc. Antibacterial aminoglycoside analogs

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6045348B2 (en) * 2013-01-04 2016-12-14 オリンパス株式会社 IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD
JP6163358B2 (en) * 2013-05-31 2017-07-12 日本放送協会 Underwater imaging device and underwater imaging method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0875981A (en) * 1994-09-05 1996-03-22 Olympus Optical Co Ltd Camera
JP3382739B2 (en) * 1994-11-14 2003-03-04 オリンパス光学工業株式会社 Underwater camera
JP2000224576A (en) * 1999-01-29 2000-08-11 Tokuji Terada Underwater on-water synchronous photographing device
JP4280970B2 (en) * 2002-11-26 2009-06-17 ソニー株式会社 camera

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8822424B2 (en) 2007-11-21 2014-09-02 Achaogen, Inc. Antibacterial aminoglycoside analogs

Also Published As

Publication number Publication date
JP2011109267A (en) 2011-06-02

Similar Documents

Publication Publication Date Title
US9277127B2 (en) Waterproof camera having a semi-underwater photographing mode
KR101058656B1 (en) Image pickup device capable of displaying live preview images
JP4904108B2 (en) Imaging apparatus and image display control method
JP5563283B2 (en) Image processing device
JP2012227839A (en) Imaging apparatus
JP6833801B2 (en) Imaging equipment, imaging methods, programs and recording media
US7805068B2 (en) Imaging apparatus
JP2007027967A (en) Photographing apparatus
US20130307994A1 (en) Photometric device, imaging device, and camera
JP5461151B2 (en) Camera and image composition method
JP4406461B2 (en) Imaging device
JP4053321B2 (en) Electronic camera
JP2005311764A (en) Digital camera
JP5715273B2 (en) camera
JP2004328606A (en) Imaging device
JP5908007B2 (en) Camera, camera water surface fluctuation detection method, camera water surface fluctuation detection program
JP5581838B2 (en) Automatic focusing control device, electronic camera and automatic focusing control method
JP4854417B2 (en) Imaging apparatus and method, program, and storage medium
JP4852504B2 (en) Imaging apparatus and focus state display method
JP2008211674A (en) Image signal processing method and apparatus
JP5275189B2 (en) camera
JP5479636B2 (en) Camera and camera operation method
JP5390311B2 (en) Camera and display method
JP4760497B2 (en) Image data generation apparatus and image data generation method
JP4761039B2 (en) Imaging device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121108

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121108

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130917

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131010

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140115

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5461151

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R157 Certificate of patent or utility model (correction)

Free format text: JAPANESE INTERMEDIATE CODE: R157

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees
S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350