JP2010258851A - Image processing apparatus - Google Patents
Image processing apparatus Download PDFInfo
- Publication number
- JP2010258851A JP2010258851A JP2009107504A JP2009107504A JP2010258851A JP 2010258851 A JP2010258851 A JP 2010258851A JP 2009107504 A JP2009107504 A JP 2009107504A JP 2009107504 A JP2009107504 A JP 2009107504A JP 2010258851 A JP2010258851 A JP 2010258851A
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame
- processing apparatus
- signal
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、画像処理装置に関する。 The present invention relates to an image processing apparatus.
動画向けの露光時間より短い露光時間で撮像された静止画用の画像を用いて、滑らかに再生するための動画用のフレーム画像を生成する技術が知られている(特許文献1参照)。上記技術では、時刻t301および時刻t305で撮像された2つの画像から同じ被写体を抽出した上で、時刻t301および時刻t305間の時刻t303における上記被写体の画像上の位置を算出することにより、当該時刻t303で撮像され得る予測画像が生成される。そして、時刻t301および時刻t305における2つの撮像画像と、時刻t303における予測画像とを重ね合わせて1つのフレーム画像が生成される。 A technique for generating a frame image for a moving image for smooth reproduction using an image for a still image captured with an exposure time shorter than the exposure time for a moving image is known (see Patent Document 1). In the above technique, the same subject is extracted from two images captured at time t301 and time t305, and the position of the subject on the image at time t303 between time t301 and time t305 is calculated. A predicted image that can be captured at t303 is generated. Then, one frame image is generated by superimposing the two captured images at time t301 and time t305 and the predicted image at time t303.
従来技術では、実際に撮像されていない予測画像を重ね合わせるため、実際に移動する被写体と異なる予測位置に被写体像が生成されるという問題があった。 In the related art, there is a problem in that a subject image is generated at a predicted position different from a subject that actually moves because the predicted images that are not actually captured are superimposed.
(1)本発明による画像処理装置は、所定のフレーム間隔を有する複数のフレームごとに取得された画像群を、取得順に所定の再生フレーム間隔で順次再生表示させる画像処理装置に適用される。そして、画像群は、少なくともフレーム間隔よりも短い第1露光時間で取得され、前後に隣り合う第1フレームおよび第2フレームでそれぞれ取得された第1画像および第2画像を含んでよく、第1画像および第2画像を、再生フレーム内の少なくとも一部で重ね合わせて再生フレーム画像信号を生成する第1表示制御手段を備えることを特徴とする。
(2)請求項1に記載の画像処理装置において、第1表示制御手段は、第1フレームおよび第2フレームでそれぞれ取得された第1画像および第2画像を、再生フレーム内の第1露光時間を除く範囲で重ね合わせて再生フレーム画像信号を生成することもできる。
(3)請求項1に記載の画像処理装置において、第1表示制御手段は、第1フレームおよび第2フレームでそれぞれ取得された第1画像および第2画像を、再生フレーム内の略全域で重ね合わせて再生フレーム画像信号を生成することもできる。
(4)請求項1に記載の画像処理装置において、第1表示制御手段は、第1フレームおよび第2フレームでそれぞれ取得された第1画像および第2画像を、再生フレーム内の所定範囲で重ね合わせて再生フレーム画像信号を生成することもできる。
(5)請求項2〜4のいずれか一項に記載の画像処理装置において、第1表示制御手段は、第1画像および第2画像を重ね合わせる区間において、第1画像の信号に対するゲインを低下させる一方、第2画像の信号に対するゲインを増加させることもできる。
(6)請求項5に記載の画像処理装置において、第1表示制御手段は、再生表示の停止が指示された場合、ゲインが高い方の画像の信号を選び、その画像を静止画表示させるための再生画像信号を生成することもできる。
(7)請求項6に記載の画像処理装置において、第1表示制御手段は、第1画像の信号および第2画像の信号に対するゲインが同じ場合は第2画像の信号を選び、静止画表示させるための再生画像信号を生成することもできる。
(8)請求項1〜7のいずれか一項に記載の画像処理装置において、画像群は、フレーム間隔に略等しい第2露光時間で取得され、前後に隣り合う第3フレームおよび第4フレームでそれぞれ取得された第3画像および第4画像を含んでもよい。この場合は、第3画像および第4画像を、取得順にフレーム間隔で順次切り替えるようにフレーム画像信号を生成する第2表示制御手段と、切り替え指示に応じて、第1表示制御手段および第2表示制御手段のうち一方にフレーム画像信号を生成させる切り替え制御手段とをさらに備えてもよい。
(1) An image processing apparatus according to the present invention is applied to an image processing apparatus that sequentially reproduces and displays an image group acquired for each of a plurality of frames having a predetermined frame interval at a predetermined reproduction frame interval in the acquisition order. The image group may include a first image and a second image that are acquired at a first exposure time shorter than at least the frame interval, and acquired in the first and second frames adjacent to each other before and after the first frame. It is characterized by comprising first display control means for generating a playback frame image signal by superimposing the image and the second image on at least a part of the playback frame.
(2) In the image processing apparatus according to
(3) In the image processing apparatus according to
(4) In the image processing apparatus according to
(5) In the image processing apparatus according to any one of
(6) In the image processing apparatus according to
(7) In the image processing apparatus according to claim 6, the first display control means selects the second image signal and displays the still image when the gains for the first image signal and the second image signal are the same. It is also possible to generate a reproduced image signal for this purpose.
(8) In the image processing device according to any one of
本発明による画像処理装置によれば、滑らかに動画再生できる。 According to the image processing apparatus of the present invention, a moving image can be smoothly reproduced.
以下、図面を参照して本発明を実施するための形態について説明する。図1は、本発明の一実施の形態による電子カメラ1の要部構成を説明するブロック図である。電子カメラ1は、メインCPU11によって制御される。
Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings. FIG. 1 is a block diagram for explaining a main configuration of an
撮影レンズ21は、撮像素子22の撮像面上に被写体像を結像させる。撮像素子22はCCDイメージセンサなどで構成され、撮像面上の被写体像を撮像し、撮像信号を撮像回路23へ出力する。撮像素子22の撮像面には、それぞれR(赤)、G(緑)およびB(青)のカラーフィルタが画素位置に対応するように設けられている。撮像素子22がカラーフィルタを通して被写体像を撮像するため、撮像素子22から出力される光電変換信号は、RGB表色系の色情報を有する。なお、3CCD/4CCD等のいわゆる多版式の構成にしてもよい。
The photographing
撮像回路23は、撮像素子22から出力される光電変換信号に対するアナログ処理(ゲインコントロールなど)を行う他、内蔵するA/D変換回路でアナログ撮像信号をディジタルデータに変換する。
The
メインCPU11は、各ブロックから出力される信号を入力して所定の演算を行い、演算結果に基づく制御信号を各ブロックへ出力する。画像処理回路12は、たとえばASICとして構成され、撮像回路23から入力されるディジタル画像信号に対して画像処理を行う。画像処理には、たとえば、輪郭強調や色温度調整(ホワイトバランス調整)処理、画像信号に対するフォーマット変換処理が含まれる。
The
画像圧縮回路13は、画像処理回路12による処理後の画像信号に対して、たとえばJPEG方式で所定の圧縮比率の画像圧縮処理を行う。表示画像作成回路14は、撮像画像を液晶モニタ19に表示させるための表示用信号を生成する。
The
液晶モニタ19は液晶パネルによって構成され、表示画像作成回路14から入力される表示用信号に基づいて画像や操作メニュー画面などを表示する。映像出力回路20は、表示画像作成回路14から入力される表示用信号に基づいて、画像や操作メニュー画面などを外部の表示装置に表示させるための映像信号を生成して出力する。
The
バッファメモリ15は、画像処理前後および画像処理途中のデータを一時的に格納する他、記録媒体30へ記録する前の画像ファイルを格納したり、記録媒体30から読み出した画像ファイルを格納したりするために使用される。
The
フラッシュメモリ16は、メインCPU11が実行するプログラムや、メインCPU11が行う処理に必要なデータなどが格納される。フラッシュメモリ16が格納するプログラムやデータの内容は、メインCPU11からの指示によって追加、変更が可能に構成されている。
The
カードインターフェース(I/F)17はコネクタ(不図示)を有し、該コネクタにメモリカードなどの記録媒体30が接続される。カードインターフェース17は、メインCPU11からの指示により、接続された記録媒体30に対するデータの書き込みや、記録媒体30からのデータの読み込みを行う。記録媒体30は、半導体メモリを内蔵したメモリカード、またはハードディスクドライブなどで構成される。
The card interface (I / F) 17 has a connector (not shown), and a
操作部材18は、電子カメラ1の各種ボタンやスイッチ類を含み、レリーズボタンの押下操作、モード切替スイッチの切換操作など、各操作部材の操作内容に応じた操作信号をメインCPU11へ出力する。
The
<撮影モード>
電子カメラ1は、レリーズボタンの押下操作に応じて1コマずつ撮影画像を取得して記録媒体30へ記録する通常の静止画撮影モードと、いわゆる動画像を所定のフレームレート(たとえば60フレーム/毎秒)で取得して記録媒体30へ記録する録画モードと、高速シャッタ秒時(たとえば数百分の1秒)の静止画像を上記フレームレート(本例では60コマ/毎秒)で連写撮影して複数コマの撮影画像を取得し、記録媒体30へ記録する高速連写モードとを有する。各撮影モードは、操作部材18からの操作信号に応じて切替え可能に構成されている。
<Shooting mode>
The
<再生モード>
電子カメラ1は、静止画撮影モードにおいて記録された画像を各コマごとに液晶モニタ19に再生表示する静止画の再生モードと、録画モードにおいて記録された動画像を上記フレームレート(本例では60フレーム/毎秒)で液晶モニタ19に再生表示する動画の再生モードとに加えて、上記高速連写モードにおいて記録した複数コマの静止画像(高速連写画像と呼ぶ)を用いて液晶モニタ19に再生表示する2種類の再生モード(第1再生モードおよび第2再生モード)を有する。
<Playback mode>
The
第1再生モードは、高速連写モードにおいて記録した高速連写画像を構成する各コマの画像を静止画として液晶モニタ19に再生表示する再生モードである。第2再生モードは、高速連写モードにおいて記録した高速連写画像を所定のフレームレート(本例では60コマ/毎秒)で動画として液晶モニタ19に連続再生表示する再生モードである。第2再生モードでは、高速連写によって複数の画像の取得に要した総時間と、該複数の画像を連続再生表示する再生総時間とを略等しくする。具体的には、60コマ/毎秒で10秒間かけて取得した600コマの高速連写画像を60コマ/毎秒で10秒間の動画として連続再生表示する。なお、取得に要する総時間と再生総時間とは、必ずしも正確に一致させる必要はない。各再生モードは、操作部材18からの操作信号に応じて切替え可能に構成されている。
The first playback mode is a playback mode in which the images of the frames constituting the high-speed continuous shooting image recorded in the high-speed continuous shooting mode are played back and displayed on the liquid crystal monitor 19 as still images. The second playback mode is a playback mode in which the high-speed continuous shot image recorded in the high-speed continuous shooting mode is continuously played back and displayed on the liquid crystal monitor 19 as a moving image at a predetermined frame rate (60 frames / second in this example). In the second playback mode, the total time required for acquiring a plurality of images by high-speed continuous shooting is substantially equal to the total playback time for continuously displaying and displaying the plurality of images. Specifically, 600 frames of high-speed continuous shot images acquired at 60 frames / second for 10 seconds are continuously reproduced and displayed as moving images at 60 frames / second for 10 seconds. It should be noted that the total time required for acquisition and the total reproduction time do not necessarily match exactly. Each reproduction mode is configured to be switchable according to an operation signal from the
本実施形態は、上記高速連写画像を動画として再生する第2再生モードに特徴を有するので、以下第2再生モードを中心に説明する。 Since the present embodiment has a feature in the second reproduction mode in which the high-speed continuous shot image is reproduced as a moving image, the second reproduction mode will be mainly described below.
<高速連写画像>
第2再生モードにおいて電子カメラ1が再生表示する高速連写画像について説明する。図2は、電子カメラ1が高速連写モードにおいて高速連写画像を取得するタイミング(上段)を例示する図である。比較のため、電子カメラ1が録画モードにおいて動画を取得するタイミング(下段)も合わせて例示している。図2の上段において、高速連写モードの電子カメラ1は、レリーズボタンが押下操作されるとフレーム間隔T(たとえば1/60秒)ごとに連写撮影を開始し、1コマ目、2コマ目、…の静止画像を複数コマ取得する。電子カメラ1は、レリーズボタン押下操作が解除されると連写撮影を終了する。高速連写モードでは、後述する録画モード時の露光時間t2に比べて短い露光時間t1(たとえば1/360秒)とするように、各コマの露光時間が制御される。なお、露光時間t1は、フレーム間隔Tより短ければよいが、Tの1/2以下であることが好ましい。
<High-speed continuous shot image>
The high-speed continuous shot image that is reproduced and displayed by the
図2の下段において、録画モードの電子カメラ1は、レリーズボタンが押下操作されるとフレーム間隔Tごとに録画撮影を開始し、1フレーム目、2フレーム目、…からなる動画像を取得する。電子カメラ1は、再度レリーズボタンが押下操作されると録画を終了する。録画モードでは、高速連写モード時の露光時間t1に比べて長い露光時間t2(フレーム間隔Tと略等しい)とするように各フレームの露光時間が制御される。
In the lower part of FIG. 2, the
このように、高速連写画像を構成する各コマの露光時間t1は、録画モード時の露光時間t2に比べて十分短い(t1《t2)。なお、本説明では高速連写画像を取得する際のフレーム間隔と、録画モードにおけるフレーム間隔とが一致する場合を例示するが、両フレーム間隔は必ずしも一致させる必要はない。 Thus, the exposure time t1 of each frame constituting the high-speed continuous shot image is sufficiently shorter than the exposure time t2 in the recording mode (t1 << t2). In this description, the case where the frame interval at the time of acquiring the high-speed continuous shot image and the frame interval in the recording mode match is illustrated, but it is not always necessary to match both frame intervals.
<第2再生モードにおける動画再生>
第2再生モードに切り替えられた電子カメラ1は、図2の上段に例示したタイミングで取得した複数コマの高速連写画像を、液晶モニタ19に動画として再生表示する。図3は、は、第2再生モードの電子カメラ1が高速連写画像を再生表示(滑らか再生)するタイミングを例示する図である。
<Movie playback in second playback mode>
The
図3において、電子カメラ1は、操作部材18を構成する再生ボタンが押下操作されると再生表示を開始する。電子カメラ1は、記録媒体30から読み込んだ1コマ目の画像データに基づいて1番目のフレーム画像信号を生成し、記録媒体30から読み込んだ2コマ目の画像データに基づいて2番目のフレーム画像信号を生成する。各フレーム画像信号は、時間(T−t1)において再生画像の信号レベルを徐々に高めるようにゲインアップされ(フェードイン)、時間t1だけ信号レベルを維持し、その後の時間(T−t1)において再生画像の信号レベルを徐々に下げるようにゲインダウンされる(フェードアウト)。そして、N番目のフレーム画像信号のフェードアウト区間と、(N+1)番目のフレーム画像信号のフェードイン区間とを時間(T−t1)だけ重複するように合成して表示用のフレーム画像を生成する。
In FIG. 3, the
つまり、表示用のフレーム画像のNフレームにおいて、時間t1だけN番目のフレーム画像信号による画像をもとの信号レベルで単独表示(非重畳表示)し、N番目のフレーム画像信号と(N+1)番目のフレーム画像信号とを信号レベルを調節した上で重ね合わせた画像を時間(T−t1)だけ重畳表示する。図3において表示用のフレーム画像を示す帯が黒い区間は非重畳表示区間を表し、フレーム画像を示す帯がグレーの区間は重畳表示区間を表す。 That is, in the N frames of the display frame image, the image based on the Nth frame image signal is displayed alone (non-superimposed display) at the original signal level for the time t1, and the Nth frame image signal and the (N + 1) th frame are displayed. An image obtained by superimposing the frame image signal with the frame image signal after adjusting the signal level is superimposed and displayed for a time (T-t1). In FIG. 3, a black section indicating a frame image for display represents a non-superimposed display section, and a gray section indicating a frame image represents a superimposed display section.
上述した再生表示を行うため、表示画像作成回路14は図4に例示する構成を有する。図4において、表示画像作成回路14は、フレームメモリ141〜144と、D/Aコンバータ151〜154と、増幅回路161〜164と、制御部171と、加算器181〜183とを含む。
In order to perform the reproduction display described above, the display
フレームメモリ141には、たとえばNコマ目の画像データを格納する。フレームメモリ142には、たとえば(N+1)コマ目の画像データを格納する。フレームメモリ143には、たとえば(N−2)コマ目の画像データを格納する。フレームメモリ144には、たとえば(N−1)コマ目の画像データを格納する。各フレームメモリ141〜144は、少なくとも時間(2×T)の間、格納された画像データを保持する。コマ数Nの値は、以下に説明する処理を行うと+4され、同様の処理が繰り返される。
The
<Nコマに対する制御>
図5は、図3に例示した再生タイミングの一部を拡大した図である。制御部171(図4)は、フレームメモリ141に格納されているNコマ目の画像データを時刻t0において読み出す。フレームメモリ141から読み出された画像データは、D/Aコンバータ151によってアナログ画像信号に変換した後に増幅回路161へ入力される。増幅回路161は、1フレーム分のアナログ画像信号に対して共通のゲインで増幅を行う。
<Control for N frames>
FIG. 5 is an enlarged view of a part of the reproduction timing exemplified in FIG. The control unit 171 (FIG. 4) reads out the Nth frame image data stored in the
制御部171は、たとえば、増幅回路161のゲインを時間t1ごとに切り替える。フレーム間隔Tを1/60秒、t1を1/360秒とする場合は、時間(2×T)の間にゲインを12回切り替えることになる。制御部171は、12回のゲイン切り替えのうち、1回目(時刻t0)におけるゲインを0にする。
For example, the
制御部171は、Nコマ目の画像データによる再生画像の信号レベルを徐々に高くするように、2回目(時刻ta)〜7回目(時刻tf)のゲイン切り替えにおいて段階的に増幅回路161のゲインアップを行う。7回目(時刻tf)のゲイン切り替えによって増幅回路161のゲインを1.0(最大ゲインに対応)とする。
The
この後、制御部171は、Nコマ目の画像データによる再生画像の信号レベルを徐々に低くするように、8回目(時刻tg)〜12回目(時刻tk)のゲイン切り替えにおいて段階的に増幅回路161のゲインダウンを行う。12回目(時刻tk)のゲイン切り替えによって増幅回路161のゲインを最大時の1/6とする。
Thereafter, the
<(N+1)コマに対する制御>
同様に、制御部171(図4)は、フレームメモリ142に格納されている(N+1)コマ目の画像データを時刻tfにおいて読み出す。フレームメモリ142から読み出された画像データは、D/Aコンバータ152によってアナログ画像信号に変換した後に増幅回路162へ入力される。増幅回路162は、1フレーム分のアナログ画像信号に対して共通のゲインで増幅を行う。
<Control for (N + 1) frames>
Similarly, the control unit 171 (FIG. 4) reads the (N + 1) -th frame image data stored in the
制御部171は、増幅回路162のゲインを時間t1ごとに切り替える。増幅回路161の場合と同様に、時間(2×T)の間にゲインを12回切り替えることになる。制御部171は、12回のゲイン切り替えのうち、1回目(時刻tf)におけるゲインを0にする。
The
制御部171は、(N+1)コマ目の画像データによる再生画像の信号レベルを徐々に高くするように、段階的に増幅回路162のゲインアップを行う。7回目(時刻t01)のゲイン切り替えによって増幅回路162のゲインを1.0(最大ゲインに対応)とする。
The
この後、制御部171は、(N+1)コマ目の画像データによる再生画像の信号レベルを徐々に低くするように、8回目〜12回目のゲイン切り替えにおいて段階的に増幅回路162のゲインダウンを行う。12回目のゲイン切り替えによって増幅回路162のゲインを最大時の1/6とする。
Thereafter, the
加算器181は、増幅回路161および増幅回路162から出力されるアナログ画像信号を加算する。加算後の画像信号は、加算器183を介して表示用信号として出力される。なお、増幅回路161および増幅回路162のゲインは、両者が同じゲインに設定されている場合に同等になるようにあらかじめ調節されている。なお、加算器はデジタル信号処理によって構成してもよい。
The
<(N−2)コマに対する制御>
制御部171は、増幅回路161および162の場合と同様の制御を増幅回路163および164に対して行う。制御部171は、フレームメモリ143に格納されている(N−2)コマ目の画像データを読み出し、該画像データをD/Aコンバータ153によってアナログ画像信号に変換した後に増幅回路163へ入力する。増幅回路163は、1フレーム分のアナログ画像信号に対して共通のゲインで増幅を行う。
<Control for (N-2) frames>
The
制御部171は、増幅回路163のゲインを時間t1ごとに切り替える。この場合も、時間(2×T)の間にゲインを12回切り替えることになる。制御部171は、12回のゲイン切り替えのうち、1回目におけるゲインを0にする。そして、(N−2)コマ目の画像データによる再生画像の信号レベルを徐々に高くするように、2回目〜7回目のゲイン切り替えにおいて段階的に増幅回路163のゲインアップを行う。7回目のゲイン切り替えによって増幅回路163のゲインを1.0(最大ゲインに対応)とする。
The
この後、制御部171は、(N−1)コマ目の画像データによる再生画像の信号レベルを徐々に低くするように、8回目〜12回目のゲイン切り替えにおいて段階的に増幅回路163のゲインダウンを行う。12回目のゲイン切り替えによって増幅回路163のゲインを最大ゲインの1/6とする。
Thereafter, the
<(N−1)コマに対する制御>
制御部171は、フレームメモリ144に格納されている(N−1)コマ目の画像データを読み出し、該画像データをD/Aコンバータ154によってアナログ画像信号に変換した後に増幅回路164へ入力する。増幅回路164は、1フレーム分のアナログ画像信号に対して共通のゲインで増幅を行う。
<Control for (N-1) frames>
The
制御部171は、増幅回路164のゲインを時間t1ごとに切り替える。増幅回路161の場合と同様に、時間(2×T)の間にゲインを12回切り替えることになる。制御部171は、12回のゲイン切り替えのうち、1回目におけるゲインを0にする。
The
制御部171は、(N−1)コマ目の画像データによる再生画像の信号レベルを徐々に高くするように、段階的に増幅回路164のゲインアップを行う。7回目(時刻t0)のゲイン切り替えによって、増幅回路164のゲインを1.0(最大ゲインに対応)とする。
The
この後、制御部171は、(N−1)コマ目の画像データによる再生画像の信号レベルを徐々に低くするように、8回目(時刻ta)〜12回目(時刻te)のゲイン切り替えにおいて段階的に増幅回路164のゲインダウンを行う。12回目のゲイン切り替えによって増幅回路164のゲインを最大ゲインの1/6とする。
Thereafter, the
加算器182は、増幅回路163および増幅回路164から出力されるアナログ画像信号を加算する。加算後の画像信号は、加算器183を介して表示用信号として出力される。なお、増幅回路163および増幅回路164のゲイン、増幅回路161および増幅回路162のゲインは、同じゲインに設定されている場合に同等になるようにあらかじめ調節されている。
The
以上説明した制御により、表示用のフレーム画像のNフレームの再生動画像は、時間t1の当該フレームの非重複画像と、時間(T−t1)の重複画像であって、当該フレーム画像のフェードアウト区間および次フレーム画像のフェードイン区間を重ね合わせた画像とによって構成される。重ね合わせたフレーム画像の信号レベルは、元フレーム画像である2つの画像の平均値となるようにゲインを制御する。 Through the control described above, the N frames of the display frame image are non-overlapping images of the frame at time t1 and overlapping images of time (T-t1), and the fade-out section of the frame image. And an image obtained by superimposing fade-in sections of the next frame image. The gain is controlled so that the signal level of the superimposed frame image becomes the average value of the two images that are the original frame images.
電子カメラ1は、操作部材18を構成する停止ボタンが押下操作されると再生表示を停止する。具体的には、停止操作された時点において表示中のフレーム画像のために重ね合わせた2つのフレーム画像信号のうち、ゲインをより高く設定している方の画像信号を選び、その画像信号を増幅するゲインを1.0にするとともに、ゲインを低く設定している方の画像信号を増幅するゲインを0にする。これにより、ゲインを1.0にしたフレーム画像信号による画像のみを非重複表示させて動画再生表示を停止する。
The
なお、停止操作された時点において表示中のフレーム画像のために重ね合わせた2つのフレーム画像信号のゲインが同じ場合には、表示中のフレーム画像のために重ね合わせた2つのフレーム画像信号のうち、後のフレームの画像信号を選び、その画像信号を増幅するゲインを1.0にするとともに、前のフレームの画像信号を増幅するゲインを0にする。 If the gains of the two frame image signals superimposed for the currently displayed frame image at the time of the stop operation are the same, of the two frame image signals superimposed for the currently displayed frame image, Then, the image signal of the subsequent frame is selected, the gain for amplifying the image signal is set to 1.0, and the gain for amplifying the image signal of the previous frame is set to 0.
本実施形態によれば、次の作用効果が得られる。
(1)高速連写画像を動画再生する場合のNフレーム目を、Nコマ目の画像データに基づくフレーム画像信号による画像のみを非重複表示する区間t1と、Nコマ目の画像データに基づくフレーム画像信号、および次コマの画像データに基づくフレーム画像信号を重ね合わせ合成した画像を重複表示する区間(T−t1)とで構成した。高速連写時の非露光区間(T−t1)を補間するように表示することにより、不連続性(ギクシャク感またはパラパラ感とも呼ばれる)を抑えて滑らかに動画再生できる。実際に取得した画像データに基づくフレーム画像信号を重ね合わせ合成するので、従来技術と異なり、移動する被写体と異なる位置に被写体像が生成されることがない。さらに、被写体抽出処理や予測処理も不要であるので処理の負担が軽い。
According to this embodiment, the following effects can be obtained.
(1) A section t1 in which only an image based on a frame image signal based on the image data of the Nth frame is displayed in a non-overlapping manner for the Nth frame when a high-speed continuous shot image is played back as a moving image, and a frame based on the Nth frame of image data An image signal and a section (T-t1) in which an image obtained by superimposing and synthesizing a frame image signal based on the image data of the next frame is displayed. By displaying so as to interpolate the non-exposure section (T-t1) at the time of high-speed continuous shooting, it is possible to smoothly reproduce a moving image while suppressing discontinuity (also referred to as a jerky feeling or a parallax feeling). Since frame image signals based on actually acquired image data are superimposed and synthesized, a subject image is not generated at a position different from a moving subject, unlike the conventional technique. Furthermore, since the subject extraction process and the prediction process are unnecessary, the processing load is light.
(2)重複表示する区間(T−t1)では、双方のフレーム画像信号に対するゲインの和を1.0にするように合成したので、非重複表示する区間t1においてNコマ目に対応するフレーム画像信号に対するゲイン(1.0)と同等になる。これにより、再生画像の輝度変動(フリッカー)が抑えられ、観察者が違和感を感じないように再生できる。 (2) In the overlapping display section (T-t1), since the sum of the gains for both frame image signals is set to 1.0, the frame image corresponding to the Nth frame in the non-overlapping display section t1 This is equivalent to the gain (1.0) for the signal. Thereby, the luminance fluctuation (flicker) of the reproduced image is suppressed, and reproduction can be performed so that the observer does not feel uncomfortable.
(3)重複表示する区間(T−t1)では、前のフレーム画像信号に対するゲインを徐々に下げてフェードアウトするとともに、後のフレーム画像信号に対するゲインを徐々に上げてフェードインするようにした。これにより、滑らかな動画再生に適した補間表示を行うことができる。 (3) In the overlapping display section (T-t1), the gain for the previous frame image signal is gradually decreased and faded out, and the gain for the subsequent frame image signal is gradually increased and faded in. Thereby, the interpolation display suitable for smooth moving image reproduction can be performed.
(4)動画再生を停止する場合には、停止操作された時点において表示中のフレーム画像のために重ね合わせた2つのフレーム画像信号のうち、ゲインをより高く設定している方のフレーム画像信号による画像のみを非重複表示させる静止画再生表示を行う。これにより、観察者が違和感を感じないように動画再生表示を停止した上で、静止画再生表示へ移行できる。 (4) When stopping the reproduction of the moving image, the frame image signal having a higher gain of the two frame image signals superimposed for the frame image being displayed at the time when the stop operation is performed The still image playback display is performed to display only the images by non-overlapping. Thus, the moving image reproduction display is stopped so that the observer does not feel a sense of incongruity, and then it is possible to shift to the still image reproduction display.
(変形例1)
上述した説明では、各増幅回路のゲインを時間(2×T)の間に12回切り替える例を説明した。ゲイン切り替えの回数は12回に限らず増加させてもよい。ゲイン切り替え回数を増やすことにより、1回当たりのゲイン切り替えステップを小さく抑え、ゲイン制御波形を細かく制御することができる。
(Modification 1)
In the above description, an example has been described in which the gain of each amplifier circuit is switched 12 times during time (2 × T). The number of gain switching is not limited to 12 and may be increased. By increasing the number of gain switching times, it is possible to suppress the gain switching step per time and to finely control the gain control waveform.
(変形例2)
ゲイン制御波形を図3の場合と異ならせてもよい。図6は、変形例2の電子カメラ1が高速連写画像を再生表示(滑らか再生)するタイミングを例示する図である。
(Modification 2)
The gain control waveform may be different from that in FIG. FIG. 6 is a diagram illustrating timing at which the
図6において、電子カメラ1は、操作部材18を構成する再生ボタンが押下操作されると再生表示を開始する。電子カメラ1は、記録媒体30から読み込んだ1コマ目の画像データに基づいて1番目のフレーム画像信号を生成し、記録媒体30から読み込んだ2コマ目の画像データに基づいて2番目のフレーム画像信号を生成する。各フレーム画像信号は、たとえば時間(T/2)において再生画像の信号レベルを徐々に高めるようにゲインアップされ(フェードイン)、その後の時間(T/2)において再生画像の信号レベルを徐々に下げるようにゲインダウンされる(フェードアウト)。そして、N番目のフレーム画像信号のフェードアウト区間と、(N+1)番目のフレーム画像信号のフェードイン区間とを時間(T/2)だけ重複するように合成して表示用のフレーム画像を生成する。
In FIG. 6, the
つまり、表示用のフレーム画像のNフレームにおいて、前半を(N−1)番目のフレーム画像信号とN番目のフレーム画像信号とを信号レベル調節した上で重ね合わせた画像を重畳表示し、後半をN番目のフレーム画像信号と(N+1)番目のフレーム画像信号とを信号レベル調節した上で重ね合わせた画像を重畳表示する。図6において表示用のフレーム画像を示す帯は、全域が重畳表示区間を表す。 That is, in the N frames of the display frame image, the first half is superimposed and displayed after adjusting the signal level of the (N-1) th frame image signal and the Nth frame image signal, and the second half is displayed. An image obtained by superimposing the Nth frame image signal and the (N + 1) th frame image signal after adjusting the signal level is superimposed and displayed. In FIG. 6, the entire band of the band indicating the display frame image represents a superimposed display section.
図4に例示した表示画像作成回路14の制御部171は、図6に示すゲイン制御波形に応じたゲイン切り替えを増幅回路161〜164に行わせることにより、変形例2の表示用のフレーム画像を生成させる。
The
(変形例3)
ゲイン制御波形は、一次関数波形に限られない。図7は、変形例3の電子カメラ1が高速連写画像を再生表示(滑らか再生)するタイミングを例示する図である。
(Modification 3)
The gain control waveform is not limited to a linear function waveform. FIG. 7 is a diagram illustrating the timing at which the
図7において、電子カメラ1は、操作部材18を構成する再生ボタンが押下操作されると再生表示を開始する。電子カメラ1は、記録媒体30から読み込んだ1コマ目の画像データに基づいて1番目のフレーム画像信号を生成し、記録媒体30から読み込んだ2コマ目の画像データに基づいて2番目のフレーム画像信号を生成する。各フレーム画像信号は、たとえば時間(T/2)において再生画像の信号レベルを二次関数的に高めるようにゲインアップされ、時間(T/2)だけ信号レベルを維持し、その後の時間(T/2)において再生画像の信号レベルを二次関数的に下げるようにゲインダウンされる。そして、N番目のフレーム画像信号のゲインダウン区間と、(N+1)番目のフレーム画像信号のゲインアップ区間とを時間(T/2)だけ重複するように合成して表示用のフレーム画像を生成する。
In FIG. 7, the
つまり、表示用のフレーム画像のNフレームにおいて、前半をN番目のフレーム画像信号による画像のみを非重複表示し、後半をN番目のフレーム画像信号と(N+1)番目のフレーム画像信号とを信号レベル調節した上で重ね合わせた画像を重畳表示する。図7において表示用のフレーム画像を示す帯は、黒い区間が非重畳表示区間を表し、グレーの区間が重畳表示区間を表す。 That is, in N frames of a display frame image, only the image based on the Nth frame image signal is displayed in a non-overlapping manner in the first half, and the Nth frame image signal and the (N + 1) th frame image signal are signal levels in the second half. The superimposed image is displayed after adjustment. In the band indicating the frame image for display in FIG. 7, the black section represents the non-superimposed display section, and the gray section represents the superimposed display section.
図4に例示した表示画像作成回路14の制御部171は、図7に示すゲイン制御波形に応じたゲイン切り替えを増幅回路161〜164に行わせることにより、変形例3の表示用のフレーム画像を生成させる。
The
(変形例4)
上述した説明では、高速連写画像を構成する各コマの画像の明るさが揃っている場合を説明した。各コマ間で画像の明るさが異なる場合には、増幅回路161〜164のうち、当該コマに対応するフレーム画像信号を増幅する増幅回路のゲインを個別に調節するように構成してよい。これにより、再生画像の輝度が変動して観察者に違和感を与えることを防止できる。
(Modification 4)
In the above description, the case has been described in which the brightness of the images of each frame constituting the high-speed continuous shot image is uniform. When the brightness of the image is different between the frames, the gain of the amplification circuit that amplifies the frame image signal corresponding to the frame among the
(変形例5)
電子カメラ1が高速連写画像を用いて動画再生する例を説明したが、動画再生プログラムをコンピュータ装置に実行させることにより、画像再生装置を構成してもよい。動画再生プログラムをパーソナルコンピュータに取込んで使用する場合には、パーソナルコンピュータのデータストレージ装置にプログラムをローディングした上で、当該プログラムを実行させることによって画像再生装置として使用する。
(Modification 5)
Although an example in which the
パーソナルコンピュータに対するプログラムのローディングは、プログラムを格納したCD−ROMなどの記録媒体パーソナルコンピュータにセットして行ってもよいし、ネットワークなどの通信回線を経由する方法でパーソナルコンピュータへローディングしてもよい。動画再生プログラムは、記録媒体や通信回線を介する提供など、種々の形態のコンピュータプログラム製品として供給することができる。 The loading of the program to the personal computer may be performed by setting it on a recording medium personal computer such as a CD-ROM storing the program, or may be loaded on the personal computer by a method via a communication line such as a network. The moving image reproduction program can be supplied as various types of computer program products such as provision via a recording medium or a communication line.
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。 The above description is merely an example, and is not limited to the configuration of the above embodiment.
1…電子カメラ
11…メインCPU
14…表示画像作成回路
15…バッファメモリ
16…フラッシュメモリ
19…液晶モニタ
20…映像出力回路
1 ...
14 ... Display
Claims (8)
前記画像群は、少なくとも前記フレーム間隔よりも短い第1露光時間で取得され、前後に隣り合う第1フレームおよび第2フレームでそれぞれ取得された第1画像および第2画像を含み、
前記第1画像および前記第2画像を、前記再生フレーム内の少なくとも一部で重ね合わせて再生フレーム画像信号を生成する第1表示制御手段を備えることを特徴とする画像処理装置。 In an image processing apparatus that sequentially reproduces and displays an image group acquired for each of a plurality of frames having a predetermined frame interval at a predetermined reproduction frame interval in the acquisition order.
The image group includes a first image and a second image acquired at least in a first exposure time shorter than the frame interval, and acquired respectively in a first frame and a second frame adjacent to each other before and after,
An image processing apparatus comprising: a first display control unit that generates a reproduction frame image signal by superimposing the first image and the second image on at least a part of the reproduction frame.
前記第1表示制御手段は、前記第1フレームおよび前記第2フレームでそれぞれ取得された前記第1画像および前記第2画像を、前記再生フレーム内の前記第1露光時間を除く範囲で重ね合わせて前記再生フレーム画像信号を生成することを特徴とする画像処理装置。 The image processing apparatus according to claim 1.
The first display control means superimposes the first image and the second image acquired in the first frame and the second frame, respectively, in a range excluding the first exposure time in the reproduction frame. An image processing apparatus for generating the reproduction frame image signal.
前記第1表示制御手段は、前記第1フレームおよび前記第2フレームでそれぞれ取得された前記第1画像および前記第2画像を、前記再生フレーム内の略全域で重ね合わせて前記再生フレーム画像信号を生成することを特徴とする画像処理装置。 The image processing apparatus according to claim 1.
The first display control means superimposes the first image and the second image acquired in the first frame and the second frame, respectively, over almost the entire area in the reproduction frame, and outputs the reproduction frame image signal. An image processing apparatus that generates the image processing apparatus.
前記第1表示制御手段は、前記第1フレームおよび前記第2フレームでそれぞれ取得された前記第1画像および前記第2画像を、前記再生フレーム内の所定範囲で重ね合わせて前記再生フレーム画像信号を生成することを特徴とする画像処理装置。 The image processing apparatus according to claim 1.
The first display control means superimposes the first image and the second image acquired in the first frame and the second frame, respectively, within a predetermined range in the reproduction frame, and outputs the reproduction frame image signal. An image processing apparatus that generates the image processing apparatus.
前記第1表示制御手段は、前記第1画像および前記第2画像を重ね合わせる区間において、前記第1画像の信号に対するゲインを低下させる一方、前記第2画像の信号に対するゲインを増加させることを特徴とする画像処理装置。 In the image processing apparatus according to any one of claims 2 to 4,
The first display control means decreases the gain for the signal of the first image and increases the gain for the signal of the second image in a section in which the first image and the second image are overlapped. An image processing apparatus.
前記第1表示制御手段は、再生表示の停止が指示された場合、前記ゲインが高い方の画像の信号を選び、その画像を静止画表示させるための再生画像信号を生成することを特徴とする画像処理装置。 The image processing apparatus according to claim 5.
The first display control means, when instructed to stop reproduction display, selects a signal of the image with the higher gain and generates a reproduction image signal for displaying the image as a still image. Image processing device.
前記第1表示制御手段は、前記第1画像の信号および前記第2画像の信号に対するゲインが同じ場合は前記第2画像の信号を選び、静止画表示させるための再生画像信号を生成することを特徴とする画像処理装置。 The image processing apparatus according to claim 6.
The first display control means selects the second image signal when the gains for the first image signal and the second image signal are the same, and generates a reproduction image signal for displaying a still image. A featured image processing apparatus.
前記画像群は、前記フレーム間隔に略等しい第2露光時間で取得され、前後に隣り合う第3フレームおよび第4フレームでそれぞれ取得された第3画像および第4画像を含み、
前記第3画像および前記第4画像を、取得順に前記フレーム間隔で順次切り替えるようにフレーム画像信号を生成する第2表示制御手段と、
切り替え指示に応じて、前記第1表示制御手段および前記第2表示制御手段のうち一方にフレーム画像信号を生成させる切り替え制御手段とを備えることを特徴とする画像処理装置。 In the image processing device according to any one of claims 1 to 7,
The image group includes a third image and a fourth image acquired at a second exposure time substantially equal to the frame interval, and acquired at the third and fourth frames adjacent to each other before and after,
Second display control means for generating a frame image signal so as to sequentially switch the third image and the fourth image at the frame interval in the order of acquisition;
An image processing apparatus comprising: a switching control unit that causes one of the first display control unit and the second display control unit to generate a frame image signal in response to a switching instruction.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009107504A JP5600888B2 (en) | 2009-04-27 | 2009-04-27 | Image processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009107504A JP5600888B2 (en) | 2009-04-27 | 2009-04-27 | Image processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010258851A true JP2010258851A (en) | 2010-11-11 |
JP5600888B2 JP5600888B2 (en) | 2014-10-08 |
Family
ID=43319247
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009107504A Expired - Fee Related JP5600888B2 (en) | 2009-04-27 | 2009-04-27 | Image processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5600888B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016105181A (en) * | 2011-10-26 | 2016-06-09 | トゥー ツリーズ フォトニクス リミテッド | Method of retrieving phase information, and projector |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10257435A (en) * | 1997-03-10 | 1998-09-25 | Sony Corp | Device and method for reproducing video signal |
JP2002006818A (en) * | 2000-06-23 | 2002-01-11 | Toshiba Corp | Device and method for image processing and image display system |
JP2005217874A (en) * | 2004-01-30 | 2005-08-11 | Konica Minolta Photo Imaging Inc | File management method |
JP2006287921A (en) * | 2005-03-09 | 2006-10-19 | Fuji Photo Film Co Ltd | Moving image generating apparatus, moving image generation method, and program |
JP2008228282A (en) * | 2007-02-13 | 2008-09-25 | Matsushita Electric Ind Co Ltd | Image processing device |
JP2009038478A (en) * | 2007-07-31 | 2009-02-19 | Nikon Corp | Program, image processing apparatus, imaging apparatus, and image processing method |
-
2009
- 2009-04-27 JP JP2009107504A patent/JP5600888B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10257435A (en) * | 1997-03-10 | 1998-09-25 | Sony Corp | Device and method for reproducing video signal |
JP2002006818A (en) * | 2000-06-23 | 2002-01-11 | Toshiba Corp | Device and method for image processing and image display system |
JP2005217874A (en) * | 2004-01-30 | 2005-08-11 | Konica Minolta Photo Imaging Inc | File management method |
JP2006287921A (en) * | 2005-03-09 | 2006-10-19 | Fuji Photo Film Co Ltd | Moving image generating apparatus, moving image generation method, and program |
JP2008228282A (en) * | 2007-02-13 | 2008-09-25 | Matsushita Electric Ind Co Ltd | Image processing device |
JP2009038478A (en) * | 2007-07-31 | 2009-02-19 | Nikon Corp | Program, image processing apparatus, imaging apparatus, and image processing method |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016105181A (en) * | 2011-10-26 | 2016-06-09 | トゥー ツリーズ フォトニクス リミテッド | Method of retrieving phase information, and projector |
US9857771B2 (en) | 2011-10-26 | 2018-01-02 | Two Trees Photonics Limited | Iterative phase retrieval with parameter inheritance |
Also Published As
Publication number | Publication date |
---|---|
JP5600888B2 (en) | 2014-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5092983B2 (en) | Movie playback device, imaging device, and program | |
US7692690B2 (en) | Image sensing apparatus for recording a moving image and a still image and its control method | |
JP4914026B2 (en) | Image processing apparatus and image processing method | |
JP4992860B2 (en) | Imaging apparatus and program | |
WO2012160847A1 (en) | Image capture device, image processing device, and image capture method | |
JP4556195B2 (en) | Imaging device, moving image playback device, and program | |
US20090109323A1 (en) | Image pick-up apparatus, image playback apparatus, method of controlling a recording operation, method of controlling a displaying operation, and recording medium | |
JP2018006827A (en) | Imaging apparatus, imaging program, and imaging method | |
JP2017175319A (en) | Image processing apparatus, image processing method, and program | |
JP2008124671A (en) | Imaging apparatus and imaging method | |
US10348957B2 (en) | Image capturing apparatus, method of controlling the same, and storage medium for shooting a still image without interrupting shooting of moving images | |
JP5600888B2 (en) | Image processing device | |
JP6194755B2 (en) | Image processing apparatus, imaging apparatus, and image processing program | |
JP5012985B2 (en) | Imaging apparatus and program thereof | |
JP2010283504A (en) | Imaging device, imaging method, and imaging program | |
JP2007166539A (en) | Imaging apparatus, imaging method, program and storage medium | |
JP2014007454A (en) | Image pickup device and image pickup method | |
JP2014049882A (en) | Imaging apparatus | |
JP2009246775A (en) | Image reproducing device | |
JP2011223399A (en) | Camera | |
JP2019208252A (en) | Image reproducing apparatus | |
JP2008205620A (en) | Imaging apparatus and control method of imaging apparatus | |
JP2001238154A (en) | Moving picture display device | |
US20240087093A1 (en) | Image processing apparatus, image processing method, and program | |
JP2010187112A (en) | Image reproducing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120321 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130516 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130604 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130722 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130903 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140401 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140509 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140722 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140804 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5600888 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |