Nothing Special   »   [go: up one dir, main page]

JPWO2009141951A1 - 映像撮影装置および映像符号化装置 - Google Patents

映像撮影装置および映像符号化装置 Download PDF

Info

Publication number
JPWO2009141951A1
JPWO2009141951A1 JP2010512918A JP2010512918A JPWO2009141951A1 JP WO2009141951 A1 JPWO2009141951 A1 JP WO2009141951A1 JP 2010512918 A JP2010512918 A JP 2010512918A JP 2010512918 A JP2010512918 A JP 2010512918A JP WO2009141951 A1 JPWO2009141951 A1 JP WO2009141951A1
Authority
JP
Japan
Prior art keywords
video
zoom
encoding
range
wide
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2010512918A
Other languages
English (en)
Inventor
渡部　彰啓
彰啓 渡部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JPWO2009141951A1 publication Critical patent/JPWO2009141951A1/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/18—Signals indicating condition of a camera member or suitability of light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Abstract

操作モニタ(109)において、広角用光学系(103)の撮影映像のうちどの部分をズームするかを指定し、そのエリアをズーム用光学系(102)で撮影し、両方の映像を信号処理部(107)において多重化して記録媒体(108)に記録する。

Description

本発明は映像撮影装置に関するものであり、特にズーム撮影が可能なムービーに最適に適応できるものである。
従来から、ムービーは運動会などの撮影を想定し、遠くから自分の子供をきれいに採るために光学ズームを有しているものが多い。
これらは、ズーム映像を採るには都合が良いが、集団演技などではいろいろな角度から、全体の様子がわかるような映像や、ズーム映像などの要望がある。たとえば放送局などでは通常複数のカメラを使い、それぞれ役割を替えて記録し、編集するようなことがなされている。
しかし、一般にこれらの撮影は一人で行うものであり、複数のカメラを使うには個人用途では無理がある。
そこで、１台のカメラでズームと広角映像を記録するものが提案されている(例えば特許文献１参照)。また、単純に複数台のカメラを並べるなどしているものもある(例えば特許文献２参照)。
特開平9-215012号公報 特開2001-268409号公報
さて、ズーム映像と、広角映像を記録する場合、特許文献1のようなものがあるがそれだけでは十分とはいえない。
まず、運動会のような演技においては、注目したい場所(自分の子供が演技している場所)は演技全体(広角で記録したい全体像)の中心にいるとは限らない。
このような場面では演技全体はほぼ固定の場所に広がっているが、個人の位置は頻繁に移動する。よって全体の映像をほぼ固定で撮影しながらもズーム撮影の範囲を動かさなければならない。
また、同様の目的を達成するために、広角画像を記録しておき、再生時に一部を拡大するといった手法も使うことが可能であるが、このためには、記録した後に編集動作が必要である。見るたびに子供の位置を捜して拡大するのは手間であるし、かといって拡大した映像を別途作成するといった方法を使ったとしても、その位置の指定は再生をつづけながら指定しなければならず、編集のための再生をした後で、ようやっと所望の映像が得られるのみである。
さらにこの場合、ある程度の拡大画像の画質を保つには、もとの画像が高解像度かつ高画質で記録されていなければならず、データ量の増大を招く。
また、２つの映像を記録する場合に、その再生時の操作性も考慮する必要がある。単に関連のない映像として記録したのでは、そのうちの１つしか見ることはできない。
切り替えが可能にするにしても、ズームならではの再生効果に乏しく、単純な再生イメージ切り替えしかできないという問題もあった。
映像撮影装置は、映像を撮影する撮影手段と、前記撮影手段で撮影中の映像の一部の範囲を指定するズーム範囲指定手段と、前記撮影手段で撮影中の映像を符号化する映像符号化手段と、前記ズーム範囲指定手段で指定された範囲と前記映像符号化手段で符号化された映像とを関連づけて記録する記録手段と、を備えることを特徴とする。
上記映像撮影装置では、前記撮影手段で撮影中の映像の一部の範囲を指定するズーム範囲指定手段を設け、前記ズーム範囲指定手段で指定された範囲と前記映像符号化手段で符号化された映像とを関連づけて記録するため、より効果的な再生を実現できる。
また、上記映像撮影装置において、前記撮影手段で撮影中の映像をリアルタイムに表示するモニタをさらに備え、前記ズーム範囲指定手段で指定した範囲を前記モニタ上に表示する、ことを特徴とする。
上記映像撮影装置によれば、前記ズーム範囲指定手段による範囲指定の操作性を高めることができる。
また、上記映像撮影装置において、前記ズーム範囲指定手段で指定した範囲の映像を拡大して前記モニタ上に表示する、ことを特徴とする。
上記映像撮影装置によれば、前記ズーム範囲指定手段による指定範囲のユーザーによる確認が容易になる。
また、上記映像撮影装置において、前記ズーム範囲指定手段は、前記モニタに表示される映像に対してユーザーが指定した位置を中心とした一定範囲を前記一部の範囲として指定する、ことを特徴とする。
上記映像撮影装置によれば、前記モニタに表示される映像に対して直感的なタッチ動作等により範囲指定を行うことができ、範囲指定が容易に行えるようになる。
また、上記映像撮影装置において、前記ズーム範囲指定手段で指定された範囲の拡大映像を符号化するズーム映像符号化手段をさらに備え、前記記録手段は、前記ズーム映像符号化手段で符号化された拡大映像と前記映像符号化手段で符号化された映像とを関連付けて記録する、ことを特徴とする。
上記映像撮影装置によれば、前記ズーム範囲指定手段で指定された範囲の拡大映像も独立した映像として符号化するため、当該拡大映像の独立記録が可能になる。
また、上記映像撮影装置において、前記ズーム映像符号化手段で符号化された拡大映像と前記映像符号化手段で符号化された映像とを多重化して１つのストリームとする多重化手段をさらに備え、前記記録手段は、前記多重化手段により得られたストリームを記録媒体に記録する、ことを特徴とする。
上記映像撮影装置によれば、前記ズーム映像符号化手段で符号化された拡大映像と前記映像符号化手段で符号化された映像とを１つのコンテンツとして柔軟に利用できるようになる。
また、上記映像撮影装置において、前記撮影手段は、前記ズーム範囲指定手段で指定した範囲をズーム撮影する光学処理系を備える、ことを特徴とする。
上記映像撮影装置は、複数の光学系を用意することで高画質を図るものであり、ズーム映像を光学ズームで実現することによりズーム映像の高画質化を図るものである。
また、上記映像撮影装置において、前記撮影手段で撮影中の映像の解像度を間引く間引き手段と、前記撮影手段で撮影中の映像から前記ズーム範囲指定手段で指定された範囲を切り出す切り出し手段とを備え、前記記録手段は、前記間引き手段によって間引かれた映像と、前記切り出し手段によって切り出された映像を記録する、ことを特徴とする。
上記映像撮影装置は、単独の光学系の場合において、前記撮影手段で撮影中の映像を間引くことで記録データ量の削減を図るものである。
映像符号化装置は、第１の映像信号と、前記第１の映像信号の画面上のエリアを示すエリア情報と、第２の映像信号を受け取り、前記第１の映像信号を前記エリア情報と供に符号化する第１の符号化手段と、前記第２の映像信号を符号化する第２の符号化手段と、前記第１の符号化手段の符号化結果と前記第２の符号化手段の符号化結果を多重化する多重化手段と、を備えることを特徴とする。
もう１つの映像符号化装置は、第１の映像信号の解像度を間引く間引き手段と、前記第１の映像信号から指定された領域の映像信号を切り出す切り取り手段と、前記間引き手段で間引かれた映像信号と、前記指定された領域を示す情報とを符号化する第１の符号化手段と、前記切り取り手段で切り出された映像信号を符号化する第２の符号化手段と、前記第１の符号化手段の符号化結果と前記第２の符号化手段の符号化結果とを多重化する多重化手段と、を備えることを特徴とする。
上記映像撮影装置では、前記撮影手段で撮影中の映像の一部の範囲を指定するズーム範囲指定手段を設け、前記ズーム範囲指定手段で指定された範囲と前記映像符号化手段で符号化された映像とを関連づけて記録するため、より効果的な再生を実現できる。
また、前記ズーム範囲指定手段で指定した範囲を前記モニタ上に表示するため、前記ズーム範囲指定手段による範囲指定の操作性を高めることができる。
また、前記ズーム範囲指定手段で指定した範囲の映像を拡大して前記モニタ上に表示するため、前記ズーム範囲指定手段による指定範囲のユーザーによる確認が容易になる。
また、前記ズーム範囲指定手段は、前記モニタに表示される映像に対してユーザーが指定した位置を中心とした一定範囲を前記一部の範囲として指定するため、ユーザーは前記モニタに表示される映像に対して直感的なタッチ動作等により範囲指定を行うことができ、範囲指定が容易に行えるようになる。
また、前記ズーム範囲指定手段で指定された範囲の拡大映像も独立した映像として符号化するため、当該拡大映像の独立記録が可能になる。これにより、後の編集なしに多彩な再生が実現できる。
また、前記ズーム映像符号化手段で符号化された拡大映像と前記映像符号化手段で符号化された映像とを１つのストリームに多重化して記録媒体に記録するため、前記ズーム映像符号化手段で符号化された拡大映像と前記映像符号化手段で符号化された映像とを１つのコンテンツとして柔軟に利用できるようになる。
第１の実施形態におけるビデオカメラのブロック図である。 操作モニタ１０９の表示画面例である。 記録フォーマットの概要を示す図である。 信号処理部１０７のブロック図である。 再生時における操作モニタ１０９の表示画面例である。 再生時における操作モニタ１０９の表示画面例である。 第２の実施形態におけるビデオカメラのブロック図である 分離部７１０のブロック図である。
符号の説明
１０１，７０１ ビデオカメラ
１０２ ズーム用光学系
１０３ 広角用光学系
１０４ ズーム撮影制御部
１０５ 広角撮影制御部
１０６，７０６ 全体制御部
１０７，７０７ 信号処理部
１０８，７０８ 記録媒体
１０９，７０９ 操作モニタ
１１１，７１１ ズーム位置情報
１１２，７１２ 広角用映像情報
１１３，７１３ ズーム用映像情報
１１４ 広角用マイク
１１５ ズーム用マイク
７０３ 光学系
７０５ 撮影制御部
７１０ 分離部
７１４ マイク
７１５ ズーム位置指定
７１６ 広角用映像
７１７ ズーム用映像
７１８ 映像信号
(第１の実施形態)
図１は第１の実施形態によるビデオカメラのブロック図である。図１のビデオカメラ１０１は、広い範囲の映像を撮影し、電気信号に変換するための広角用光学系１０３と、広角用光学系１０３の撮影範囲の一部を拡大して撮影し、電気信号に変換するためのズーム用光学系１０２と、ズーム用光学系１０２を制御するズーム撮影制御部１０４と、広角用光学系１０３を制御する広角撮影制御部１０５と、音声を電気信号に変換するための広角用マイク１１４と、ズーム用光学系１０２の撮影範囲の音声を効果的に電気信号に変換するためのズーム用マイク１１５と、全体を制御する全体制御部１０６と、各種ユーザー操作や撮影範囲をモニタするための操作モニタ１０９と、それぞれの光学系１０２，１０３で撮影した映像をズーム位置情報１１１と供に記録媒体１０８に記録する信号処理部１０７とを備えている。
ズーム用光学系１０２のズーム範囲は、広角用光学系１０３の撮影範囲内で動かせる。より具体的にいうと、ズーム用光学系１０２は、光軸をズーム撮影制御部１０４の指示に従って動かすことができ、ズーム倍率を変えれば被写体の距離に応じて広角用光学系１０３の一部分を拡大したような撮影が可能になっている。
一方、広角用光学系１０３の光軸は、ビデオカメラ１０１本体に対して固定されており、通常のビデオカメラのようにカメラの向きによって撮影範囲を決定することができる。
このようにズーム用光学系１０２の光軸が移動できるという特徴により、カメラ１０１本体をほぼ固定して全体の映像を広角用光学系１０３で撮影しながらも、その全体映像中の特定の被写体をズーム用光学系１０２で捕らえることができる。特に、ズームしたい領域が広角用光学系１０３の撮影範囲の中心に位置していなくても良い。したがって、子供など注目すべき被写体が動いていても、カメラ１０１本体を動かす必要はなく、つまり全体映像はそのままにしておいて、注目すべき被写体の動きを追跡できるのである。
広角用マイク１１４は、比較的広い範囲の音を電気信号に変えるものであり、広角撮影制御部１０５のズーム範囲に応じてその指向性が変化する。より具体的には、ズームの場合には指向性を高め、よりズーム範囲の音を強調するようにしておく。
ズーム用マイク１１５は、広角用マイク１１４とほぼ同様に、ズーム用光学系１０２のズーム動作に連動して指向性が変化する。よって、ズーム用マイク１１５の方が通常指向性が高い。
これらマイク１１４，１１５の制御の目的は、音声についても全体の音声と、注目すべき被写体が発している音声をより効果的に記録するためのものである。例えば、全員で歌を歌っているような場合、ズーム用マイク１１５では、自分の子供を中心に音声を記録し、広角用マイク１１４では全体の音声を記録することができる。
以上のようにほぼ独立した２つの映像/音声信号は全体制御部１０６へと送られる。
全体制御部１０６は、これらの映像を操作モニタ１０９へと出力し、撮影者に対するフィードバックをかける。
また、全体制御部１０６は、広角撮影制御部１０５やズーム撮影制御部１０４にズーム範囲などを指定し、撮影範囲を管理している。より具体的には、撮影時には被写体までの距離、ズーム用光学系１０２の光軸、ズーム倍率などを管理しており、そこから広角用光学系１０３で撮影中の映像のうち、どの領域をズーム用光学系１０２が捉えているかを算出し、管理している。また、再生時には、信号処理部１０７から、ズーム位置情報１１１を受け取っている。
全体制御部１０６は、さらに信号処理部１０７と、ズーム位置情報１１１，広角映像情報１１２，ズーム用映像情報１１３をやり取りする。より具体的には、撮影時には、広角用光学系１０３と広角用マイク１１４からの情報を広角用映像情報１１２として出力し、ズーム用光学系１０２とズーム用マイク１１５からの情報をズーム用映像情報１１３として出力する。一方、再生時には、それぞれの情報を受け取って操作モニタ１０９に表示する。
信号処理部１０７は、映像の符号化/復号化を行う。
以下、撮影時の動作についてより詳細に述べる。図２に撮影時の操作モニタ１０９の典型的な表示形態を示す。
図２に示すように、典型的には操作モニタ１０９には、広角用映像２０１とズーム映像２０２が同時に表示され、しかも広角用映像２０１の中に枠２０３が示されている。この枠２０３は、ズーム用光学系１０２の撮影範囲を示している。つまりユーザーにとって見れば、広角用映像２０１の枠２０３の拡大画像がズーム映像２０２で表示されている。
このような表示にしておけば、全体の映像を撮りながらも、自分の子供などの注目すべき被写体を追いやすい。すなわち、枠２０３が移動するので、ズーム用の位置が非常にわかりやすく、ズーム用光学系１０２の操作性を向上させることができる。
さらに図２の操作モニタ１０９であるが、タッチパネルになっており、広角用映像２０１の所定位置をタッチすることによって、ズーム位置(枠２０３)がタッチした位置に移動するようになっている。もちろん、ズーム倍率によって、枠２０３が大きくなったり小さくなったりする。
ここで、普通の使い方においてはズームの映像が重要であるので、一般的にはズーム用映像２０２を見やすく大きくしておくのが良い。なお、広角用映像２０１とズーム用映像２０２の大きさの比率を変える、あるいは一方だけの表示を可能にするような工夫も任意に可能である。
ズーム位置(枠２０３の位置)の変更もタッチパネル形式である必要はなく、操作レバーなどで実現しても良い。最も重要なことは、撮影者に対してどの位置がズーム撮影されているかをできるだけ正確にフィードバックさせることである。
以上のようにして撮影した広角用映像とズーム用映像は信号処理部１０７へと送られ、記録媒体１０８に記録される。図３に記録フォーマットの概要を示す。
記録するときには広角用とズーム用の２つの映像信号を同時に記録しなければならないので、これら２つの映像信号を図３のように多重化した形式で記録することが望ましい。
図３の記録フォーマットにおいて、３０１は、タイムスタンプを示しており、この情報は再生の同期に用いられる。MPEGなどの規格においてもタイムスタンプによる同期が用いられているように、タイムスタンプをつけることは一般的な技術である。
３０２は、ストリーム種別を示しており、この例では広角用映像であるという情報が入っている。
３０４は、ズーム映像位置を示している。ストリーム種別３０２に広角用映像であるという情報が入っている場合、この広角用映像に対応するズーム映像位置が３０４に入る。この位置情報は、広角用映像のどの部分がズーム用映像として記録されているかを示すものであり、再生時に利用されるものである。この情報は本発明固有のものであり、その効果や使い方は後述する。
３０５には、広角用映像のピクチャデータが格納される。
３０６は、タイムスタンプを示している。
３０７は、ストリーム種別を示しており、この例ではズーム用映像であるという情報が入っている。このときには、ズーム用映像位置３０４に相当する情報はなく、そのまま３０９にズーム用映像のピクチャデータが格納されている。
このように本記録フォーマットは、ズーム用映像位置情報３０４が記録されていることが特徴となっている。
図４に信号処理部１０７の詳細を示す。信号処理部１０７は２系統の映像(ズーム用映像，広角用映像)に対応し、２系統の符号化/復号化部４０１，４０２で構成されている。
ここで、記録時には全体制御部１０６よりズーム用映像信号１１３，ズーム用位置情報１１１，広角用映像信号１１２が送られてくる。
ズーム用映像信号１１３は、ズーム用映像符号化/復号化部４０１で符号化され多重化部４０３へと出力される。
一方、ズーム位置情報１１１と広角用映像信号１１２は、広角用映像符号化/復号化部４０２で符号化され多重化部４０３へと出力される。
ここで、図３に示したようにズーム位置情報１１１は、ズーム映像位置３０４として符号化される。
多重化部４０３ではそれぞれの信号を図３に示した記録フォーマットで多重化し１つのストリームとして出力する。そしてその出力が、記録媒体１０８に記録される。
ここで、記録媒体１０８としては、テープ，ハードディスク，光ディスク，SDカードなどの任意の記録媒体が利用可能である。特に、多重化して１つのストリームにしているので、テープのようなランダムアクセスが苦手なデバイスへの記録も特に問題ないことがわかるであろう。
なお、ランダムアクセスできる媒体において、２つの映像を別ファイルにして記録することももちろん可能であるが、そうすると２つの映像の関連情報が失われるので１つのファイルとしての記録がより望ましい。
以下、上記のような記録フォーマットで記録した映像を再生する場合について述べる。なお、説明の便宜上、ビデオカメラ１０１を再生装置として用いるが、再生装置が記録装置と同じ装置である必要はない。
図５，図６は再生のときの画面イメージである。
再生のときには、記録媒体１０８から読み出されたストリームデータが信号処理部１０７に送られ、ズーム位置情報１１１，広角用映像情報１１２，ズーム用映像情報１１３がデコードされる。具体的には、信号処理部１０７の多重化部４０３(図４)でストリームが分離され、それぞれ対応する復号化部４０１，４０２で復号化処理される。ここで、ズーム位置情報１１１もデコードされる。これは、図３に示すようにズーム映像位置３０４が記録されているからこそ可能になるのである。
全体処理部１０６は、これらの情報１１１，１１２，１１３を元に操作モニタ１０９に映像を表示するが、その１つの形態として、もちろん図２に示すような２画面表示も可能である。このとき、枠２０３は、ズーム位置情報１１１から算出された位置を囲むことで実現できる。
一方、別の表示として、図５は広角撮影映像５０１を操作モニタ１０９に表示した場合である。このとき、ズーム位置情報１１１を用いて広角撮影映像５０１の上にズームエリア５０２を表示することができる。この表示により、全体の中でのズームエリア５０２が判明する。
ズームエリア５０２は特に撮影時に注目していたエリアであることが多いので、例えば自分の子供など注目したい位置を示しており、自分の子供の位置を確認しながら全体の様子を見るといった用途に用いることができる。
そして、必要があればズーム映像に切り替えることもできる。例えば、あらかじめズームエリア５０２がわかっているので、本当に注目したい領域がズームエリア５０２に入ったときにズーム切り替えるといった作業もできる。
もしも撮影のときに、確実にズームエリアが正確に撮影できればあまり必要がない機能のように思えるが、えてして撮影は失敗することもあり、その場合、ズームよりは全体を見たい場合もある。そして所望のエリアのズームが正しくとれていることを確認できたときのみズームを見ることができる。
以上、このような切り替えは再生時にリアルタイムで可能であることも重要な利点である。一般に編集に時間をかければこれらの効果は実現できるが、編集の手間なしに映像を見ながらこのような作業ができることがポイントである。
図６は、広角映像６０１の上にズーム映像６０２をオーバレイ表示する例である。
この場合、図６(ａ)のように、広角映像６０１のズームエリア付近にズーム映像６０２を表示したり、図６(ｂ)のようにズームエリア６０４とは異なる位置にズーム映像６０５を表示することが可能である。また、ズームエリア６０４の位置に応じてズーム映像６０５を移動させたりするなどの再生効果を実現できる。
以上示したようにズーム位置情報１１１を使えば、再生時の効果が簡単に実現できるようになる。この位置情報１１１はズーム操作により自然に記録されるため、撮影後の編集なしに簡単に利用できる。
以上、第１の実施形態では光学系を２つもつ例について説明を行った。
なお、２つの光学系１０２，１０３は、ほぼ距離の等しい、また明るさもほぼ等しいと思われる位置を記録するため、例えばピントあわせや絞りなどの相関が高い。これらの相関を利用して、処理を共通にするような工夫は任意に可能である。また、信号処理部１０７においても同様の工夫は任意に可能である。
当然、一方の光学系のみを使った撮影も可能である。その場合、例えばズーム倍率が大きければズーム用光学系１０２を使い、ズーム倍率が小さければ広角用光学系１０３に切り替えるなどしても良い。
さて、一般にズーム映像と全体映像のうち、運動会などの撮影を考えると、ズーム映像がメインであることが多い。このため、広角用映像とズーム用映像の画質を意図的に変化させてもよい。例えば、広角用映像の符号化レートを下げる、あるいは性能を下げるなどのことをしてもよい。レートを下げた場合には記録時間を長くする効果があり、性能を下げるときにはコストダウンの効果がある。
(第２の実施形態)
図７は第２の実施形態のビデオカメラである。図７のビデオカメラ７０１は光学系を１つしか使わない構成である。その代わり分離部７１０を設けているのが特徴である。第１の実施形態と比べると画質的にやや不利な面があるが、光学系が１つであるのでコストダウンには有利な構成となっている。これらの形態の差は、コストと画質のトレードオフであり一概にどちらが良いとはいえない。
図７のビデオカメラ７０１の全体制御部７０６，信号処理部７０７，記録部７０８は、それぞれ図１のビデオカメラ１０１の全体制御部１０６，信号処理部１０７，記録部１０８に対応しており、動作的にも同じであるので説明を省略する。また、操作モニタ７０９も図１の操作モニタ１０９と同じであり、再生時の動作も第１の実施形態と同じである。
光学系７０３は、図１の広角用光学系１０３にほぼ対応する。マイク７１４は図１の広角用マイク１１４、撮影制御部７０５は図１の広角撮影制御部１０５に対応する。
図１と異なり、ズーム用光学系１０２は存在しない。その代わりに撮影時のズーム位置指定７１５が分離部７１０に送られる。
分離部７１０は、光学系７０３で撮影された映像信号７１８を受け取り、広角用映像７１６とズーム用映像７１７を生成する。
全体制御部７０６は、図１の全体制御部１０６と同様に、広角用映像７１６，ズーム用映像７１７を受け取り操作モニタ７０９への表示を行う。また、信号処理部７０７にズーム位置情報７１１，広角用映像情報７１２，ズーム用映像情報７１３を送る。
図８に分離部７１０のブロック図を示す。
映像信号７１８は、切り出し処理部８０１、間引き処理部８０２にそれぞれ送られる。切り出し処理８０１は、映像信号７１８からズーム位置指定７１５で指定された一部の領域を切り出してズーム用映像７１７として出力する。間引き処理部８０２は、映像信号７１８を間引いてデータ量を落とし広角用映像７１６として出力する。ここで、間引き処理部８０２でデータ量を落としているのは、もともと高解像度のCCDなどを使っている場合を想定しているからである。
図７のビデオカメラ７０１のように光学系が１つの場合、ズームはデジタルズーム処理となるため、画質が劣化しやすい。したがって、通常のムービーよりも高解像度で記録する必要がある。しかし、高解像度記録はデータ量が多くなりすぎる。そのため間引き処理部８０２があるほうが望ましいのである。
さて、再生においては、図１と同じ機構になるので特に説明はしない。
以上、第１，第２の実施形態では、ビデオカメラを例に動画撮影を基本に説明してきたが、もちろん同じ機構を静止画撮影に使うこともできる。このような場合、静止画では動画撮影よりも高解像度で記録される場合が多く、したがって高解像度CCDなどを利用した図７のような実施形態の実現可能性も十分可能である。
さらにそれぞれの機能ブロックを１チップLSIで実現することも近年の半導体技術の進歩により容易になってきている。
特に２チャンネル記録などのコストも下がってきていることから、民生用としてこのような機器は決して非現実的なものではない。
以上説明してきたように、本実施形態のビデオカメラを使えば、運動会などで全体の演技の映像と、個人の演技の映像を１台のカメラで簡単に両方記録できるようになり、再生時もより楽しい再生効果が得られるようになる。
本発明にかかる撮影装置は、全体映像とその一部の範囲の拡大映像とを同時に記録できる機能を持ち、運動会などの撮影に有効である。
本発明は映像撮影装置に関するものであり、特にズーム撮影が可能なムービーに最適に適応できるものである。
従来から、ムービーは運動会などの撮影を想定し、遠くから自分の子供をきれいに採るために光学ズームを有しているものが多い。
これらは、ズーム映像を採るには都合が良いが、集団演技などではいろいろな角度から、全体の様子がわかるような映像や、ズーム映像などの要望がある。たとえば放送局などでは通常複数のカメラを使い、それぞれ役割を替えて記録し、編集するようなことがなされている。
しかし、一般にこれらの撮影は一人で行うものであり、複数のカメラを使うには個人用途では無理がある。
そこで、１台のカメラでズームと広角映像を記録するものが提案されている(例えば特許文献１参照)。また、単純に複数台のカメラを並べるなどしているものもある(例えば特許文献２参照)。
特開平9-215012号公報 特開2001-268409号公報
さて、ズーム映像と、広角映像を記録する場合、特許文献1のようなものがあるがそれだけでは十分とはいえない。
まず、運動会のような演技においては、注目したい場所(自分の子供が演技している場所)は演技全体(広角で記録したい全体像)の中心にいるとは限らない。
このような場面では演技全体はほぼ固定の場所に広がっているが、個人の位置は頻繁に移動する。よって全体の映像をほぼ固定で撮影しながらもズーム撮影の範囲を動かさなければならない。
また、同様の目的を達成するために、広角画像を記録しておき、再生時に一部を拡大するといった手法も使うことが可能であるが、このためには、記録した後に編集動作が必要である。見るたびに子供の位置を捜して拡大するのは手間であるし、かといって拡大した映像を別途作成するといった方法を使ったとしても、その位置の指定は再生をつづけながら指定しなければならず、編集のための再生をした後で、ようやっと所望の映像が得られるのみである。
さらにこの場合、ある程度の拡大画像の画質を保つには、もとの画像が高解像度かつ高画質で記録されていなければならず、データ量の増大を招く。
また、２つの映像を記録する場合に、その再生時の操作性も考慮する必要がある。単に関連のない映像として記録したのでは、そのうちの１つしか見ることはできない。
切り替えが可能にするにしても、ズームならではの再生効果に乏しく、単純な再生イメージ切り替えしかできないという問題もあった。
映像撮影装置は、映像を撮影する撮影手段と、前記撮影手段で撮影中の映像の一部の範囲を指定するズーム範囲指定手段と、前記撮影手段で撮影中の映像を符号化する映像符号化手段と、前記ズーム範囲指定手段で指定された範囲と前記映像符号化手段で符号化された映像とを関連づけて記録する記録手段と、を備えることを特徴とする。
上記映像撮影装置では、前記撮影手段で撮影中の映像の一部の範囲を指定するズーム範囲指定手段を設け、前記ズーム範囲指定手段で指定された範囲と前記映像符号化手段で符号化された映像とを関連づけて記録するため、より効果的な再生を実現できる。
また、上記映像撮影装置において、前記撮影手段で撮影中の映像をリアルタイムに表示するモニタをさらに備え、前記ズーム範囲指定手段で指定した範囲を前記モニタ上に表示する、ことを特徴とする。
上記映像撮影装置によれば、前記ズーム範囲指定手段による範囲指定の操作性を高めることができる。
また、上記映像撮影装置において、前記ズーム範囲指定手段で指定した範囲の映像を拡大して前記モニタ上に表示する、ことを特徴とする。
上記映像撮影装置によれば、前記ズーム範囲指定手段による指定範囲のユーザーによる確認が容易になる。
また、上記映像撮影装置において、前記ズーム範囲指定手段は、前記モニタに表示される映像に対してユーザーが指定した位置を中心とした一定範囲を前記一部の範囲として指定する、ことを特徴とする。
上記映像撮影装置によれば、前記モニタに表示される映像に対して直感的なタッチ動作等により範囲指定を行うことができ、範囲指定が容易に行えるようになる。
また、上記映像撮影装置において、前記ズーム範囲指定手段で指定された範囲の拡大映像を符号化するズーム映像符号化手段をさらに備え、前記記録手段は、前記ズーム映像符号化手段で符号化された拡大映像と前記映像符号化手段で符号化された映像とを関連付けて記録する、ことを特徴とする。
上記映像撮影装置によれば、前記ズーム範囲指定手段で指定された範囲の拡大映像も独立した映像として符号化するため、当該拡大映像の独立記録が可能になる。
また、上記映像撮影装置において、前記ズーム映像符号化手段で符号化された拡大映像と前記映像符号化手段で符号化された映像とを多重化して１つのストリームとする多重化手段をさらに備え、前記記録手段は、前記多重化手段により得られたストリームを記録媒体に記録する、ことを特徴とする。
上記映像撮影装置によれば、前記ズーム映像符号化手段で符号化された拡大映像と前記映像符号化手段で符号化された映像とを１つのコンテンツとして柔軟に利用できるようになる。
また、上記映像撮影装置において、前記撮影手段は、前記ズーム範囲指定手段で指定した範囲をズーム撮影する光学処理系を備える、ことを特徴とする。
上記映像撮影装置は、複数の光学系を用意することで高画質を図るものであり、ズーム映像を光学ズームで実現することによりズーム映像の高画質化を図るものである。
また、上記映像撮影装置において、前記撮影手段で撮影中の映像の解像度を間引く間引き手段と、前記撮影手段で撮影中の映像から前記ズーム範囲指定手段で指定された範囲を切り出す切り出し手段とを備え、前記記録手段は、前記間引き手段によって間引かれた映像と、前記切り出し手段によって切り出された映像を記録する、ことを特徴とする。
上記映像撮影装置は、単独の光学系の場合において、前記撮影手段で撮影中の映像を間引くことで記録データ量の削減を図るものである。
映像符号化装置は、第１の映像信号と、前記第１の映像信号の画面上のエリアを示すエリア情報と、第２の映像信号を受け取り、前記第１の映像信号を前記エリア情報と供に符号化する第１の符号化手段と、前記第２の映像信号を符号化する第２の符号化手段と、前記第１の符号化手段の符号化結果と前記第２の符号化手段の符号化結果を多重化する多重化手段と、を備えることを特徴とする。
もう１つの映像符号化装置は、第１の映像信号の解像度を間引く間引き手段と、前記第１の映像信号から指定された領域の映像信号を切り出す切り取り手段と、前記間引き手段で間引かれた映像信号と、前記指定された領域を示す情報とを符号化する第１の符号化手段と、前記切り取り手段で切り出された映像信号を符号化する第２の符号化手段と、前記第１の符号化手段の符号化結果と前記第２の符号化手段の符号化結果とを多重化する多重化手段と、を備えることを特徴とする。
上記映像撮影装置では、前記撮影手段で撮影中の映像の一部の範囲を指定するズーム範囲指定手段を設け、前記ズーム範囲指定手段で指定された範囲と前記映像符号化手段で符号化された映像とを関連づけて記録するため、より効果的な再生を実現できる。
また、前記ズーム範囲指定手段で指定した範囲を前記モニタ上に表示するため、前記ズーム範囲指定手段による範囲指定の操作性を高めることができる。
また、前記ズーム範囲指定手段で指定した範囲の映像を拡大して前記モニタ上に表示するため、前記ズーム範囲指定手段による指定範囲のユーザーによる確認が容易になる。
また、前記ズーム範囲指定手段は、前記モニタに表示される映像に対してユーザーが指定した位置を中心とした一定範囲を前記一部の範囲として指定するため、ユーザーは前記モニタに表示される映像に対して直感的なタッチ動作等により範囲指定を行うことができ、範囲指定が容易に行えるようになる。
また、前記ズーム範囲指定手段で指定された範囲の拡大映像も独立した映像として符号化するため、当該拡大映像の独立記録が可能になる。これにより、後の編集なしに多彩な再生が実現できる。
また、前記ズーム映像符号化手段で符号化された拡大映像と前記映像符号化手段で符号化された映像とを１つのストリームに多重化して記録媒体に記録するため、前記ズーム映像符号化手段で符号化された拡大映像と前記映像符号化手段で符号化された映像とを１つのコンテンツとして柔軟に利用できるようになる。
第１の実施形態におけるビデオカメラのブロック図である。 操作モニタ１０９の表示画面例である。 記録フォーマットの概要を示す図である。 信号処理部１０７のブロック図である。 再生時における操作モニタ１０９の表示画面例である。 再生時における操作モニタ１０９の表示画面例である。 第２の実施形態におけるビデオカメラのブロック図である 分離部７１０のブロック図である。
(第１の実施形態)
図１は第１の実施形態によるビデオカメラのブロック図である。図１のビデオカメラ１０１は、広い範囲の映像を撮影し、電気信号に変換するための広角用光学系１０３と、広角用光学系１０３の撮影範囲の一部を拡大して撮影し、電気信号に変換するためのズーム用光学系１０２と、ズーム用光学系１０２を制御するズーム撮影制御部１０４と、広角用光学系１０３を制御する広角撮影制御部１０５と、音声を電気信号に変換するための広角用マイク１１４と、ズーム用光学系１０２の撮影範囲の音声を効果的に電気信号に変換するためのズーム用マイク１１５と、全体を制御する全体制御部１０６と、各種ユーザー操作や撮影範囲をモニタするための操作モニタ１０９と、それぞれの光学系１０２，１０３で撮影した映像をズーム位置情報１１１と供に記録媒体１０８に記録する信号処理部１０７とを備えている。
ズーム用光学系１０２のズーム範囲は、広角用光学系１０３の撮影範囲内で動かせる。より具体的にいうと、ズーム用光学系１０２は、光軸をズーム撮影制御部１０４の指示に従って動かすことができ、ズーム倍率を変えれば被写体の距離に応じて広角用光学系１０３の一部分を拡大したような撮影が可能になっている。
一方、広角用光学系１０３の光軸は、ビデオカメラ１０１本体に対して固定されており、通常のビデオカメラのようにカメラの向きによって撮影範囲を決定することができる。
このようにズーム用光学系１０２の光軸が移動できるという特徴により、カメラ１０１本体をほぼ固定して全体の映像を広角用光学系１０３で撮影しながらも、その全体映像中の特定の被写体をズーム用光学系１０２で捕らえることができる。特に、ズームしたい領域が広角用光学系１０３の撮影範囲の中心に位置していなくても良い。したがって、子供など注目すべき被写体が動いていても、カメラ１０１本体を動かす必要はなく、つまり全体映像はそのままにしておいて、注目すべき被写体の動きを追跡できるのである。
広角用マイク１１４は、比較的広い範囲の音を電気信号に変えるものであり、広角撮影制御部１０５のズーム範囲に応じてその指向性が変化する。より具体的には、ズームの場合には指向性を高め、よりズーム範囲の音を強調するようにしておく。
ズーム用マイク１１５は、広角用マイク１１４とほぼ同様に、ズーム用光学系１０２のズーム動作に連動して指向性が変化する。よって、ズーム用マイク１１５の方が通常指向性が高い。
これらマイク１１４，１１５の制御の目的は、音声についても全体の音声と、注目すべき被写体が発している音声をより効果的に記録するためのものである。例えば、全員で歌を歌っているような場合、ズーム用マイク１１５では、自分の子供を中心に音声を記録し、広角用マイク１１４では全体の音声を記録することができる。
以上のようにほぼ独立した２つの映像/音声信号は全体制御部１０６へと送られる。
全体制御部１０６は、これらの映像を操作モニタ１０９へと出力し、撮影者に対するフィードバックをかける。
また、全体制御部１０６は、広角撮影制御部１０５やズーム撮影制御部１０４にズーム範囲などを指定し、撮影範囲を管理している。より具体的には、撮影時には被写体までの距離、ズーム用光学系１０２の光軸、ズーム倍率などを管理しており、そこから広角用光学系１０３で撮影中の映像のうち、どの領域をズーム用光学系１０２が捉えているかを算出し、管理している。また、再生時には、信号処理部１０７から、ズーム位置情報１１１を受け取っている。
全体制御部１０６は、さらに信号処理部１０７と、ズーム位置情報１１１，広角映像情報１１２，ズーム用映像情報１１３をやり取りする。より具体的には、撮影時には、広角用光学系１０３と広角用マイク１１４からの情報を広角用映像情報１１２として出力し、ズーム用光学系１０２とズーム用マイク１１５からの情報をズーム用映像情報１１３として出力する。一方、再生時には、それぞれの情報を受け取って操作モニタ１０９に表示する。
信号処理部１０７は、映像の符号化/復号化を行う。
以下、撮影時の動作についてより詳細に述べる。図２に撮影時の操作モニタ１０９の典型的な表示形態を示す。
図２に示すように、典型的には操作モニタ１０９には、広角用映像２０１とズーム映像２０２が同時に表示され、しかも広角用映像２０１の中に枠２０３が示されている。この枠２０３は、ズーム用光学系１０２の撮影範囲を示している。つまりユーザーにとって見れば、広角用映像２０１の枠２０３の拡大画像がズーム映像２０２で表示されている。
このような表示にしておけば、全体の映像を撮りながらも、自分の子供などの注目すべき被写体を追いやすい。すなわち、枠２０３が移動するので、ズーム用の位置が非常にわかりやすく、ズーム用光学系１０２の操作性を向上させることができる。
さらに図２の操作モニタ１０９であるが、タッチパネルになっており、広角用映像２０１の所定位置をタッチすることによって、ズーム位置(枠２０３)がタッチした位置に移動するようになっている。もちろん、ズーム倍率によって、枠２０３が大きくなったり小さくなったりする。
ここで、普通の使い方においてはズームの映像が重要であるので、一般的にはズーム用映像２０２を見やすく大きくしておくのが良い。なお、広角用映像２０１とズーム用映像２０２の大きさの比率を変える、あるいは一方だけの表示を可能にするような工夫も任意に可能である。
ズーム位置(枠２０３の位置)の変更もタッチパネル形式である必要はなく、操作レバーなどで実現しても良い。最も重要なことは、撮影者に対してどの位置がズーム撮影されているかをできるだけ正確にフィードバックさせることである。
以上のようにして撮影した広角用映像とズーム用映像は信号処理部１０７へと送られ、記録媒体１０８に記録される。図３に記録フォーマットの概要を示す。
記録するときには広角用とズーム用の２つの映像信号を同時に記録しなければならないので、これら２つの映像信号を図３のように多重化した形式で記録することが望ましい。
図３の記録フォーマットにおいて、３０１は、タイムスタンプを示しており、この情報は再生の同期に用いられる。MPEGなどの規格においてもタイムスタンプによる同期が用いられているように、タイムスタンプをつけることは一般的な技術である。
３０２は、ストリーム種別を示しており、この例では広角用映像であるという情報が入っている。
３０４は、ズーム映像位置を示している。ストリーム種別３０２に広角用映像であるという情報が入っている場合、この広角用映像に対応するズーム映像位置が３０４に入る。この位置情報は、広角用映像のどの部分がズーム用映像として記録されているかを示すものであり、再生時に利用されるものである。この情報は本発明固有のものであり、その効果や使い方は後述する。
３０５には、広角用映像のピクチャデータが格納される。
３０６は、タイムスタンプを示している。
３０７は、ストリーム種別を示しており、この例ではズーム用映像であるという情報が入っている。このときには、ズーム用映像位置３０４に相当する情報はなく、そのまま３０９にズーム用映像のピクチャデータが格納されている。
このように本記録フォーマットは、ズーム用映像位置情報３０４が記録されていることが特徴となっている。
図４に信号処理部１０７の詳細を示す。信号処理部１０７は２系統の映像(ズーム用映像，広角用映像)に対応し、２系統の符号化/復号化部４０１，４０２で構成されている。
ここで、記録時には全体制御部１０６よりズーム用映像信号１１３，ズーム用位置情報１１１，広角用映像信号１１２が送られてくる。
ズーム用映像信号１１３は、ズーム用映像符号化/復号化部４０１で符号化され多重化部４０３へと出力される。
一方、ズーム位置情報１１１と広角用映像信号１１２は、広角用映像符号化/復号化部４０２で符号化され多重化部４０３へと出力される。
ここで、図３に示したようにズーム位置情報１１１は、ズーム映像位置３０４として符号化される。
多重化部４０３ではそれぞれの信号を図３に示した記録フォーマットで多重化し１つのストリームとして出力する。そしてその出力が、記録媒体１０８に記録される。
ここで、記録媒体１０８としては、テープ，ハードディスク，光ディスク，SDカードなどの任意の記録媒体が利用可能である。特に、多重化して１つのストリームにしているので、テープのようなランダムアクセスが苦手なデバイスへの記録も特に問題ないことがわかるであろう。
なお、ランダムアクセスできる媒体において、２つの映像を別ファイルにして記録することももちろん可能であるが、そうすると２つの映像の関連情報が失われるので１つのファイルとしての記録がより望ましい。
以下、上記のような記録フォーマットで記録した映像を再生する場合について述べる。なお、説明の便宜上、ビデオカメラ１０１を再生装置として用いるが、再生装置が記録装置と同じ装置である必要はない。
図５，図６は再生のときの画面イメージである。
再生のときには、記録媒体１０８から読み出されたストリームデータが信号処理部１０７に送られ、ズーム位置情報１１１，広角用映像情報１１２，ズーム用映像情報１１３がデコードされる。具体的には、信号処理部１０７の多重化部４０３(図４)でストリームが分離され、それぞれ対応する復号化部４０１，４０２で復号化処理される。ここで、ズーム位置情報１１１もデコードされる。これは、図３に示すようにズーム映像位置３０４が記録されているからこそ可能になるのである。
全体処理部１０６は、これらの情報１１１，１１２，１１３を元に操作モニタ１０９に映像を表示するが、その１つの形態として、もちろん図２に示すような２画面表示も可能である。このとき、枠２０３は、ズーム位置情報１１１から算出された位置を囲むことで実現できる。
一方、別の表示として、図５は広角撮影映像５０１を操作モニタ１０９に表示した場合である。このとき、ズーム位置情報１１１を用いて広角撮影映像５０１の上にズームエリア５０２を表示することができる。この表示により、全体の中でのズームエリア５０２が判明する。
ズームエリア５０２は特に撮影時に注目していたエリアであることが多いので、例えば自分の子供など注目したい位置を示しており、自分の子供の位置を確認しながら全体の様子を見るといった用途に用いることができる。
そして、必要があればズーム映像に切り替えることもできる。例えば、あらかじめズームエリア５０２がわかっているので、本当に注目したい領域がズームエリア５０２に入ったときにズーム切り替えるといった作業もできる。
もしも撮影のときに、確実にズームエリアが正確に撮影できればあまり必要がない機能のように思えるが、えてして撮影は失敗することもあり、その場合、ズームよりは全体を見たい場合もある。そして所望のエリアのズームが正しくとれていることを確認できたときのみズームを見ることができる。
以上、このような切り替えは再生時にリアルタイムで可能であることも重要な利点である。一般に編集に時間をかければこれらの効果は実現できるが、編集の手間なしに映像を見ながらこのような作業ができることがポイントである。
図６は、広角映像６０１の上にズーム映像６０２をオーバレイ表示する例である。
この場合、図６(ａ)のように、広角映像６０１のズームエリア付近にズーム映像６０２を表示したり、図６(ｂ)のようにズームエリア６０４とは異なる位置にズーム映像６０５を表示することが可能である。また、ズームエリア６０４の位置に応じてズーム映像６０５を移動させたりするなどの再生効果を実現できる。
以上示したようにズーム位置情報１１１を使えば、再生時の効果が簡単に実現できるようになる。この位置情報１１１はズーム操作により自然に記録されるため、撮影後の編集なしに簡単に利用できる。
以上、第１の実施形態では光学系を２つもつ例について説明を行った。
なお、２つの光学系１０２，１０３は、ほぼ距離の等しい、また明るさもほぼ等しいと思われる位置を記録するため、例えばピントあわせや絞りなどの相関が高い。これらの相関を利用して、処理を共通にするような工夫は任意に可能である。また、信号処理部１０７においても同様の工夫は任意に可能である。
当然、一方の光学系のみを使った撮影も可能である。その場合、例えばズーム倍率が大きければズーム用光学系１０２を使い、ズーム倍率が小さければ広角用光学系１０３に切り替えるなどしても良い。
さて、一般にズーム映像と全体映像のうち、運動会などの撮影を考えると、ズーム映像がメインであることが多い。このため、広角用映像とズーム用映像の画質を意図的に変化させてもよい。例えば、広角用映像の符号化レートを下げる、あるいは性能を下げるなどのことをしてもよい。レートを下げた場合には記録時間を長くする効果があり、性能を下げるときにはコストダウンの効果がある。
(第２の実施形態)
図７は第２の実施形態のビデオカメラである。図７のビデオカメラ７０１は光学系を１つしか使わない構成である。その代わり分離部７１０を設けているのが特徴である。第１の実施形態と比べると画質的にやや不利な面があるが、光学系が１つであるのでコストダウンには有利な構成となっている。これらの形態の差は、コストと画質のトレードオフであり一概にどちらが良いとはいえない。
図７のビデオカメラ７０１の全体制御部７０６，信号処理部７０７，記録部７０８は、それぞれ図１のビデオカメラ１０１の全体制御部１０６，信号処理部１０７，記録部１０８に対応しており、動作的にも同じであるので説明を省略する。また、操作モニタ７０９も図１の操作モニタ１０９と同じであり、再生時の動作も第１の実施形態と同じである。
光学系７０３は、図１の広角用光学系１０３にほぼ対応する。マイク７１４は図１の広角用マイク１１４、撮影制御部７０５は図１の広角撮影制御部１０５に対応する。
図１と異なり、ズーム用光学系１０２は存在しない。その代わりに撮影時のズーム位置指定７１５が分離部７１０に送られる。
分離部７１０は、光学系７０３で撮影された映像信号７１８を受け取り、広角用映像７１６とズーム用映像７１７を生成する。
全体制御部７０６は、図１の全体制御部１０６と同様に、広角用映像７１６，ズーム用映像７１７を受け取り操作モニタ７０９への表示を行う。また、信号処理部７０７にズーム位置情報７１１，広角用映像情報７１２，ズーム用映像情報７１３を送る。
図８に分離部７１０のブロック図を示す。
映像信号７１８は、切り出し処理部８０１、間引き処理部８０２にそれぞれ送られる。切り出し処理８０１は、映像信号７１８からズーム位置指定７１５で指定された一部の領域を切り出してズーム用映像７１７として出力する。間引き処理部８０２は、映像信号７１８を間引いてデータ量を落とし広角用映像７１６として出力する。ここで、間引き処理部８０２でデータ量を落としているのは、もともと高解像度のCCDなどを使っている場合を想定しているからである。
図７のビデオカメラ７０１のように光学系が１つの場合、ズームはデジタルズーム処理となるため、画質が劣化しやすい。したがって、通常のムービーよりも高解像度で記録する必要がある。しかし、高解像度記録はデータ量が多くなりすぎる。そのため間引き処理部８０２があるほうが望ましいのである。
さて、再生においては、図１と同じ機構になるので特に説明はしない。
以上、第１，第２の実施形態では、ビデオカメラを例に動画撮影を基本に説明してきたが、もちろん同じ機構を静止画撮影に使うこともできる。このような場合、静止画では動画撮影よりも高解像度で記録される場合が多く、したがって高解像度CCDなどを利用した図７のような実施形態の実現可能性も十分可能である。
さらにそれぞれの機能ブロックを１チップLSIで実現することも近年の半導体技術の進歩により容易になってきている。
特に２チャンネル記録などのコストも下がってきていることから、民生用としてこのような機器は決して非現実的なものではない。
以上説明してきたように、本実施形態のビデオカメラを使えば、運動会などで全体の演技の映像と、個人の演技の映像を１台のカメラで簡単に両方記録できるようになり、再生時もより楽しい再生効果が得られるようになる。
本発明にかかる撮影装置は、全体映像とその一部の範囲の拡大映像とを同時に記録できる機能を持ち、運動会などの撮影に有効である。
１０１，７０１ ビデオカメラ
１０２ ズーム用光学系
１０３ 広角用光学系
１０４ ズーム撮影制御部
１０５ 広角撮影制御部
１０６，７０６ 全体制御部
１０７，７０７ 信号処理部
１０８，７０８ 記録媒体
１０９，７０９ 操作モニタ
１１１，７１１ ズーム位置情報
１１２，７１２ 広角用映像情報
１１３，７１３ ズーム用映像情報
１１４ 広角用マイク
１１５ ズーム用マイク
７０３ 光学系
７０５ 撮影制御部
７１０ 分離部
７１４ マイク
７１５ ズーム位置指定
７１６ 広角用映像
７１７ ズーム用映像
７１８ 映像信号

Claims (10)

  1. 映像を撮影する撮影手段と、
    前記撮影手段で撮影中の映像の一部の範囲を指定するズーム範囲指定手段と、
    前記撮影手段で撮影中の映像を符号化する映像符号化手段と、
    前記ズーム範囲指定手段で指定された範囲と前記映像符号化手段で符号化された映像とを関連づけて記録する記録手段と、
    を備えることを特徴とする映像撮影装置。
  2. 請求項１において、
    前記撮影手段で撮影中の映像をリアルタイムに表示するモニタをさらに備え、
    前記ズーム範囲指定手段で指定した範囲を前記モニタ上に表示する、
    ことを特徴とする映像撮影装置。
  3. 請求項２において、
    前記ズーム範囲指定手段で指定した範囲の映像を拡大して前記モニタ上に表示する、
    ことを特徴とする映像撮影装置。
  4. 請求項２において、
    前記ズーム範囲指定手段は、
    前記モニタに表示される映像に対してユーザーが指定した位置を中心とした一定範囲を前記一部の範囲として指定する、
    ことを特徴とする映像撮影装置。
  5. 請求項１において、
    前記ズーム範囲指定手段で指定された範囲の拡大映像を符号化するズーム映像符号化手段をさらに備え、
    前記記録手段は、
    前記ズーム映像符号化手段で符号化された拡大映像と前記映像符号化手段で符号化された映像とを関連付けて記録する、
    ことを特徴とする映像撮影装置。
  6. 請求項５において、
    前記ズーム映像符号化手段で符号化された拡大映像と前記映像符号化手段で符号化された映像とを多重化して１つのストリームとする多重化手段をさらに備え、
    前記記録手段は、
    前記多重化手段により得られたストリームを記録媒体に記録する、
    ことを特徴とする映像撮影装置。
  7. 請求項１において、
    前記撮影手段は、
    前記ズーム範囲指定手段で指定した範囲をズーム撮影する光学処理系を備える、
    ことを特徴とする映像撮影装置。
  8. 請求項１において、
    前記撮影手段で撮影中の映像の解像度を間引く間引き手段と、
    前記撮影手段で撮影中の映像から前記ズーム範囲指定手段で指定された範囲を切り出す切り出し手段とを備え、
    前記記録手段は、
    前記間引き手段によって間引かれた映像と、前記切り出し手段によって切り出された映像を記録する、
    ことを特徴とする映像撮影装置。
  9. 第１の映像信号と、前記第１の映像信号の画面上のエリアを示すエリア情報と、第２の映像信号を受け取り、
    前記第１の映像信号を前記エリア情報と供に符号化する第１の符号化手段と、
    前記第２の映像信号を符号化する第２の符号化手段と、
    前記第１の符号化手段の符号化結果と前記第２の符号化手段の符号化結果を多重化する多重化手段と、
    を備えることを特徴とする映像符号化装置。
  10. 第１の映像信号の解像度を間引く間引き手段と、
    前記第１の映像信号から指定された領域の映像信号を切り出す切り取り手段と、
    前記間引き手段で間引かれた映像信号と、前記指定された領域を示す情報とを符号化する第１の符号化手段と、
    前記切り取り手段で切り出された映像信号を符号化する第２の符号化手段と、
    前記第１の符号化手段の符号化結果と前記第２の符号化手段の符号化結果とを多重化する多重化手段と、
    を備えることを特徴とする映像符号化装置。
JP2010512918A 2008-05-19 2009-03-24 映像撮影装置および映像符号化装置 Withdrawn JPWO2009141951A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008131066 2008-05-19
JP2008131066 2008-05-19
PCT/JP2009/001289 WO2009141951A1 (ja) 2008-05-19 2009-03-24 映像撮影装置および映像符号化装置

Publications (1)

Publication Number Publication Date
JPWO2009141951A1 true JPWO2009141951A1 (ja) 2011-09-29

Family

ID=41339895

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010512918A Withdrawn JPWO2009141951A1 (ja) 2008-05-19 2009-03-24 映像撮影装置および映像符号化装置

Country Status (3)

Country Link
US (1) US20110050963A1 (ja)
JP (1) JPWO2009141951A1 (ja)
WO (1) WO2009141951A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5392244B2 (ja) * 2010-12-16 2014-01-22 キヤノンマーケティングジャパン株式会社 撮像装置、制御方法およびプログラム
JP5678324B2 (ja) 2011-02-10 2015-03-04 パナソニックＩｐマネジメント株式会社 表示装置、コンピュータプログラム、及び表示方法
JP5884421B2 (ja) * 2011-11-14 2016-03-15 ソニー株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
US9667872B2 (en) * 2012-12-05 2017-05-30 Hewlett-Packard Development Company, L.P. Camera to capture multiple images at multiple focus positions
JP2014057330A (ja) * 2013-10-17 2014-03-27 Canon Marketing Japan Inc 撮像装置、制御方法およびプログラム
US11927874B2 (en) * 2014-07-01 2024-03-12 Apple Inc. Mobile camera system
US20190028721A1 (en) * 2014-11-18 2019-01-24 Elwha Llc Imaging device system with edge processing
US10382698B2 (en) 2015-09-30 2019-08-13 Apple Inc. Mobile zoom using multiple optical image stabilization cameras
JP6145738B2 (ja) * 2016-03-03 2017-06-14 パナソニックＩｐマネジメント株式会社 表示装置及びコンピュータプログラム
KR102666977B1 (ko) 2017-01-09 2024-05-20 삼성전자주식회사 전자 장치 및 전자 장치의 영상 촬영 방법
US10630895B2 (en) * 2017-09-11 2020-04-21 Qualcomm Incorporated Assist for orienting a camera at different zoom levels
JP7013210B2 (ja) * 2017-11-10 2022-01-31 キヤノン株式会社 撮像装置、撮像方法、表示装置および表示方法
JP2019121857A (ja) * 2017-12-28 2019-07-22 キヤノン株式会社 電子機器及びその制御方法
JP7043255B2 (ja) 2017-12-28 2022-03-29 キヤノン株式会社 電子機器及びその制御方法
JP7198599B2 (ja) * 2018-06-28 2023-01-04 株式会社カーメイト 画像処理装置、画像処理方法、ドライブレコーダー
KR20200034528A (ko) 2018-09-21 2020-03-31 엘지전자 주식회사 이동 단말기
JP7158307B2 (ja) 2019-02-07 2022-10-21 シャープ株式会社 電子機器、制御プログラム、制御装置、および制御方法
CN110944113B (zh) * 2019-11-25 2021-04-27 维沃移动通信有限公司 对象显示方法及电子设备
CN113365013A (zh) * 2020-03-06 2021-09-07 华为技术有限公司 一种音频处理方法及设备
CN113365012A (zh) * 2020-03-06 2021-09-07 华为技术有限公司 一种音频处理方法及设备
CN115552882A (zh) * 2020-05-28 2022-12-30 富士胶片株式会社 影像制作方法
CN113364976B (zh) * 2021-05-10 2022-07-15 荣耀终端有限公司 一种图像的显示方法及电子设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3261152B2 (ja) * 1991-03-13 2002-02-25 シャープ株式会社 複数の光学系を備えた撮像装置
JP2002152646A (ja) * 2000-11-08 2002-05-24 Canon Inc 画像記録装置及び方法
JP2003125251A (ja) * 2001-10-16 2003-04-25 Minolta Co Ltd デジタルカメラおよび再生プログラム
JP4298947B2 (ja) * 2001-11-27 2009-07-22 株式会社日立国際電気 画像表示方法及びテレビジョンカメラ装置
JP4040951B2 (ja) * 2002-01-11 2008-01-30 株式会社リコー 撮像装置、撮像方法、プログラム、及び記録媒体
JP4198449B2 (ja) * 2002-02-22 2008-12-17 富士フイルム株式会社 デジタルカメラ
JP4084991B2 (ja) * 2002-11-29 2008-04-30 富士通株式会社 映像入力装置
JP3927571B2 (ja) * 2004-10-25 2007-06-13 株式会社日立国際電気 画像表示プログラム

Also Published As

Publication number Publication date
WO2009141951A1 (ja) 2009-11-26
US20110050963A1 (en) 2011-03-03

Similar Documents

Publication Publication Date Title
WO2009141951A1 (ja) 映像撮影装置および映像符号化装置
EP2619761B1 (en) Enriching digital photographs
EP1487205B1 (en) Display system for views of video item
JP5685732B2 (ja) 映像抽出装置、プログラム及び記録媒体
JP2007336515A (ja) カメラ、画像出力装置、画像出力方法、画像記録方法、プログラム及び記録媒体
JP2005020385A (ja) 撮像装置、画像記録装置および画像記録方法
US20090153691A1 (en) Imaging apparatus and imaging method
JP2020524450A (ja) 多チャネル映像のための伝送システム及びその制御方法、多チャネル映像再生方法及びその装置
JP2008125059A (ja) 動画像記録再生装置
JP2010245856A (ja) 映像編集装置
JP2011193117A (ja) 画像処理装置及びプログラム
JP2012034128A (ja) 画像処理装置およびそれを用いた撮像装置
JP4698961B2 (ja) 電子カメラ、及び電子カメラの制御プログラム
JP2008153876A (ja) 画像表示システム、カメラ装置、表示処理装置、および、表示倍率変更方法
EP4007261A1 (en) Image processing device, image processing method, and program
JP2011101161A (ja) 撮像装置、その制御方法、再生装置およびプログラム
JP2006005610A (ja) パノラマ映像記録再生装置
JP2009055618A (ja) 電子カメラ、及び電子カメラの制御プログラム
JP7319340B2 (ja) 配信サーバ、配信方法及びプログラム
KR102599664B1 (ko) 다시점 영상을 전송하기 위한 시스템의 동작 방법 및 이를 수행하는 시스템
JP5320186B2 (ja) 記録装置および再生装置
JP6463967B2 (ja) 撮像装置及びその制御方法
JP6019612B2 (ja) 映像編集装置、テレビジョン受像機、および映像編集プログラム
JP6732079B2 (ja) 映像再生方法
JP2013021654A (ja) 再生装置

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20120605