JPWO2012169318A1 - 立体動画像及び平面動画像を撮像する撮像素子及びこの撮像素子を搭載する撮像装置 - Google Patents
立体動画像及び平面動画像を撮像する撮像素子及びこの撮像素子を搭載する撮像装置 Download PDFInfo
- Publication number
- JPWO2012169318A1 JPWO2012169318A1 JP2013519426A JP2013519426A JPWO2012169318A1 JP WO2012169318 A1 JPWO2012169318 A1 JP WO2012169318A1 JP 2013519426 A JP2013519426 A JP 2013519426A JP 2013519426 A JP2013519426 A JP 2013519426A JP WO2012169318 A1 JPWO2012169318 A1 JP WO2012169318A1
- Authority
- JP
- Japan
- Prior art keywords
- pixels
- image
- phase difference
- difference detection
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 claims abstract description 69
- 230000000737 periodic effect Effects 0.000 claims abstract description 5
- 238000003384 imaging method Methods 0.000 claims description 65
- 238000012545 processing Methods 0.000 claims description 22
- 238000007792 addition Methods 0.000 description 20
- 238000000034 method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- FYZYXYLPBWLLGI-AUOPOVQUSA-N Genipin 1-beta-gentiobioside Chemical compound C([C@H]1O[C@H]([C@@H]([C@@H](O)[C@@H]1O)O)O[C@@H]1OC=C([C@@H]2[C@H]1C(=CC2)CO)C(=O)OC)O[C@@H]1O[C@H](CO)[C@@H](O)[C@H](O)[C@H]1O FYZYXYLPBWLLGI-AUOPOVQUSA-N 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/225—Image signal generators using stereoscopic image cameras using a single 2D image sensor using parallax barriers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
複数の画素2が正方格子状に配列形成され、カラーフィルタRGBがベイヤ配列され、右眼用の撮像画像信号を取得する第1の位相差検出画素3と左眼用の撮像画像信号を取得する第2の位相差検出画素4とのペアが正方格子状の中の離散的,周期的位置に設けられ、正方格子状の各画素のうち水平及び垂直方向に2n+1(n=1,2,…)個間隔に第1の位相差検出画素3が設けられ、該第1の位相差検出画素3に対して2画素離れた同色のカラーフィルタを持つ画素にペアとなる第2の位相差検出画素4が設けられる。
Description
本発明は、立体動画像及び平面動画像を撮像するのに好適な構造の撮像素子及びこの撮像素子に搭載した撮像装置に関する。
立体画像(以下、3D画像ともいう。)を撮像する従来の撮像装置として、例えば、下記の特許文献1記載のものがある。この従来の撮像装置は、2台のカメラを備え、同じ被写体を左右のカメラで撮影し、被写体の立体画像を再生できる様になっている。しかし、従来の立体画像撮像装置は、カメラを2台用意する必要があるため、コストが嵩み、更に装置も大型化してしまうという問題がある。
そこで、1台のカメラで被写体の立体画像を撮影できる撮像装置として、下記の特許文献2記載の従来技術が提案されている。この立体画像撮像装置は、固体撮像素子表面に二次元配列された複数の画素(光電変換素子:フォトダイオード)を2つのグループに分け、一方のグループには被写体を右側から見た光が入射し、他方のグループには被写体を左側から見た光が入射する様にしている。
この従来技術によれば、1台のカメラ(撮像素子)で被写体の立体画像を撮像できるが、被写体の二次元画像(平面画像、以下、2D画像ともいう。)を撮影することができないという問題がある。
近年の撮像装置に対する要求は多く、低価格,小型化はいうに及ばず、上記の特許文献1,2に記載の従来技術では実現が困難な、3Dの動画像及び2Dの動画像を共に撮影することができる動画撮影機能が要求される様になっている。
本発明の目的は、3Dの動画撮影と2Dの動画撮影の両方を好適に処理できる撮像素子及びこの撮像素子に搭載した撮像装置を提供することにある。
本発明の撮像素子は、複数の画素が正方格子状に配列形成され、カラーフィルタがベイヤ配列され、右眼用又は左眼用の一方の撮像画像信号を取得する第1の位相差検出画素と右眼用又は左眼用の他方の撮像画像信号を取得する第2の位相差検出画素とのペアが前記正方格子状の中の離散的,周期的位置に設けられ、前記正方格子状の各画素のうち水平方向及び垂直方向に2n+1(n=1,2,…)個間隔に前記第1の位相差検出画素が設けられ、該第1の位相差検出画素に対して2画素離れた同色の前記カラーフィルタを持つ画素に前記ペアとなる前記第2の位相差検出画素が設けられていることを特徴とする。
本発明の撮像装置は、立体動画像の撮像時には前記位相差検出画素の撮像画像信号を読み出す撮像素子駆動部とを備えることを特徴とする。この撮像装置は、平面動画像の撮像時には前記位相差検出画素以外の前記画素の撮像画像信号を読み出すことを特徴とする。
本発明によれば、1つの撮像素子で高品質な立体動画像と平面動画像の両方を撮像することが可能となる。
以下、本発明の一実施形態について、図面を参照して説明する。
図1は、本発明の一実施形態に係る撮像装置の外観斜視図である。この単眼の撮像装置(デジタルカメラ)10は、カメラ筐体11の前部に、撮影レンズ12を収納するレンズ鏡筒13が沈胴可能に取り付けられている。カメラ筐体11の上面右端部にはシャッタレリーズボタン14が設けられており、カメラ筐体11の背部には、図1では図示しない液晶表示部(図2の表示部28)が設けられている。
図2は、図1に示す撮像装置10の機能ブロック構成図である。この撮像装置10は、撮影レンズ12と、撮影レンズ12の背部に置かれその結像面に配置されたCMOS型の固体撮像素子21とを備える。撮影レンズ12及び固体固体撮像素子21は、後述のシステム制御部(CPU)29からの指示によって駆動される。
固体撮像素子21は、本実施形態ではCMOS型のイメージセンサであるが、CCD型やその他の形式の固体撮像素子でも良い。
本実施形態の撮像装置10は更に、固体撮像素子21から出力されるデジタルの撮像画像信号を取り込み補間処理やホワイトバランス補正,RGB/YC変換処理等を行うデジタル信号処理部26と、撮像画像信号をJPEG形式などの画像データに圧縮したり逆に伸長したりする圧縮/伸長処理部27と、メニューなどを表示したりスルー画像や撮像画像を表示する表示部28と、デジタルカメラ全体を統括制御するシステム制御部(CPU)29と、フレームメモリ等の内部メモリ30と、JPEG画像データ等を格納する記録メディア32との間のインタフェース処理を行うメディアインタフェース(I/F)部31と、これらを相互に接続するバス40とを備える。
更に、システム制御部29には、ユーザからの指示入力を行う操作部33が接続され、システム制御部29からの指示によって発光するフラッシュ25が接続される。
撮像装置10は、被写体の高精細な2D静止画像や,高精細静止画像に比べて解像度を落とした2Dの動画像や3Dの動画像を、ユーザの操作部33からの選択指示に基づいて撮影し、これらの選択指示に基づいて、固体撮像素子21の駆動制御や画像処理を行う。
図3は、固体撮像素子21の表面模式図であり、画素配列と各画素上のカラーフィルタ配列を示している。個々の正方形2が、半導体基板上に形成された各画素(光電変換素子)を示しており、その上に記載されたR,G,Bは、各画素2上に積層された三原色カラーフィルタの色(R=赤、G=緑、B=青)を示している。信号読出回路や垂直走査回路,水平走査回路等は、通常のCMOS型イメージセンサと同じで良いため、図示は省略している。
本実施形態の固体撮像素子21は、各画素2が正方格子状に配列形成されており、その上に、カラーフィルタRGBがベイヤ配列されている。カラーフィルタRGBの上には、図示省略のマイクロレンズが個々の画素対応に積層されている。この固体撮像素子21では、離散的,周期的位置に存在する画素2を位相差検出画素としている。本実施形態では、垂直方向に2画素離れた2つの画素をペア画素とし、ペア画素の一方と他方とで遮光膜開口2a,2bを夫々の画素中心に対して反対方向に偏心させて位相差検出画素が構成される。
通常の画素(位相差検出画素でない画素)には、図3の左上に点線矩形枠で記載した様に、当該画素の受光面と略同一の大きさの遮光膜開口1が開口されている。これに対し、位相差検出画素のペア画素の遮光膜開口2a,2bは、遮光膜開口1より小さく、図示する例では遮光膜開口2aは開口1に対して左半分しか開口せず、遮光膜開口2bは開口1に対して右半分しか開口しない構成となっている。なお、図3では遮光膜開口1を1箇所だけ図示しているが、他の通常画素にも設けられている(図が煩雑になるため、図示は省略している。)。
遮光膜開口2aの開口中心位置は、当該画素の中心に対して左側に偏心し、遮光膜開口2bの開口中心位置は、当該画素の中心に対して右側に偏心して設けられている。図1に示す様に、固体撮像素子21の前段にはレンズ12が配置されており、このレンズ12を通ることで、遮光膜開口2aを通って画素に受光される光は、レンズ12の左側からの光、すなわち被写体を左眼で見た方向から来た光が主となり、遮光膜開口2bを通って画素に受光される光は、レンズ12の右側からの光、すなわち被写体を右眼で見た方向から来た光が主となる。
即ち、位相差検出画素を構成する各ペア画素のうち遮光膜開口2aを持つ画素の撮像画像信号が被写体を左眼で見た画像となり、遮光膜開口2bを持つ画素の撮像画像信号が被写体を右眼で見た画像となる。このため、両者を組み合わせることで、被写体の立体画像を再生することができる。
本実施形態の位相差検出画素のペア画素を構成する一方の画素3(第1画素、例えば遮光膜開口2aを持つ画素)は、垂直方向,水平方向共に、3画素毎に1画素を位相差検出画素とし、ペア画素の他方の画素4(第2画素、例えば遮光膜開口2bを持つ画素)を第1画素3に対して垂直方向(水平方向でも良い)2画素下に設けている。しかし、一般的に、水平方向,垂直方向共に2n+1毎(n=1,2,…)に第1画素3を設けても良い。この様に、位相差検出画素ペアの配置位置を決めることで、位相差検出画素ペアのカラーフィルタ配列もRGB三原色を有したベイヤ配列となる。
なお、以下、位相差検出画素のペア画素を構成する第1画素を符号3、第2画素を符号4で示し、位相差検出画素でない遮光膜開口1を持つ通常の画素を符号2で示すことにする。
図4は、図3に示す固体撮像素子21で立体動画像を撮像するときに撮像画像信号を読み出すペア画素を示しており、水平,垂直共に画素間引き読み出しにより、図に太線枠で示す位相差検出画素3,4が検出した撮像画像信号だけを読み出す。
撮影は、例えばローリングシャッタ駆動で行い、固体撮像素子21から撮像画像信号を読み出す場合には、位相差検出画素3,4が存在する水平ラインだけから、水平ライン順に読み出す。
そして、第1画素3(遮光膜開口2aを搭載した画素)の撮像画像信号を左眼で見た被写体の画像データとして画像処理し、第2画素(遮光膜開口2bを搭載した画素)の撮像画像信号を右眼で見た被写体の画像データとして画像処理し、画像処理後の被写体画像を関連付けて、各フレーム毎の撮像画像データをメモリに記録することで、被写体の立体動画像を記録することができる。勿論、立体の静止画像としても記録できる。
固体撮像素子21から読み出した左眼用の撮像画像信号や右眼用の撮像画像信号は、夫々、ベイヤ配列画素から読み出された信号となるため、上記画像処理は、既存のベイヤ配列用の画像処理エンジンを使用することができ、低コスト化を図ることができる。
図5は、位相差検出画素ペアで被写体の立体画像を撮像できる原理を説明する図である。位相差検出画素ペアが水平方向に所要間隔で並び、遮光膜開口2aを通して得られた撮像画像信号の変化を信号f(x)とし、遮光膜開口2bを通して得られた撮像画像信号の変化を信号g(x)とする。
信号f(x)と信号g(x)とは、同一水平線上の同一被写体からの入射光を受光した結果得られるもので、互いに水平方向にずれた同一波形となり、両者間のズレ量が位相差量となる。この位相差量は、被写体までの距離に応じた視差であり、この位相差量を持った右眼用撮像画像信号及び左眼用撮像画像信号を固体撮像素子21から読み出すことで、被写体の立体画像を生成することが可能となる。
次に、撮像装置10を用いて2Dの動画像を撮影する場合を説明する。前述した様に、この撮像装置10では、3Dの動画像を撮影することができるが、ユーザによっては2Dの動画像を好む場合もある。また、再生するモニタやテレビジョン受像機が3D画像再生用では無く、2D画像にしか対応しない場合もある。あるいは、3Dの動画像と2Dの動画像を同時に両方撮影することが要求されることもある。そこで、本実施形態の撮像装置10では、3Dのみならず2Dの動画像の撮影機能も搭載している。
図6は、2Dの動画像を撮影する第1実施形態の説明図である。本実施形態の固体撮像素子21では、5画素間隔で位相差検出画素を設けている。画素配列,カラーフィルタ配列は、図3,図4と同じである。本実施形態では、図6に示す太線黒枠で囲った通常画素を、2Dの動画像撮影時に用いる。
図6の太線黒枠で囲った画素は、水平方向,垂直方向共に5画素間隔(2n+1:n=2)に設けた位相差検出画素ペアの垂直方向下側に隣接する画素であり、通常画素2のペアとなる。本実施形態では、通常画素ペアの各々の画素2が検出した撮像画像信号の加算平均値を用いて、動画像を生成する。加算平均値を用いることで、S/Nが向上する。
3Dの動画像と2Dの動画像とを両方共に撮影する場合、位相差検出画素3,4が存在する画素ライン(水平ライン)と、2D動画像を撮影する通常画素ペア2が存在する画素ラインとの各撮像画像信号を読み出せば良い。これにより、3Dの動画像と2Dの動画像とを同時に撮影することができる。
2D動画像を生成するデータとして上記の加算平均値を用いると、その各信号配置位置はペア画素の加算重心位置となり、3D画像の各画素位置に最も近い位置となる。このため、同じ画像で同じ解像度の3D動画像と2D動画像とが得られる。
図6の実施形態では、位相差検出画素3,4に対して垂直方向下側の隣接画素を用いて2D動画像を撮像したが、位相差検出画素3,4の垂直方向上側の隣接画素を用いても良い。あるいは、位相差検出画素3,4の水平方向右隣の画素を用いても、更には、位相差検出画素3,4の水平方向左隣の画素を用いても良い。どの隣接画素を用いても、その画素配置から読み出される信号の色配置はベイヤ配列となるため、ベイヤ配列用の画像処理エンジンを使用することができ、低コスト化を図ることが可能となる。
水平方向右隣や左隣の通常画素2を用いて2D動画像を撮像する場合には、固体撮像素子21から3D動画像データと2D動画像データとを同一水平ラインから読み出すことができるため、短時間で3D動画像と2D動画像とを同時に読み出すことが可能となる。
図7は、第2実施形態に係る2D動画像撮影を行うときの処理手順を示すフローチャートである。図6の実施形態では、通常画素ペアの加算平均値を用いて2D動画像を生成したが、これに限るものではなく、ペア画素の一方の画素の撮像画像信号だけを用いて2D動画像を生成しても、ペア画素の両方の撮像画像信号を固体撮像素子外部で信号加算して2D動画像を生成しても良い。いずれとするかは、撮影シーンの明るさで決めるのが良い。
本実施形態では、ステップS1で撮影シーンの明るさを判定し、明るさが所定の閾値α以上の場合にはステップS2に進み、ペア画素の一方の画素の撮像画像信号を採用し、あるいはペア画素の2つ画素の撮像画像信号の加算平均値を採用してステップS4に進む。
ステップS1の判定の結果、シーンの明るさが閾値α未満で暗い場合には、高感度化を図るためにステップS3に進み、ペア画素の2つの画素の撮像画像信号を加算してステップS4に進み、ステップS4で、2D動画像データを生成してこの処理を終了する。
なお、3D動画像と2D動画像とを同時に撮影するのではなく、2D動画像だけを撮影する場合には、ダイナミックレンジの広い動画像を撮影することも可能である。画素の信号読出回路に印加するリセット信号や読出信号のタイミング等を調整することで、水平ラインの異なるペア画素の一方の画素2の露光時間に対して他方の画素2の露光時間を短くして撮影を行い、両者の撮像画像信号を加算することで、ダイナミックレンジの広い2D動画像を得ることができる。
図8は、第3実施形態に係る2D動画像用の撮像画像信号を固体撮像素子から読み出す方法を説明する図である。第1,第2実施形態では、3D動画像と同じ解像度の2D動画像を生成する場合について述べたが、3D動画像とは別に、水平解像度を増やした2D動画像が欲しい場合がある。例えば、アスペクト比16:9のHD画質の動画像が欲しい場合がある。
撮像装置10で撮影する画像のアスペクト比は、通常は4:3であるが、動画像をアスペクト比16:9の大型テレビジョン受像機の大画面で観賞したい場合がある。この様な場合、次の第3実施形態の読み出し方法を採用すれば良く、撮像装置10のメニュー画面で選択する。
図8において、太線黒枠で示した通常画素だけを含む水平ラインの画素を選択して2D画像用の撮像画像信号を読み出す。この場合、水平ラインでは画素間引きはせずに、垂直ラインは、位相差検出画素3,4が存在する水平ラインと、位相差検出画素3の垂直方向直上に隣接する水平ラインを読まずに画素間引きする。撮影は、例えばローリングシャッタ駆動で行い、固体撮像素子21から撮像画像信号を読み出す場合には、水平ライン順に読み出す。
図8に示す読み出し方法だと、垂直方向に2画素ずつ同色画素の撮像画像信号を読み出すことになるため、垂直方向の同色2画素を画素加算すると、信号の色配列はベイヤ配列となる。垂直方向の同色2画素加算ではなく、加算平均値をとってもよい。どの様にするかは、図7の実施形態で説明したように、撮影シーンの明るさで決めれば良い。
この実施形態によれば、読出ラインにおける水平方向全ての通常画素2の撮像画像信号を利用して2D動画像を生成するため、偽色やジャギー等の画質劣化要因を抑えることが可能となる。
なお、図8に示す実施形態では、位相差検出画素3の直上の水平ラインを読出ラインとはしなかったが、この水平ラインも読出ラインとして画素2の撮像画像信号を読み出しても良い。この様にすると、読出ラインは、3行のGBGB…となるラインと3行のRGRG…となるラインとが交互に並ぶため、図8では2画素加算を例に説明したが、垂直方向3画素加算して更なる高感度化を図ることも可能となる。
図8では、垂直方向に同色2画素加算(変形例では3画素加算)を説明したが、水平方向の同色画素加算を行っても良い。加算例を図9に示す。図9の最終段のカラーフィルタ配列はBGBG…となっており、G画素の5個分を5画素加算する例を示している。加算G画素の信号位置は、5画素のG画素の加算重心位置となる。B画素の5画素加算は、G画素の5画素加算範囲と一部重複して設けることになる。同様に、読出ラインでカラーフィルタ配列がGRGR…となるラインでは、R画素の5画素加算やG画素の5画素加算を行う。この様に、水平方向の画素を加算するため、ジャギーの発生が少なくなる。
なお、この例では「5」画素加算として説明したが、2画素加算でも3画素加算でも良く、どの様な動画像解像度を得るかで決めることになる。画素加算数を幾つにするかは、図7で説明したように、撮影シーンの明るさで決めても良い。
この固体撮像素子21を用いて高精細な2Dの静止画像を撮影する場合には、全画素の夫々の撮像画像信号を読み出す。これにより、画素数分の高精細画像が得られる。この場合、位相差検出画素3,4の遮光膜開口2a,2bは、通常画素2の遮光膜開口1(図3)より狭いため感度が低い。そこで、位相差検出画素3,4の撮像画像信号を、周囲の同色通常画素2のデータを用いて補間演算して補正したり、あるいは、位相差検出画素3,4の撮像画像信号に対して図2のデジタル信号処理部26が行う増幅処理の増幅率を、通常画素2の撮像画像信号に対する増幅率より高くして補正する。
以上の様に、上述した実施形態によれば、3D画像を撮像する場合には、位相差検出画素の撮像画像信号だけを用いて画像処理し、静止画像でない2D画像を撮像する場合には、位相差検出画素以外の通常画素の撮像画像信号だけを用いて画像処理するため、両者を一緒に撮像し、両者を固体撮像素子21から読み出してから、画像処理にて区別し、別々の画像データとして記録メディアに保存することができる。また、2D動画像を撮像する場合には、撮影シーンの明るさに応じて画素加算数を制御できるため、所要感度の動画像を生成することができる。
また、上述した実施形態の様に、画素加算する場合に、加算重心位置を位相差検出画素の位置とすることで、画面内の位相差ムラを無くすことができ、高品質な動画像を得ることが可能となる。
以上述べた様に、実施形態の撮像素子は、複数の画素が正方格子状に配列形成され、カラーフィルタがベイヤ配列され、右眼用又は左眼用の一方の撮像画像信号を取得する第1の位相差検出画素と右眼用又は左眼用の他方の撮像画像信号を取得する第2の位相差検出画素とのペアが前記正方格子状の中の離散的,周期的位置に設けられ、前記正方格子状の各画素のうち水平方向及び垂直方向に2n+1(n=1,2,…)個間隔に前記第1の位相差検出画素が設けられ、該第1の位相差検出画素に対して2画素離れた同色の前記カラーフィルタを持つ画素に前記ペアとなる前記第2の位相差検出画素が設けられていることを特徴とする。これにより、位相差検出画素ペアのカラーフィルタ配列をベイヤ配列とすることができる。
また、実施形態の撮像素子は、上記の撮像素子であって、n=2であることを特徴とする。これにより、立体画像の解像度を最大にすることが可能となる。
また、実施形態の撮像装置は、立体動画像の撮像時には前記位相差検出画素の撮像画像信号を読み出す撮像素子駆動部とを備えることを特徴とする。
また、実施形態の撮像装置は、平面動画像の撮像時には前記位相差検出画素以外の前記画素の撮像画像信号を読み出すことを特徴とする。
また、実施形態の撮像装置は、前記位相差検出画素以外の前記画素のうち近接する複数の同色カラーフィルタを持つ画素のうち、いずれか1つの画素の撮像画像信号を用いて、又は、該複数の画素の撮像画像信号の加算平均値を用いて、前記平面動画像を生成する画像処理部を備えることを特徴とする。これにより、迅速に2D動画像を得ることができ、また、S/Nの高い2D動画像を得ることができる。
また、実施形態の撮像装置は、撮影シーンが暗い場合には、前記位相差検出画素以外の前記画素のうち近接する複数の同色カラーフィルタを持つ画素の撮像画像信号を加算して前記平面動画像を生成する画像処理部を備えることを特徴とする。これにより、高感度な2D動画像を得ることができる。
また、実施形態の撮像装置は、前記平面動画像を前記立体動画像と同時に撮像することを特徴とする。これにより、2種類の動画像を短時間に得ることができる。
また、実施形態の撮像装置の前記平面動画像は、前記撮像素子の水平方向の画素間引きをせずに垂直方向の画素間引きだけを行い、アスペクト比16:9の画像とすることを特徴とする。これにより、アスペクト比16:9のテレビジョン受像機の大画面で観賞できる2D動画像を得ることが可能となる。
また、実施形態の撮像装置は、高精細平面静止画像の撮像時には、前記撮像素子の全画素から撮像画像信号を読み出すと共に前記位相差検出画素の撮像画像信号を補正して高精細平面静止画像を生成することを特徴とする。位相差検出画素の周囲には通常画素が配置されているため、補正が容易かつ確実にでき、高精細で高品質な平面静止画像を容易に得ることができる。
以上述べた実施形態によれば、ユーザの要求に応える動画像を短時間かつ低コストに取得することが可能となる。
本発明に係る撮像装置は、静止画像のみならず3D動画像と2D動画像を撮影することができ、動画撮影機能付のデジタルカメラ等として有用である。
本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。
本出願は、2011年6月9日出願の日本特許出願(特願2011−129618)に基づくものであり、その内容はここに参照として取り込まれる。
本出願は、2011年6月9日出願の日本特許出願(特願2011−129618)に基づくものであり、その内容はここに参照として取り込まれる。
1 通常画素の遮光膜開口
2 画素(光電変換素子)
2a,2b 位相差検出画素の遮光膜開口
3,4 位相差検出画素
10 撮像装置
12 撮影レンズ
26 デジタル信号処理部
29 システム制御部
2 画素(光電変換素子)
2a,2b 位相差検出画素の遮光膜開口
3,4 位相差検出画素
10 撮像装置
12 撮影レンズ
26 デジタル信号処理部
29 システム制御部
Claims (9)
- 複数の画素が正方格子状に配列形成され、カラーフィルタがベイヤ配列され、右眼用又は左眼用の一方の撮像画像信号を取得する第1の位相差検出画素と右眼用又は左眼用の他方の撮像画像信号を取得する第2の位相差検出画素とのペアが前記正方格子状の中の離散的,周期的位置に設けられ、前記正方格子状の各画素のうち水平方向及び垂直方向に2n+1(n=1,2,…)個間隔に前記第1の位相差検出画素が設けられ、該第1の位相差検出画素に対して2画素離れた同色の前記カラーフィルタを持つ画素に前記ペアとなる前記第2の位相差検出画素が設けられている撮像素子。
- 請求項1に記載の撮像素子であって、n=2である撮像素子。
- 請求項1又は請求項2に記載の撮像素子と、立体動画像の撮像時には前記位相差検出画素の撮像画像信号を読み出す撮像素子駆動部とを備える撮像装置。
- 請求項3に記載の撮像装置であって、平面動画像の撮像時には前記位相差検出画素以外の前記画素の撮像画像信号を読み出す撮像装置。
- 請求項4に記載の撮像装置であって、前記位相差検出画素以外の前記画素のうち近接する複数の同色カラーフィルタを持つ画素のうち、いずれか1つの画素の撮像画像信号を用いて、又は、該複数の画素の撮像画像信号の加算平均値を用いて、前記平面動画像を生成する画像処理部を備える撮像装置。
- 請求項4に記載の撮像装置であって、撮影シーンが暗い場合には、前記位相差検出画素以外の前記画素のうち近接する複数の同色カラーフィルタを持つ画素の撮像画像信号を加算して前記平面動画像を生成する画像処理部を備える撮像装置。
- 請求項3乃至請求項6のいずれか1項に記載の撮像装置であって、前記平面動画像を前記立体動画像と同時に撮像する撮像装置。
- 請求項3乃至請求項6のいずれか1項に記載の撮像装置であって、前記平面動画像は、前記撮像素子の水平方向の画素間引きをせずに垂直方向の画素間引きだけを行い、アスペクト比16:9の画像とする撮像装置。
- 請求項3乃至請求項8のいずれか1項に記載の撮像装置であって、高精細平面静止画像の撮像時には、前記撮像素子の全画素から撮像画像信号を読み出すと共に前記位相差検出画素の撮像画像信号を補正して高精細平面静止画像を生成する撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013519426A JP5493054B2 (ja) | 2011-06-09 | 2012-05-14 | 立体動画像及び平面動画像を撮像する撮像素子及びこの撮像素子を搭載する撮像装置 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011129618 | 2011-06-09 | ||
JP2011129618 | 2011-06-09 | ||
PCT/JP2012/062276 WO2012169318A1 (ja) | 2011-06-09 | 2012-05-14 | 立体動画像及び平面動画像を撮像する撮像素子及びこの撮像素子を搭載する撮像装置 |
JP2013519426A JP5493054B2 (ja) | 2011-06-09 | 2012-05-14 | 立体動画像及び平面動画像を撮像する撮像素子及びこの撮像素子を搭載する撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5493054B2 JP5493054B2 (ja) | 2014-05-14 |
JPWO2012169318A1 true JPWO2012169318A1 (ja) | 2015-02-23 |
Family
ID=47295888
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013519426A Expired - Fee Related JP5493054B2 (ja) | 2011-06-09 | 2012-05-14 | 立体動画像及び平面動画像を撮像する撮像素子及びこの撮像素子を搭載する撮像装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20140092220A1 (ja) |
EP (1) | EP2720455B1 (ja) |
JP (1) | JP5493054B2 (ja) |
CN (1) | CN103597811B (ja) |
WO (1) | WO2012169318A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102870028B (zh) * | 2010-04-28 | 2015-11-25 | 富士胶片株式会社 | 成像装置 |
WO2013136819A1 (ja) | 2012-03-16 | 2013-09-19 | 株式会社ニコン | 撮像素子、撮像装置および撮像システム |
JP6205770B2 (ja) * | 2012-03-16 | 2017-10-04 | 株式会社ニコン | 撮像素子および撮像システム |
JP6148530B2 (ja) * | 2013-05-02 | 2017-06-14 | キヤノン株式会社 | 固体撮像装置及びカメラ |
JP6052057B2 (ja) * | 2013-05-22 | 2016-12-27 | ソニー株式会社 | 信号処理装置および信号処理方法、固体撮像装置、並びに、電子機器 |
JP2016009043A (ja) * | 2014-06-24 | 2016-01-18 | ソニー株式会社 | イメージセンサ、演算方法、および電子装置 |
KR102294316B1 (ko) * | 2014-08-04 | 2021-08-26 | 엘지이노텍 주식회사 | 이미지 센서 및 이를 포함하는 촬상 장치 |
CA2935825A1 (en) | 2016-07-11 | 2018-01-11 | Steeper Energy Aps | Process for producing low sulphur renewable oil |
JP2018046394A (ja) * | 2016-09-14 | 2018-03-22 | オリンパス株式会社 | 撮像素子、撮像装置 |
JP6606307B2 (ja) | 2017-03-16 | 2019-11-20 | 富士フイルム株式会社 | 撮像素子及び撮像装置 |
CN114208153B (zh) * | 2019-08-20 | 2023-03-10 | 华为技术有限公司 | 不使用防抖的多重拍摄图像捕获 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003007994A (ja) * | 2001-06-27 | 2003-01-10 | Konica Corp | 固体撮像素子、立体カメラ装置及び測距装置 |
JP2008147821A (ja) * | 2006-12-07 | 2008-06-26 | Sony Corp | 撮像素子および撮像装置 |
JP2008312073A (ja) * | 2007-06-16 | 2008-12-25 | Nikon Corp | 固体撮像素子及びこれを用いた撮像装置 |
JP2009204987A (ja) * | 2008-02-28 | 2009-09-10 | Sony Corp | 撮像装置および撮像素子 |
JP2010081609A (ja) * | 2008-09-25 | 2010-04-08 | Samsung Electronics Co Ltd | 立体イメージセンサ |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3971065A (en) * | 1975-03-05 | 1976-07-20 | Eastman Kodak Company | Color imaging array |
JPH11341522A (ja) | 1998-05-22 | 1999-12-10 | Fuji Photo Film Co Ltd | 立体画像撮影装置 |
JP2007279512A (ja) * | 2006-04-10 | 2007-10-25 | Fujifilm Corp | 立体カメラ及び立体撮像素子 |
JP4946313B2 (ja) * | 2006-09-27 | 2012-06-06 | 株式会社ニコン | 撮像装置 |
JP4349407B2 (ja) * | 2006-11-17 | 2009-10-21 | ソニー株式会社 | 撮像装置 |
JP5098405B2 (ja) * | 2007-04-11 | 2012-12-12 | 株式会社ニコン | 撮像素子、焦点検出装置および撮像装置 |
US7745779B2 (en) * | 2008-02-08 | 2010-06-29 | Aptina Imaging Corporation | Color pixel arrays having common color filters for multiple adjacent pixels for use in CMOS imagers |
JP2010020015A (ja) * | 2008-07-09 | 2010-01-28 | Canon Inc | 撮像装置 |
JP5276371B2 (ja) * | 2008-07-09 | 2013-08-28 | キヤノン株式会社 | 撮像装置 |
JP5159700B2 (ja) * | 2009-05-19 | 2013-03-06 | キヤノン株式会社 | 光学装置及び焦点検出方法 |
JP5232118B2 (ja) * | 2009-09-30 | 2013-07-10 | 富士フイルム株式会社 | 撮像デバイスおよび電子カメラ |
JP2011129618A (ja) | 2009-12-16 | 2011-06-30 | Fuji Electric Co Ltd | 薄膜形成装置 |
JP2012182332A (ja) * | 2011-03-02 | 2012-09-20 | Sony Corp | 撮像素子および撮像装置 |
CN103380392B (zh) * | 2011-03-31 | 2014-12-03 | 富士胶片株式会社 | 摄像装置及其对焦控制方法 |
-
2012
- 2012-05-14 CN CN201280028247.3A patent/CN103597811B/zh not_active Expired - Fee Related
- 2012-05-14 EP EP12797532.4A patent/EP2720455B1/en not_active Not-in-force
- 2012-05-14 WO PCT/JP2012/062276 patent/WO2012169318A1/ja active Application Filing
- 2012-05-14 JP JP2013519426A patent/JP5493054B2/ja not_active Expired - Fee Related
-
2013
- 2013-12-06 US US14/099,387 patent/US20140092220A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003007994A (ja) * | 2001-06-27 | 2003-01-10 | Konica Corp | 固体撮像素子、立体カメラ装置及び測距装置 |
JP2008147821A (ja) * | 2006-12-07 | 2008-06-26 | Sony Corp | 撮像素子および撮像装置 |
JP2008312073A (ja) * | 2007-06-16 | 2008-12-25 | Nikon Corp | 固体撮像素子及びこれを用いた撮像装置 |
JP2009204987A (ja) * | 2008-02-28 | 2009-09-10 | Sony Corp | 撮像装置および撮像素子 |
JP2010081609A (ja) * | 2008-09-25 | 2010-04-08 | Samsung Electronics Co Ltd | 立体イメージセンサ |
Also Published As
Publication number | Publication date |
---|---|
US20140092220A1 (en) | 2014-04-03 |
EP2720455B1 (en) | 2016-06-22 |
EP2720455A1 (en) | 2014-04-16 |
EP2720455A4 (en) | 2015-04-15 |
CN103597811B (zh) | 2015-07-29 |
WO2012169318A1 (ja) | 2012-12-13 |
JP5493054B2 (ja) | 2014-05-14 |
CN103597811A (zh) | 2014-02-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5493054B2 (ja) | 立体動画像及び平面動画像を撮像する撮像素子及びこの撮像素子を搭載する撮像装置 | |
JP5640143B2 (ja) | 撮像装置及び撮像方法 | |
US9661210B2 (en) | Image pickup device and image pickup apparatus | |
CN204697179U (zh) | 具有像素阵列的图像传感器 | |
US8730545B2 (en) | Color imaging element, imaging device, and storage medium storing a control program for imaging device | |
WO2012039180A1 (ja) | 撮像デバイス及び撮像装置 | |
JP5810173B2 (ja) | 撮像装置および電子情報機器 | |
JP5385462B2 (ja) | 単眼立体撮像装置、単眼立体撮像装置用シェーディング補正方法及び単眼立体撮像装置用プログラム | |
WO2013145888A1 (ja) | 固体撮像素子、撮像装置、及び固体撮像素子の駆動方法 | |
JP5597777B2 (ja) | カラー撮像素子及び撮像装置 | |
JP4997359B2 (ja) | 撮像装置及び混色補正方法 | |
JP2012015819A (ja) | 立体画像撮像装置 | |
KR20170067634A (ko) | 촬영 장치 및 촬영 장치를 이용한 초점 검출 방법 | |
WO2013069445A1 (ja) | 立体撮像装置及び画像処理方法 | |
WO2012147515A1 (ja) | 撮像装置及び撮像方法 | |
WO2012169301A1 (ja) | 立体動画像及び平面動画像を撮像する撮像素子及びこの撮像素子を搭載する撮像装置 | |
JP5634613B2 (ja) | イメージセンサ及び撮像装置 | |
JP5634614B2 (ja) | 撮像素子及び撮像装置 | |
JP5912586B2 (ja) | 画像信号処理方法及び画像信号処理回路、並びに撮像装置 | |
JP2011210748A (ja) | Ccd型固体撮像素子及びその製造方法並びに撮像装置 | |
TW202437770A (zh) | 影像感測器 | |
JP2024012869A (ja) | 撮像装置及び撮像装置の画像データ読み出し方法 | |
JP2012231197A (ja) | 撮像装置、電子カメラ装置および電子カメラシステム | |
JP2011082921A (ja) | 撮像装置及び撮像システム | |
JP2011199426A (ja) | 固体撮像素子、撮像装置、及びスミア補正方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140303 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5493054 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |