Nothing Special   »   [go: up one dir, main page]

JP4133455B2 - Television camera and pixel signal readout method - Google Patents

Television camera and pixel signal readout method Download PDF

Info

Publication number
JP4133455B2
JP4133455B2 JP2003058433A JP2003058433A JP4133455B2 JP 4133455 B2 JP4133455 B2 JP 4133455B2 JP 2003058433 A JP2003058433 A JP 2003058433A JP 2003058433 A JP2003058433 A JP 2003058433A JP 4133455 B2 JP4133455 B2 JP 4133455B2
Authority
JP
Japan
Prior art keywords
pixel
color
pixel signals
signal
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003058433A
Other languages
Japanese (ja)
Other versions
JP2004274132A (en
Inventor
洋 島本
公ニ 三谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Broadcasting Corp filed Critical Japan Broadcasting Corp
Priority to JP2003058433A priority Critical patent/JP4133455B2/en
Publication of JP2004274132A publication Critical patent/JP2004274132A/en
Application granted granted Critical
Publication of JP4133455B2 publication Critical patent/JP4133455B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Color Television Image Signal Generators (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、撮像装置を用いたテレビカメラに関し、特に、2以上の水平転送路を備える撮像装置に適用して有効な技術に関するものである。
【0002】
【従来の技術】
近年のデジタル技術の進展に伴い、テレビカメラ等の撮影機器に対する高画質化の要求も高くなっている。特に、家庭用のビデオカメラやデジタルカメラ、あるいは放送用の小型ハンディカメラのように携帯性が重要な要素となるテレビカメラでは、小型化及び軽量化が重要な要素となっている。このために、携帯性重要なテレビカメラでは、光学系が小型軽量化できると共に、1個の撮像装置から色信号(画像データ)を得ることが可能な単板式カラー撮像装置が用いられている。
【0003】
1個の撮像装置から色信号(画素データ)を得る従来の単板式カラー撮像装置には、原色フィルタ方式を用い、その色フィルタ配列にベイヤー方式(ベイヤー配列)を用いるものがある。ベイヤー方式では、高解像度が必要な輝度信号の主成分であるG(緑色のフィルタ)を市松状に配列し、残りの部分に比較的解像度が低くてよい2つの色成分R(赤色のフィルタ),B(青色のフィルタ)を市松状に配列したものである。このベイヤー方式の原色フィルタを用いる単板式カラー撮像装置からの画素データの読み出しは、各変換素子の信号電荷を順次走査によって全て読み出す、いわゆる全画素読み出しを行い、得られた画素データをインターレース方式に変換する構成となっていた(例えば、特許文献1参照)。
【0004】
【特許文献1】
特願2001−269602号公報(段落番号0022−0041,第3図)
【0005】
【発明が解決しようとする課題】
本発明者は、前記従来技術を検討した結果、以下の問題点を見いだした。
【0006】
従来のベイヤー方式の原色フィルタを用いる単板式カラー撮像装置では、順次走査で各変換素子から信号電荷を読み出す必要があるので、インターレース走査で信号電荷を読み出す方式に比較して、単位時間当たりに出力される変換素子数が多くなり、信号電荷が入力される回路の周波数特性もより高性能なものが必要であった。このために、出力される信号電荷をデジタル信号に変換するAD変換器も、より変換速度が速い、高性能なものが必要であった。
【0007】
また、ベイヤー方式の原色フィルタを用いる単板式カラー撮像装置では、順次走査によって色信号を読み出す場合には、例えばG,B,G,B,・・・,R,G,R,G,・・・のように、異なる色チャンネルの色信号が順次出力される構成となっていた。
【0008】
一方、変換素子にCCDを用いた撮像装置の場合、高速で順次走査を行うためには、特に水平転送路の駆動周波数が高速となり、信号電荷の転送効率が低下してしまうことが懸念される。この問題を解決する方法として、特許文献1に記載されている方法では、水平転送路から異なる色チャンネルの色信号が順次出力されることとになるので、転送効率の低下により異なる色チャンネルの色信号が水平転送路内で混合されてしまうことになる。このため、読み出しアンプからの出力信号から色チャンネル毎に信号を取り出す際には、色分離特性が劣化してしまうという問題があった。
【0009】
本発明の目的は、単板式カラー撮像装置を順次走査で駆動する場合に画素信号の読み出しアンプから出力される色信号の出力レートを低減させることが可能な技術を提供することにある。
【0010】
本発明の他の目的は、単板式カラー撮像装置から順次走査で画素信号を読み出す際の色分離特性を向上させることが可能な技術を提供することにある。
【0011】
本発明における前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかになるであろう。
【0012】
【課題を解決するための手段】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記のとおりである。
【0016】
1)行方向及び列方向に配列される変換素子に色フィルタを配列した撮像装置と、前記撮像装置から読み出された画素信号を増幅する手段とを有するテレビカメラにおいて、前記撮像装置は、前記変換素子から読み出された1行分の画素信号を直列に変換するための前記1行分の色フィルタの色数と同数の直列変換手段と、前記読み出された画素信号を同一色の色フィルタ毎の画素信号に分類し、同一色の信号電荷をそれぞれ前記直列変換手段に割り当てる制御手段とを備え、前記増幅する手段は、異なる増幅率の2以上のアンプ、または、増幅率が可変なアンプからなり、前記直列変換手段から出力される1行分の画素信号毎に、前記異なる増幅率の2以上のアンプのいずれかを選択して出力する、または、前記増幅率が可変なアンプの増幅率を切り替えて出力する。
【0019】
2)行方向及び列方向に配列される変換素子に色フィルタが配列された撮像装置と、前記増幅装置から読み出された画素信号を増幅する手段とを有するテレビカメラにおける画素信号の読み出し方法であって、前記撮像装置は、前記変換素子の1行分毎に画素信号を読み出すステップと、前記読み出された画素信号を同一色の色フィルタ毎の画素信号に分類するステップと、前記分類された画素信号を前記撮像素子の前記1行分の色フィルタの色数と同数の直列変換手段にそれぞれ割り当てるステップと、前記直列変換手段からそれぞれ同一色の色フィルタ毎の画素信号を連続して直列に読み出すステップとを有し、前記増幅する手段は、異なる増幅率の2以上のアンプ、または、増幅率が可変なアンプからなり、前記直列変換手段から出力される1行分の画素信号毎に、前記異なる増幅率の2以上のアンプのいずれかを選択して出力する、または、前記増幅率が可変なアンプの増幅率を切り替えて出力する
【0020】
前述した手段によれば、変換素子から読み出された1行分の画素信号を直列に変換するための直列変換手段が、変換素子に配列される色フィルタの内で1行分の色フィルタの色数と同数設けられ、制御手段が読み出された画素信号を同一色の色フィルタ毎の画素信号に分類し、同一色の信号電荷をそれぞれ直列変換手段に割り当てるようにすることによって、同一色の色フィルタ毎の画素信号を連続して読み出すようにできるので、撮像装置から順次走査で画素信号を読み出す際の色分離特性を向上させることができる。このとき、画素信号は少なくとも2つの直列変換手段より読み出されることとなるので、撮像装置から順次走査で駆動する場合における読み出しアンプからの色信号の出力レート、すなわち読み出し速度を低減させることができる。
【0021】
特に、色フィルタにベイヤー配列の原色フィルタを用いることによって、2つの直列変換手段で構成できるので、撮像装置を簡易な構成とできる。
【0022】
また、撮像装置をテレビカメラに用いた場合に、画素信号をデジタル信号に変換する際のADCのダイナミックレンジを有効に使用するために必要となる増幅器の増幅率の切り替え動作周波数を低減させることができるので、安価な増幅器を使用することができる。
【0023】
さらには、色フィルタにベイヤー配列の原色フィルタを用いた撮像装置において、制御手段が緑色の色フィルタの変換素子から得られた画素信号を一方の直列変換手段に割り当てると共に、青色及び赤色の色フィルタの変換素子から読み出された画素信号を他方の直列変換手段に割り当てることによって、当該撮像装置をテレビカメラに用いた場合に、画素信号をデジタル信号に変換する際のADCのダイナミックレンジを有効に使用するために必要となる増幅器を簡易な構成とできる。その結果、テレビカメラを小型化できると共に、軽量化できる。
【0024】
【発明の実施の形態】
以下、本発明について、発明の実施の形態(実施例)とともに図面を参照して詳細に説明する。
【0025】
なお、発明の実施の形態を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
【0026】
(実施の形態1)
図1は本発明の実施の形態1の撮像装置を用いたテレビカメラの概略構成を説明するための図である。
【0027】
図1において、101はベイヤー方式(ベイヤー配列)の原色フィルタを用いた単板式CCD素子、102はゲイン切替回路、103は順次走査駆動回路、104は信号処理装置、105はADC(A/D変換器)、106はフレームメモリ・信号処理部、107はDAC(D/A変換器)を示す。
【0028】
図1に示すように、実施の形態1の撮像装置は、周知のベイヤー方式(ベイヤー配列)の原色フィルタを用いた単板式CCD素子101と、この単板式CCD素子を周知の順次走査方式(ノンインターレース方式)で駆動する順次走査駆動回路103と、単板式CCD素子101から2チャンネル分ずつ出力される画素信号をそれぞれ各色毎に切り替えて増幅するゲイン切替回路102と、単板式CCD素子101からの画素信号の出力タイミングとゲイン切替回路102の増幅率(ゲイン)の切り替えタイミングとを同期して切替制御する順次走査駆動回路103と、増幅後の画素信号をデジタル信号に変換する周知のADC(アナログデジタル変換器)105と、このADC105から出力されるデジタル信号に対する並び替えや周知の色信号処理などの信号処理を行うと共に、処理後のデジタル信号を一旦格納する周知のフレームメモリ・信号処理部106と、フレームメモリ・信号処理部106に格納される各色毎のデジタル信号の読み出しを飛び越し走査(インターレース)のタイミング(インターレースタイミング)で行い各色毎のデジタル信号をアナログ信号に変換する周知のDAC(デジタルアナログ変換器)107とから構成されている。なお、DAC107の代わりに図示しないデジタル信号伝送装置を経由してデジタルビデオ信号を出力する構成としてもよいことはいうまでもない。
【0029】
特に、実施の形態1の撮像装置では、単板式CCD素子101は、水平転送路が2重化されており水平2画素毎に並列読み出しが可能となる、いわゆる2チャンネル読み出し単板式CCD素子である。また、単板式CCD素子101は、周知のベイヤー方式(ベイヤー配列)の原色フィルタが光電変換部前面に配置されると共に、画素信号の読み出しが周知の順次走査方式(ノンインターレース方式)で読み出し可能な構造となっている。
【0030】
また、実施の形態1の撮像装置では、順次走査駆動回路103は単板式CCD素子101を構成する図示しない各フォトダイオード(光電変換素子)で生成された画素信号を出力する図示しない2本の水平転送路に割り当てる際に、奇数番目の列(カラム)を第1の水平転送路202aに、偶数番目の列(カラム)を第2の水平転送路202bに割り当てる構成となっている。このような割り当てを行うことによって、同じ色のフィルタが配列されるフォトダイオードで生成された画素信号を2本の水平転送路からそれぞれ連続して出力させることが可能となる。さらには、順次走査駆動回路103は、ゲイン切替回路102の増幅率を各色の画素信号毎に変化するように制御する構成となっている。なお、画素信号の読み出し動作の詳細については、後述する。
【0031】
このように、実施の形態1の単板式CCD素子101から出力される画素信号は、2本の水平転送路から順次出力されることとなるので、各水平転送路の駆動周波数を高速とすることなく、高速な画素信号の読み出しが可能となる。その結果、信号電荷の転送効率が低下してしまうことを防止できる。
【0032】
また、実施の形態1の撮像装置では、フォトダイオード(光電変換素子)で生成された画素信号が2本の水平転送路から1水平走査期間に順次連続して出力されることとなる、すなわち同じ色のフィルタが配列されるフォトダイオードで生成された画素信号が連続して2本の水平転送路からそれぞれ出力される構成となっているので、ゲイン切替回路102における増幅率の切替に要する速度を低減させることができる。その結果、安価な増幅器をゲイン切替回路102に使用することが可能となる。
【0033】
図2は実施の形態1の撮像装置の動作を説明するための図である。以下、図2に基づいて、図1に示す実施の形態1の撮像装置における画素信号の読み出し動作を説明する。ただし、以下の説明では、単板式CCD素子101として、フレームインタライン転送(FIT)方式のCCD型固体撮像素子の場合について説明するが、インタライン転送(IT)方式や、フレーム転送(FT)方式等のCCD型固体撮像素子にも、同様に適用可能なことはいうまでもない。
【0034】
図2において、201は蓄積部、202aは第1の水平転送CCD、202bは第2の水平転送CCD、203aは第1の読み出しアンプ、203bは第2の読み出しアンプを示す。ただし、図2に示す蓄積部201は、実施の形態1の単板式CCD素子が有する蓄積部の一部を示したものであり、以下の説明では、図2に示す蓄積部201の左下のCCD素子を基準とする。また、図2に示すR,G,Bは、Rが赤色のフィルタに対応する画素信号、Gが緑色のフィルタに対応する画素信号、Bが青色のフィルタに対応する画素信号を示す。
【0035】
図2に示すように、実施の形態1の撮像装置では、ベイヤー方式の原色フィルタを用いた構成となっているので、蓄積部201に転送された画素信号も市松状に配列されることとなる。すなわち、高解像度が必要な輝度信号の主成分であるGで示す緑色のフィルタが市松状に配置され、他の色であるBで示す青色のフィルタとRで示す赤色のフィルタとが、残りの部分にそれぞれ市松状に配置される構成となっているので、蓄積部201に転送された画素信号もGで示す画素信号が市松状に配置され、他の色であるBで示す画素信号とRで示す画素信号とが、残りの部分にそれぞれ市松状に格納される。
【0036】
まず、順次走査駆動回路103からの転送指示に基づいて、図示しないフォトダイオードから図示しない垂直転送CCDを介して、順次走査で蓄積部201に画素信号が転送されると、図2に示すように、フィルタ配列と同じ配列で画素信号が蓄積される。なお、フォトダイオードから蓄積部201への画素信号の転送は、第1及び第2の水平転送路202a,202bと同期していなくてもよいことはいうまでもない。
【0037】
蓄積部201への画素信号の転送が終了すると、次に、順次走査駆動回路103からの制御信号に基づいて、蓄積部201から第1及び第2の水平転送路202a,202bへの画素信号の転送、すなわち第1行目(G11,R11,G12,R12・・・)の画素信号の転送では、奇数番目の列(カラム)の画素信号は第1の水平転送路202aに転送され、偶数番目の列(カラム)の画素信号は第2の水平転送路202bに転送される。
【0038】
この後に、第1及び第2の水平転送路202a,202bに転送された画素信号は、順次走査駆動回路103からの水平転送駆動のための制御信号に基づいて、少なくとも1水平走査期間でそれぞれ読み出される。
【0039】
すなわち、第1行目(奇数行目)の転送では、第1の水平転送路202aには第1の読み出しアンプ203a側から順番に、G11,G12,・・・というように、緑色のフィルタが配置されるフォトダイオードからの画素信号が、蓄積部201から転送される。一方、第2の水平転送路202bには、第2の読み出しアンプ203b側から順番に、R11,R12,・・・というように、赤色のフィルタが配置されるフォトダイオードからの画素信号が、蓄積部201から転送される。従って、第1行目の画素信号の読み出しでは、第1の水平転送路202aに格納される画素信号(G11,G12,・・・)が第1の読み出しアンプ203aで増幅されて出力されると共に、第2の水平転送路202bに格納される画素信号(R11,R12,・・・)が第2の読み出しアンプ203bで増幅されて出力される。
【0040】
第1及び第2の水平転送路202a,202bからの画素信号の水平転送(読み出し)が終了すると、次に、第2行目(B11,G’11,B12,G’12・・・)の画素信号の転送が制御される。この第2行目の画素信号の転送においても、第1行目の画素信号の転送と同様にして、奇数番目の列(カラム)の画素信号は第1の水平転送路202aに転送され、偶数番目の列(カラム)の画素信号は第2の水平転送路202bに転送される。この転送後に、第1及び第2の水平転送路202a,202bに転送された画素信号は、第1行目の画素信号と同様に、それぞれ読み出される。
【0041】
すなわち、第2行目(偶数行目)の転送においては、第1の水平転送路202aには第1の読み出しアンプ203a側から順番に、B11,B12,・・・というように、青色のフィルタが配置されるフォトダイオードからの画素信号が、蓄積部201から転送される。一方、第2の水平転送路202bには、第2の読み出しアンプ203b側から順番に、G’11,G’12,・・・というように、緑色のフィルタが配置されるフォトダイオードからの画素信号が、蓄積部201から転送される。従って、第2行目の画素信号の読み出しでは、第1の水平転送路202aに格納される画素信号(B11,B12,・・・)が第1の読み出しアンプ203aで増幅されて出力されると共に、第2の水平転送路202bに格納される画素信号(G’11,G’12,・・・)が第2の読み出しアンプ203bで増幅されて出力される。
【0042】
次の、第3行目(G21,R21,G22,R22・・・)の画素信号の転送においては、第1行目の画素信号の転送と同様にして、奇数番目の列(カラム)の画素信号は第1の水平転送路202aに転送され、偶数番目の列(カラム)の画素信号は第2の水平転送路202bに転送される。この転送後に、第1及び第2の水平転送路202a,202bに転送された画素信号は、第1行目の画素信号と同様に、それぞれ読み出される。
【0043】
すなわち、第3行目(偶数行目)の転送においては、第1の水平転送路202aには第1の読み出しアンプ203a側から順番に、G21,G22,・・・というように、緑色のフィルタが配置されるフォトダイオードからの画素信号が、蓄積部201から転送される。一方、第2の水平転送路202bには、第2の読み出しアンプ203b側から順番に、R21,R22,・・・というように、赤色のフィルタが配置されるフォトダイオードからの画素信号が、蓄積部201から転送される。従って、第3行目の画素信号の読み出しでは、第1の水平転送路202aに格納される画素信号(G21,G22,・・・)が第1の読み出しアンプ203aで増幅されて出力されると共に、第2の水平転送路202bに格納される画素信号(R21,R22,・・・)が第2の読み出しアンプ203bで増幅されて出力される。
【0044】
第4行目以降の画素信号の読み出しにおいても、前述する転送と同様にして、第1及び第2の水平転送路202a,202bからは、1連の水平転送期間(1水平走査期間)では、それぞれ同じ色チャンネルの画素信号が読み出されることとなる。
【0045】
その結果、第1及び第2の水平転送路202a,202b並びに第1及び第2の読出しアンプ203a,203bから読出される画素信号の順番は、下記の通りとなる。
【0046】
第1水平転送CCDおよび第1読出しアンプ:G11,G12,G13,…,B11,B12,B13,・・・
第2水平転送CCDおよび第2読出しアンプ:R11,R12,R13,…,G’11,G’12,G’13,・・・
このように、実施の形態1の撮像装置では、単板式CCD素子101の1行(1水平走査期間=1H)毎に色チャンネルに分かれて連続した画素信号が得られることになる。なお、以上の説明では、カラーフィルタとして原色ベイヤー配列のカラーフィルタの場合について説明したが、これに限定されることはなく、水平2画素毎に同じ色配列となる他の単板カラー撮像素子を用いた場合でも、同様の効果が得られる。さらには、カラーフィルタの方式としては、そのほかの一般的なテレビジョン単板カラー用の補色フィルタや、原色(RGB)縦ストライプフィルタなどの場合でも、水平走査方向のカラーフィルタの色数と同じ並列数の水平転送路を設けることにより、前述と同様に一画素毎に異なる色チャンネルの信号を出力するができるので、本願発明に適用可能なことはいうまでもない。
【0047】
特に、従来の撮像装置では、水平転送路(水平転送CCD)において十分な転送効率が得られなかった場合、水平転送路で前後の信号電荷が混合されることがある。このとき、1画素毎に異なる色チャンネルの信号を出力する構成の場合には、前後の信号電荷が混合されることによって、各色信号が混合されてしまい、読出しアンプから出力後信号処理を行ったとき色信号の分離性能が落ちてしまっていた。
【0048】
しかしながら、実施の形態1の撮像装置では、第1及び第2の水平転送路202a,202bの内部では色チャンネルに分かれて連続した画素信号が転送される構成となるために、例えば十分な転送効率が得られなかった場合であっても、本発明以外の方式と同様に水平解像度の低下は発生するものの、色信号の分離性能が低下してしまうことを防止できるという、格別の効果を得ることができる。
【0049】
すなわち、単板式CCD素子101の水平走査線方向に配列される色フィルタの色数に一致するように、フォトダイオード(撮像素子)から読み出された1水平走査線分の画素信号を直列に変換する第1及び第2の水平転送路202a,202bを設け、順次走査駆動回路103が読み出された画素信号を同一色の色フィルタ毎の画素信号に分類し、同一色の信号電荷をそれぞれ第1及び第2の水平転送路202a,202bに転送することによって、第1及び第2の水平転送路202a,202bから同一色の色フィルタ毎の画素信号を連続して読み出すようにできるので、単板式CCD素子101から順次走査で画素信号を読み出す際の色分離特性を向上させることができる。
【0050】
図3は実施の形態1のゲイン切替回路の概略構成を説明するための図である。特に、図3の(a)は第1のゲイン切替回路の概略構成を説明するための図であり、図3の(b)は第2のゲイン切替回路の概略構成を説明するための図である。
【0051】
図3において、301は第1のアンプ、302は第2のアンプ、303は切替スイッチ、304は第3のアンプ、305は帰還抵抗、306はボリューム(VR)を示す。
【0052】
図3の(a)から明らかなように、第1のゲイン切替回路102は、輝度情報を含むので、画素信号強度(蓄積電荷量)が比較的多い緑色チャンネルに対応した増幅率が設定された周知の増幅器からなる第1のアンプ301と、画素信号強度が緑色チャンネルよりも少ない赤色及び青色チャンネルに対応した増幅率が設定された周知の増幅器からなる第2のアンプ302と、順次走査駆動回路103からの切替制御信号に基づいて、第1のアンプ301の出力と第2のアンプ302との何れか一方の出力を選択出力する周知のスイッチング素子からなる切替スイッチ303とから構成される。
【0053】
このように、第1のゲイン切替回路では、単板式CCD素子101から出力される画素信号が入力端子から入力されると、この入力端子に接続される第1のアンプ301と、第2のアンプ302とがそれぞれに設定された増幅率で入力信号を増幅する。このとき、切替入力から入力される切替制御信号は、入力端子から入力される画素信号が緑色チャンネルのものか、あるいはそれ以外の赤色及び青色チャンネルのものかを示す制御信号となっている。従って、この切替制御信号に基づいて動作する第1のゲイン切替回路102は、第1のアンプ301の出力もしくは第2のアンプ302の出力かを選択して出力端子から出力することによって、この第1のゲイン切替回路102の後段に接続されるADC105の量子化ビット数を有効に活用したA/D変換を行うことが可能となる。すなわち、ADC105から出力されるデジタル信号のダイナミックレンジを大きくすることができる。このとき、入力端子から入力される画素信号は、1水平期間毎に色チャンネルが変化することとなるので、切替周期も1水平走査期間毎となり、画素数が増加して高速に読み出す必要が生じた場合であっても、十分切替動作ができる。
【0054】
図3の(b)から明らかなように、第2のゲイン切替回路102は、周知のオペアンプからなる第3のアンプ304と、負帰還用の帰還抵抗305と、切替入力端子から入力される制御信号に応じて抵抗値が可変される周知のボリューム306とからなり、帰還抵抗305の抵抗値rとボリューム306の抵抗値とで決定される増幅率で入力端子から入力される画素信号を可変増幅する構成となっている。
【0055】
このとき、切替入力から入力される制御信号は、入力端子から入力される画素信号が緑色チャンネルのものか、あるいはそれ以外の赤色及び青色チャンネルのものかを示す制御信号となっている。従って、この切替制御信号に基づいて動作する第2のゲイン切替回路102は、入力端子から入力される画素信号の色チャンネルに応じた増幅率で画素信号を増幅した後に出力することによって、この第2のゲイン切替回路102の後段に接続されるADC105の量子化ビット数を有効に活用したA/D変換を行うことが可能となる。すなわち、ADC105から出力されるデジタル信号のダイナミックレンジを大きくすることができる。このとき、入力端子から入力される画素信号は、1水平期間毎に色チャンネルが変化することとなるので、増幅率の切替周期も1水平走査期間毎となり、画素数が増加して高速に読み出す必要が生じた場合であっても、十分に増幅率の安定的な切替ができる。
【0056】
なお、色チャンネル毎に信号強度は異なるものであるが、3板式カメラなどでは各CCD素子からそれぞれの色信号が得られる構成となっている、あるいはCCD素子毎に信号処理回路を有する構成となっている。このために、3板式カメラなどでは、CCD素子毎に最適にアンプゲイン(増幅率)を設定することによって、色チャンネルの信号強度に適したA/D変換を行うことが可能であり、ADC105のダイナミックレンジを有効に活用することが可能となっていた。
【0057】
これに対して、単板式CCD素子101を用いたカメラでは一つのCCD素子から複数の色チャンネル信号が出力される構成となっている。このような異なる強度の信号をそのままADCへ入力してしまうと、ADCの入力が飽和しないように最大強度の信号にあわせてゲイン調整を行わなくてはならないので、信号強度の弱い色チャンネルではAD変換器の量子化ビット数が不足してしまうという問題があった。
【0058】
この問題を解決する方法としては、単板式CCD素子101から出力される信号を一画素毎に色チャンネルに分け、それぞれを別々の信号処理回路を用いて信号処理する方法があるが、この場合には、アナログスイッチなどで切り替える必要があった。他の方法としては、一画素毎に単板撮像素子からの出力信号の色チャンネルに応じてアンプゲインを切り替える方法があった。しかしながら、これらの方法を用いた場合、高解像度の撮像素子では、アンプゲインやアナログスイッチを高速で正確に切り替える必要があり、非常に困難であった。
【0059】
また、実施の形態1のゲイン切替回路102では、緑色とそれ以外の青色及び赤色との2つの増幅率としたが、これに限定されることはなく、それぞれの色の画素信号に応じた3つの増幅率を設定してもよいことはいうまでもない。
【0060】
(実施の形態2)
図4は本発明の実施の形態2の撮像装置の概略構成を説明するための図である。ただし、実施の形態2の撮像装置は、単板式CCD素子101の構成が異なるのみで、他の構成は実施の形態1と同様である。従って、以下の説明では、単板式CCD素子の構成及びその読み出し動作についてのみ詳細に説明する。
【0061】
図4において、401は画素、402は垂直転送CCD(垂直転送路)、403は受光部、404は蓄積部を示す。
【0062】
図4に示す撮像装置はいわゆるM−FIT駆動方式の撮像装置であり、このM−FIT駆動方式の撮像装置では、画素401のフォトダイオードで生成された画素信号を垂直転送CCD402へ読み出した後に蓄積部(またはフレームメモリ部とも呼ぶ)404へ転送する際に、奇数番目と偶数番目の列(カラム)の画素信号の2回に振り分けを行うことにより、受光部403の全画素読み出しを行うものである。具体的には、1フレーム期間の垂直ブランキング期間内に2回のFIT転送を行い、1回目は奇数番目の列(カラム)の画素信号電荷を垂直転送CCD402に読み出した後に蓄積部404へFIT転送し、次に偶数番目の列(カラム)の画素信号の蓄積電荷を垂直転送CCD402に読み出した後に蓄積部404へFIT転送する。蓄積部404に保存された奇数番目と偶数番目との列(カラム)の画素信号電荷は、映像期間中に必要なタイミングに応じて水平転送路となる第1及び第2の水平転送CCD202a,202bへ転送され、第1及び第2の読み出しアンプ203a,203bより出力される。なお、蓄積部404から第1及び第2の水平転送CCD202a,202bへの画素信号の転送は、実施の形態1と同様となるので、詳細な説明は省略する。
【0063】
ここで、図4に示すように、水平方向に対してある1画素に注目した場合、受光部403において垂直方向に下からG11,B11,G21,B21,・・・と並んだ画素の順番に対し、蓄積部404における画素の並び順は、G11,G21,・・・,B11,B21,・・・となる。
【0064】
その結果、図4に示すように、読み出しアンプ部から出力される画素の順番は、第1の読み出しアンプ203aからは映像期間の第1フィールドに相当する期間中にG11,G12,G13,・・・,G21,G22,G23,・・・となり、第2フィールドに相当する期間中にB11,B12,B13,・・・,B21,B22,B23,・・・となる。同様に、第2の読み出しアンプ203bからは映像期間の第1フィールドに相当する期間にR11,R12,R13,・・・,R21,R22,R23,・・・の順番で出力され、第2フィールドに相当する期間中にG’11,G’12,G’13,・・・,G’21,G’22,G’23・・・の順番で出力される。
【0065】
以上説明したように、実施の形態2の撮像装置においても、2本の水平転送路を構成する第1及び第2の水平転送CCD202a,202bから画素信号が順次出力されることとなるので、前述した実施の形態1の撮像装置と同様の効果を得ることが可能となる。
【0066】
なお、実施の形態2の撮像装置においても、カラーフィルタとして原色ベイヤー配列のカラーフィルタの場合について説明したが、実施の形態1と同様に、水平2画素毎に同じ色配列となる単板カラー撮像素子、補色フィルタ、あるいは原色(RGB)縦ストライプフィルタをもちいた場合であっても、本願発明を適用可能なことはいうまでもない。
【0067】
(実施の形態3)
図5は本発明の実施の形態3の撮像装置における画素信号の転送動作を説明するための図である。特に、図5の(a)は偶数ラインに対する画素信号の転送動作を説明するための図であり、図5の(b)は奇数ラインに対する画素信号の転送動作を説明するための図である。
【0068】
ただし、実施の形態3の撮像装置は、単板式CCD素子101における蓄積部から水平転送路への画素信号の転送手順と、ゲイン切替回路102の構成が異なるのみで、他の構成は実施の形態1と同様である。従って、以下の説明では、単板式CCD素子101における画素信号の読み出し動作についてのみ詳細に説明する。また、図5に示す蓄積部201は、実施の形態1と同様に、単板式CCD素子101が有する蓄積部の一部を示したものであり、以下の説明では、図5に示す蓄積部201の左下のCCD素子を基準とする。
【0069】
なお、実施の形態3の撮像装置における画素信号の読み出し動作は、フォトダイオードから蓄積部201への画素信号の転送が終了した直後に、蓄積部201に格納される画素信号の位置が奇数番目の行であるか、偶数番目の行であるかによって、以下に説明する読み出し動作となるものである。しかしながら、以下に説明する動作は、単板式CCD素子101が備えるカラーフィルタがベイヤー方式の場合のフィルタ配列の特徴である緑色のフィルタ配列を基準とした読み出し動作となるものである。従って、他の方式のカラーフィルタを用いる場合には、緑色フィルタを基準として、蓄積部201から各水平転送路への画素信号の転送動作を行うことによって、実施の形態1と同様の効果が得られることはいうまでもない。
【0070】
まず、順次走査駆動回路103からの転送指示に基づいて、フォトダイオードから図示しない垂直転送CCDを介して、順次走査で蓄積部201に画素信号が転送されると、前述する図2に示すように、フィルタ配列と同じ配列で画素信号が蓄積される。
【0071】
蓄積部201への画素信号の転送が終了すると、次に、順次走査駆動回路103からの制御信号に基づいて、蓄積部201から第1及び第2の水平転送路202a,202bへの画素信号の転送が開始される。以下、フォトダイオードから蓄積部201への画素信号の転送が終了した直後における画素信号が偶数行目の場合と奇数行目の場合についての読み出し動作を説明する。
【0072】
図5の(a)に示すように、偶数行目として第2行目(B11,G’11,B12,G’12,B13,G’13,・・・)の画素信号の転送では、奇数番目の列(カラム)の画素信号は第1の水平転送路202aに転送し、偶数番目の列(カラム)の画素信号は第2の水平転送路202bに転送する。ここで、第1及び第2の水平転送路202a,202bに転送された画素信号は、順次走査駆動回路103からの水平転送駆動のための制御信号に基づいて、少なくとも1水平走査期間でそれぞれ読み出される。
【0073】
このように、第2行目(偶数行目)の転送では、第1の水平転送路202aには第1の読み出しアンプ203a側から順番に、B11,B12,B13,・・・というように、青色のフィルタが配置されるフォトダイオードからの画素信号が、蓄積部201から転送される。一方、第2の水平転送路202bには、第2の読み出しアンプ203b側から順番に、G’11,G’12,G’13,・・・というように、緑色のフィルタが配置されるフォトダイオードからの画素信号が、蓄積部201から転送される。従って、偶数行目である第2行目の画素信号の読み出しでは、第1の水平転送路202aに格納される画素信号(B11,B12,B13,・・・)が第1の読み出しアンプ203aで増幅されて出力されると共に、第2の水平転送路202bに格納される画素信号(G’11,G’12,G’13,・・・)が第2の読み出しアンプ203bで増幅されて出力される。
【0074】
第1及び第2の水平転送路202a,202bからの画素信号の水平転送(読み出し)が終了すると、次に、奇数行目である第3行目(G21,R21,G22,R22,G23,R23,・・・)の画素信号の転送が制御される。この奇数行目である第3行目の画素信号の転送では、奇数番目の列(カラム)の画素信号は第2の水平転送路202bに転送され、偶数番目の列(カラム)の画素信号は第1の水平転送路202aに転送される。この転送後に、第1及び第2の水平転送路202a,202bに転送された画素信号は、前述と同様に、それぞれ読み出される。
【0075】
すなわち、奇数行目である第3行目の転送では、第1の水平転送路202aには第1の読み出しアンプ203a側から順番に、R21,R22,R23,・・・というように、赤色のフィルタが配置されるフォトダイオードからの画素信号が、蓄積部201から転送される。一方、第2の水平転送路202bには、第2の読み出しアンプ203b側から順番に、G21,G22,G23,・・・というように、緑色のフィルタが配置されるフォトダイオードからの画素信号が、蓄積部201から転送される。その結果、奇数行目である第3行目の画素信号の読み出しでは、第1の水平転送路202aに格納される画素信号(R21,R22,R23,・・・)が第1の読み出しアンプ203aで増幅されて出力されると共に、第2の水平転送路202bに格納される画素信号(G21,G22,G23,・・・)が第2の読み出しアンプ203bで増幅されて出力される。
【0076】
第1行目及び第4行目以降の画素信号の読み出しにおいても、前述する転送と同様にして、一連の水平転送期間(1水平走査期間)では、第1及び第2の水平転送路202a,202bからは、それぞれ同じ色チャンネルの画素信号が読み出されることとなる。
【0077】
その結果、第1及び第2の水平転送路202a,202b並びに第1及び第2の読出しアンプ203a,203bから読出される画素信号の順番は、下記の通りとなる。
【0078】
第1水平転送CCDおよび第1読出しアンプ:R11,R12,R13,・・・,B11,B12,B13,・・・,R21,R22,R23,・・・
第2水平転送CCDおよび第2読出しアンプ:G11,G12,G13,・・・,G’11,G’12,G’13,・・・G21,G22,G23,・・・
このように、実施の形態3の撮像装置では、第1の水平転送路202aからは、単板式CCD素子101の1行(1水平走査期間=1H)毎に色チャンネルに分かれて連続した画素信号が得られると共に、第2の水平転送路202bからは、緑色チャンネルの画素信号が連続して得られることになる。
【0079】
従って、実施の形態3のゲイン切替回路102では、例えば第2の水平転送路202bから出力される画素信号を増幅する固定された増幅率のアンプと、第1の水平転送路202aから出力される画素信号を増幅する固定された増幅率のアンプとを設けることによって、緑色チャンネルの画素信号とその他の色の画素信号である青色及び赤色チャンネルの画素信号との信号強度に応じた増幅を簡易な構成で実現することが可能となる。なお、青色と赤色チャンネルの画素信号については、増幅率が異なる場合がある。
【0080】
ゲイン切替回路102で増幅された画素信号は、ゲイン切替回路102の後段に接続されるADC105に入力され、量子化ビット数を有効に活用したA/D変換がなされるので、前述した実施の形態1と同様の効果を得ることもできる。
【0081】
なお、実施の形態3の撮像装置では、緑色チャンネルからの画素信号を第2の水平転送路202bに転送する構成としたが、これに限定されることはなく、緑色チャンネルからの画素信号を第1の水平転送路202aに転送させ、赤色及び青色チャンネルからの画素信号を第2の水平転送路202bに転送させる構成でもよいことはいうまでもない。
【0082】
(実施の形態4)
図6は本発明の実施の形態4の撮像装置の概略構成を説明するための図である。ただし、実施の形態4の撮像装置は、行選択スイッチと列選択スイッチとを備え、その開閉で画素と出力端子間を接続して映像信号を出力する、いわゆるX−Yアドレス型撮像装置の一形態であるCMOS型撮像装置である。
【0083】
図6において、601は撮像素子受光部、602は垂直走査部、603は水平走査部、604aは第1の出力端子、604bは第2の出力端子を示す。ここで、撮像素子受光部601は増幅器を内蔵している、いわゆる増幅型CMOSの撮像装置でもよいことはいうまでもない。
【0084】
図6に示すように、実施の形態4の撮像装置は、図示しないフォトダイオード、電荷電圧変換回路、増幅器及び出力ゲート等で構成される撮像画素からなる撮像素子受光部601と、所定の走査線上にある全画素から画素信号を読み出すための制御を行う垂直走査部602と、1走査線分の画素信号を直列に変換して第1の出力端子604aもしくは第2の出力端子604bの何れかから出力する水平走査部603とから構成されている。
【0085】
また、実施の形態4の撮像装置では、出力端子が2重化されており水平2画素毎に並列読み出しが可能となる、いわゆる2チャンネル読み出しCMOS型撮像装置である。特に、実施の形態4の撮像装置では、前述する実施の形態1と同様に、周知のベイヤー方式(ベイヤー配列)の原色フィルタを用いた構成となっていると共に、画素信号の読み出しが周知の順次走査方式(ノンインターレース方式)で読み出し可能な構造となっているので、1走査線分の画素信号の読み出しでは異なる2色の画素信号が読み出される。従って、実施の形態4の撮像装置においても、水平走査部603は2つの出力端子を有する構成とし、水平2画素毎に並列読み出しを可能とするものである。
【0086】
また、実施の形態4の撮像装置では、水平走査部603は各撮像画素からの画素信号を第1及び第2の出力端子604a,604bに割り当てる際に、奇数番目の列(カラム)を第1の出力端子604aに、偶数番目の列(カラム)を第2の出力端子604bに割り当てる構成となっている。このような割り当てを行うことによって、同じ色のフィルタが配列されるフォトダイオードで生成された画素信号を2本の出力端子604a,604bからそれぞれ連続して出力させることが可能となる。
【0087】
このように、実施の形態4の撮像装置では、画素信号は2本の出力端子604a,604bから順次出力されることとなるので、各水平走査部603が備える列選択スイッチや駆動周波数を高速化することなく、高速な画素信号の読み出しが可能となる。その結果、信号電荷の転送効率が低下してしまうことを防止できると共に、出力端子604a及び604bから出力される信号の周波数帯域を低く抑えることができる。
【0088】
また、実施の形態4の撮像装置では、フォトダイオードで生成された画素信号が2本の出力端子604a,604bから順次連続して出力されることとなる、すなわち同じ色のフィルタが配列されるフォトダイオードで生成された画素信号が連続して2本の出力端子604a,604bからそれぞれ出力される構成となっているので、各出力端子の後段に、ゲイン切替回路が必要となった場合であっても、このゲイン切替回路における増幅率の切替に要する速度を低減させることができる。その結果、安価な増幅器をゲイン切替回路に使用することが可能となる。
【0089】
次に、図6に基づいて、実施の形態4の撮像装置における画素信号の転送動作を説明する。
【0090】
まず、蓄積電荷は電荷電圧変換回路で画素信号に変換された後に、増幅器で増幅され、垂直走査部602からの読み出し指示に基づいて、画素信号の並列読み出しとして、第1の走査線から順番に水平走査部603へ並列に出力させる。
【0091】
画素信号が入力された水平走査部603では、奇数番目の列(カラム)の画素信号は図示しないマルチプレクサを介して第1の出力端子604aに接続され、偶数番目の列(カラム)の画素信号は図示しないマルチプレクサを介して第2の出力端子604bに接続されている。従って、第1の出力端子604aからは奇数番目の列(カラム)の画素信号が順番に出力され、第2の出力端子604bからは偶数番目の列(カラム)の画素信号が順番に出力されることとなる。
【0092】
例えば、第1の走査線の読み出しでは、第1の走査線上の画素であるG11,R11,G12,R12,・・・の画素信号が同時に読み出され、水平走査部603に出力される。このとき、奇数番目の列(カラム)の画素信号(G11,G12,・・・)はマルチプレクサを介して第1の出力端子604aに接続され、偶数番目の列(カラム)の画素信号(R11,R12,・・・)はマルチプレクサを介して第2の出力端子604bに接続されている。
【0093】
従って、水平走査部603から画素信号の出力が開始されると、各出力端子604a,604bのマルチプレクサが順番に閉じて、第1の出力端子604aからは画素信号(G11,G12,・・・)を順番に出力させ、第2の出力端子604bからは画素信号(R11,R12,・・・)を順番に出力させる。
【0094】
この第1の走査線の読み出しが終了すると、次の第2の走査線の読み出しが開始され、まず第2の走査線上の画素であるB11,G’11,B12,G’12,・・・の画素信号が同時に読み出され、水平走査部603に出力される。このとき、奇数番目の列(カラム)の画素信号(B11,B12,・・・)はマルチプレクサを介して第1の出力端子604aに接続され、偶数番目の列(カラム)の画素信号(G’11,G’12,・・・)はマルチプレクサを介して第2の出力端子604bに接続されている。
【0095】
従って、水平走査部603からの画素信号の出力が開始されると、各出力端子604a,604bのマルチプレクサが順番に閉じて、第1の出力端子604aからは画素信号(B11,B12,・・・)を順番に出力させ、第2の出力端子604bからは画素信号(G’11,G’12,・・・)を順番に出力させる。
【0096】
以降、全ての走査線の画素信号の出力が終了するまで、前述の動作を繰り返すこととなる。
【0097】
その結果、第1及び第2の出力端子604a,604bから出力される画素信号の順番は、下記の通りとなる。
【0098】
第1の出力端子:G11,G12,G13,…,B11,B12,B13,・・・
第2の出力端子:R11,R12,R13,…,G’11,G’12,G’13,・・・
このように、実施の形態4の撮像装置では、撮像素子受光部601の1走査線(1水平走査期間=1H)毎に色チャンネルに分かれて連続した画素信号が得られることになる。なお、以上の説明では、カラーフィルタとして原色ベイヤー配列のカラーフィルタの場合について説明したが、これに限定されることはなく、水平2画素毎に同じ色配列となる他の単板カラー撮像素子を用いた場合でも、同様の効果が得られる。さらには、カラーフィルタの方式としては、そのほかの一般的なテレビジョン単板カラー用の補色フィルタや、原色(RGB)縦ストライプフィルタなどの場合でも、前述と同様に一画素毎に異なる色チャンネルの信号を出力するができるので、本願発明に適用可能なことはいうまでもない。
【0099】
また、実施の形態4の撮像装置では、水平走査部では色チャンネルに分かれて連続した画素信号が転送される構成となるために、画素信号の読み出し周波数(駆動周波数)が高くなった場合であっても、色信号の分離性能が低下してしまうことが防止できる。
【0100】
なお、実施の形態1〜4の撮像装置では、第1の水平転送路202aを介して第2の水平転送路202bに画素信号を転送する単板式CCD素子101の場合について説明したが、これに限定されることはなく、蓄積部201から直接に第2の水平転送路202bに画素信号を転送可能な単板式CCD素子にも本願発明を適用可能なことはいうまでもない。
【0101】
以上、本発明者によってなされた発明を、前記発明の実施の形態に基づき具体的に説明したが、本発明は、前記発明の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【0102】
【発明の効果】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
【0103】
(1)同一色の色フィルタ毎の画素信号を連続して読み出すようにできるので、撮像装置から順次走査で画素信号を読み出す際の色分離特性を向上させることができる。
【0104】
(2)画素信号を少なくとも2つの直列変換手段より読み出すので、撮像装置から順次走査で駆動する場合における読み出しアンプからの色信号の読み出し速度を低減させることができる。
【0105】
(3)色フィルタにベイヤー配列の原色フィルタを用いることにより、2つの直列変換手段で構成できるので、撮像装置の構成を簡易にできる。
【0106】
(4)テレビカメラにおける画素信号をデジタル信号に変換する際のADCのダイナミックレンジを有効に使用するために必要となる増幅器の増幅率の切り替え動作周波数を低減させることができる。
【0107】
(5)増幅器における増幅率の切り替え動作周波数を低減させることができるので、安価な増幅器を使用することができる。
【0108】
(6)色フィルタにベイヤー配列の原色フィルタを用い、緑色の画素信号を一方の直列変換手段に割り当て、青色及び赤色の画素信号を他方の直列変換手段に割り当てることによって、固定増幅率の増幅器を用いることができる。
【0109】
(7)固定増幅率の増幅器を用いることができるので、テレビカメラを小型化、軽量化できる。
【図面の簡単な説明】
【図1】本発明の実施の形態1の撮像装置を用いたテレビカメラの概略構成を説明するための図である。
【図2】実施の形態1の撮像装置の動作を説明するための図である。
【図3】実施の形態1のゲイン切替回路の概略構成を説明するための図である。
【図4】本発明の実施の形態2の撮像装置の概略構成を説明するための図である。
【図5】本発明の実施の形態3の撮像装置における画素信号の転送動作を説明するための図である。
【図6】本発明の実施の形態4の撮像装置の概略構成を説明するための図である。
【符号の説明】
101…単板式CCD素子 102…ゲイン切替回路
103…順次走査駆動回路 104…信号処理装置
105…ADC 106…フレームメモリ・信号処理部
107…DAC
201…蓄積部 202a…第1の水平転送CCD
202b…第2の水平転送CCD 203a…第1の読み出しアンプ
203b…第2の読み出しアンプ
301…第1のアンプ 302…第2のアンプ
303…切替スイッチ 304…第3のアンプ
305…帰還抵抗 306…ボリューム(VR)
401…画素 402…垂直転送CCD
403…受光部 404…蓄積部
601…撮像素子受光部 602…垂直走査部
603…水平走査部 604a…第1の出力端子
604b…第2の出力端子
[0001]
BACKGROUND OF THE INVENTION
  The present invention provides an imaging device.PlaceMore particularly, the present invention relates to a technique that is effective when applied to an imaging apparatus having two or more horizontal transfer paths.
[0002]
[Prior art]
  With the progress of digital technology in recent years, there has been an increasing demand for higher image quality for photographing devices such as TV cameras. In particular, in a television camera in which portability is an important element, such as a home video camera, a digital camera, or a small broadcast handy camera, miniaturization and weight reduction are important elements. Portability for thisButAn important television camera uses a single-plate color image pickup apparatus that can reduce the size and weight of an optical system and can obtain color signals (image data) from a single image pickup apparatus.
[0003]
Some conventional single-plate color image pickup devices that obtain color signals (pixel data) from a single image pickup device use a primary color filter method and use a Bayer method (Bayer array) for the color filter array. In the Bayer system, G (green filter), which is a main component of a luminance signal that requires high resolution, is arranged in a checkered pattern, and two color components R (red filter) that may have a relatively low resolution in the remaining portion. , B (blue filter) are arranged in a checkered pattern. Reading pixel data from a single-plate color imaging device using this Bayer-type primary color filter reads all signal charges of each conversion element by sequential scanning, so-called all-pixel reading, and converts the obtained pixel data into an interlaced method. It was the structure to convert (for example, refer patent document 1).
[0004]
[Patent Document 1]
Japanese Patent Application No. 2001-269602 (paragraph numbers 0022-0041, FIG. 3)
[0005]
[Problems to be solved by the invention]
As a result of examining the prior art, the present inventor has found the following problems.
[0006]
In a single-plate color imaging device using a conventional Bayer primary color filter, it is necessary to read out signal charges from each conversion element by sequential scanning, so output per unit time compared to a system that reads out signal charges by interlaced scanning. The number of conversion elements to be increased increases, and the frequency characteristics of a circuit to which signal charges are input are required to have higher performance. For this reason, an AD converter that converts the output signal charge into a digital signal also requires a high-performance one that has a higher conversion speed.
[0007]
Further, in a single-plate color imaging device using a Bayer primary color filter, when reading out color signals by sequential scanning, for example, G, B, G, B,..., R, G, R, G,. As shown in the figure, color signals of different color channels are sequentially output.
[0008]
On the other hand, in the case of an imaging device using a CCD as a conversion element, in order to perform sequential scanning at high speed, there is a concern that the driving frequency of the horizontal transfer path will be particularly high and the signal charge transfer efficiency will be reduced. . As a method for solving this problem, in the method described in Patent Document 1, since color signals of different color channels are sequentially output from the horizontal transfer path, the color of the different color channel is reduced due to a decrease in transfer efficiency. The signal will be mixed in the horizontal transfer path. For this reason, when a signal is extracted for each color channel from the output signal from the read amplifier, there is a problem that the color separation characteristics deteriorate.
[0009]
An object of the present invention is to provide a technique capable of reducing the output rate of a color signal output from a pixel signal readout amplifier when a single-plate color imaging device is driven by sequential scanning.
[0010]
Another object of the present invention is to provide a technique capable of improving color separation characteristics when reading out pixel signals from a single-plate color imaging device by sequential scanning.
[0011]
The above and other objects and novel features of the present invention will be apparent from the description of this specification and the accompanying drawings.
[0012]
[Means for Solving the Problems]
Of the inventions disclosed in this application, the outline of typical ones will be briefly described as follows.
[0016]
  (1)In a television camera having an imaging device in which color filters are arranged in conversion elements arranged in a row direction and a column direction, and means for amplifying a pixel signal read from the imaging device, the imaging device includes the conversion element. Serial conversion means having the same number as the number of colors of the color filter for one row for serially converting the pixel signals for one row read out from the line, and the read out pixel signals for each color filter of the same color And a control means for classifying the signal charges of the same color to the serial conversion means, respectively,The amplifying means includes two or more amplifiers having different amplification factors or amplifiers having variable amplification factors, and each of the pixel signals for one row output from the serial conversion unit has two or more different amplification factors. Any one of the amplifiers is selected and output, or the amplification factor of the amplifier having a variable amplification factor is switched and output.
[0019]
  (2)Imaging device in which color filters are arranged on conversion elements arranged in row direction and column directionAnd a television camera having a means for amplifying the pixel signal read from the amplification deviceA pixel signal reading method,The imaging deviceA step of reading out pixel signals for each row of the conversion elements, a step of classifying the read out pixel signals into pixel signals for color filters of the same color, and the classified pixel signals of the image sensor. Assigning to the same number of serial conversion means as the number of colors of the color filters for one row, and reading out serially the pixel signals for each color filter of the same color from the serial conversion means;And the means for amplifying comprises two or more amplifiers having different amplification factors or an amplifier having a variable amplification factor, and each of the pixel signals for one row output from the serial conversion unit has the different amplification. Select and output one of the amplifiers with a rate of 2 or more, or output by switching the amplification factor of the amplifier with the variable amplification factor..
[0020]
According to the above-described means, the serial conversion means for converting the pixel signals for one row read out from the conversion elements into a series of color filters for one row among the color filters arranged in the conversion elements. The same number of colors are provided, and the pixel signals read out by the control means are classified into pixel signals for each color filter of the same color, and the signal charges of the same color are respectively assigned to the serial conversion means, so that the same color Since the pixel signal for each color filter can be read out continuously, the color separation characteristic when reading out the pixel signal by sequential scanning from the imaging device can be improved. At this time, since the pixel signal is read out by at least two serial conversion means, the output rate of the color signal from the read amplifier, that is, the read speed when the image pickup apparatus is driven by sequential scanning can be reduced.
[0021]
In particular, by using a Bayer array primary color filter as the color filter, it can be configured by two serial conversion means, so that the imaging apparatus can be configured simply.
[0022]
In addition, when the imaging device is used in a television camera, it is possible to reduce the switching operation frequency of the amplification factor of the amplifier necessary for effectively using the dynamic range of the ADC when converting the pixel signal into a digital signal. Therefore, an inexpensive amplifier can be used.
[0023]
Further, in the imaging apparatus using the Bayer array primary color filter as the color filter, the control unit assigns the pixel signal obtained from the conversion element of the green color filter to one of the serial conversion units, and the blue and red color filters. By assigning the pixel signal read out from the conversion element to the other serial conversion means, the dynamic range of the ADC when converting the pixel signal into a digital signal is effectively obtained when the imaging device is used in a television camera. An amplifier required for use can be simply configured. As a result, the television camera can be reduced in size and weight.
[0024]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention will be described in detail with reference to the drawings together with embodiments (examples) of the invention.
[0025]
Note that components having the same function are denoted by the same reference symbols throughout the drawings for describing the embodiment of the invention, and the repetitive description thereof is omitted.
[0026]
(Embodiment 1)
FIG. 1 is a diagram for explaining a schematic configuration of a television camera using the imaging apparatus according to Embodiment 1 of the present invention.
[0027]
In FIG. 1, 101 is a single-plate CCD element using a Bayer-type (Bayer array) primary color filter, 102 is a gain switching circuit, 103 is a sequential scanning drive circuit, 104 is a signal processing device, and 105 is an ADC (A / D conversion). ), 106 denotes a frame memory / signal processing unit, and 107 denotes a DAC (D / A converter).
[0028]
As shown in FIG. 1, the image pickup apparatus of Embodiment 1 includes a single-plate CCD element 101 using a well-known Bayer method (Bayer array) primary color filter, and a known sequential scanning method (non-scanning method). A progressive scanning drive circuit 103 driven by an interlace method), a gain switching circuit 102 for switching and amplifying the pixel signals output by two channels from the single-plate CCD element 101 for each color, and the single-plate CCD element 101 A sequential scanning drive circuit 103 that performs switching control in synchronization with the output timing of the pixel signal and the switching timing of the gain (gain) of the gain switching circuit 102, and a well-known ADC (analog) that converts the amplified pixel signal into a digital signal Rearrangement of digital signals output from the ADC 105 and the ADC 105 and well-known In addition to performing signal processing such as signal processing, the well-known frame memory / signal processing unit 106 that temporarily stores the processed digital signal and the reading of the digital signal for each color stored in the frame memory / signal processing unit 106 are skipped. It is composed of a well-known DAC (digital-analog converter) 107 that performs a scanning (interlace) timing (interlace timing) and converts a digital signal for each color into an analog signal. Needless to say, the digital video signal may be output via a digital signal transmission device (not shown) instead of the DAC 107.
[0029]
In particular, in the imaging apparatus of the first embodiment, the single-plate CCD element 101 is a so-called two-channel readout single-plate CCD element in which horizontal transfer paths are doubled and parallel readout is possible for every two horizontal pixels. . The single-plate CCD element 101 has a well-known Bayer method (Bayer array) primary color filter arranged on the front surface of the photoelectric conversion unit, and can read out pixel signals by a well-known sequential scanning method (non-interlace method). It has a structure.
[0030]
In the image pickup apparatus of the first embodiment, the sequential scanning drive circuit 103 outputs two horizontal signals (not shown) that output pixel signals generated by photodiodes (photoelectric conversion elements) (not shown) constituting the single-plate CCD element 101. When allocating to the transfer path, an odd-numbered column is assigned to the first horizontal transfer path 202a and an even-numbered column is assigned to the second horizontal transfer path 202b. By performing such allocation, it is possible to continuously output pixel signals generated by photodiodes in which filters of the same color are arranged from the two horizontal transfer paths. Further, the sequential scanning drive circuit 103 is configured to control the gain of the gain switching circuit 102 so as to change for each pixel signal of each color. The details of the pixel signal readout operation will be described later.
[0031]
As described above, since the pixel signals output from the single-plate CCD element 101 of the first embodiment are sequentially output from the two horizontal transfer paths, the drive frequency of each horizontal transfer path is increased. Therefore, it is possible to read out pixel signals at high speed. As a result, it is possible to prevent the signal charge transfer efficiency from being lowered.
[0032]
In the imaging device of Embodiment 1, pixel signals generated by photodiodes (photoelectric conversion elements) are sequentially output from two horizontal transfer paths in one horizontal scanning period, that is, the same. Since the pixel signals generated by the photodiodes in which the color filters are arranged are successively output from the two horizontal transfer paths, the speed required for switching the amplification factor in the gain switching circuit 102 is increased. Can be reduced. As a result, an inexpensive amplifier can be used for the gain switching circuit 102.
[0033]
FIG. 2 is a diagram for explaining the operation of the imaging apparatus according to the first embodiment. The pixel signal readout operation in the imaging apparatus according to the first embodiment shown in FIG. 1 will be described below with reference to FIG. However, in the following description, a case where a single-chip CCD device 101 is a CCD solid-state imaging device of a frame interline transfer (FIT) method will be described. However, an interline transfer (IT) method or a frame transfer (FT) method is used. Needless to say, the present invention can also be applied to a CCD solid-state imaging device such as the above.
[0034]
In FIG. 2, 201 denotes a storage unit, 202a denotes a first horizontal transfer CCD, 202b denotes a second horizontal transfer CCD, 203a denotes a first read amplifier, and 203b denotes a second read amplifier. However, the storage unit 201 shown in FIG. 2 shows a part of the storage unit included in the single-plate CCD element of the first embodiment. In the following description, the lower left CCD of the storage unit 201 shown in FIG. Based on the element. 2, R, G, and B indicate pixel signals corresponding to a red filter, G represents a pixel signal corresponding to a green filter, and B represents a pixel signal corresponding to a blue filter.
[0035]
As shown in FIG. 2, since the imaging apparatus according to the first embodiment has a configuration using a Bayer primary color filter, the pixel signals transferred to the storage unit 201 are also arranged in a checkered pattern. . That is, a green filter indicated by G, which is a main component of a luminance signal requiring high resolution, is arranged in a checkered pattern, and a blue filter indicated by B, which is another color, and a red filter indicated by R, Since each of the portions is arranged in a checkered pattern, the pixel signal transferred to the storage unit 201 is also arranged in a checkered pattern with the pixel signal indicated by G, and the pixel signal indicated by B, which is another color, and R Are stored in a checkered pattern in the remaining portions.
[0036]
First, when a pixel signal is transferred to the storage unit 201 by sequential scanning from a photodiode (not shown) via a vertical transfer CCD (not shown) based on a transfer instruction from the sequential scanning drive circuit 103, as shown in FIG. The pixel signals are accumulated in the same array as the filter array. Needless to say, the pixel signal transfer from the photodiode to the storage unit 201 may not be synchronized with the first and second horizontal transfer paths 202a and 202b.
[0037]
When the transfer of the pixel signal to the storage unit 201 is completed, the pixel signal is then transferred from the storage unit 201 to the first and second horizontal transfer paths 202a and 202b based on the control signal from the sequential scanning drive circuit 103. In the transfer, that is, the transfer of the pixel signals in the first row (G11, R11, G12, R12...), The pixel signals in the odd-numbered columns are transferred to the first horizontal transfer path 202a, and are even-numbered. The pixel signals in this column are transferred to the second horizontal transfer path 202b.
[0038]
Thereafter, the pixel signals transferred to the first and second horizontal transfer paths 202a and 202b are respectively read out in at least one horizontal scanning period based on the control signal for horizontal transfer driving from the sequential scanning drive circuit 103. It is.
[0039]
That is, in the transfer of the first row (odd row), green filters such as G11, G12,... Are sequentially arranged on the first horizontal transfer path 202a from the first read amplifier 203a side. A pixel signal from the arranged photodiode is transferred from the storage unit 201. On the other hand, in the second horizontal transfer path 202b, pixel signals from photodiodes in which red filters are arranged, such as R11, R12,..., Are accumulated in order from the second readout amplifier 203b side. Transferred from the unit 201. Therefore, in reading out the pixel signals in the first row, the pixel signals (G11, G12,...) Stored in the first horizontal transfer path 202a are amplified and output by the first readout amplifier 203a. The pixel signals (R11, R12,...) Stored in the second horizontal transfer path 202b are amplified by the second readout amplifier 203b and output.
[0040]
When the horizontal transfer (reading) of the pixel signals from the first and second horizontal transfer paths 202a and 202b is completed, the second row (B11, G′11, B12, G′12...) The transfer of the pixel signal is controlled. Also in the transfer of the pixel signals in the second row, the pixel signals in the odd-numbered columns are transferred to the first horizontal transfer path 202a in the same manner as the transfer of the pixel signals in the first row. The pixel signals in the second column are transferred to the second horizontal transfer path 202b. After this transfer, the pixel signals transferred to the first and second horizontal transfer paths 202a and 202b are read out in the same manner as the pixel signals in the first row.
[0041]
That is, in the transfer of the second row (even-numbered row), blue filters such as B11, B12,... Are sequentially provided in the first horizontal transfer path 202a from the first read amplifier 203a side. A pixel signal from the photodiode in which is placed is transferred from the storage unit 201. On the other hand, in the second horizontal transfer path 202b, pixels from the photodiode in which green filters are arranged in order from the second readout amplifier 203b side, such as G′11, G′12,. A signal is transferred from the storage unit 201. Therefore, in reading out the pixel signals in the second row, the pixel signals (B11, B12,...) Stored in the first horizontal transfer path 202a are amplified and output by the first readout amplifier 203a. The pixel signals (G′11, G′12,...) Stored in the second horizontal transfer path 202b are amplified by the second readout amplifier 203b and output.
[0042]
In the next transfer of pixel signals in the third row (G21, R21, G22, R22...), Pixels in odd-numbered columns (columns) are transferred in the same manner as the transfer of pixel signals in the first row. The signal is transferred to the first horizontal transfer path 202a, and the pixel signals in the even-numbered columns are transferred to the second horizontal transfer path 202b. After this transfer, the pixel signals transferred to the first and second horizontal transfer paths 202a and 202b are read out in the same manner as the pixel signals in the first row.
[0043]
That is, in the transfer of the third row (even-numbered row), green filters such as G21, G22,... Are sequentially provided in the first horizontal transfer path 202a from the first read amplifier 203a side. The pixel signal from the photodiode in which is placed is transferred from the storage unit 201. On the other hand, in the second horizontal transfer path 202b, pixel signals from photodiodes in which red filters are arranged, such as R21, R22,..., Are accumulated in order from the second readout amplifier 203b side. Transferred from the unit 201. Therefore, in the readout of the pixel signals in the third row, the pixel signals (G21, G22,...) Stored in the first horizontal transfer path 202a are amplified and output by the first readout amplifier 203a. The pixel signals (R21, R22,...) Stored in the second horizontal transfer path 202b are amplified by the second readout amplifier 203b and output.
[0044]
In the readout of the pixel signals from the fourth row onward, the first and second horizontal transfer paths 202a and 202b are connected in a single horizontal transfer period (one horizontal scanning period) in the same manner as the transfer described above. Pixel signals of the same color channel are read out.
[0045]
As a result, the order of the pixel signals read from the first and second horizontal transfer paths 202a and 202b and the first and second read amplifiers 203a and 203b is as follows.
[0046]
First horizontal transfer CCD and first readout amplifier: G11, G12, G13,..., B11, B12, B13,.
Second horizontal transfer CCD and second readout amplifier: R11, R12, R13,..., G′11, G′12, G′13,.
As described above, in the imaging apparatus according to the first embodiment, continuous pixel signals are obtained by being divided into color channels for each row (one horizontal scanning period = 1H) of the single-plate CCD element 101. In the above description, the case of a color filter having a primary color Bayer array as a color filter has been described. However, the present invention is not limited to this, and other single-plate color image pickup devices having the same color array every two horizontal pixels are used. Even when used, the same effect can be obtained. Furthermore, as a color filter system, the same number of parallel color filters as the number of color filters in the horizontal scanning direction is used even in the case of other complementary color filters for a single television color plate or primary color (RGB) vertical stripe filter. By providing a number of horizontal transfer paths, it is possible to output signals of different color channels for each pixel as described above, and it goes without saying that it can be applied to the present invention.
[0047]
In particular, in the conventional imaging device, when sufficient transfer efficiency cannot be obtained in the horizontal transfer path (horizontal transfer CCD), signal charges before and after may be mixed in the horizontal transfer path. At this time, in the case of a configuration in which a signal of a different color channel is output for each pixel, the signal charges before and after are mixed to mix each color signal, and signal processing after output from the readout amplifier is performed. Sometimes the separation performance of the color signal fell.
[0048]
However, in the imaging apparatus according to the first embodiment, a continuous pixel signal is transferred by being divided into color channels in the first and second horizontal transfer paths 202a and 202b. Even if the image quality is not obtained, the horizontal resolution is reduced in the same manner as in the method other than the present invention, but it is possible to prevent the color signal separation performance from being deteriorated. Can do.
[0049]
That is, the pixel signals for one horizontal scanning line read from the photodiode (imaging device) are converted in series so as to match the number of colors of the color filters arranged in the horizontal scanning line direction of the single-chip CCD element 101. First and second horizontal transfer paths 202a and 202b are provided, and the pixel signals sequentially read by the scanning drive circuit 103 are classified into pixel signals for the same color filter, and the signal charges of the same color are respectively supplied to the first and second horizontal transfer paths 202a and 202b. By transferring the pixel signals to the first and second horizontal transfer paths 202a and 202b, it is possible to continuously read out pixel signals for the same color filter from the first and second horizontal transfer paths 202a and 202b. It is possible to improve color separation characteristics when reading pixel signals from the plate CCD element 101 by sequential scanning.
[0050]
FIG. 3 is a diagram for explaining a schematic configuration of the gain switching circuit according to the first embodiment. 3A is a diagram for explaining the schematic configuration of the first gain switching circuit, and FIG. 3B is a diagram for explaining the schematic configuration of the second gain switching circuit. is there.
[0051]
In FIG. 3, 301 is a first amplifier, 302 is a second amplifier, 303 is a changeover switch, 304 is a third amplifier, 305 is a feedback resistor, and 306 is a volume (VR).
[0052]
As is clear from FIG. 3A, the first gain switching circuit 102 includes luminance information, so that an amplification factor corresponding to the green channel having a relatively large pixel signal intensity (accumulated charge amount) is set. A first amplifier 301 made up of a known amplifier, a second amplifier 302 made up of a known amplifier set with an amplification factor corresponding to the red and blue channels whose pixel signal intensity is lower than that of the green channel, and a sequential scanning drive circuit Based on the switching control signal from 103, the switch 303 is formed of a known switching element that selectively outputs either the output of the first amplifier 301 or the output of the second amplifier 302.
[0053]
As described above, in the first gain switching circuit, when the pixel signal output from the single-plate CCD element 101 is input from the input terminal, the first amplifier 301 connected to the input terminal and the second amplifier are connected. 302 amplify the input signal at the amplification factor set for each. At this time, the switching control signal input from the switching input is a control signal indicating whether the pixel signal input from the input terminal is for the green channel or other red and blue channels. Therefore, the first gain switching circuit 102 that operates based on the switching control signal selects the output of the first amplifier 301 or the output of the second amplifier 302 and outputs it from the output terminal. It is possible to perform A / D conversion that effectively utilizes the number of quantization bits of the ADC 105 connected to the subsequent stage of the one gain switching circuit 102. That is, the dynamic range of the digital signal output from the ADC 105 can be increased. At this time, since the color channel of the pixel signal input from the input terminal changes every horizontal period, the switching cycle also becomes every horizontal scanning period, and the number of pixels needs to be increased and the pixel signal needs to be read out at high speed. Even in such a case, a sufficient switching operation can be performed.
[0054]
As is apparent from FIG. 3B, the second gain switching circuit 102 includes a third amplifier 304 made of a known operational amplifier, a feedback resistor 305 for negative feedback, and a control input from a switching input terminal. The pixel signal input from the input terminal is variably amplified with an amplification factor determined by the resistance value r of the feedback resistor 305 and the resistance value of the volume 306. It is the composition to do.
[0055]
At this time, the control signal input from the switching input is a control signal indicating whether the pixel signal input from the input terminal is for the green channel or other red and blue channels. Therefore, the second gain switching circuit 102 that operates based on the switching control signal amplifies the pixel signal with an amplification factor corresponding to the color channel of the pixel signal input from the input terminal and outputs the amplified pixel signal. It is possible to perform A / D conversion that effectively utilizes the number of quantization bits of the ADC 105 connected to the subsequent stage of the gain switching circuit 102. That is, the dynamic range of the digital signal output from the ADC 105 can be increased. At this time, since the color channel of the pixel signal input from the input terminal changes every horizontal period, the switching cycle of the amplification factor is also every horizontal scanning period, and the number of pixels increases and is read at high speed. Even if necessary, the amplification factor can be sufficiently switched stably.
[0056]
Although the signal intensity differs for each color channel, a three-plate camera or the like has a configuration in which each color signal is obtained from each CCD element, or has a signal processing circuit for each CCD element. ing. For this reason, in a three-plate camera or the like, it is possible to perform A / D conversion suitable for the signal intensity of the color channel by setting an amplifier gain (amplification factor) optimally for each CCD element. It was possible to effectively use the dynamic range.
[0057]
On the other hand, a camera using the single-plate CCD element 101 is configured to output a plurality of color channel signals from one CCD element. If signals having such different intensities are directly input to the ADC, gain adjustment must be performed in accordance with the maximum intensity signal so that the ADC input is not saturated. There was a problem that the number of quantization bits of the converter would be insufficient.
[0058]
As a method for solving this problem, there is a method in which the signal output from the single-chip CCD element 101 is divided into color channels for each pixel and each is processed using a separate signal processing circuit. Had to be switched with an analog switch. As another method, there is a method of switching the amplifier gain for each pixel in accordance with the color channel of the output signal from the single-plate image sensor. However, when these methods are used, it is necessary to switch the amplifier gain and the analog switch accurately at high speed in a high-resolution imaging device, which is very difficult.
[0059]
In the gain switching circuit 102 according to the first embodiment, two amplification factors of green and other blue and red are used. However, the present invention is not limited to this, and 3 gains corresponding to pixel signals of the respective colors. Needless to say, two amplification factors may be set.
[0060]
(Embodiment 2)
FIG. 4 is a diagram for explaining a schematic configuration of the imaging apparatus according to the second embodiment of the present invention. However, the imaging apparatus according to the second embodiment is different from the first embodiment only in the configuration of the single-plate CCD element 101, and the other configurations are the same as those in the first embodiment. Therefore, in the following description, only the configuration of the single-plate CCD element and its reading operation will be described in detail.
[0061]
In FIG. 4, 401 denotes a pixel, 402 denotes a vertical transfer CCD (vertical transfer path), 403 denotes a light receiving unit, and 404 denotes a storage unit.
[0062]
The imaging apparatus shown in FIG. 4 is a so-called M-FIT driving type imaging apparatus. In this M-FIT driving type imaging apparatus, pixel signals generated by the photodiodes of the pixels 401 are read out and stored in the vertical transfer CCD 402. In this case, all pixels of the light receiving unit 403 are read out by dividing the pixel signals of the odd-numbered and even-numbered columns (columns) twice when transferring to the unit 404 (also referred to as a frame memory unit). is there. Specifically, the FIT transfer is performed twice within the vertical blanking period of one frame period, and the first time, the pixel signal charges in the odd-numbered columns are read to the vertical transfer CCD 402 and then transferred to the storage unit 404. Next, the accumulated charges of the pixel signals in the even-numbered columns are read out to the vertical transfer CCD 402 and then transferred to the accumulation unit 404 by FIT transfer. The pixel signal charges in the odd-numbered and even-numbered columns stored in the storage unit 404 are the first and second horizontal transfer CCDs 202a and 202b that become horizontal transfer paths according to the timing required during the video period. And output from the first and second read amplifiers 203a and 203b. Note that pixel signal transfer from the storage unit 404 to the first and second horizontal transfer CCDs 202a and 202b is the same as in the first embodiment, and thus detailed description thereof is omitted.
[0063]
Here, as shown in FIG. 4, when attention is paid to one pixel in the horizontal direction, the light receiving unit 403 is arranged in the order of the pixels arranged in the vertical direction from the bottom in the order of G11, B11, G21, B21,. On the other hand, the arrangement order of the pixels in the storage unit 404 is G11, G21,..., B11, B21,.
[0064]
As a result, as shown in FIG. 4, the order of the pixels output from the read amplifier unit is determined by G11, G12, G13,... During the period corresponding to the first field of the video period from the first read amplifier 203a. .., G21, G22, G23,... And B11, B12, B13,..., B21, B22, B23,. Similarly, the second read amplifier 203b outputs in the order of R11, R12, R13,..., R21, R22, R23,. Are output in the order of G′11, G′12, G′13,..., G′21, G′22, G′23.
[0065]
As described above, also in the image pickup apparatus of the second embodiment, the pixel signals are sequentially output from the first and second horizontal transfer CCDs 202a and 202b constituting the two horizontal transfer paths. It is possible to obtain the same effect as that of the imaging apparatus of the first embodiment.
[0066]
In the image pickup apparatus of the second embodiment, the case of a color filter having a primary color Bayer array as the color filter has been described. However, as in the first embodiment, single-plate color image pickup having the same color array for every two horizontal pixels. It goes without saying that the present invention can be applied even when elements, complementary color filters, or primary color (RGB) vertical stripe filters are used.
[0067]
(Embodiment 3)
FIG. 5 is a diagram for explaining a pixel signal transfer operation in the image pickup apparatus according to Embodiment 3 of the present invention. In particular, FIG. 5A is a diagram for explaining the pixel signal transfer operation for even lines, and FIG. 5B is a diagram for explaining the pixel signal transfer operation for odd lines.
[0068]
However, the imaging apparatus according to the third embodiment is different from the first embodiment only in the pixel signal transfer procedure from the storage unit to the horizontal transfer path in the single-plate CCD element 101 and the configuration of the gain switching circuit 102. Same as 1. Therefore, in the following description, only the pixel signal reading operation in the single-plate CCD element 101 will be described in detail. Further, the storage unit 201 shown in FIG. 5 shows a part of the storage unit included in the single-plate CCD element 101 as in the first embodiment. In the following description, the storage unit 201 shown in FIG. The lower left CCD element is used as a reference.
[0069]
Note that the pixel signal readout operation in the imaging device of Embodiment 3 is performed when the position of the pixel signal stored in the storage unit 201 is an odd number immediately after the transfer of the pixel signal from the photodiode to the storage unit 201 is completed. Depending on whether it is a row or an even-numbered row, the read operation described below is performed. However, the operation described below is a read operation based on the green filter array, which is a characteristic of the filter array when the color filter included in the single-plate CCD element 101 is the Bayer system. Therefore, when using another type of color filter, the same effect as in the first embodiment can be obtained by performing the pixel signal transfer operation from the storage unit 201 to each horizontal transfer path with the green filter as a reference. Needless to say.
[0070]
First, when a pixel signal is transferred to the storage unit 201 by sequential scanning from a photodiode via a vertical transfer CCD (not shown) based on a transfer instruction from the sequential scanning drive circuit 103, as shown in FIG. The pixel signals are accumulated in the same array as the filter array.
[0071]
When the transfer of the pixel signal to the storage unit 201 is completed, the pixel signal is then transferred from the storage unit 201 to the first and second horizontal transfer paths 202a and 202b based on the control signal from the sequential scanning drive circuit 103. Transfer starts. Hereinafter, a reading operation in the case where the pixel signal immediately after the transfer of the pixel signal from the photodiode to the accumulation unit 201 is the even-numbered row and the odd-numbered row will be described.
[0072]
As shown in FIG. 5A, in the transfer of pixel signals in the second row (B11, G′11, B12, G′12, B13, G′13,...) As even rows, odd numbers are used. The pixel signals in the first column (column) are transferred to the first horizontal transfer path 202a, and the pixel signals in the even-numbered column (column) are transferred to the second horizontal transfer path 202b. Here, the pixel signals transferred to the first and second horizontal transfer paths 202 a and 202 b are respectively read out in at least one horizontal scanning period based on a control signal for horizontal transfer driving from the sequential scanning drive circuit 103. It is.
[0073]
As described above, in the transfer of the second row (even-numbered row), B11, B12, B13,... In order from the first read amplifier 203a side to the first horizontal transfer path 202a. A pixel signal from the photodiode in which the blue filter is arranged is transferred from the storage unit 201. On the other hand, the second horizontal transfer path 202b is a photo in which green filters are arranged in order from the second readout amplifier 203b side, such as G′11, G′12, G′13,. A pixel signal from the diode is transferred from the storage unit 201. Therefore, in the readout of the pixel signals in the second row, which is an even row, the pixel signals (B11, B12, B13,...) Stored in the first horizontal transfer path 202a are output by the first readout amplifier 203a. The pixel signals (G′11, G′12, G′13,...) Stored in the second horizontal transfer path 202b are amplified and output by the second readout amplifier 203b. Is done.
[0074]
When the horizontal transfer (reading) of the pixel signals from the first and second horizontal transfer paths 202a and 202b is completed, the third row (G21, R21, G22, R22, G23, R23) which is an odd row is next. ,...) Is controlled. In the transfer of the pixel signal of the third row, which is the odd row, the pixel signal of the odd-numbered column (column) is transferred to the second horizontal transfer path 202b, and the pixel signal of the even-numbered column (column) is It is transferred to the first horizontal transfer path 202a. After this transfer, the pixel signals transferred to the first and second horizontal transfer paths 202a and 202b are read out in the same manner as described above.
[0075]
That is, in the transfer of the third row which is an odd-numbered row, the red color of R21, R22, R23,... In order from the first read amplifier 203a side to the first horizontal transfer path 202a. A pixel signal from the photodiode in which the filter is arranged is transferred from the storage unit 201. On the other hand, in the second horizontal transfer path 202b, pixel signals from photodiodes in which green filters are arranged, such as G21, G22, G23,... In order from the second readout amplifier 203b side. , Transferred from the storage unit 201. As a result, in reading out the pixel signals in the third row, which is an odd row, the pixel signals (R21, R22, R23,...) Stored in the first horizontal transfer path 202a are converted into the first readout amplifier 203a. The pixel signals (G21, G22, G23,...) Stored in the second horizontal transfer path 202b are amplified and output by the second readout amplifier 203b.
[0076]
Also in the readout of the pixel signals from the first row and the fourth row, the first and second horizontal transfer paths 202a, 202a, 202d, in the series of horizontal transfer periods (one horizontal scanning period) are performed in the same manner as the transfer described above. From 202b, pixel signals of the same color channel are read out.
[0077]
As a result, the order of the pixel signals read from the first and second horizontal transfer paths 202a and 202b and the first and second read amplifiers 203a and 203b is as follows.
[0078]
First horizontal transfer CCD and first readout amplifier: R11, R12, R13, ..., B11, B12, B13, ..., R21, R22, R23, ...
Second horizontal transfer CCD and second readout amplifier: G11, G12, G13, ..., G'11, G'12, G'13, ... G21, G22, G23, ...
As described above, in the imaging apparatus according to the third embodiment, the pixel signal that is divided into color channels for each row (one horizontal scanning period = 1H) of the single-plate CCD element 101 from the first horizontal transfer path 202a is continuous. And a green channel pixel signal is continuously obtained from the second horizontal transfer path 202b.
[0079]
Therefore, in the gain switching circuit 102 according to the third embodiment, for example, a fixed amplification factor amplifier that amplifies the pixel signal output from the second horizontal transfer path 202b and the first horizontal transfer path 202a. By providing an amplifier having a fixed amplification factor for amplifying the pixel signal, amplification according to the signal intensity of the pixel signal of the green channel and the pixel signals of the blue and red channels which are pixel signals of other colors can be easily performed. This can be realized with a configuration. Note that the amplification factor may be different for pixel signals of the blue and red channels.
[0080]
The pixel signal amplified by the gain switching circuit 102 is input to the ADC 105 connected to the subsequent stage of the gain switching circuit 102, and A / D conversion is performed effectively using the number of quantization bits. The same effect as 1 can be obtained.
[0081]
In the image pickup apparatus of Embodiment 3, the pixel signal from the green channel is transferred to the second horizontal transfer path 202b. However, the present invention is not limited to this, and the pixel signal from the green channel is transferred to the second horizontal transfer path 202b. Needless to say, a configuration may be adopted in which the pixel signals from the red and blue channels are transferred to the second horizontal transfer path 202b and transferred to the second horizontal transfer path 202b.
[0082]
(Embodiment 4)
FIG. 6 is a diagram for explaining a schematic configuration of the imaging apparatus according to the fourth embodiment of the present invention. However, the imaging apparatus according to the fourth embodiment is a so-called XY address type imaging apparatus that includes a row selection switch and a column selection switch, and connects a pixel and an output terminal by opening and closing thereof to output a video signal. It is a CMOS type imaging device which is a form.
[0083]
In FIG. 6, reference numeral 601 denotes an image sensor light receiving unit, 602 denotes a vertical scanning unit, 603 denotes a horizontal scanning unit, 604a denotes a first output terminal, and 604b denotes a second output terminal. Here, it goes without saying that the imaging element light receiving unit 601 may be a so-called amplification type CMOS imaging device incorporating an amplifier.
[0084]
As shown in FIG. 6, the imaging apparatus of the fourth embodiment includes an imaging element light receiving unit 601 composed of imaging pixels including a photodiode, a charge-voltage conversion circuit, an amplifier, an output gate, and the like (not shown), and a predetermined scanning line. The vertical scanning unit 602 that performs control for reading out pixel signals from all the pixels in the pixel and the pixel signal for one scanning line are converted in series and either from the first output terminal 604a or the second output terminal 604b. And a horizontal scanning unit 603 for outputting.
[0085]
In addition, the imaging apparatus according to the fourth embodiment is a so-called 2-channel readout CMOS type imaging apparatus in which output terminals are doubled and parallel readout is possible for every two horizontal pixels. In particular, the imaging apparatus according to the fourth embodiment has a configuration using a known Bayer type (Bayer array) primary color filter, as in the first embodiment described above, and pixel signals are read out in a known sequential manner. Since the scanning method (non-interlace method) is used for reading, pixel signals of two different colors are read when reading pixel signals for one scanning line. Therefore, also in the imaging apparatus of Embodiment 4, the horizontal scanning unit 603 is configured to have two output terminals so that parallel reading can be performed for every two horizontal pixels.
[0086]
In the imaging device of Embodiment 4, the horizontal scanning unit 603 assigns odd-numbered columns (columns) to the first when assigning pixel signals from the respective imaging pixels to the first and second output terminals 604a and 604b. The output terminal 604a is assigned an even-numbered column to the second output terminal 604b. By performing such assignment, pixel signals generated by photodiodes in which filters of the same color are arranged can be continuously output from the two output terminals 604a and 604b.
[0087]
As described above, in the imaging apparatus according to the fourth embodiment, pixel signals are sequentially output from the two output terminals 604a and 604b, so that the column selection switch and the driving frequency provided in each horizontal scanning unit 603 are increased in speed. Thus, high-speed pixel signal reading can be performed. As a result, it is possible to prevent the signal charge transfer efficiency from decreasing, and to suppress the frequency band of the signals output from the output terminals 604a and 604b.
[0088]
In the imaging device of Embodiment 4, pixel signals generated by photodiodes are sequentially output from the two output terminals 604a and 604b, that is, a photo in which filters of the same color are arranged. Since the pixel signal generated by the diode is continuously output from the two output terminals 604a and 604b, a gain switching circuit is required after each output terminal. In addition, the speed required for switching the gain in the gain switching circuit can be reduced. As a result, an inexpensive amplifier can be used for the gain switching circuit.
[0089]
Next, a pixel signal transfer operation in the imaging apparatus according to the fourth embodiment will be described with reference to FIG.
[0090]
First, the accumulated charge is converted into a pixel signal by a charge-voltage conversion circuit, then amplified by an amplifier, and based on a read instruction from the vertical scanning unit 602, pixel signals are read in parallel and sequentially from the first scanning line. Output to the horizontal scanning unit 603 in parallel.
[0091]
In the horizontal scanning unit 603 to which the pixel signal is input, the pixel signal of the odd-numbered column (column) is connected to the first output terminal 604a via a multiplexer (not shown), and the pixel signal of the even-numbered column (column) is It is connected to the second output terminal 604b through a multiplexer (not shown). Accordingly, the pixel signals of the odd-numbered columns (columns) are sequentially output from the first output terminal 604a, and the pixel signals of the even-numbered columns (columns) are sequentially output from the second output terminal 604b. It will be.
[0092]
For example, in reading of the first scanning line, pixel signals of G11, R11, G12, R12,... That are pixels on the first scanning line are simultaneously read and output to the horizontal scanning unit 603. At this time, the pixel signals (G11, G12,...) In the odd-numbered columns (columns) are connected to the first output terminal 604a through the multiplexers, and the pixel signals (R11, G) in the even-numbered columns (columns). R12,... Are connected to the second output terminal 604b through a multiplexer.
[0093]
Therefore, when the output of the pixel signal is started from the horizontal scanning unit 603, the multiplexers of the output terminals 604a and 604b are closed in order, and the pixel signal (G11, G12,...) Is output from the first output terminal 604a. Are sequentially output, and pixel signals (R11, R12,...) Are sequentially output from the second output terminal 604b.
[0094]
When the reading of the first scanning line is completed, reading of the next second scanning line is started, and first, B11, G′11, B12, G′12,... That are the pixels on the second scanning line. Are simultaneously read out and output to the horizontal scanning unit 603. At this time, the pixel signals (B11, B12,...) In the odd-numbered columns (columns) are connected to the first output terminal 604a via the multiplexers, and the pixel signals (G ′) in the even-numbered columns (columns). 11, G′12,... Are connected to the second output terminal 604b via a multiplexer.
[0095]
Therefore, when the output of the pixel signal from the horizontal scanning unit 603 is started, the multiplexers of the output terminals 604a and 604b are closed in order, and the pixel signal (B11, B12,...) Is output from the first output terminal 604a. ) In order, and pixel signals (G′11, G′12,...) Are output in order from the second output terminal 604b.
[0096]
Thereafter, the above operation is repeated until the output of the pixel signals of all the scanning lines is completed.
[0097]
As a result, the order of the pixel signals output from the first and second output terminals 604a and 604b is as follows.
[0098]
First output terminal: G11, G12, G13,..., B11, B12, B13,.
Second output terminals: R11, R12, R13,..., G′11, G′12, G′13,.
As described above, in the imaging apparatus according to the fourth embodiment, a continuous pixel signal is obtained by being divided into color channels for each scanning line (one horizontal scanning period = 1H) of the imaging element light receiving unit 601. In the above description, the case of a color filter having a primary color Bayer array as a color filter has been described. However, the present invention is not limited to this, and other single-plate color image pickup devices having the same color array every two horizontal pixels are used. Even when used, the same effect can be obtained. Furthermore, as a color filter system, even in the case of other complementary color filters for general television single plate color, primary color (RGB) vertical stripe filter, etc., different color channels are used for each pixel as described above. Since a signal can be output, it goes without saying that the present invention can be applied.
[0099]
In the imaging apparatus of the fourth embodiment, since the horizontal scanning unit is configured to transfer continuous pixel signals divided into color channels, the pixel signal read frequency (drive frequency) is increased. However, it is possible to prevent the color signal separation performance from deteriorating.
[0100]
In the imaging apparatuses of Embodiments 1 to 4, the case of the single-plate CCD element 101 that transfers the pixel signal to the second horizontal transfer path 202b via the first horizontal transfer path 202a has been described. Needless to say, the present invention can be applied to a single-plate CCD element that can transfer a pixel signal directly from the storage unit 201 to the second horizontal transfer path 202b.
[0101]
The invention made by the present inventor has been specifically described based on the embodiment of the invention, but the invention is not limited to the embodiment of the invention and does not depart from the gist of the invention. Of course, various changes can be made.
[0102]
【The invention's effect】
The effects obtained by the representative ones of the inventions disclosed in the present application will be briefly described as follows.
[0103]
(1) Since pixel signals for each color filter of the same color can be read continuously, it is possible to improve color separation characteristics when reading pixel signals from an imaging device by sequential scanning.
[0104]
(2) Since the pixel signal is read out from at least two serial conversion means, the reading speed of the color signal from the reading amplifier when driving sequentially from the imaging device can be reduced.
[0105]
(3) By using a Bayer array primary color filter as the color filter, it can be constituted by two serial conversion means, so that the configuration of the imaging apparatus can be simplified.
[0106]
(4) It is possible to reduce the switching operation frequency of the amplification factor of the amplifier necessary for effectively using the dynamic range of the ADC when converting the pixel signal into the digital signal in the television camera.
[0107]
(5) Since the operating frequency for switching the amplification factor in the amplifier can be reduced, an inexpensive amplifier can be used.
[0108]
(6) Using a Bayer array primary color filter as a color filter, assigning a green pixel signal to one serial conversion means and assigning blue and red pixel signals to the other serial conversion means, a fixed gain amplifier Can be used.
[0109]
(7) Since a fixed gain amplifier can be used, the TV camera can be reduced in size and weight.
[Brief description of the drawings]
FIG. 1 is a diagram for explaining a schematic configuration of a television camera using an imaging device according to Embodiment 1 of the present invention.
FIG. 2 is a diagram for explaining the operation of the imaging apparatus according to the first embodiment.
FIG. 3 is a diagram for explaining a schematic configuration of a gain switching circuit according to the first embodiment;
FIG. 4 is a diagram for illustrating a schematic configuration of an imaging apparatus according to a second embodiment of the present invention.
FIG. 5 is a diagram for explaining a pixel signal transfer operation in an imaging apparatus according to Embodiment 3 of the present invention;
FIG. 6 is a diagram for explaining a schematic configuration of an imaging apparatus according to a fourth embodiment of the present invention.
[Explanation of symbols]
101 ... Single-plate CCD element 102 ... Gain switching circuit
DESCRIPTION OF SYMBOLS 103 ... Sequential scanning drive circuit 104 ... Signal processing apparatus
105... ADC 106... Frame memory / signal processor
107 ... DAC
201: Accumulator 202a: First horizontal transfer CCD
202b ... second horizontal transfer CCD 203a ... first readout amplifier
203b second read amplifier
301 ... first amplifier 302 ... second amplifier
303 ... changeover switch 304 ... third amplifier
305 ... Return resistance 306 ... Volume (VR)
401: Pixel 402 ... Vertical transfer CCD
403 ... Light receiving unit 404 ... Storage unit
601: Image sensor light receiving unit 602: Vertical scanning unit
603: Horizontal scanning unit 604a: First output terminal
604b ... second output terminal

Claims (2)

行方向及び列方向に配列される変換素子に色フィルタを配列した撮像装置と、前記撮像装置から読み出された画素信号を増幅する手段とを有するテレビカメラにおいて、
前記撮像装置は、前記変換素子から読み出された1行分の画素信号を直列に変換するための前記1行分の色フィルタの色数と同数の直列変換手段と、前記読み出された画素信号を同一色の色フィルタ毎の画素信号に分類し、同一色の信号電荷をそれぞれ前記直列変換手段に割り当てる制御手段とを備え
前記増幅する手段は、異なる増幅率の2以上のアンプ、または、増幅率が可変なアンプからなり、前記直列変換手段から出力される1行分の画素信号毎に、前記異なる増幅率の2以上のアンプのいずれかを選択して出力する、または、前記増幅率が可変なアンプの増幅率を切り替えて出力することを特徴とするテレビカメラ。
In a television camera having an imaging device in which color filters are arranged in conversion elements arranged in a row direction and a column direction, and means for amplifying a pixel signal read from the imaging device,
The imaging device includes serial conversion means of the same number as the number of colors of the color filter for one row for serially converting pixel signals for one row read from the conversion element, and the read pixels Control means for classifying the signals into pixel signals for each color filter of the same color, and assigning signal charges of the same color to the serial conversion means, respectively ,
The amplifying means includes two or more amplifiers having different amplification factors or amplifiers having variable amplification factors, and each of the pixel signals for one row output from the serial conversion unit has two or more different amplification factors. A television camera , wherein any one of the amplifiers is selected and output, or the amplification factor of the amplifier having a variable amplification factor is switched and output .
行方向及び列方向に配列される変換素子に色フィルタが配列された撮像装置と、前記増幅装置から読み出された画素信号を増幅する手段とを有するテレビカメラにおける画素信号の読み出し方法であって、
前記撮像装置は、前記変換素子の1行分毎に画素信号を読み出すステップと、前記読み出された画素信号を同一色の色フィルタ毎の画素信号に分類するステップと、前記分類された画素信号を前記撮像素子の前記1行分の色フィルタの色数と同数の直列変換手段にそれぞれ割り当てるステップと、前記直列変換手段からそれぞれ同一色の色フィルタ毎の画素信号を連続して直列に読み出すステップとを有し、
前記増幅する手段は、異なる増幅率の2以上のアンプ、または、増幅率が可変なアンプからなり、前記直列変換手段から出力される1行分の画素信号毎に、前記異なる増幅率の2以上のアンプのいずれかを選択して出力する、または、前記増幅率が可変なアンプの増幅率を切り替えて出力することを特徴とする画素信号の読み出し方法。
A pixel signal reading method in a television camera, comprising: an imaging device in which color filters are arranged in conversion elements arranged in a row direction and a column direction; and means for amplifying the pixel signal read from the amplifying device. ,
The imaging apparatus includes a step of reading a pixel signal for each row of the conversion elements, a step of classifying the read pixel signal into pixel signals for each color filter of the same color, and the classified pixel signal Are assigned to the same number of serial conversion means as the number of colors of the color filters for the one row of the image sensor, and the pixel signals for the respective color filters of the same color are successively read out in series from the serial conversion means. It has a door,
The amplifying means includes two or more amplifiers having different amplification factors or amplifiers having variable amplification factors, and each of the pixel signals for one row output from the serial conversion unit has two or more different amplification factors. A pixel signal readout method comprising: selecting and outputting any one of the amplifiers; or switching and outputting the amplification factor of the amplifier having the variable amplification factor .
JP2003058433A 2003-03-05 2003-03-05 Television camera and pixel signal readout method Expired - Fee Related JP4133455B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003058433A JP4133455B2 (en) 2003-03-05 2003-03-05 Television camera and pixel signal readout method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003058433A JP4133455B2 (en) 2003-03-05 2003-03-05 Television camera and pixel signal readout method

Publications (2)

Publication Number Publication Date
JP2004274132A JP2004274132A (en) 2004-09-30
JP4133455B2 true JP4133455B2 (en) 2008-08-13

Family

ID=33121545

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003058433A Expired - Fee Related JP4133455B2 (en) 2003-03-05 2003-03-05 Television camera and pixel signal readout method

Country Status (1)

Country Link
JP (1) JP4133455B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3739872B1 (en) * 2019-05-17 2022-02-23 Teledyne Innovaciones Microelectrónicas, SLU Cmos optical sensor with a scalable repairing scheme to repair defective readout channels providing a further function of row noise suppression and corresponding row noise suppression method

Also Published As

Publication number Publication date
JP2004274132A (en) 2004-09-30

Similar Documents

Publication Publication Date Title
JP5546257B2 (en) Solid-state imaging device
JP4611296B2 (en) Charge binning image sensor
US6992714B1 (en) Image pickup apparatus having plural pixels arranged two-dimensionally, and selective addition of different pixel color signals to control spatial color arrangement
US7944496B2 (en) Imaging apparatus and driving method for CCD type solid-state imaging device
JP3156503B2 (en) Driving method of solid-state imaging device and signal processing circuit of solid-state imaging device
US8482643B2 (en) Solid-state imaging device including a plurality of pixels and a plurality of signal lines
US8077232B2 (en) Imaging device for adding signals including same color component
JP2015128215A (en) Solid state image pickup device and imaging system using the same
US7692704B2 (en) Imaging apparatus for processing noise signal and photoelectric conversion signal
US8111298B2 (en) Imaging circuit and image pickup device
JP3501682B2 (en) Color imaging apparatus and imaging system using the same
JPWO2007010753A1 (en) Imaging data processing apparatus, imaging data processing method, and imaging device
JP2011061684A (en) Solid-state imaging element and method of driving the same, and imaging device
JP3854662B2 (en) Imaging device
EP1395063A1 (en) Imaging device and signal processing method therefor
JP2006148577A (en) Solid-state imaging apparatus and imaging method
JP2008199403A (en) Imaging apparatus, imaging method and integrated circuit
JP4133455B2 (en) Television camera and pixel signal readout method
JP3501686B2 (en) Color imaging apparatus and imaging system using the same
JP3985275B2 (en) Imaging apparatus and imaging method
JP4146687B2 (en) CCD type solid-state imaging device and camera system using the same
JP2001145025A (en) Solid-state image pickup device and its drive method
JPH05268523A (en) Video camera
JP3948456B2 (en) Solid-state image sensor and control method of solid-state image sensor
JP3660915B2 (en) Imaging apparatus and signal processing method thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050311

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070618

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080501

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080602

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110606

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120606

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120606

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130606

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140606

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees