JP6804488B2 - 光が不十分な環境での連続的なビデオ - Google Patents

Description

関連出願の相互参照
本出願は、２０１２年７月２６日出願の米国仮特許出願第６１／６７６，２８９号、および、２０１３年３月１５日出願の米国仮特許出願第６１／７９０，４８７号の利益を主張するものであり、これらの米国仮特許出願はここに、以降で具体的に現れる部分を含めて、ただしそれらの部分に限定されずに、それらの米国仮特許出願の全体が本明細書に参照により組み込まれており、参照による組み込みは、上記の参照される出願の何らかの部分が本出願と矛盾する場合に、本出願が前記上記の参照される出願に代わることを例外とする。

[0001]技術の進歩が、医療用のためのイメージング性能の進歩をもたらした。最も有益な進歩のいくつかを享受した１つの分野は、内視鏡外科的処置の分野であり、そのことは、内視鏡を編成する構成要素の進歩を理由とする。

本願発明の一実施例は、例えば、光が不十分な環境での連続的なビデオに関する。

[0002]本開示は、一般的には電磁感知およびセンサに関する。本開示はさらに、低エネルギー電磁入力条件および低エネルギー電磁スループット条件に関する。本開示は、より詳細には、ただし必ずしも全体的ではないが、持続時間、強度、または両方によって光源を制御すること、ブランキング期間の間に、成分が制御される光源をパルス処理すること、最適な光を可能にするようにブランキング期間を最大化すること、および、色バランスを維持することを含み得る、光が不十分な環境で画像を生成するためのシステム、ならびに、関連する構造、方法、および特徴に関する。

[0003]本開示の特徴および利点は、次に来る説明で論述されることになり、部分的には説明から明らかになり、または、過度の実験なしに本開示を実施することにより了得され得る。本開示の特徴および利点は、添付される特許請求の範囲で特に指摘される機器および組み合わせによって、実現および獲得され得る。

[0004]本開示の非限定的および非網羅的な実装形態が、以下の図を参照して説明され、類似の参照番号は、別段の指定がない限り様々な図の全体を通して類似の部分を指す。本開示の利点は、以下の説明および付随する図面に関して、より良く理解されることになろう。

[0005]本開示の原理および教示によって作製される、光が不十分な環境で画像を生成する際に使用するために動作中の、対にされたセンサおよび電磁エミッタのシステムの実施形態の概略図である。 [0006]相補的なシステムハードウェアの概略図である。 [0007]本開示の原理および教示による、１つの画像フレームを構築するために使用されるセンサの動作サイクルの例示図である。 [0007]本開示の原理および教示による、１つの画像フレームを構築するために使用されるセンサの動作サイクルの例示図である。 [0007]本開示の原理および教示による、１つの画像フレームを構築するために使用されるセンサの動作サイクルの例示図である。 [0007]本開示の原理および教示による、１つの画像フレームを構築するために使用されるセンサの動作サイクルの例示図である。 [0008]本開示の原理および教示による、電磁エミッタの実施形態の動作のグラフィカル表現図である。 [0009]本開示の原理および教示による、露光制御を提供するために、放出される電磁パルスの持続時間および大きさを変動させることのグラフィカル表現図である。 [0010]本開示の原理および教示による、動作の間のイメージングシステムを論証する、図２Ａ〜図４のセンサ、電磁エミッタの動作サイクル、および放出される電磁パルスを組み合わせる、本開示の実施形態のグラフィカル表現図である。 [0011]本開示の原理および教示による、フルスペクトル光および区分されたスペクトル光に対してビデオのフレームを記録するためのｔ（０）からｔ（１）までの時間の期間にわたる２つの別個のプロセスの概略図を例示する図である。 [0012]本開示の原理および教示による、フルスペクトル光および区分されたスペクトル光の両方に対してビデオのフレームを記録するための時間の間隔にわたるプロセスの概略図を例示する図である。 [0012]本開示の原理および教示による、フルスペクトル光および区分されたスペクトル光の両方に対してビデオのフレームを記録するための時間の間隔にわたるプロセスの概略図を例示する図である。 [0012]本開示の原理および教示による、フルスペクトル光および区分されたスペクトル光の両方に対してビデオのフレームを記録するための時間の間隔にわたるプロセスの概略図を例示する図である。 [0012]本開示の原理および教示による、フルスペクトル光および区分されたスペクトル光の両方に対してビデオのフレームを記録するための時間の間隔にわたるプロセスの概略図を例示する図である。 [0012]本開示の原理および教示による、フルスペクトル光および区分されたスペクトル光の両方に対してビデオのフレームを記録するための時間の間隔にわたるプロセスの概略図を例示する図である。 [0013]電磁エミッタおよびセンサの両方の調整を例示する図であり、そのような調整が、本開示の原理および教示によるいくつかの実施形態で同時的に行われ得る。 [0013]電磁エミッタおよびセンサの両方の調整を例示する図であり、そのような調整が、本開示の原理および教示によるいくつかの実施形態で同時的に行われ得る。 [0013]電磁エミッタおよびセンサの両方の調整を例示する図であり、そのような調整が、本開示の原理および教示によるいくつかの実施形態で同時的に行われ得る。 [0013]電磁エミッタおよびセンサの両方の調整を例示する図であり、そのような調整が、本開示の原理および教示によるいくつかの実施形態で同時的に行われ得る。 [0013]電磁エミッタおよびセンサの両方の調整を例示する図であり、そのような調整が、本開示の原理および教示によるいくつかの実施形態で同時的に行われ得る。 [0014]本開示の原理および教示による、区分された光システムとともに使用するためのセンサ補正の方法およびハードウェアの概略図を例示する図である。 [0014]本開示の原理および教示による、区分された光システムとともに使用するためのセンサ補正の方法およびハードウェアの概略図を例示する図である。 [0014]本開示の原理および教示による、区分された光システムとともに使用するためのセンサ補正の方法およびハードウェアの概略図を例示する図である。 [0014]本開示の原理および教示による、区分された光システムとともに使用するためのセンサ補正の方法およびハードウェアの概略図を例示する図である。 [0014]本開示の原理および教示による、区分された光システムとともに使用するためのセンサ補正の方法およびハードウェアの概略図を例示する図である。 [0014]本開示の原理および教示による、区分された光システムとともに使用するためのセンサ補正の方法およびハードウェアの概略図を例示する図である。 [0014]本開示の原理および教示による、区分された光システムとともに使用するためのセンサ補正の方法およびハードウェアの概略図を例示する図である。 [0014]本開示の原理および教示による、区分された光システムとともに使用するためのセンサ補正の方法およびハードウェアの概略図を例示する図である。 [0014]本開示の原理および教示による、区分された光システムとともに使用するためのセンサ補正の方法およびハードウェアの概略図を例示する図である。 [0015]本開示の原理および教示による、閉鎖または制限された光環境の内部でダイナミックレンジを増大するための方法およびハードウェアの概略図を例示する図である。 [0015]本開示の原理および教示による、閉鎖または制限された光環境の内部でダイナミックレンジを増大するための方法およびハードウェアの概略図を例示する図である。 [0016]色補正のないものと比較される、典型的なＢａｙｅｒベースのセンサに対する色補正の信号対ノイズ比への影響力を例示する図である。 [0017]ｓＲＧＢ色域と比較される、３つの単色のレーザの色度を例示する図である。 [0018]本開示の原理および教示による、閉鎖または制限された光環境の内部でダイナミックレンジを増大するための方法およびハードウェアの概略図を例示する図である。 [0018]図２７Ａは、本開示の原理および教示による、閉鎖または制限された光環境の内部でダイナミックレンジを増大するための方法およびハードウェアの概略図を例示する図である。 図２７Ｂは、本開示の原理および教示による、閉鎖または制限された光環境の内部でダイナミックレンジを増大するための方法およびハードウェアの概略図を例示する図である。 [0019]図２８Ａは、対応する色センサによってパルス処理される、および／または、そのセンサと同期される白色光放出の使用を例示する図である。 図２８Ｂは、対応する色センサによってパルス処理される、および／または、そのセンサと同期される白色光放出の使用を例示する図である。 図２８Ｃは、対応する色センサによってパルス処理される、および／または、そのセンサと同期される白色光放出の使用を例示する図である。 [0020]図２９Ａは、本開示の教示および原理による、３次元画像を生成するための複数の画素アレイを有する実装形態を例示する図である。 図２９Ｂは、本開示の教示および原理による、３次元画像を生成するための複数の画素アレイを有する実装形態を例示する図である。 [0021]図３０Ａは、複数の基板上に築造されるイメージングセンサの実装形態の斜視図を例示する図であり、画素アレイを形成する複数の画素列が第１の基板上に設けられ、複数の回路列が第２の基板上に設けられており、図は、画素の１つの列から、その列の、回路網の関連または対応する列への間の、電気的な接続および通信を示す。 図３０Ｂは、複数の基板上に築造されるイメージングセンサの実装形態の側面図を例示する図であり、画素アレイを形成する複数の画素列が第１の基板上に設けられ、複数の回路列が第２の基板上に設けられており、図は、画素の１つの列から、その列の、回路網の関連または対応する列への間の、電気的な接続および通信を示す。 [0022]図３１Ａは、３次元画像を生成するための複数の画素アレイを有するイメージングセンサの実装形態の斜視図を例示する図であり、複数の画素アレイおよびイメージセンサが複数の基板上に築造される。 図３１Ｂは、３次元画像を生成するための複数の画素アレイを有するイメージングセンサの実装形態の側面図を例示する図であり、複数の画素アレイおよびイメージセンサが複数の基板上に築造される。 [0023]様々な機械式のフィルタおよびシャッタの構成を備えるエミッタの実施形態を例示する図である。 [0023]様々な機械式のフィルタおよびシャッタの構成を備えるエミッタの実施形態を例示する図である。 [0023]様々な機械式のフィルタおよびシャッタの構成を備えるエミッタの実施形態を例示する図である。 [0023]様々な機械式のフィルタおよびシャッタの構成を備えるエミッタの実施形態を例示する図である。 [0023]様々な機械式のフィルタおよびシャッタの構成を備えるエミッタの実施形態を例示する図である。

[0024]本開示は、主として医療用途に適したものであり得る、デジタルイメージングのための方法、システム、およびコンピュータベースの製品に伸展する。本開示の以下の説明では、付随する図面が参照され、それらの図面は本明細書の一部を形成し、それらの図面には、本開示が実施され得る特定の実装形態が例示によって示される。他の実装形態が利用される場合があり、構造的変更が、本開示の範囲から逸脱することなく行われ得ることが理解される。

[0025]例えば関節鏡検査および腹腔鏡検査で使用される従来の内視鏡は、イメージセンサが典型的にはハンドピースユニットの内部に配置されるように設計される。そのような構成では内視鏡ユニットは、最小限の損失および歪みを伴う、精密に結合された光学構成要素の複雑なセットを介して、センサに向けて、その内視鏡ユニットの長さに沿って入射光を伝送しなければならない。内視鏡ユニットのコストは光学部品により支配され、その理由は、構成要素が高価であり、製造プロセスが労働集約的であるからである。さらに、このタイプの観察器械は機械的に精巧であり、比較的軽度の衝撃が容易に、構成要素に損傷を与え、または、それらの構成要素の相対的な位置合わせを狂わせ、そのことにより、甚だしい光の減退を引き起こし、観察器械を使用できなくする場合がある。このことによって、画像品質を維持するために高頻度の高価な修理サイクルが必要になる。この問題点に対する１つの解決策は、イメージセンサを遠位端で内視鏡自体の内部に配置し、そのことにより、光学的な単純性、堅牢性、および経済性に潜在的に取り組むことであり、そのことは、例えば携帯電話カメラの内部で、普遍的に実現されている。しかしながら、この取り組みに対する許容される解決策は決して些細なものではなく、その理由は、その取り組みがそれ自体の工学的課題のセットをもたらすからであり、それらの課題のうち決して小さくないものは、センサが、特にＸおよびＹの次元で、高度に限局される区域の内部で適合しなければならず、一方でＺ次元ではより多くの自由度があることである。

[0026]積極的な制約をセンサ区域にかけると、当然ながら、画素アレイの内部の画素が、より少なくなる、および／または、より小さくなる結果になる。画素総数を低下させることは、空間分解能に直接的に影響を及ぼし得るものであり、一方で画素区域を低減することは、利用可能な信号容量を低減し、そのことにより画素の感度を低減する場合があり、他に、画像品質が最大化されるように画素の数を、最小画素分解能を、ならびに、分解能が問題点にならないように、最大画素品質およびピッチを使用する画素の本来の数を最適化する場合があり、他に、各々の画素の信号対ノイズ比（ＳＮＲ）を低下させる場合がある。信号容量を低下させることは、ダイナミックレンジ、すなわち、大きな範囲の光度を伴うシーンから有用な情報のすべてを同時にキャプチャするためのイメージングデバイスまたはカメラの能力を低減する。イメージングシステムのダイナミックレンジを、画素自体のものを超えて拡張するための様々な方法が存在する。しかしながらそれらの方法のすべては、（例えば、分解能またはフレームレートにおいて）何らかの種類の不利を有し得るものであり、それらの方法は、極端な事例では問題となる望ましくないアーチファクトをもたらす場合がある。感度を低減することは、より大きな光パワーが、シーンのより暗い部域を許容される信号レベルに至らせるために必要とされるという結果を招く。Ｆナンバーを低下させること（絞りを拡大すること）は、感度の損失を補償することが可能であるが、空間歪み、および、焦点の深度の低減を犠牲にしてのことである。

[0027]センサ業界ではＣＭＯＳイメージセンサが、内視鏡検査などの最新式のカメラ用途で従来のＣＣＤイメージセンサに大規模に取って代わることになったが、そのことは、それらのＣＭＯＳイメージセンサの統合および運用がより容易であり、画像品質が優良または同等であり、汎用性がより大きくコストがより低いためである。典型的にはそれらのＣＭＯＳイメージセンサは、画像情報をデジタルデータに変換するのに必要な回路網を含み得るものであり、その後に組み込まれる様々なレベルのデジタル処理を有し得る。このことは、例えば、増幅器の挙動の変動から生起し得る非理想特性を補正する目的での基本アルゴリズムから、例えば、標準ｓＲＧＢ色空間でビデオデータを提供する完全な画像信号処理（ＩＳＰ：ｉｍａｇｅ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ）チェーンまでの範囲に及び得る（カメラ・オン・チップ）。

[0028]制御ユニットまたは第２の段階が、センサに対して遠く離れて設けられ、そのセンサからかなりの距離にあるならば、データをデジタル領域で送信することが望ましい場合があり、その理由は、そのことは、アナログデータストリームを送信することと比較される場合、干渉ノイズおよび信号劣化をほとんど受けるおそれがないからである。ＬＶＤＳ（低電圧差動信号伝送（ｌｏｗ ｖｏｌｔａｇｅ ｄｉｆｆｅｒｅｎｔｉａｌ ｓｉｇｎａｌｉｎｇ））、サブＬＶＤＳ、ＳＬＶＳ（スケーラブル低電圧信号伝送）、または他の電気的なデジタル信号伝送標準などの、様々な電気的なデジタル信号伝送標準が使用され得ることが十分理解されよう。

[0029]センサ上の空間を消費するパッドの数を低減するために、ならびに、センサ製造の複雑性およびコストを低減するために、電気導体の数を最小化することの強い所望が存在し得る。センサにアナログデジタル変換を追加することは有利であり得るが、変換回路により占有される区域を追加することは、デジタル信号への早期の変換に起因して、必要とされるアナログバッファリングパワーが有意に低減することを理由に相殺される。

[0030]区域消費の点からは、ＣＭＯＳイメージセンサ（ＣＩＳ）技術で利用可能な典型的な特徴サイズを考え合わせると、いくつかの実装形態では、制御レジスタのセットおよび単純なコマンドインターフェースによって、画素アレイと同じチップ上で発生させられる内部的な論理信号のすべてを有することが好ましい場合がある。

[0031]本開示のいくつかの実装形態は、高度に制御される照明環境での、低減された画素総数による高精細度イメージングを考慮に入れたものである、組み合わされたセンサおよびシステム設計の態様を含み得る。このことは、高いフレームキャプチャレートに連関した制御される光源、および、特別に設計された対応する単色のセンサを使用する、単一の色波長の１フレームずつのパルス処理、および、単一の異なる色波長の間で各々のフレームを切り替える、または交番させることによって達成され得る。本明細書で使用される際には、単色のセンサは、フィルタリングされないイメージングセンサを指す。画素は色について不可知であるので、有効空間分解能は、従来の単一のセンサのカメラでの、それらの画素の色の（典型的にはＢａｙｅｒパターンでフィルタリングされる）対応物に対してよりかなり高い。それらの画素は、個々の画素の間で浪費される入射光子がはるかに少ないので、より高い量子効率も有し得る。さらに、Ｂａｙｅｒベースの空間色変調は、付随する光学部品の変調伝達関数（ＭＴＦ）が、Ｂａｙｅｒパターンに関連する色アーチファクトをぼかすために、単色変調と比較されて低下させられることを必要とする。このことは、色センサによって実現され得る実際の空間分解能に関して有害な影響力を有する。

[0032]本開示は、イメージセンサが内視鏡の遠位端に内在する、内視鏡検査用途のためのシステム解決策に関わるものでもある。最小限区域のセンサベースのシステムを求めて尽力する中で、画素総数の低減を超えて開発され得る、他の設計態様が存在する。チップのデジタル部分の区域が最小化され得る。加えて、チップ（パッド）への接続の数もまた最小化され得る。本開示は、そのようなシステムの実現のためにこれらの目標を達成する新規の方法を説明する。このことは、いくつもの新規の特徴を伴うフルカスタムＣＭＯＳイメージセンサの設計を必然的に含む。

[0033]本開示による原理の理解を促進する目的で、次に、図面に例示される実施形態が参照され、特定の文言が、それらの実施形態を説明するために使用される。しかし、それによって本開示の範囲の限定は意図されないことが理解されよう。関連性のある技術分野の当業者であり、本開示を所有する者が普通に想到することになる、本明細書で例示される発明の特徴の任意の改変およびさらなる修正、ならびに、本明細書で例示されるような本開示の原理の任意の追加的な用途は、主張される本開示の範囲内にあるとみなされることになる。

[0034]光が不十分な環境で画像を生成するための構造、システム、および方法が、開示および説明される前に、本開示は、本明細書で開示される個別の構造、構成、プロセスステップ、および材料に限定されず、その理由は、そのような構造、構成、プロセスステップ、および材料はある程度は変動し得るからであることを理解されたい。本明細書で用いられる専門用語は、単に個別の実施形態を説明する目的で使用されるものであり、限定的であることは意図されず、その理由は、本開示の範囲は、添付される特許請求の範囲、およびその等価物のみにより限定されることになるからであることも理解されたい。

[0035]本開示の主題を説明および主張する際に、以下の専門用語が、下記に記載される
定義によって使用されることになる。

[0036]本明細書および添付される特許請求の範囲で使用される際には、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈で明確に別段に定めない限りは複数の指示物を含むことが留意されなければならない。

[0037]本明細書で使用される際には、用語「備える」、「含む」、「内包する」、「特徴とする」、およびそれらの文法的等価物は、追加的な、列挙されない要素または方法ステップを排除しない、包含的な、またはオープンエンドの用語である。

[0038]本明細書で使用される際には、語句「からなる」およびその文法的等価物は、請求項で指定されない、いかなる要素またはステップも排除する。

[0039]本明細書で使用される際には、語句「から本質的になる」およびその文法的等価物は、請求項の範囲を、指定される材料またはステップに、ならびに、主張される本開示の基本的な、および新規の特性または複数の特性に材料的に影響を及ぼさない、それらの材料またはステップに限定する。

[0040]本明細書で使用される際には、用語「近位の」は、原点に最も近い部分の概念を広く指すものとする。

[0041]本明細書で使用される際には、用語「遠位の」は、一般的には近位の反対のものを、したがって、文脈に応じて、原点からより遠い部分、または最も遠い部分の概念を指すものとする。

[0042]本明細書で使用される際には、色センサまたはマルチスペクトルセンサは、入来する電磁放射をその別々の成分にフィルタリングするように、上に色フィルタアレイ（ＣＦＡ：ｃｏｌｏｒ ｆｉｌｔｅｒ ａｒｒａｙ）を有するように知られているセンサである。電磁スペクトルの視覚範囲では、そのようなＣＦＡは、光の緑色、赤色、および青色のスペクトル成分を分離するために、Ｂａｙｅｒパターン、またはそれに関する修正を基に築造され得る。次に図１〜図５を参照して、光が不十分な環境で画像を生成するためのシステムおよび方法が次に説明される。図１は、光が不十分な環境で画像を生成する際に使用するために動作中の、対にされたセンサおよび電磁エミッタの概略図を例示する。そのような構成は、光が制御される、または周囲光が不十分な環境での増大される機能性を考慮に入れたものである。

[0043]本明細書で使用される際には、用語「光」は、粒子および波長の両方であり、画素アレイにより検出可能である電磁放射を指し示すことが意図され、電磁放射の可視および不可視のスペクトルからの波長を含み得ることに留意されたい。用語「区分部分」は本明細書では、スペクトル全体より小さい電磁スペクトルの所定の範囲の波長を、または換言すれば、電磁スペクトルのある程度の部分を編成する波長を意味するために使用される。本明細書で使用される際には、エミッタは、放出される電磁スペクトルの部分に関して制御可能であり得る、または、その電磁スペクトルの成分、放出の強度、もしくは放出の持続時間、もしくは上記のもののすべての物理的現象に関して動作することが可能である光源である。エミッタは、任意のディザリングされる、拡散される、またはコリメートされる放出で光を放出することが可能であり、デジタル的に、または、アナログの方法もしくはシステムによって制御され得る。本明細書で使用される際には、電磁エミッタは、電磁エネルギーのバーストの源であり、レーザ、ＬＥＤ、白熱光、または、デジタル的に制御され得る任意の光源などの光源を含む。

[0044]イメージセンサの画素アレイは、電子的にエミッタと対にされ得るものであり、そのことによってそれらは、放出を受け取ることに対して、および、システムの内部で行われる調整に対しての両方で、動作の間に同期される。図１で確認され得るように、エミッタ１００は、目的物１１０を照明するためにパルス処理され得るレーザの形式で電磁放射を放出するようにチューニングされ得る。エミッタ１００は、画素アレイ１２２の動作および機能性に対応する間隔でパルス処理することが可能である。エミッタ１００は、複数の電磁区分部分１０５で光をパルス処理することが可能であり、そのことによって画素アレイは、電磁エネルギーを受け取り、各々の特定の電磁区分部分１０５と（時間的に）符合するデータセットを生成する。例えば図１は、画素アレイ（白黒）１２２およびサポートする回路網を有する単色のセンサ１２０を有するシステムを例示し、その画素アレイ１２２は、任意の波長の電磁放射に対して高感度である。図に例示される光エミッタ１００は、任意の所望の順番で、赤色電磁区分部分１０５ａ、青色電磁区分部分１０５ｂ、および緑色電磁区分部分１０５ｃを放出することが可能であるレーザエミッタであり得る。デジタルまたはアナログベースのエミッタなどの他の光エミッタ１００が、本開示の範囲から逸脱することなく図１で使用され得ることが十分理解されよう。

[0045]動作の間、任意の個々のパルスに対して単色のセンサ１２０により生み出されるデータは、特定の色区分部分が割り当てられ得るものであり、割り当ては、エミッタ１００からのパルス処理された色区分部分のタイミングに基づく。画素１２２が色専用でない場合でも、それらの画素は、エミッタに関する事前の情報に基づいて、任意の所与のデータセットに対して色が割り当てられ得る。

[0046]１つの実施形態では、赤色、緑色、および青色の電磁パルスを表す３つのデータセットが、単一の画像フレームを形成するように組み合わされ得る。本開示が、任意の個別の色の組み合わせまたは任意の個別の電磁区分部分に限定されないこと、ならびに、シアン、マゼンタ、および黄色、紫外線、赤外線、前述のものの任意の組み合わせ、または任意の他の色の組み合わせなど、すべての可視および不可視の波長を含む、任意の色の組み合わせまたは任意の電磁区分部分が、本開示の範囲から逸脱することなく、赤色、緑色、および青色の代わりに使用され得ることが十分理解されよう。図では、イメージングされることになる目的物１１０は、赤色部分１１０ａ、緑色部分１１０ｂ、および青色部分１１０ｃを内包する。図に例示されるように、電磁パルスからの反射される光は、パルス処理された色区分部分に対応する特定の色を有する目的物の部分に対するデータを内包するのみである。それらの別々の色（または色間隔）データセットは、次いで、１３０でデータセットを組み合わせることにより画像を再構築するために使用され得る。

[0047]図２に例示されるように、本開示の実装形態は、下記でより詳細に論考されるように、例えば１つまたは複数のプロセッサおよびシステムメモリなどのコンピュータハードウェアを含む、専用または汎用コンピュータを、備え得る、または利用し得る。本開示の範囲内の実装形態は、コンピュータ実行可能命令および／またはデータ構造を搬送または記憶するための、物理的な、および他のコンピュータ可読媒体もまた含み得る。そのようなコンピュータ可読媒体は、汎用または専用コンピュータシステムによりアクセスされ得る任意の利用可能な媒体であり得る。コンピュータ実行可能命令を記憶するコンピュータ可読媒体は、コンピュータ記憶媒体（デバイス）である。コンピュータ実行可能命令を搬送するコンピュータ可読媒体は、伝送媒体である。このように例として、および限定としてではなく、本開示の実装形態は、少なくとも２つの明瞭に異なる種類のコンピュータ可読媒体、すなわち、コンピュータ記憶媒体（デバイス）および伝送媒体を備え得る。

[0048]コンピュータ記憶媒体（デバイス）は、コンピュータ実行可能命令またはデータ構造の形式で所望のプログラムコード手段を記憶するために使用され得る、および、汎用または専用コンピュータによりアクセスされ得る、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、ソリッドステートドライブ（「ＳＳＤ」）（例えば、ＲＡＭに基づく）、フラッシュメモリ、相変化メモリ（「ＰＣＭ」）、他のタイプのメモリ、他の光学ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気記憶デバイス、または、任意の他の媒体を含む。

[0049]「ネットワーク」は、コンピュータシステムおよび／またはモジュールおよび／または他の電子デバイスの間での電子データの移送を可能にする、１つまたは複数のデータリンクとして定義される。実装形態では、センサおよびカメラ制御ユニットが、相互に通信するために、および、他の構成要素であって、それらが接続されるネットワークを介して接続される他の構成要素と通信するためにネットワーク化され得る。情報が、ネットワークまたは別の通信接続（ハードワイヤード、ワイヤレス、または、ハードワイヤードもしくはワイヤレスの組み合わせのいずれか）を介して、コンピュータに伝達または提供されるとき、コンピュータは当然のことながら、接続を伝送媒体とみなす。伝送媒体は、コンピュータ実行可能命令またはデータ構造の形式で所望のプログラムコード手段を搬送するために使用され得る、および、汎用または専用コンピュータによりアクセスされ得る、ネットワークおよび／またはデータリンクを含み得る。上記のものの組み合わせもまた、コンピュータ可読媒体の範囲内に含まれるべきである。

[0050]さらに、様々なコンピュータシステム構成要素に達する際の、伝送媒体からコンピュータ記憶媒体（デバイス）に（またはその逆に）自動的に伝達され得る、コンピュータ実行可能命令またはデータ構造の形式でのプログラムコード手段。例えば、ネットワークまたはデータリンクを介して受信される、コンピュータ実行可能命令またはデータ構造は、ネットワークインターフェースモジュール（例えば「ＮＩＣ」）の内部のＲＡＭにバッファリングされ得るものであり、次いで、コンピュータシステムＲＡＭに、および／または、コンピュータシステムでのより揮発性でないコンピュータ記憶媒体（デバイス）に最終的に伝達され得る。ＲＡＭは、ソリッドステートドライブ（ＦｕｓｉｏｎＩＯなどの、ＳＳＤまたはＰＣＩｘベースのリアルタイムメモリ階層型記憶装置）もまた含み得る。このように、コンピュータ記憶媒体（デバイス）が、伝送媒体をもまた（さらには、主として）利用するコンピュータシステム構成要素に含まれ得ることを理解されたい。

[0051]コンピュータ実行可能命令は例えば、プロセッサで実行されたときに、汎用コンピュータ、専用コンピュータ、または専用処理デバイスに、ある決まった機能または機能の群を実施させる、命令およびデータを含む。コンピュータ実行可能命令は例えば、バイナリ、アセンブリ言語などの中間フォーマット命令、さらにはソースコードであり得る。主題は構造的特徴および／または方法論的行為に対しての具体的な文言で説明されているが、添付される特許請求の範囲において定義される主題は、説明された特徴または上記で説明された行為に必ずしも限定されないことを理解されたい。むしろ、説明された特徴および行為は、特許請求の範囲を実装する例の形式として開示されるものである。

[0052]当業者であれば、パーソナルコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、メッセージプロセッサ、制御ユニット、カメラ制御ユニット、ハンドヘルドデバイス、ハンドピース、マルチプロセッサシステム、マイクロプロセッサベースの、またはプログラマブルな家電、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、携帯電話、ＰＤＡ、タブレット、ページャ、ルータ、スイッチ、様々な記憶デバイスなどを含む、多くのタイプのコンピュータシステム構成によってネットワークコンピューティング環境で本開示が実施され得ることを十分理解するであろう。上記で述べられたコンピューティングデバイスの任意のものが、ブリックアンドモルタルの場所により提供され得る、またはその場所の内部に設けられ得ることに留意されたい。本開示は分散型システム環境で実施される場合もあり、その環境では、ネットワークによって（ハードワイヤードデータリンク、ワイヤレスデータリンクによって、または、ハードワイヤードデータリンクおよびワイヤレスデータリンクの組み合わせによってのいずれかで）リンクされる、ローカルおよびリモートのコンピュータシステムが、両方ともタスクを実施する。分散型システム環境ではプログラムモジュールは、ローカルおよびリモートの両方のメモリ記憶デバイス内に設けられ得る。

[0053]さらに、適切である場合には、本明細書で説明される機能は、ハードウェア、ソフトウェア、ファームウェア、デジタル構成要素、またはアナログ構成要素のうちの、１つまたは複数で実施され得る。例えば、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ：ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）が、本明細書で説明されるシステムおよび処置の１つまたは複数を履行するようにプログラムされ得る。ある決まった用語が、個別のシステム構成要素を指すように、以下の説明および特許請求の範囲の全体を通して使用される。当業者であれば十分理解するであろうが、構成要素は異なる名前により呼ばれる場合がある。本文書は、名前では異なるが機能では異ならない構成要素の間で区別することを意図しない。

[0054]図２は、例のコンピューティングデバイス１５０を例示するブロック図である。コンピューティングデバイス１５０は、本明細書で論考されるものなどの様々な処置を実施するために使用され得る。コンピューティングデバイス１５０は、サーバ、クライアント、または任意の他のコンピューティングエンティティとして機能し得る。コンピューティングデバイス１５０は、本明細書で論考されるような様々なモニタリング機能を実施することが可能であり、本明細書で説明されるアプリケーションプログラムなどの、１つまたは複数のアプリケーションプログラムを実行することが可能である。コンピューティングデバイス１５０は、デスクトップコンピュータ、ノートブックコンピュータ、サーバコンピュータ、ハンドヘルドコンピュータ、カメラ制御ユニット、タブレットコンピュータなどのような、多種多様のコンピューティングデバイスの任意のものであり得る。

[0055]コンピューティングデバイス１５０は、１つまたは複数のプロセッサ１５２、１つまたは複数のメモリデバイス１５４、１つまたは複数のインターフェース１５６、１つまたは複数の大容量記憶デバイス１５８、１つまたは複数の入出力（Ｉ／Ｏ：Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）デバイス１６０、および、表示デバイス１８０を含み、それらのすべてはバス１６２に結合される。プロセッサ１５２は、メモリデバイス１５４および／または大容量記憶デバイス１５８に記憶される命令を実行する、１つまたは複数のプロセッサまたはコントローラを含む。プロセッサ１５２は、キャッシュメモリなどの様々なタイプのコンピュータ可読媒体もまた含み得る。

[0056]メモリデバイス１５４は、揮発性メモリ（例えば、ランダムアクセスメモリ（ＲＡＭ）１６４）および／または不揮発性メモリ（例えば、読出し専用メモリ（ＲＯＭ：ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）１６６）などの、様々なコンピュータ可読媒体を含む。メモリデバイス１５４は、フラッシュメモリなどの書き換え可能なＲＯＭもまた含み得る。

[0057]大容量記憶デバイス１５８は、磁気テープ、磁気ディスク、光学ディスク、ソリッドステートメモリ（例えば、フラッシュメモリ）などのような、様々なコンピュータ可読媒体を含む。図２に示されるように、個別の大容量記憶デバイスはハードディスクドライブ１７４である。様々なドライブもまた、様々なコンピュータ可読媒体に関しての読み取りおよび／または書き込みを可能にするために、大容量記憶デバイス１５８に含まれ得る。大容量記憶デバイス１５８は、取外し式媒体１７６および／または非取外し式媒体を含む。

[0058]Ｉ／Ｏデバイス１６０は、データおよび／または他の情報が、コンピューティングデバイス１５０に入力される、または、コンピューティングデバイス１５０から索出されることを可能にする様々なデバイスを含む。例のＩ／Ｏデバイス１６０は、デジタルイメージングデバイス、電磁センサおよびエミッタ、カーソル制御デバイス、キーボード、キーパッド、マイクロホン、モニタまたは他の表示デバイス、スピーカ、プリンタ、ネットワークインターフェースカード、モデム、レンズ、ＣＣＤまたは他の画像キャプチャデバイスなどを含む。

[0059]表示デバイス１８０は、コンピューティングデバイス１５０の１人または複数のユーザに情報を表示することが可能な任意のタイプのデバイスを含む。表示デバイス１８０の例は、モニタ、表示端末、ビデオ投影デバイスなどを含む。

[0060]インターフェース１０６は、コンピューティングデバイス１５０が、他のシステム、デバイス、またはコンピューティング環境と対話することを可能にする様々なインターフェースを含む。例のインターフェース１５６は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、ワイヤレスネットワーク、およびインターネットに対するインターフェースなどの、任意の数の異なるネットワークインターフェース１７０を含み得る。他のインターフェースは、ユーザインターフェース１６８および周辺デバイスインターフェース１７２を含む。インターフェース１５６は、１つまたは複数のユーザインターフェース要素１６８もまた含み得る。インターフェース１５６は、プリンタ、ポインティングデバイス（マウス、トラックパッド等）、キーボードなどのためのインターフェースなどの、１つまたは複数の周辺インターフェースもまた含み得る。

[0061]バス１６２によって、プロセッサ１５２、メモリデバイス１５４、インターフェース１５６、大容量記憶デバイス１５８、およびＩ／Ｏデバイス１６０が、互いに通信すること、および、バス１６２に結合される他のデバイスまたは構成要素と通信することが可能になる。バス１６２は、システムバス、ＰＣＩバス、ＩＥＥＥ１３９４バス、ＵＳＢバスなどのような、いくつものタイプのバス構造の１つまたは複数を表す。

[0062]例示の目的で、プログラムおよび他の実行可能なプログラム構成要素は、離散的なブロックとして本明細書では示されるが、そのようなプログラムおよび構成要素は、コンピューティングデバイス１５０の異なる記憶構成要素内に様々な時間に存し得るものであり、プロセッサ１５２により実行されることが理解される。あるいは、本明細書で説明されるシステムおよび処置は、ハードウェアで、または、ハードウェア、ソフトウェア、および／もしくはファームウェアの組み合わせで実装され得る。例えば、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）が、本明細書で説明されるシステムおよび処置の１つまたは複数を履行するようにプログラムされ得る。

[0063]図２Ａは、ローリング読み出しモードで、またはセンサ読み出し２００の間に使用されるセンサの動作サイクルを例示する。フレーム読み出しは、垂直線２１０で開始することが可能であり、垂直線２１０により表され得る。読み出し期間は、斜めの、または傾斜した線２０２により表される。センサは、１行ずつを基本として読み出され得るものであり、下方に傾斜した辺の上位はセンサ上位行２１２であり、下方に傾斜した辺の下位はセンサ下位行２１４である。最後の行読み出しと次の読み出しサイクルとの間の時間は、ブランキング時間２１６と呼ばれ得る。センサ画素行のいくつかが、遮光体（例えば、金属コーティング、または、別の材料タイプの任意の他の実質的に黒色の層）によって被覆され得ることに留意されたい。これらの被覆される画素行は、オプティカルブラック行２１８および２２０と呼ばれ得る。オプティカルブラック行２１８および２２０は、補正アルゴリズムに対する入力として使用され得る。図２Ａに示されるように、これらのオプティカルブラック行２１８および２２０は、画素アレイの上位上に、または、画素アレイの下位に、または、画素アレイの上位および下位に設けられ得る。図２Ｂは、画素に対して露光され、そのことにより、画素により積分または蓄積される、電磁放射、例えば光の量を制御するプロセスを例示する。光子が電磁放射の素粒子であることが十分理解されよう。光子は、各々の画素により積分、吸収、または蓄積され、電荷または電流に変換される。電子シャッタまたはローリングシャッタ（破線２２２により示される）が、画素をリセットすることにより積分時間を開始するために使用され得る。光はその後、次の読み出しフェーズまで積分することになる。電子シャッタ２２２の位置が、光の所与の量に対する画素飽和を制御するために、２つの読み出しサイクル２０２の間で移動させられ得る。この技法は、２つの異なるラインの間の一定の積分時間を考慮に入れたものであるが、上位から下位の行に移動するときに遅延をもたらすことに留意されたい。図２Ｃは、電子シャッタ２２２が除去されている事例を例示する。この構成では入来する光の積分は、読み出し２０２の間に開始することが可能であり、次の積分の開始を規定するものでもある次の読み出しサイクル２０２で終了することが可能である。図２Ｄは、電子シャッタ２２２を伴わないが、ブランキング時間２１６の間の、制御されパルス処理された光２３０を伴う構成を示す。このことによって、すべての行が、同じ光パルス２３０から発せられる同じ光に遭遇することが確実になる。換言すれば、各々の行は、その行の積分を暗い環境で開始することになり、そのことは、最大光パルス幅に対する読み出しフレーム（ｍ）のオプティカルブラック後部行２２０でのことであり得るものであり、各々の行は次いで、光ストロボを受け取ることになり、その行の積分を暗い環境で終了することになり、そのことは、最大光パルス幅に対する次の引き続く読み出しフレーム（ｍ＋１）のオプティカルブラック前部行２１８でのことであり得る。図２Ｄの例では、光パルスから発生させられる画像は、フレーム（ｍ）および（ｍ＋２）との何らの干渉もなく、フレーム（ｍ＋１）の読み出しの間に単に利用可能となる。１つのフレームのみで読み出され、近隣のフレームと干渉しない光パルスを有するための条件は、所与の光パルスに、ブランキング時間２１６の間に点弧させることであることに留意されたい。オプティカルブラック行２１８、２２０は光に対して感度がないので、フレーム（ｍ）のオプティカルブラック後部行２２０の時間、および、フレーム（ｍ＋１）のオプティカルブラック前部行２１８の時間が、光パルス２３０の点弧時間の最大範囲を決定するためにブランキング時間２１６に追加され得る。図２Ａに例示されるように、センサは、各々のパルス処理される色（例えば、赤色、緑色、青色）に対するデータを受け取るために、多くの回数、サイクル処理され得る。各々のサイクルはタイミング設定され得る。実施形態ではサイクルは、１６．６７ｍｓの間隔の範囲内で動作するようにタイミング設定され得る。別の実施形態ではサイクルは、８．３ｍｓの間隔の範囲内で動作するようにタイミング設定され得る。他のタイミング間隔が、本開示により企図され、本開示の範囲内にあることが意図されることが十分理解されよう。

[0064]図３は、電磁エミッタの実施形態の動作をグラフィカルに例示する。エミッタは、センサのサイクルと符合するようにタイミング設定され得るものであり、そのことによって電磁放射は、センサ動作サイクルの範囲内で、および／または、センサ動作サイクルの一部分の間に放出される。図３は、３０２でのパルス１、３０４でのパルス２、および３０６でのパルス３を例示する。実施形態ではエミッタは、センサ動作サイクルの読み出し部分２０２の間にパルス処理することが可能である。実施形態ではエミッタは、センサ動作サイクルのブランキング部分２１６の間にパルス処理することが可能である。実施形態ではエミッタは、２つ以上のセンサ動作サイクルの部分の間である持続時間に対してパルス処理することが可能である。実施形態ではエミッタは、ブランキング部分２１６の間に、または、読み出し部分２０２のオプティカルブラック部分２２０の間にパルスを始めることが可能であり、読み出し部分２０２の間に、または、次の引き続くサイクルの読み出し部分２０２のオプティカルブラック部分２１８の間にパルスを終了することが可能である。上記のものの任意の組み合わせが、エミッタのパルスおよびセンサのサイクルが符合する限りにおいて、本開示の範囲内にあることが意図されることが理解されよう。

[0065]図４は、露光を制御するために、放出される電磁パルス（例えば、４０２でのパルス１、４０４でのパルス２、および４０６でのパルス３）の持続時間および大きさを変動させることをグラフィカルに表す。固定の出力の大きさを有するエミッタは、必要とされる電磁エネルギーを画素アレイに提供するために、ある間隔の間、図２Ｄおよび図３に関して上記で言及されたサイクルのいずれかの間にパルス処理され得る。固定の出力の大きさを有するエミッタは、時間のより長い間隔でパルス処理され得るものであり、そのことにより、より多い電磁エネルギーを画素に提供し、またはエミッタは、時間のより短い間隔でパルス処理され得るものであり、そのことにより、より少ない電磁エネルギーを提供する。より長い間隔の時間が必要とされるか、それともより短い間隔の時間が必要とされるかは、動作条件によって決まる。

[0066]エミッタが固定の出力の大きさをパルス処理する時間の間隔を調整することとは違い、放出の大きさ自体が、より多い電磁エネルギーを画素に提供するために増大される場合がある。同様に、パルスの大きさを減少することが、より少ない電磁エネルギーを画素に提供する。システムの実施形態は、所望されるならば、大きさおよび持続時間の両方を同時的に調整する能力を有し得ることに留意されたい。加えてセンサは、最適の画像品質に対して所望されるように、そのセンサの感度および持続時間を増大するように調整され得る。図４は、パルスの大きさおよび持続時間を変動させることを例示する。例示図では４０２でのパルス１は、４０４でのパルス２または４０６でのパルス３のいずれよりも、高い大きさまたは強度を有する。加えて４０２でのパルス１は、４０４でのパルス２または４０６でのパルス３より短い持続時間を有するが、そのことは、パルスにより提供される電磁エネルギーは、例示図に示されるパルスの下側の面積により例示されるという内容のものである。例示図では４０４でのパルス２は、４０２でのパルス１または４０６でのパルス３のいずれと比較されるときにも、比較的低い大きさまたは強度、およびより長い持続時間を有する。最後に、例示図では４０６でのパルス３は、４０２でのパルス１および４０４でのパルス２と比較されるときに、中間の大きさまたは強度、および持続時間を有する。

[0067]図５は、本開示の原理および教示による、動作の間のイメージングシステムを論証するための、図２〜図４の動作サイクル、電磁エミッタ、および放出される電磁パルスを組み合わせる、本開示の実施形態のグラフィカル表現図である。図で確認され得るように、電磁エミッタは、主としてセンサのブランキング期間２１６の間に放出をパルス処理し、そのことによって画素は、充電され、センササイクルの読み出し部分２０２の間に読み取るための準備が整うことになる。（図３からの）パルスでの破線部分は、追加的な時間が、電磁エネルギーをパルス処理するために必要とされる、または所望される場合に、読み出しサイクル（センササイクル）２００のオプティカルブラック部分２２０および２１８の間に電磁エネルギーを放出する潜在力または能力を例示するものである。

[0068]次に図６〜図９Ａを参照すると、図６は、フルスペクトル光および区分されたスペクトル光に対してビデオのフレームを記録するためのｔ（０）からｔ（１）までの時間の期間にわたる２つの別個のプロセスの概略図を例示する。色センサは、フルスペクトル光を受け取るために共通に使用される画素ごとに光のある決まった波長をフィルタリング除去するための色フィルタアレイ（ＣＦＡ）を有することに留意されたい。ＣＦＡの例はＢａｙｅｒパターンである。色センサは、フルスペクトルの範囲内からの単一の色に対して高感度にされる画素をアレイの内部に備え得るので、低減された分解能の画像が結果として生じるものであり、その理由は、画素アレイが、フルスペクトルの範囲内の光の単一の色のみに専用の画素空間を有するからである。通常はそのような配置構成が、アレイ全体にわたって市松模様タイプのパターンで形成される。

[0069]それとは違い、光の区分されたスペクトルが使用されるとき、センサは、すべての光エネルギーの大きさに対して高感度または高応答性であるようにされ得るものであり、その理由は、画素アレイは、その画素アレイが、各々のサイクル内で電磁エネルギーのフルスペクトルの所定の区分部分からの電磁エネルギーを感知していることを伝えられることになるからである。したがって、画像を形成するためにセンサは、光のフルスペクトルの範囲内からの複数の異なる区分部分とともにサイクル処理される必要があるだけであり、次いで、アレイの全域でのあらゆる画素に対して色値の所定の混合物を表示するように画像を再度組み立てる。したがって、より高い分解能の画像がさらに提供されるものであり、その理由は、色パルスの各々に対して同じ色感度の画素中心の間で、Ｂａｙｅｒセンサと比較される際に距離が低減されるからである。結果として、形成される有色の画像は、より高い変調伝達関数（ＭＴＦ）を有する。各々の色区分部分フレームサイクルからの画像はより高い分解能を有するので、区分された光フレームがフルカラーフレームに組み合わされるときに生み出される、結果として生じる画像もまた、より高い分解能を有する。換言すれば、アレイの内部のどのすべての画素も（色フィルタを伴うセンサでは、多くても２つの画素ごとである代わりに）、所与のパルスおよび所与のシーンに対してエネルギーの大きさを感知しているので、ほんの少しの時間をおくだけで、より高い分解能の画像が、取り入れられる必要がある、導出される（より正確でない）データがより少ない状態で各々のシーンに対して生み出される。

[0070]例えば白色またはフルスペクトルの可視光は、赤色、緑色、および青色の光の組み合わせである。図６に示される実施形態では、区分されたスペクトルプロセス６２０およびフルスペクトルプロセス６１０の両方で、画像をキャプチャするための時間はｔ（０）からｔ（１）であることが確認され得る。フルスペクトルプロセス６１０では、白色光またはフルスペクトルの電磁エネルギーが６１２で放出される。６１４で、白色またはフルスペクトルの電磁エネルギーが感知される。６１６で、画像が処理および表示される。このように時間ｔ（０）とｔ（１）との間で、画像が処理および表示されている。翻って、区分されたスペクトルプロセス６２０では、第１の区分部分が６２２で放出され、６２４で感知される。６２６で第２の区分部分が放出され、次いで６２８で感知される。６３０で第３の区分部分が放出され、６３２で感知される。６３４で、画像が処理および表示される。白色光サイクルより少なくとも２倍高速であるイメージセンササイクルを使用する任意のシステムが、本開示の範囲内にあることが意図されることが十分理解されよう。

[0071]図６に例示される実施形態でグラフィカルに確認され得るように、時間ｔ（０）とｔ（１）との間で、区分されたスペクトルシステム６２０に対するセンサは、フルスペクトルシステムの１つごとに対して３倍サイクル処理している。区分されたスペクトルシステム６２０では、３つのセンササイクルのうちの第１のものは緑色スペクトル６２２および６２４に対してのものであり、３つのうちの第２のものは赤色スペクトル６２６および６２８に対してのものであり、第３のものは青色スペクトル６３０および６３２に対してのものである。したがって、表示デバイス（ＬＣＤパネル）が１秒あたり５０〜６０フレームで動作する実施形態では、区分された光システムは、表示されるビデオの連続性および滑らかさを維持するために１秒あたり１５０〜１８０フレームで動作すべきである。

[0072]他の実施形態では、異なるキャプチャおよび表示のフレームレートが存在し得る。さらに、平均キャプチャレートは表示レートの任意の倍数であり得る。

[0073]実施形態では、必ずしもすべての区分部分がシステムフレームレートの範囲内で等しく表されるとは限らないことが所望される場合がある。換言すれば、ユーザにより所望されるように、記録されたシーンの態様を強調する、および強調を抑えるためには、必ずしもすべての光源が同じ規則性によってパルス処理されなければならないとは限らない。電磁スペクトルの不可視および可視の区分部分が、システムの内部で、一体でパルス処理され、それらの区分部分のそれぞれのデータ値が、ユーザに対する表示のために所望されるようなビデオ出力にまとめられる場合があることも理解されたい。

[0074]実施形態は、以下のようなパルスサイクルパターンを含み得る。

緑色パルス、
赤色パルス、
青色パルス、
緑色パルス、
赤色パルス、
青色パルス、
赤外線（ＩＲ）パルス、
（繰り返し）
[0075]例で確認され得るように、ＩＲ区分部分は、他の区分部分パルスのレートとは異なるレートでパルス処理され得る。このことは、シーンのある決まった態様を強調するために行われ得るものであり、ＩＲデータは単純に、所望の強調を行うためにビデオ出力内で他のデータが付加されている。第４の電磁区分部分を追加することは、必ずしも、シリアル化されたシステムに、フルスペクトル非シリアルシステムのレートの４倍で動作するように要求するものではなく、その理由は、あらゆる区分部分がパルスパターンで等しく表される必要はないからであることに留意されたい。実施形態で確認されるように、パルスパターンで、より少なく表される区分部分パルス（上記の例ではＩＲ）を追加することで、変則的な区分部分サンプリングに順応するために、センサのサイクル処理スピードが２０％未満増大する結果になる。

[0076]実施形態では、シーンの態様をハイライト表示するために使用される色素または材料に対して高感度である電磁区分部分が放出され得る。実施形態ではその電磁区分部分は、高い分解能を必要とすることなく、色素または材料の場所をハイライト表示するのに充分なものであり得る。そのような実施形態では、色素に高感度な電磁区分部分は、強調されるデータを含むために、システム内の他の区分部分よりはるかに少ない頻度でサイクル処理され得る。

[0077]区分部分サイクルは、様々なイメージングおよびビデオの標準に順応する、または近付くように分割され得る。実施形態では区分部分サイクルは、以下のように、図７Ａ〜図７Ｄに最良に例示されるように、赤色、緑色、青色のスペクトルでの電磁エネルギーのパルスを含み得る。図７Ａでは、異なる光強度が、垂直の灰色の破線により示される稼働範囲内で光パルス幅または持続時間を変調することにより実現されている。図７Ｂでは、異なる光強度が、光パワー、または、レーザもしくはＬＥＤエミッタであり得る電磁エミッタのパワーを変調することにより、ただしパルス幅または持続時間を一定に保つことにより実現されている。図７Ｃは、光パワーおよび光パルス幅の両方が変調されている、より大きな柔軟性につながる事例を示す。区分部分サイクルが使用することが可能であるのは、ＣＭＹ、可視パルス源と混合される不可視パルス源を使用するＩＲおよび紫外線、ならびに、画像を生成するために、または、現在知られている、もしくはこれから開発されることになっている所望のビデオ標準に近付くために必要とされる任意の他の色空間である。システムは、所望の画像出力品質を提供するために、オンザフライで色空間の間で切り替えることが可能であり得ることも理解されたい。

[0078]（図７Ｄで確認されるような）色空間、緑色−青色−緑色−赤色を使用する実施形態では、その実施形態は、色差成分より頻繁に輝度成分をパルス処理することを望む場合があり、その理由は、ユーザは一般的に、光の色の差に対してより、光の大きさの差に対して高感度であるからである。この原理が、図７Ｄに例示されるような単色センサを使用して活用され得る。図７Ｄでは、最も多い輝度情報を内包する緑色が、輝度データを得るために（Ｇ−Ｂ−Ｇ−Ｒ−Ｇ−Ｂ−Ｇ−Ｒ…）体系でより頻繁に、またはより多い強度によってパルス処理され得る。そのような構成は、知覚不可能なデータを生み出し送信することなく、知覚的に、より多くの細部を有するビデオストリームを生み出すことになる。

[0079]実施形態では、より弱い区分部分のパルスを複製することが、より弱いパルスに対して調整された出力を生成するために使用され得る。例えば青色レーザ光は、シリコンベースの画素の感度に対して弱いと考えられており、赤色または緑色の光と比較して生成するのが困難であり、したがって、光の弱さを補償するためにフレームサイクルの間に、より頻繁にパルス処理され得る。これらの追加的なパルスは、所望の補償効果を生成するために、シリアルに経時的に、または、同時にパルス処理する複数のレーザを使用することにより用意され得る。ブランキング期間（センサが画素アレイを読み出していない間の時間）の間にパルス処理することにより、センサは、同じ種類のレーザの間の差／不整合に対して感度がなく、単純に所望の出力に対して光を蓄積することに留意されたい。別の実施形態では、最大光パルス範囲はフレームごとに異なる場合がある。このことが図７Ｅに示されており、光パルスはフレームごとに異なる。センサは、２または３または４またはｎ個のフレームの繰り返しパターンによって異なるブランキング時間をプログラムすることが可能であるように築造され得る。図７Ｅでは４つの異なる光パルスが例示され、パルス１は、例えばパルス４の後に繰り返すことが可能であり、異なるブランキング時間を伴う４つのフレームのパターンを有し得る。この技法は、最も小さなブランキング時間上に最も強力な区分部分を配置するために使用され得るものであり、したがってこの技法によって、最も弱い区分部分が、読み出しスピードを増大する必要なく、次のフレームの１つの上に、より幅広いパルスを有することが可能になり得る。それでも再構築されるフレームは、それが多くのパルス処理されたフレームで構成される際には、フレームごとに規則的なパターンを有し得る。

[0080]図８で確認され得るように、光の各々の区分されたスペクトルは異なるエネルギー値を有し得るので、センサおよび／または光エミッタは、エネルギー値の差を補償するように調整され得る。８１０で、以前のフレームからのヒストグラムから得られるデータが分析され得る。８２０でセンサが、下記で言及されるように調整され得る。加えて、８３０でエミッタが調整され得る。８４０では、画像が、センサから、調整されたサンプル時間から得られ得るものとなり、または、画像が、調整された（増大された、そうでなければ減少された）放出される光によって得られ得るものとなり、または、上記のことの組み合わせとなる。例えば赤色光スペクトルは、システムの内部でセンサにより青色光スペクトルより容易に検出されるので、センサは、青色区分部分がシリコンに関して有する低い量子効率のために、赤色区分部分サイクルの間はより高感度でなく、青色区分部分サイクルの間はより高感度であるように調整され得る（図９に最良に例示される）。同様にエミッタは、調整された区分部分（例えば、より高い、またはより低い強度および持続時間）を提供するように調整され得る。さらに調整は、センサおよびエミッタのレベルの両方で行われ得る。エミッタは、１つの特定の周波数で放出するようにもまた設計され得るものであり、または、個別の用途に対して所望される場合に、放出されている光のスペクトルを広げるために、特定の区分部分の複数の周波数を放出するように変更され得る。

[0081]図１０は、非共有４Ｔ画素の概略図を示す。ＴＸ信号が、蓄積された電荷をフォトダイオード（ＰＰＤ：ｐｈｏｔｏ ｄｉｏｄｅ）からフローティングディフュージョン（ＦＤ：ｆｌｏａｔｉｎｇ ｄｉｆｆｕｓｉｏｎ）に伝達するために使用される。リセット信号が、リセットバスに対してＦＤをリセットするために使用される。リセット信号およびＴＸ信号が同じ時間に「オン」である場合、ＰＰＤは絶えずリセットされ（ＰＰＤで発生させられる各々のフォト電荷が、直接リセットバスで収集される）、ＰＰＤは常に空である。通常の画素アレイ実装形態は、１つの行の内部のすべての画素のリセット信号を取り付ける水平リセットライン、および、１つの行の内部のすべての画素のＴＸ信号を取り付ける水平ＴＸラインを含む。

[0082]実施形態では、センサ感受性調整のタイミングが例示され、センサ感受性調整は、グローバルリセット機構（すなわち、一度にすべての画素アレイリセット信号を点弧する手段）、およびグローバルＴＸ機構（すなわち、一度にすべての画素アレイＴＸ信号を点弧する手段）を使用して実現され得る。このことが図１１に示されている。この事例では、光パルスは持続時間および振幅では一定であるが、すべての画素で積分される光は、グローバルＴＸの「オン」から「オフ」への遷移とともに開始し、光パルスとともに終了する。したがって変調は、グローバルＴＸパルスの立ち下がりエッジを移動させることにより実現される。

[0083]翻ってエミッタは、正しく露光された画像を生成するために、青色光より少ない強度で赤色光を放出することが可能である（図１２に最良に例示される）。１２１０で、以前のフレームからのヒストグラムから得られるデータが分析され得る。１２２０で、エミッタが調整され得る。１２３０で画像が、調整された放出される光から得られ得る。加えて実施形態では、エミッタおよびセンサの両方が同時的に調整され得る。

[0084]後の出力のために、区分されたスペクトルフレームをフルスペクトルフレームに再構築することは、いくつかの実施形態では、アレイ内の各々の画素に対して、感知される値を配合するほどに単純であり得る。加えて値の配合および混合は、単純平均であり得るものであり、または、所望の出力に対する値の所定のルックアップテーブル（ＬＵＴ）にチューニングされ得る。区分された光スペクトルを使用するシステムの実施形態では、感知される値は、画像または２次のプロセッサにより、および、表示装置に出力される直前に、センサから遠く離れて後処理され得る、またはさらに精緻化され得る。

[0085]図１３は、単色ＩＳＰの１３００での基本例を、および、ＩＳＰチェーンが、Ｇ−Ｒ−Ｇ−Ｂ光パルス処理体系の存在下でもたらされる未加工のセンサデータからｓＲＧＢ画像シーケンスを発生させる目的でどのように組み立てられ得るかを例示する。

[0086]第１の段階は、未加工のデータ領域で稼働することが最も適切であるセンサ技術において非理想特性があればそれをなくすために補正を行うこと（図１３での１３０２、１３０４、および１３０６を確認されたい）に関わるものである（図２１を確認されたい）。

[0087]次の段階では、２つのフレーム（図１３での１３０８および１３１０を確認されたい）がバッファリングされることになり、その理由は、各々の最終的なフレームは３つの未加工のフレームからデータを導出するからである。１３１４でのフレーム再構築は、現在のフレームおよび２つのバッファリングされたフレーム（１３０８および／または１３１０）からデータをサンプリングすることにより進行することになる。再構築プロセスによって、線形ＲＧＢ色空間でのフルカラーフレームが結果として生じる。

[0088]この例では、１３１８でのホワイトバランス係数、および１３２０での色補正行列（ｃｏｌｏｒ ｃｏｒｒｅｃｔｉｏｎ ｍａｔｒｉｘ）が、１３２４での後に続くエッジエンハンスメントのための、１３２２でのＹＣｂＣｒ空間に変換することの前に適用される。１３２４でのエッジエンハンスメントの後、画像は、適用可能であるならば、１３２８でのスケーリングのために１３２６で線形ＲＧＢに戻るように転換される。

[0089]最後に１３３０でのガンマ伝達関数が、データを１３３２でのｓＲＧＢ領域に変えるために適用されることになる。

[0090]図１４は、色融合ハードウェアの実施形態例である。色融合ハードウェアは、１４０２でＲＧＢＧＲＧＢＧＲＧＢＧビデオデータストリームを中に入手し、それを、１４０５での並列ＲＧＢビデオデータストリームに変換する。入力側でのビット幅は、例えば１色あたり１２ビットであり得る。その例に関する出力幅は、１画素あたり３６ビットとなる。他の実施形態は、異なる初期ビット幅、および、出力幅に関してその数の３倍を有し得る。メモリ書き込み器ブロックは、１４０２で、その入力としてＲＧＢＧビデオストリームを入手し、１４０４で、各々のフレームをその妥当なフレームメモリバッファに書き込む（メモリ書き込み器は、レーザ光源を動かす同じパルス発生器１４１０を駆動させる）。１４０４で例示されるように、メモリに書き込むことは、パターン、赤色、緑色１、青色、緑色２にしたがい、次いで再び赤色に対して引き返す。１４０６でメモリ読み取り器は、ＲＧＢ画素を構築するために一度に３つのフレームを読み取る。各々の画素は、個々の色成分のビット幅の３倍である。読み取り器もまた、１４１０でのレーザパルス発生器を駆動させる。読み取り器は、赤色、緑色１、および青色のフレームが書き込まれるまで待機し、次いでそれらを並列で読み出すことを始め、一方で書き込み器は、緑色２を書き込み続け、赤色に引き返す。赤色が完了するとき、読み取り器は青色、緑色２、および赤色から読み取り始める。このパターンが無期限に続く。

[0091]次に図１５および図１６を参照すると、図１６に例示されるＲＧ１ＢＧ２ＲＧ１ＢＧ２パターン再構築によって、実施形態では、１２０ｆｐｓ入力とともに６０ｆｐｓ出力が可能になる。各々の連続するフレームは、以前のフレームからの赤色または青色のいずれかの成分を内包する。図１６では、各々の色成分は８．３ｍｓで利用可能であり、結果として生じる再構築されるフレームは１６．６７ｍｓの期間を有する。一般的にこのパルス処理体系に関しては、再構築されるフレームは、図１５に示されるように、入来する有色のフレームの期間の２倍の期間を有する。他の実施形態では、異なるパルス処理体系が用いられ得る。例えば実施形態は、各々の色成分またはフレームのタイミング（Ｔ１）、および、入来する色フレームの期間の２倍の期間（２×Ｔ１）を有する再構築されるフレームに基づくものであり得る。シーケンスの内部の異なるフレームは、異なるフレーム期間を有し得るものであり、平均キャプチャレートは、最終的なフレームレートの任意の倍数であり得る。

[0092]図１７〜図２０は、区分された光システムとともに使用するための色補正の方法およびハードウェアの概略図を例示する。デジタルイメージングでは、ユーザの期待を満たすように出力を補正するために、または、イメージングされる目的物のある決まった態様をハイライト表示するために、画像データの内部の値を操作することは一般的なことである。きわめて一般的なことでは、このことは、１つのデータタイプを別のものより多く強調するようにチューニングおよび調整される衛星画像において行われる。きわめて頻繁には、衛星で取得されるデータでは、光源は制御されない、すなわち太陽が光源であるので、利用可能な電磁エネルギーのフルスペクトルが存在する。それとは違い、光が制御され、ユーザにより提供されもするイメージング条件が存在する。そのような状況では、画像データの較正は依然として望ましいものであり、その理由は、較正なしでは不適当な強調が、ある決まったデータに他のデータより多く与えられる場合があるからである。光がユーザにより制御されるシステムでは、ユーザに知られている、および、電磁スペクトルの一部分のみ、またはフル電磁スペクトルの複数の部分であり得る光の放出を提供することが有利である。較正は、ユーザの期待を満たし、システムの内部の障害をチェックするために重要であることに変わりはない。較正の１つの方法は、センサからのデータと比較され得る、所与のイメージング条件に対する期待される値のテーブルであり得る。実施形態は、イメージングデバイスにより出力されるべきである、知られている値を有する色中性シーンを含み得るものであり、デバイスは、デバイスが色中性シーンをサンプリングするときにそれらの知られている値を満たすために調整され得る。

[0093]使用中、およびスタートアップの際にシステムは、（図１７に例示されるような）１７１０での色中性シーンを、１７０２での複数の電磁スペクトル区分部分の完全なサイクルを動かすことによりサンプリングすることが可能である。値のテーブル１７０８は、１７０４で、フレームに対するヒストグラムを生成するために形成され得る。フレームの値は、１７０６で、色中性シーンからの知られている、または期待される値と比較され得る。次いでイメージングデバイスは、１７１２で、所望の出力を満たすように調整され得る。図１７に例示される実施形態ではシステムは、イメージングデバイスを色補正するように調整され得る画像信号プロセッサ（ＩＳＰ：ｉｍａｇｅ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）を備え得る。

[0094]光の各々の区分されたスペクトルは異なるエネルギー値を有し得るので、センサおよび／または光エミッタは、エネルギー値の差を補償するように調整され得ることに留意されたい。例えば実施形態では、青色光スペクトルは、シリコンベースのイメージャに関して赤色光スペクトルより低い量子効率を有するので、センサの応答性が、次いで、赤色サイクルの間はより高応答性でなく、青色サイクルの間はより高応答性であるように調整され得る。翻ってエミッタは、正しく露光された画像を生成するために、青色光の量子効率は赤色光より低いので、より高い強度で青色光を放出することが可能である。

[0095]光源放出がシステムにより提供され制御可能である、図１８に例示される実施形態では、それらの光放出の調整が、１８００で画像を色補正するために行われ得る。調整は、大きさ、持続時間（すなわち、オン時間）、またはスペクトル区分部分の内部の範囲など、放出される光の任意の側面に対して行われ得る。加えてエミッタおよびセンサの両方は、図１９に示されるようにいくつかの実施形態では同時的に調整され得る。

[0096]出力される画像ストリームまたはビデオの内部のノイズおよびアーチファクトの量を低減するために、小部分に分けられた調整が、図２０で確認され得るようにシステムの内部のセンサまたはエミッタに対して行われ得る。図２０に例示されるのは、エミッタ２００６およびセンサ２００８の両方が調整され得るシステム２０００であるが、エミッタまたはセンサのいずれかが、使用の間に、または使用の一部分に対して調整されるイメージングデバイスもまた企図され、本開示の範囲内にある。使用の１つの部分の間にエミッタのみを調整し、使用の別の部分の間にセンサのみを調整することが有利である場合があり、一方ではさらにそれでも、使用の一部分の間に同時的に両方を調整することが有利である場合がある。上記の実施形態のいずれにおいても、改善された画像品質が、システムがフレームサイクルの間に行うことが可能である全体的な調整を制限することにより得られる場合がある。換言すれば実施形態は、エミッタが、フレームの間の任意の時間にそのエミッタの動作範囲の小部分で調整され得るだけであるように制限され得る。同様にセンサは、そのセンサが、フレームの間の任意の時間にそのセンサの動作範囲の小部分で調整され得るだけであるように制限され得る。さらにエミッタおよびセンサの両方が、それらが、実施形態では、フレームの間の任意の時間にそれらのそれぞれの動作範囲の小部分で、一体で調整され得るだけであるように制限され得る。

[0097]例示的な実施形態では、システムの内部の構成要素の小部分の調整が、例えば、以前のフレームの露光を補正するために構成要素の動作範囲の約０．１ｄＢで実施され得る。０．１ｄＢは単に例であり、他の実施形態では、構成要素の許される調整は、それらの構成要素のそれぞれの動作範囲の任意の部分であり得ることに留意されたい。システムの構成要素は、一般的には構成要素により出力されるビットの数（分解能）により左右される、強度または持続時間の調整により変化し得る。構成要素分解能は、典型的には約１０〜２４ビットの範囲の間であり得るが、この範囲に限定されるべきではなく、その理由は、その分解能は、現在利用可能である構成要素に加えてこれから開発されることになっている構成要素に対する分解能を含むことが意図されるからである。例えば第１のフレームの後で、シーンが、観察されるときに度を越して青色であると決定され、次いでエミッタが、約０．１ｄＢなどの、上記で論考されたような小部分の調整により、システムの青色サイクルの間に青色光のパルスの大きさまたは持続時間を減少するように調整され得る。

[0098]この例示的な実施形態では、１０パーセントを超えるものが必要とされた可能性があるが、システムは、１システムサイクルあたりで動作範囲の０．１ｄＢの調整にとどめている。したがって次のシステムサイクルの間に、青色光は次いで、必要とされるならば再び調整され得る。サイクルの間の小部分に分けられた調整は、出力されるイメージングされたものの減衰効果を有し得るものであり、エミッタおよびセンサをそれらの動作極値で動作させるときに、ノイズおよびアーチファクトを低減することになる。調整の構成要素の動作範囲の任意の小部分の量が、制限要因として使用され得ることが決定され得るものであり、または、システムのある決まった実施形態は、構成要素であって、それらの構成要素の動作範囲全体にわたって調整され得る構成要素を備え得ることが決定され得る。

[0099]加えて、任意のイメージセンサのオプティカルブラック区域が、画像補正およびノイズ低減の助力となるように使用され得る。実施形態では、オプティカルブラック区域から読み取られる値が、画像データ処理で使用されることになる基準点を確立するために、センサのアクティブ画素部域の値と比較され得る。図２１は、色パルス処理されるシステムで用いられ得るセンサ補正プロセスの種類を示す。ＣＭＯＳイメージセンサは典型的には、特に低い光で、画像品質に関して有害な影響を有する複数の非理想特性を有する。これらの中で主なものは、固定パターンノイズ（ｆｉｘｅｄ ｐａｔｔｅｒｎ ｎｏｉｓｅ）およびラインノイズである。固定パターンノイズは、感知要素のオフセットのばらつきである。典型的にはＦＰＮの大部分は、数ある発生源の中でも、フォトダイオードごとの暗電流のランダムな変動から起こる画素ごとのばらつきである。このことは、観視者には非常に不自然に見える。さらに目に余るのが、画素の個別の列に関連する読み出しチェーンでのオフセットから結果として生じる列ＦＰＮである。このことによって、画像の内部で垂直の筋が知覚される結果になる。

[00100]照明を総合的に制御することは、暗いデータのフレーム全体が、周期的に取得され、画素および列のオフセットを補正するために使用され得るという利点を有する。例示される例では、単一のフレームバッファが、例えば単純な指数平滑法を使用して、光のない全体のフレームの移動平均を行うために使用され得る。この暗い平均フレームが、規則的な動作の間にあらゆる照明されるフレームから減算されることになる。

[00101]ラインノイズは、各々の行の内部の画素のオフセットの確率論的な一時性の変動である。そのラインノイズは一時性であるので、補正は、各々のラインおよび各々のフレームに対して改めて計算されなければならない。この目的で通常は、アレイ内の各々の行の内部に多くの光学的ブラインド（ＯＢ：ｏｐｔｉｃａｌｌｙ ｂｌｉｎｄ）画素が存在し、それらの画素は、光に高感度な画素をサンプリングする前にラインオフセットを算定するために最初にサンプリングされなければならない。ラインオフセットはその後、ラインノイズ補正プロセスの間に単純に減算される。

[00102]図２１での例では、データを適正な順序にすること、アナログ領域で電圧オフセットをモニタおよび制御すること（ブラッククランプ）、ならびに、個々の欠陥のある画素を識別／補正することに関わるものである他の補正が存在する。

[00103]図２２および図２３は、閉鎖または制限された光環境の内部でダイナミックレンジを増大するための方法およびハードウェアの概略図を例示する。実施形態では露光入力は、経時的に異なるレベルで入力され得るものであり、より大きなダイナミックレンジを生成するように結び付くことが可能である。図２２で確認され得るように、イメージングシステムは、２２０２で、第１のサイクルの間に第１の強度でサイクル処理され得るものであり、次いで２２０４で、第２のサイクルの間に第２の強度で後に続いてサイクル処理され得るものであり、次いで２２０６で、それらの第１および第２のサイクルを単一のフレームに組み合わせることにより、そのようにして、そのより大きなダイナミックレンジが実現され得る。より大きなダイナミックレンジは、イメージングデバイスが使用されるのが、制限された空間環境であることを理由として、特に望ましい場合がある。光源により提供される光を除いて、光が不十分な、または暗い、制限された空間環境では、および、光源が光エミッタに近い場合、露光は距離と指数関係を有する。例えば、イメージングデバイスの光源および光学開口部に近い目的物は露光過度にされる傾向があり、一方で、より遠くに離れた目的物は、存在する周囲光が（いずれにしても）わずかであるので、極端に露光不足にされる傾向がある。

[00104]図２３で確認され得るように、複数の区分部分での電磁エネルギーの放出を有するシステムのサイクルが、２３００で電磁スペクトルの区分部分によってシリアルにサイクル処理され得る。例えば、エミッタが、別個の赤色区分部分、別個の青色区分部分、および別個の緑色区分部分でレーザを放出する実施形態では、組み合わされることになっている２つのサイクルデータセットは、以下の形式であり得る：
２３０２での強度１での赤色、
２３０４での強度２での赤色、
２３０２での強度１での青色、
２３０４での強度２での青色、
２３０２での強度１での緑色、
２３０４での強度２での緑色。

[00105]あるいはシステムは、以下の形式でサイクル処理され得る：
２３０２での強度１での赤色、
２３０２での強度１での青色、
２３０２での強度１での緑色、
２３０４での強度２での赤色、
２３０４での強度２での青色、
２３０４での強度２での緑色。

[00106]そのような実施形態では、第１の画像が、強度１の値から導出され得るものであり、第２の画像が、強度２の値から導出され、次いで２３１０で、それらの成分の部分ではなく完全な形の画像データセットとして組み合わされ、または処理され得る。

[00107]任意の数の放出区分部分が任意の順序で使用され得ることが、本開示の範囲内にあるように企図される。図２３で確認されるように、「ｎ」が、任意の数の電磁区分部分を指し示すための変数として使用され、「ｍ」が、「ｎ」の区分部分に対する強度の任意のレベルを指し示すために使用される。そのようなシステムは、以下の形式でサイクル処理され得る：
２３０６での強度ｍでのｎ、
強度ｍ＋１でのｎ＋１、
強度ｍ＋２でのｎ＋２、
２３０８での強度ｍ＋ｊでのｎ＋ｉ。

[00108]したがって、シリアル化されたサイクルの任意のパターンが、所望の画像補正を生成するために使用され得るものであり、「ｉ」および「ｊ」は、イメージングシステムの動作範囲内の追加的な値である。

[00109]デジタルカラーカメラは、色再現の忠実度を最大化する目的で、画像処理段階を組み込む。このことは、色補正行列（ＣＣＭ）として知られている３×３行列によって達成される。

[00110]ＣＣＭ内の項は、ｓＲＧＢ標準色空間に対する最良の全体的な整合を提供するように、（例えば、Ｍａｃｂｅｔｈチャートからの）基準色のセットを使用してチューニングされる。対角項ａ、ｅ、およびｉが、実際上はホワイトバランスゲインである。典型的には、ホワイトバランスは別々に適用され、水平行の和は１であるように制約されるが、正常な状態では、正味のゲインはＣＣＭ自体により適用されない。非対角項は、実際上は、入力チャネル内の色クロストークを扱う。したがってＢａｙｅｒセンサは、色フィルタアレイがチャネルの間で多くの応答重複を有するので、３チップカメラより高い非対角のものを有する。

[00111]非対角項の大きさに依存的である、色補正に対する信号対ノイズ比ペナルティが存在する。ｓＲＧＢ成分と完璧に整合したチャネルを伴う仮想的なセンサは、単位行列ＣＣＭを有することになる。

[00112]この事例に対する、（読み取りノイズを無視する）１画素あたり１０，０００ｅ−の完璧な白色フォト信号に対する、緑色チャネルで評価される信号対ノイズ比は次式となる。

[00113]このことからいかなる形で外れても、ＳＮＲを悪化させる。例えば、ＢａｙｅｒＣＭＯＳセンサに対して異常とはならない値を有する以下のＣＣＭを取り上げる。

[00114]この事例では、緑色ＳＮＲは次式となる。

[00115]図２４は、チューニングされたＣＣＭと対比しての、単位行列を使用する事例に対する、典型的なＢａｙｅｒセンサＣＣＭに対するＤ６５照明を使用する完全なＳＮＲシミュレーションの結果を示す。輝度成分に対して評価されたＳＮＲは、色補正の結果として約６ｄＢだけ、より劣っている。

[00116]本開示で説明されるシステムは、３つの離散的な波長で単色の照明を使用し、したがって、それ自体には色クロストークは存在しない。図２５での×印は、三角形により指示されるｓＲＧＢ色域と比較される、レーザダイオード源によって利用可能である３つの波長（４６５、５３２、および６３９ｎｍ）の位置を指示する。

[00117]この事例でのＣＣＭに関する非対角項は、Ｂａｙｅｒセンサと比較されると大幅に低減され、そのことは、有意なＳＮＲの利点をもたらす。

[00118]図２６は、イメージセンサの画素アレイの画素構成により提供されるような、増大されたダイナミックレンジを有するイメージングシステムを例示する。図で確認され得るように、近接する画素２６０２および２６０４は、異なる感度でセットされ得るものであり、そのことによって各々のサイクルは、相互に対して、より高感度である、およびより高感度でない画素により生成されるデータを含む。複数の感度がアレイの単一のサイクル内で記録され得るので、ダイナミックレンジは、他の実施形態の時間依存のシリアルの性質とは対照的に、並列に記録される場合に増大され得る。

[00119]実施形態では、アレイは画素の行を備え得るものであり、それらの画素は、それらの感度に基づいて行に配置され得る。実施形態では、異なる感度の画素は、行または列の内部で、その最も近い近隣の画素に対して、それらの感度に基づいて、アレイの全体を通して市松模様を形成するように互い違いになり得る。上記のことは、任意の画素回路網共有配置構成によって、または、任意のスタンドアローン画素回路配置構成で達成され得る。

[00120]広ダイナミックレンジは、複数のグローバルＴＸを有することにより実現され得るものであり、各々のＴＸは、画素の異なるセットに関してのみ点弧する。例えばグローバルモードでは、グローバルＴＸ１信号は画素のセット１を点弧しており、グローバルＴＸ２信号は画素のセット２を点弧しており、…、グローバルＴＸｎ信号は画素のセットｎを点弧している。

[00121]図１１に基づいて、図２７Ａは、画素アレイ内の２つの異なる画素感度（二重画素感度）に対するタイミング例を示す。この事例では、グローバルＴＸ１信号はアレイの画素の半分を点弧し、グローバルＴＸ２は画素の他方の半分を点弧する。グローバルＴＸ１およびグローバルＴＸ２は異なる「オン」から「オフ」へのエッジ位置を有するので、積分される光はＴＸ１画素とＴＸ２画素との間で異なる。図２７Ｂは、二重画素感度に対するタイミングの異なる実施形態を示す。この事例では、光パルスは２回変調される（パルスの持続時間および／または振幅）。ＴＸ１画素はＰ１パルスを積分し、ＴＸ２画素はＰ１＋Ｐ２パルスを積分する。グローバルＴＸ信号を分離することは、多くの方途で行われ得る。以下は例である：
・各々の行からＴＸラインを分化させる、および、
・各々が画素の異なるセットをアドレス指定する、行ごとの複数のＴＸラインを送出する。
１つの実装形態では、広ダイナミックレンジビデオを提供する手段が説明され、その手段は、本開示で説明された色パルス処理システムを活用する。このことの基本は、複数のフレーバー（ｆｌａｖｏｒ）の画素、すなわち、同じフレームの内部で異なる持続時間の間、入射光を積分することが可能である、同じ単色アレイの内部で異なってチューニングされ得る画素を有することである。そのようなセンサのアレイ内の画素配置構成の例は、全体を通して、２つの無関係に可変の積分時間を伴う、一様な市松模様となる。そのような事例に関しては、同じフレームの内部で赤色および青色の両方の情報を提供することが可能である。実際には、このことを同じ時間に、緑色フレームに対してダイナミックレンジを拡張するように行うことが、そのことが最も必要とされる場合には可能であり、その理由は、２つの積分時間は１フレームずつを基本として調整され得るからである。利点は、色モーションアーチファクトは、すべてのデータが２つのフレームから導出される場合に、３つと対比して、より重要ではない問題点であることである。当然ながら、赤色および青色のデータに対する空間分解能の、後に続く損失が存在するが、そのことは、緑色と比較されると、画像品質に対する重大性はより小さいものであり、その理由は、輝度成分は緑色データにより支配されるからである。

[00122]単色広ダイナミックレンジ（ＷＤＲ）アレイの固有の特質は、長い積分時間を有する画素が、短い積分時間画素により認知される光のスーパーセットを積分しなければならないことである。緑色フレームでの規則的な広ダイナミックレンジ動作に関しては、そのことが望ましい。赤色および青色のフレームに関しては、そのことは、パルス処理が、例えば、長い露光の開始から青色光を提供し、短い露光画素がオンにされる時点で赤色に切り替える（両方の画素タイプが、同じ時間に伝達されるそれらの電荷を有する）ように、露光期間と連関して制御されなければならないことを意味する。

[00123]色融合段階では、２つのフレーバーの画素が２つのバッファ内に分離される。次いで空の画素が、例えば線形補間を使用して充填される。この時点で、一方のバッファは青色データの完全な画像を内包し、他方は赤色＋青色である。青色バッファは、純粋な赤色データを与えるために第２のバッファから減算され得る。

[00124]図２８Ａ〜図２８Ｃは、対応する色センサによってパルス処理される、および／または、そのセンサと同期される、または、そのセンサによって一定に保持される白色光放出の使用を例示する。図２８Ａで確認され得るように、白色光エミッタは、制御される光環境で、制御される光源を提供するように、対応するセンサのブランキング期間の間に光のビームを放出するように構成され得る。光源は、図２８Ａで確認されるように、一定の大きさでビームを放出し、パルスの持続時間を変動させることが可能であり、または、図２８Ｂに例示されるように、正しく露光されるデータを実現するために、大きさを変動させることによってパルスを一定に保持することが可能である。図２８Ｃに例示されるのは、センサにより制御される、およびセンサと同期される、変動する電流によって変調され得る一定の光源のグラフィカル表現図である。

[00125]実施形態では、白色光またはマルチスペクトル光は、（図２８Ａ〜図２８Ｃに最良に例示される）システムの内部で使用するためのデータを提供するために、所望されるならば、パルスとして放出され得る。電磁スペクトルの区分部分と組み合わせた白色光放出は、シーンの内部のある決まった態様を強調する、および強調を抑えるために有用であり得る。そのような実施形態は、以下のパルス処理パターンを使用することが可能である。

緑色パルス、
赤色パルス、
青色パルス、
緑色パルス、
赤色パルス、
青色パルス、
白色光（マルチスペクトル）パルス、
（繰り返し）
[00126]白色光サイクルより少なくとも２倍高速であるイメージセンササイクルを使用する任意のシステムは、本開示の範囲内にあることが意図される。電磁スペクトルの区分部分の任意の組み合わせが、それが、フル電磁スペクトルの可視スペクトルからのものであろうと、またはそのフル電磁スペクトルの不可視スペクトルからのものであろうと、本明細書で企図されることが十分理解されよう。

[00127]図２９Ａおよび図２９Ｂは、それぞれ、本開示の教示および原理による、３次元画像を生成するための複数の画素アレイを有する、モノリシックセンサ２９００の実装形態の斜視図および側面図を例示する。そのような実装形態は、２つの画素アレイ２９０２および２９０４が使用の間にオフセット処理され得る、３次元画像キャプチャのために望ましい場合がある。別の実装形態では、第１の画素アレイ２９０２および第２の画素アレイ２９０４は、電磁放射の所定の範囲の波長を受け取ることに専用であり得るものであり、第１の画素アレイは、第２の画素アレイとは異なる範囲の波長の電磁放射に専用である。

[00128]図３０Ａおよび図３０Ｂは、それぞれ、複数の基板上に築造されるイメージングセンサ３０００の実装形態の斜視図および側面図を例示する。例示されるように、画素アレイを形成する複数の画素列３００４が第１の基板３００２上に設けられ、複数の回路列３００８が第２の基板３００６上に設けられる。さらに図に例示されるのが、画素の１つの列から、その列の、回路網の関連または対応する列への間の、電気的な接続および通信である。１つの実装形態では、イメージセンサであって、その画素アレイおよびサポートする回路網が単一のモノリシック基板／チップ上にある状態で、別の方法で製造され得るイメージセンサは、画素アレイが、サポートする回路網のすべてまたは大半から分離される場合がある。本開示は、３次元積層技術を使用して一体で積層されることになる、少なくとも２つの基板／チップを使用することが可能である。２つの基板／チップのうちの第１のもの３００２は、画像ＣＭＯＳプロセスを使用して処理され得る。第１の基板／チップ３００２は、排他的に画素アレイで、または、限定された回路網により包囲される画素アレイで構成され得る。第２の、または後に続く基板／チップ３００６は、任意のプロセスを使用して処理され得るものであり、画像ＣＭＯＳプロセスからのものである必要はない。第２の基板／チップ３００６は、基板／チップ上の非常に限定された空間もしくは区域内に様々な、およびいくらかの機能を集積するための高密度デジタルプロセス、または、例えば精密なアナログ機能を集積するための混合モードもしくはアナログプロセス、または、ワイヤレス性能を実装するためのＲＦプロセス、または、ＭＥＭＳ（微小電気機械システム（Ｍｉｃｒｏ−Ｅｌｅｃｔｒｏ−Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍ））デバイスを集積するためのＭＥＭＳであり得るが、それらに限定されない。画像ＣＭＯＳ基板／チップ３００２は、任意の３次元技法を使用して、第２の、または後に続く基板／チップ３００６とともに積層され得る。第２の基板／チップ３００６は、周辺回路として（モノリシック基板／チップ上で実装されるならば）第１の画像ＣＭＯＳチップ３００２内で別の方法で実装されたであろう、したがって、全体的なシステム区域を増大したであろう回路網の大部分または大半をサポートし、一方で、画素アレイサイズを一定に、および、可能な限り最大限の程度まで最適化された状態に保つことが可能である。２つの基板／チップの間の電気的な接続は、ワイヤボンド、バンプ、および／またはＴＳＶ（シリコン貫通電極）であり得る、相互接続３００３および３００５によって行われ得る。

[00129]図３１Ａおよび図３１Ｂは、それぞれ、３次元画像を生成するための複数の画素アレイを有するイメージングセンサ３１００の実装形態の斜視図および側面図を例示する。３次元イメージセンサは、複数の基板上に築造され得るものであり、複数の画素アレイおよび他の関連する回路網を備え得るものであり、第１の画素アレイを形成する複数の画素列３１０４ａ、および、第２の画素アレイを形成する複数の画素列３１０４ｂが、それぞれ、それぞれの基板３１０２ａおよび３１０２ｂ上に設けられ、複数の回路列３１０８ａおよび３１０８ｂが別々の基板３１０６上に設けられる。さらに例示されるのが、画素の列から、回路網の関連または対応する列への間の、電気的な接続および通信である。

[00130]本開示の教示および原理は、本開示の範囲から逸脱することなく、再使用可能デバイスプラットフォーム、限定使用デバイスプラットフォーム、再利用可能（ｒｅ−ｐｏｓａｂｌｅ）使用デバイスプラットフォーム、または、単回使用／使い捨てデバイスプラットフォームで使用され得ることが十分理解されよう。再使用可能デバイスプラットフォームではエンドユーザは、デバイスの洗浄および滅菌に対して責任を負うことが十分理解されよう。限定使用デバイスプラットフォームではデバイスは、動作不能になる前に、ある程度の指定された量の回数の間使用され得る。典型的な新しいデバイスは無菌状態で配送され、追加的な使用では、エンドユーザに、追加的な使用の前に洗浄および滅菌することを求める。再利用可能使用デバイスプラットフォームではサードパーティが、新しいユニットより低いコストでの追加的な使用のために、デバイス、すなわち単回使用デバイスを再処理することが可能である（例えば、洗浄、パッケージング、および滅菌する）。単回使用／使い捨てデバイスプラットフォームではデバイスは、無菌状態で手術室に提供され、処分される前に１回だけ使用される。

[00131]エミッタの実施形態は、パルス処理された色の光を生み出すために、機械式のシャッタおよびフィルタの使用を用いることが可能である。図３２に例示されるような、白色光源、ならびに、機械式の色フィルタおよびシャッタのシステム３２００を使用する、パルス処理された色の光を生成するための代わりの方法。回転円板は、半透明の色フィルタ窓のパターン、および、シャッタリングのための不透明なセクションを内包し得る。不透明なセクションは、光の通り抜けを許さないことになり、センサ読み出しが行われ得る暗状態の期間を生み出すことになる。白色光源は、任意の技術、すなわち、レーザ、ＬＥＤ、キセノン、ハロゲン、メタルハライド、または他のものに基づくものであり得る。白色光は、有色の光パルスの所望のパターンの一連の色フィルタ３２０７、３２０９、および３２１１を通して投影され得る。１つの実施形態のパターンは、赤色フィルタ３２０７、緑色フィルタ３２０９、青色フィルタ３２１１、緑色フィルタ３２０９であり得る。フィルタおよびシャッタのシステム３２００は、センサとシンクロしているように、必要とされる周波数で転回する回転円板上に配置構成され得るものであり、そのことによって、機械式の色フィルタ３２０７、３２０９、および３２１１、ならびにシャッタ３２０５のシステムの、アーチ形の長さおよび回転のレートを知ることが、対応する単色のイメージセンサの動作のためのタイミング情報をもたらすことになる。

[00132]図３３に例示されるが、実施形態は、半透明の色フィルタ３３０７、３３０９、および３３１１のみのパターンをフィルタ回転円板３３００上に備え得る。本構成では、異なるシャッタが使用され得る。シャッタは、機械式であり得るものであり、サイズが変動することにより「パルス」持続時間を動的に調整することが可能である。代わりにシャッタは、電子式であり得るものであり、センサ設計に組み込まれ得る。フィルタ回転円板３３００を転回させるモータは、センサと通信する、または、センサと連関して制御される必要があることになり、そのことによって、機械式の色フィルタ３３０７、３３０９、および３３１１のシステムの、アーチ形の長さおよび回転のレートを知ることが、対応する単色のイメージセンサの動作のためのタイミング情報をもたらすことになる。制御システムは、フルカラー画像がＩＳＰ内で適正に再構築され得るように、センサによりキャプチャされる各々のフレームに対する適正な色フィルタを知る必要があることになる。ＲＧＢＧの色パターンが示されるが、他の色および／またはパターンが、有利であるならば使用され得る。色セクションの相対的なサイズは、等しいように示されるが、有利であるならば調整され得る。フィルタの機械式の構造は、回転して動く円として示されるが、直線移動を伴う矩形、または、異なる移動パターンを伴う異なる形状であり得る。

[00133]例示される図３４として、色の光をパルス処理するための実施形態は、赤色、緑色、青色、または白色のＬＥＤのための電子回路およびヒートシンクを保持する、機械式の回転円板または筒体からなるものであり得る。ＬＥＤは、本特許での他の実施形態と無矛盾の光パルス処理のタイミングを考慮に入れるように、筒体または回転円板の転回または湾曲のレートに関係付けられることになる距離で隔置されることになる。回転円板または筒体は、電気モータ、および、電気モータに回転円板または筒体を取り付ける機械式のブラケットを使用して転回されることになる。モータは、本特許で説明されるような適正なタイミングのための制御アルゴリズムを内包することになる、マイクロコントローラ、ＦＰＧＡ、ＤＳＰ、または他のプログラマブルデバイスを使用して制御されることになる。１つの側部上に、光ファイバに光学的に結合されることになる機械式の開口部が、本特許で説明される方法による観察器械の端部にファイバを移送するために存在することになる。この結合は、光ファイバケーブルを通ることを許される光の量を制御するために開放および閉塞することが可能である機械式の絞りもまた有し得る。これは機械式のシャッタのデバイスとなるが、あるいは、ＣＭＯＳまたはＣＣＤタイプのセンサ内に設計される電子シャッタを使用することが可能である。このデバイスは、生成の際に制御および較正するのは困難であろうが、別の方途で、本発明者らのシステム内にパルス処理された光を入れることは可能である。

[00134]図３５に例示されるのは、パルス処理された電磁放射を提供するための線形のフィルタおよびシャッタの機構を備えるエミッタの実施形態である。

[00135]図３６に例示されるのは、パルス処理された電磁放射を提供するためのプリズムのフィルタおよびシャッタの機構を備えるエミッタの実施形態である。

[00136]加えて本開示の教示および原理は、赤外線（ＩＲ）、紫外線（ＵＶ）、およびＸ線などの、可視および不可視のスペクトルを含む、電磁エネルギーの一切の波長を含み得る。

[00137]本明細書で開示される様々な特徴が、当技術分野において有意な利点および前進をもたらすことが十分理解されよう。以下の特許請求の範囲は、それらの特徴のいくつかについて例示的である。

[00138]本開示の前述の詳細な説明では、本開示の様々な特徴が、本開示を簡素化する目的で、単一の実施形態内に一体で群化されている。開示のこの方法は、請求される本開示が、各々の請求項で明示的に列挙されるよりも多くの特徴を必要とするという意図を反映すると解釈されるべきではない。むしろ発明の態様は、単一の前述の開示された実施形態のすべての特徴より少ないものである。

[00139]上記の説明された配置構成は、本開示の原理の適用について単に例示する性質のものであることを理解されたい。数多くの修正および代替的な配置構成が、本開示の趣旨および範囲から逸脱することなく当業者により考案され得るものであり、添付される特許請求の範囲は、そのような修正および配置構成に及ぶことが意図される。

[00140]このように本開示は、特殊性および細部に関して、図面に示され上記で説明されたが、サイズ、材料、形状、形式、動作の機能および様式、組み立て、ならびに使用においての変形を含む、ただしそれらに限定されない数多くの修正が、本明細書で論述された原理および概念から逸脱することなく行われ得ることが、当業者には明らかになろう。

[00141]さらに、適切である場合には、本明細書で説明される機能は、ハードウェア、ソフトウェア、ファームウェア、デジタル構成要素、またはアナログ構成要素のうちの、１つまたは複数で実施され得る。例えば、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）が、本明細書で説明されるシステムおよび処置の１つまたは複数を履行するようにプログラムされ得る。ある決まった用語が、個別のシステム構成要素を指すように、以下の説明および特許請求の範囲の全体を通して使用される。当業者であれば十分理解するであろうが、構成要素は異なる名前により呼ばれる場合がある。本文書は、名前では異なるが機能では異ならない構成要素の間で区別することを意図しない。

[00142]前述の説明は、例示および説明の目的で提示されたものである。網羅的であること、または、開示された精密な形式に本開示を限定することは意図されない。多くの修正および変形が、上記の教示に鑑みて可能である。さらに、上述の代わりの実装形態のいずれかまたはすべてが、本開示の追加的な混成型の実装形態を形成するために所望される任意の組み合わせで使用され得ることに留意されたい。

[00143]さらに、本開示の特定の実装形態が説明および例示されたが、本開示は、そのように説明および例示された部分の特定の形式または配置構成に限定されるべきではない。本開示の範囲は、本明細書に添付される特許請求の範囲、ここで、および異なる出願で具申される任意の将来の特許請求の範囲、ならびに、それらの等価物により定義されるべきである。

Claims (43)

1. 周囲光が露光に対して不十分な環境(ambient light deficient environment)でのデジタルイメージングのためのシステムであって、
   電磁(electromagnetic)放射(radiation)を感知するための画素のアレイを備えるＣＭＯＳイメージングセンサであって、前記画素のアレイが複数の画素の行を含む、ＣＭＯＳイメージングセンサと、
   目的物に電磁放射のパルスを放出するように構成されたエミッタ(emitter)と、
   前記エミッタおよび前記イメージングセンサと電気的に通信するプロセッサと備えるコントローラにおいて、前記コントローラは、ビデオストリームを生成するために、前記イメージングセンサのブランキング期間の間に前記エミッタからの電磁放射のパルスのタイミングを協調させて同期させるように構成され、該コントローラは、第１のフレーム（ｍ）と第２のフレーム（ｍ＋１）とを備える複数の繰り返し読み出しフレームをキャプチャする、コントローラと
   を備え、
   前記エミッタは、複数の電磁区分部分で光をパルス処理することが可能であり、これにより、前記画素のアレイは、前記目的物から反射された電磁エネルギーを受け取り、各々の特定の電磁区分部分と時間的に符号するデータセットを生成し、
   前記コントローラが、前記繰り返し読み出しフレームの各々の間に、前記画素のアレイ中の前記データセットの情報を前記イメージングセンサに読み出させ、前記繰り返し読み出しフレームの各々が前記画素のアレイ中の各画素を読むのに必要な時間の合計に対応し、前記画素のアレイにおける前記複数の画素の行は、前記第１のフレーム（ｍ）のオプティカルブラックの前部行以後からオプティカルブラックの後部行以前で積分を開始して前記第２のフレーム（ｍ＋１）のオプティカルブラックの前部行以後からオプティカルブラックの後部行以前で積分を終了するように、露光フレームが前記第１のフレーム（ｍ）及び前記第２のフレーム（ｍ＋１）と重複しており、
   前記電磁放射のパルスは、前記第１のフレーム（ｍ）のオプティカルブラックの後部行から前記第２のフレーム（ｍ＋１）のオプティカルブラックの前部行の間で放出され、
   前記複数の繰り返しフレームが、前記ビデオストリームの生成の間に繰り返され、
   前記エミッタが複数の電磁波長で電磁放射を放出するように構成され、
   前記イメージングセンサは、１つの露光フレームから別の露光フレームまでの異なるブランキング期間を含むシステム。
2. 前記第１のフレームに対する読み出しフレームが、前記第２のフレームに対する前記読み出しフレームと等しい、請求項１に記載のシステム。
3. 前記コントローラが、前記第１のフレームと、前記第２のフレームと、第３のフレームを備える複数の繰り返しフレームをキャプチャし、前記第３のフレームに対するブランキング期間は、前記第１のフレームに対する前記ブランキング期間と前記第２のフレームに対する前記ブランキング期間とのいずれとも異なっている、請求項１に記載のシステム。
4. ハンドピースと前記コントローラとを電気的に接続する接続ケーブルをさらに備える、請求項１に記載のシステム。
5. 前記イメージングセンサが単色センサである、請求項１に記載のシステム。
6. 前記エミッタが３つ以上の電磁波長で電磁放射を放出するように構成される、請求項１に記載のシステム。
7. 前記エミッタにより放出される電磁放射の前記３つ以上の電磁波長が、
   電磁放射の緑色波長と、
   電磁放射の赤色波長と、
   電磁放射の青色波長と
   を含む、請求項６に記載のシステム。
8. 電磁放射の前記青色波長、前記赤色波長、および前記緑色波長が、前記複数の繰り返しフレームにおける繰り返しパターンで放出される、請求項７に記載のシステム。
9. 前記緑色波長が、前記赤色波長および前記青色波長の２倍頻繁に前記パターンで表される、請求項８に記載のシステム。
10. 前記エミッタにより放出される電磁放射の前記パルスが、前記第１のフレームに対する第１の波長のものと、前記第２のフレームに対する第２の波長のものとを含む、請求項１に記載のシステム。
11. 前記エミッタにより放出される電磁放射の前記パルスが、人間の眼に可視である１つ以上の波長のものを含む、請求項１に記載のシステム。
12. 前記エミッタにより放出される電磁放射の前記パルスが、人間の眼に可視でない１つ以上の波長のものを含む、請求項１に記載のシステム。
13. 前記エミッタにより放出される電磁放射の前記パルスが、人間の眼に可視である１つ以上の波長のものと、人間の眼に可視でない１つ以上の波長のものとを含む、請求項１に記載のシステム。
14. 前記エミッタにより放出される電磁放射の前記パルスが、異なる波長に対して異なる大きさのものを含む、請求項１に記載のシステム。
15. 前記異なる大きさが、前記異なる波長に対する前記イメージングセンサの感度を補償する、請求項１４に記載のシステム。
16. 前記イメージングセンサが、内視鏡の遠位部分内に配設される、請求項１に記載のシステム。
17. 前記イメージングセンサが、ハンドピースの内部に配設される、請求項１に記載のシステム。
18. 周囲光が露光に対して不十分な環境(light deficient environment)でのデジタルイメージングのためのシステムであって、
    電磁(electromagnetic)放射(radiation)を感知するための画素のアレイを備えるＣＭＯＳイメージングセンサであって、前記画素のアレイが複数の画素の行を含む、ＣＭＯＳイメージングセンサと、
    目的物に電磁放射のパルスを放出するように構成されたエミッタ(emitter)と、
    ビデオストリームを生成するために、前記イメージングセンサのブランキング期間の間に前記エミッタからの電磁放射のパルスのタイミングを協調させて同期させるように構成されたコントローラにおいて、該コントローラが、前記システムに第１のフレーム（ｍ）と第２のフレーム（ｍ＋１）とを備える複数の繰り返し読み出しフレームを前記システムにキャプチャさせる、コントローラと
    を備え、
    前記エミッタは、複数の電磁区分部分で光をパルス処理することが可能であり、これにより、前記画素のアレイは、前記目的物から反射された電磁エネルギーを受け取り、各々の特定の電磁区分部分と時間的に符号するデータセットを生成し、
    前記コントローラが、
    前記イメージングセンサからの前記画素のアレイ中の前記データセットの情報を読むことで第１の画像フレームをキャプチャすることと、第１の露光フレームの間に前記エミッタを用いて電磁放射を放出することとであって、前記第１のフレーム（ｍ）が前記画素のアレイ中の各画素を読むのに必要な時間の合計に対応し、前記画素のアレイにおける前記複数の画素の行は、前記第１のフレーム（ｍ）のオプティカルブラックの前部行以後からオプティカルブラックの後部行以前で積分を開始して前記第２のフレーム（ｍ＋１）のオプティカルブラックの前部行以後からオプティカルブラックの後部行以前で積分を終了するように、該露光フレームが前記第１のフレーム（ｍ）及び前記第２のフレーム（ｍ＋１）と重複している、キャプチャすることと放出することと、
    前記イメージングセンサからの前記画素のアレイ中の前記データセットの情報を読むことで第２の画像フレームをキャプチャすることと、第２の露光フレームの間に前記エミッタを用いて電磁放射を放出することとであって、前記第２のフレーム（ｍ＋１）が、前記画素のアレイ中の各画素を読むのに必要な時間の合計に対応する、キャプチャすることと放出することと、
    によって、前記複数の繰り返しフレームを前記システムにキャプチャさせ、
    前記電磁放射のパルスは、前記第１のフレーム（ｍ）のオプティカルブラックの後部行から前記第２のフレーム（ｍ＋１）のオプティカルブラックの前部行の間で放出され、
    前記複数の繰り返しフレームが、前記ビデオストリームの生成の間に繰り返され、
    前記エミッタが複数の電磁波長で電磁放射を放出するように構成され、
    前記イメージングセンサは、１つの露光フレームから別の露光フレームまでの異なるブランキング期間を含むシステム。
19. 内視鏡をさらに備え、該内視鏡の遠位部分が、前記イメージングセンサを備える、請求項１８に記載のシステム。
20. 前記第１のフレームが、前記第２のフレームと等しい、請求項１８に記載のシステム。
21. 前記コントローラが、
    第３の読み出しフレームの間に前記イメージングセンサからの前記画素のアレイ中の前記データセットの情報を読むことで第３の画像フレームをキャプチャすることと、第３の露光フレームの間に前記エミッタを用いて電磁放射を放出することとであって、前記第３の読み出しフレームは、前記画素のアレイ中の各画素を読むのに必要な時間の合計に対応し、該第３の露光フレームは、該第３の読み出しフレームと重複している、キャプチャすることと放出することと、
    によって、前記複数の繰り返しフレームを前記システムにさらにキャプチャさせる、請求項１８に記載のシステム。
22. ハンドピースと前記コントローラとを電気的に接続する接続ケーブルをさらに備える、請求項１８に記載のシステム。
23. 前記イメージングセンサが単色センサである、請求項１８に記載のシステム。
24. 前記エミッタが３つ以上の電磁波長で電磁放射を放出するように構成される、請求項２３に記載のシステム。
25. 前記エミッタにより放出される電磁放射の前記３つ以上の電磁波長が、
    電磁放射の緑色波長と、
    電磁放射の赤色波長と、
    電磁放射の青色波長と
    を含む、請求項２４に記載のシステム。
26. 前記コントローラが、前記複数の繰り返しフレームにおける異なるブランキング期間内の繰り返しパターン中において、青色波長、赤色波長、緑色波長の電磁放射を前記エミッタに放出させる、請求項２５に記載のシステム。
27. 前記緑色波長が、前記赤色波長および前記青色波長の２倍頻繁に前記パターンで表される、請求項２６に記載のシステム。
28. 前記エミッタにより放出される電磁放射の前記パルスが、人間の眼に可視である１つ以上の波長のものを含む、請求項１８に記載のシステム。
29. 前記エミッタにより放出される電磁放射の前記パルスが、人間の眼に可視でない１つ以上の波長のものを含む、請求項１８に記載のシステム。
30. 前記エミッタにより放出される電磁放射の前記パルスが、人間の眼に可視である１つ以上の波長のものと、人間の眼に可視でない１つ以上の波長のものとを含む、請求項１８に記載のシステム。
31. 前記エミッタにより放出される電磁放射の前記パルスが、異なる波長に対して異なる大きさのものを含む、請求項１８に記載のシステム。
32. 前記コントローラが、前記異なる波長に対する前記イメージングセンサの感度を補償するように、前記異なる大きさを制御する、請求項３１に記載のシステム。
33. 前記イメージングセンサが、ハンドピースに対して遠位部分で内視鏡内に配設される、請求項１８に記載のシステム。
34. 前記イメージングセンサが、ハンドピースの内部に配設される、請求項１８に記載のシステム。
35. 命令を含むプログラムを格納する非一過性のコンピュータ可読記憶媒体であって、
    前記命令は、１つ以上のプロセッサによって実行されたときに、該１つ以上のプロセッサに、ビデオストリームを生成するために、周囲光が露光に対して不十分な環境内で第１のフレーム（ｍ）と第２のフレーム（ｍ＋１）とを備える複数の繰り返し読み出しフレームをキャプチャするように、ＣＭＯＳイメージングセンサとエミッタを制御させるものであり、
    前記イメージングセンサからの画素のアレイ中のデータセットの情報を読むことで第１の画像フレームをキャプチャすることと、第１の露光フレームの間に前記エミッタを用いて電磁放射を放出することとであって、前記第１のフレーム（ｍ）が前記画素のアレイ中の各画素を読むのに必要な時間の合計に対応し、前記画素のアレイにおける前記複数の画素の行は、前記第１のフレーム（ｍ）のオプティカルブラックの前部行以後からオプティカルブラックの後部行以前で積分を開始して前記第２のフレーム（ｍ＋１）のオプティカルブラックの前部行以後からオプティカルブラックの後部行以前で積分を終了するように、該露光フレームが前記第１のフレーム（ｍ）及び前記第２のフレーム（ｍ＋１）と重複している、キャプチャすることと放出することと、
    前記イメージングセンサからの前記画素のアレイ中の前記データセットの情報を読むことで第２の画像フレームをキャプチャすることと、第２の露光フレームの間に前記エミッタを用いて電磁放射を放出することとであって、前記第２のフレーム（ｍ＋１）が、前記画素のアレイ中の各画素を読むのに必要な時間の合計に対応する、キャプチャすることと放出することと、
    によって、前記複数の繰り返しフレームをキャプチャさせ、
    前記電磁放射のパルスは、前記第１のフレーム（ｍ）のオプティカルブラックの後部行から前記第２のフレーム（ｍ＋１）のオプティカルブラックの前部行の間で放出され、
    前記複数の繰り返しフレームが、デジタルビデオストリームの生成の間に繰り返され、
    前記エミッタが複数の電磁波長で電磁放射を目的物に放出するように構成され、
    前記イメージングセンサは、１つの露光フレームから別の露光フレームまでの異なるブランキング期間を含み、
    前記エミッタは、複数の電磁区分部分で光をパルス処理することが可能であり、これにより、前記画素のアレイは、前記目的物から反射された電磁エネルギーを受け取り、各々の特定の電磁区分部分と時間的に符号する前記データセットを生成する、コンピュータ可読記憶媒体。
36. 前記第１のフレームは、前記第２のフレームと等しい、請求項３５に記載のコンピュータ可読記憶媒体。
37. 前記命令が、
    第３の読み出しフレームの間に前記イメージングセンサからの前記画素のアレイ中の前記データセットの情報を読ませることと、第３の露光フレームの間に前記エミッタを用いて電磁放射を放出させることとによって、前記複数の繰り返しフレームの一部として第３の画像フレームを前記１つ以上のプロセッサにキャプチャさせ、
    前記第３の読み出しフレームは、前記画素のアレイ中の各画素を読むのに必要な時間の合計に対応し、該第３の露光フレームは、該第３の読み出しフレームと重複している、請求項３５に記載のコンピュータ可読記憶媒体。
38. 前記イメージングセンサが単色センサである、請求項３５に記載のコンピュータ可読記憶媒体。
39. 前記命令が、前記複数の繰り返しフレームの異なるブランキング期間内における繰り返しパターン中において、前記１つ以上のプロセッサによって、複数の電磁波長で電磁放射を前記エミッタに放出させるようにする、請求項３５に記載のコンピュータ可読記憶媒体。
40. 前記複数の電磁波長は、緑色波長と、赤色波長と、青色波長とを含み、
    前記命令が、前記赤色波長および前記青色波長の２倍頻繁に前記緑色波長を前記繰り返しパターンで表す、請求項３９に記載のコンピュータ可読記憶媒体。
41. 前記命令が、前記１つ以上のプロセッサによって、人間の眼に可視である１つ以上の波長と、人間の眼に可視でない１つ以上の波長とを含む複数の電磁波長で、前記エミッタにより電磁放射を放出させる、請求項３５に記載のコンピュータ可読記憶媒体。
42. 前記命令が、前記１つ以上のプロセッサによって、異なる波長に対して異なる大きさで、前記エミッタにより電磁放射を放出させる、請求項３５に記載のコンピュータ可読記憶媒体。
43. 前記命令が、前記１つ以上のプロセッサを、前記異なる波長に対する前記イメージングセンサの感度を補償するように、前記異なる大きさを制御する、請求項４２に記載のコンピュータ可読記憶媒体。

Images