JP2018038088A - モードレスな映像及び静止画フレームキャプチャ - Google Patents

Abstract

【課題】この発明は、携帯型電子デバイスにおける映像及び静止画フレームキャプチャの分野に関連する。
【解決手段】ある実施形態において、電子デバイスは、映像キャプチャ中に静止画フレームをキャプチャするように構成され得るが、アスペクト比４×３、及びアスペクト比１６×９の映像フレームよりも高い解像度で静止画フレームをキャプチャし得る。デバイスは、高解像度、４×３のフレームとより低い解像度、１６×９のフレームとを映像シーケンス中にインターリーブし得、ユーザが静止画フレームのキャプチャを指示するときに、直近のより高い解像度、４×３のフレームをキャプチャし得る。あるいは、デバイスは、１６×９のフレームを映像シーケンス中に表示し、次いでシャッターボタンが押下されると４×３のフレームに拡張し得る。デバイスは、シャッターボタンの解放に応じて、静止画フレームをキャプチャして１６×９の映像フレームに戻り得る。
【選択図】図１

Description

この発明は、携帯型電子デバイスにおける映像及び静止画フレームキャプチャの分野に関連する。
〔関連技術の説明〕

各種の携帯型電子デバイスが映像フレーム及び／又は静止画フレーム（写真）をキャプチャするように設計される。例えば、このような携帯型電子デバイスは、ハンドヘルドのビデオカメラ、デジタルカメラ、画像センサ（「カメラ」）を備えた携帯情報端末、カメラを備えた携帯電話／スマートフォン、カメラを備えたタブレット、カメラを備えたラップトップなどを含み得る。

映像キャプチャと静止画フレームキャプチャの両方をサポートするデバイスは、上記のデバイスを含めて一般になってきている。このようなデバイスは、映像キャプチャ中に静止画フレームをキャプチャすることをユーザに可能にさせることが多い。例えば、デバイスは、キャプチャされる映像をデバイスに含まれた又はデバイスに取り付けられたスクリーンに表示し得、デバイスは、静止画フレームをキャプチャするためにユーザが押下できる、ボタン又は他のユーザ入力デバイスを含み得る。「ボタン」は、デバイス上の物理的なボタン、又は、スクリーンがタッチスクリーンである場合のスクリーン上の仮想ボタンであり得る。

映像キャプチャ中に静止画フレームをキャプチャすることには、幾つかの問題がある。第１に、映像キャプチャは、カメラがサポートするよりも低い解像度で実行されることが多く、カメラのより高い解像度は、映像がキャプチャされないときにキャプチャされる静止画フレームに通常用いられる。第２に、映像のアスペクト比が通常１６ｘ９である一方、静止画フレームは、アスペクト比４ｘ３で通常キャプチャされる。したがって、ユーザが静止画フレームをキャプチャするときに、キャプチャされた静止画フレームのより低い解像度及び異なるアスペクト比は、ユーザを驚かせる場合があり、ユーザにとって満足できない場合がある。一般的に、カメラセンサは、高解像度の静止画モードとより低い解像度の映像モードとの間を切り替えるときに再構成される必要があるので、ユーザは、映像キャプチャ中により高い解像度の静止画像をキャプチャするためにモードを単純に切り替えることができない。

ある実施形態において、電子デバイスは、映像キャプチャ中に静止画フレームをキャプチャするように構成され得るが、静止画フレームをアスペクト比４×３、及びアスペクト比１６×９の映像フレームよりも高い解像度でキャプチャし得る。一実施において、デバイスは、高解像度、４×３のフレームとより低い解像度の１６×９のフレームとを映像シーケンス中にインターリーブし得、ユーザが静止画フレームのキャプチャを指示すると直近のより高い解像度の４×３のフレームをキャプチャし得る。デバイスは、キャプチャされる映像をディスプレイスクリーンに表示し得、４×３のフレーム化の目印を提供もし得る。例えば、映像は、４×３のフレーム化の残り部分がレターボックスの周りの半透明フォーム内に示された状態でレターボックス化され得る。このようにして、ユーザは、４×３のフレーム化と映像のフレーム化とに同時に気づき得る。別の実施において、キャプチャされる映像は、アスペクト比１６×９でディスプレイスクリーンに表示され得る。ユーザが静止画フレームをキャプチャするためにシャッターボタンを押圧する場合、表示された映像は、（映像フレームのスケール及び配置を４×３フレーム中に保持した状態で）アスペクト比４×３に拡張され得る。ユーザがシャッターボタンを解放すると、静止画がキャプチャされ得、ディスプレイがアスペクト比１６×９に戻り得る。

以下の詳細な説明は、添付の図面を参照しており、これから、これらの図面について簡単に述べる。

システムの一実施形態のブロック図である。 ある期間にわたってキャプチャされた、一実施形態のフレームを図示するブロック図である。 図１に示されたシステムのディスプレイにフレームを表示する一実施形態のブロック図である。 図１に示された画像信号プロセッサ（ＩＳＰ）の一実施形態のブロック図である。 図１に示されたＩＳＰの別の実施形態のブロック図である。 システムの一実施形態に係る映像フレームキャプチャを図示するフローチャートである。 システムの一実施形態に係る静止画フレームキャプチャを図示するフローチャートである。 システムの別の実施形態に係る静止画フレームキャプチャを図示するフローチャートである。 システムの別の実施形態のブロック図である。

本発明は各種の変更及び代替的な形態を受け入れる余地があるが、その特定の実施形態が図面には例として示されており、本明細書において詳細に説明されることになる。しかし、図面及びそれらに対する詳細な説明は、本発明を開示される特定の形態に限定することを意図するものではなく、逆にその意図は、添付の請求項によって定義されるような本発明の趣旨及び範囲内に入る全ての変更、均等物及び代替物を範囲に含むことであると理解されたい。本明細書において用いられる表題は、構成目的のみに過ぎず、説明の範囲を限定するために用いられることを意味するものではない。この出願全体を通じて用いられるとき、「〜であり得る（may）」という語は、義務的な意味（すなわち、〜しなければならない（must）を意味する）ではなく、許容的な意味（すなわち、〜する可能性を有することを意味する）で用いられる。同様に、「含む（include）」、「含む（including）」、及び「含む（includes）」という語は、〜を含むが、それに限定されないことを意味する。

各種のユニット、回路、又は他の構成要素は、タスク又はタスク群を実行「するように構成される（configured to）」と記述され得る。このような文脈において、「〜するように構成される」とは、動作中にタスク又はタスク群を実行する「回路機構を有する」ことを概して意味する構造の広義の表現である。したがって、ユニット／回路／構成要素は、このユニット／回路／構成要素が現在動作していなくても、タスクを実行するように構成可能である。概して、「〜するように構成される（configured to）」に対応する構造を形成する回路機構は、動作を実施するために実行可能なプログラム命令を記憶するハードウェア回路及び／又はメモリを含み得る。メモリは、スタティックランダムアクセスメモリ若しくはダイナミックランダムアクセスメモリなどの揮発性メモリ、及び／又は光ディスクストレージ若しくは磁気ディスクストレージ、フラッシュメモリ、プログラム可能読み出し専用メモリなどの不揮発性メモリなどを含むことができる。同様に、各種のユニット／回路／構成要素は、説明の便宜上、タスク又はタスク群を実行すると記述され得る。このような説明は、「〜するように構成される」という語句を含むと解釈されるべきである。１つ以上のタスクを実行するように構成されるユニット／回路／構成要素を表現することは、ユニット／回路／構成要素について米国特許法第１１２条第６項の解釈を援用しないことを明示的に意図する。

本明細書は、「一実施形態」又は「ある実施形態」に対する参照を含む。「一実施形態において」又は「ある実施形態において」というフレーズの出現は、特徴の任意の組合せを含む実施形態を一般的に意図するが、本明細書において明示的に否定しない限り、同一の実施形態を必ずしも参照するものではない。特定の特徴、構造又は特性は、この開示に整合する任意の適した方法で組み合わせられ得る。

次に図１を参照すると、システムオンチップ（ＳＯＣ）１０の一実施形態のブロック図が、メモリ１２、１つ以上の画像センサ２６及び１つ以上のディスプレイ２０に接続された状態で示される。名前により暗示されるように、ＳＯＣ１０の構成要素は、集積回路「チップ」としての単一の半導体基板の上に集積され得る。一部の実施形態において、構成要素は、システム内の２つ以上の個別のチップ上に実装され得る。加えて、各種の構成要素は、任意の集積回路（すなわちＳＯＣである必要はない）上に集積され得る。しかし、本明細書においては、ＳＯＣ１０を例として用いる。図示された実施形態において、ＳＯＣ１０の構成要素は、中央処理装置（ＣＰＵ）複合体１４、ディスプレイパイプ１６、周辺装置構成要素１８Ａ〜１８Ｂ（より簡単に「周辺装置」）、メモリコントローラ２２、画像信号プロセッサ（ＩＳＰ）２４、及び通信ファブリック２７を含む。構成要素１４、１６、１８Ａ〜１８Ｂ、２２、及び２４の全ては、通信ファブリック２７に接続され得る。メモリコントローラ２２は、使用中にメモリ１２に接続され得る。同様に、ＩＳＰ２４は、使用中に画像センサ２６に接続され得、ディスプレイパイプ１６は、使用中にディスプレイ２０に接続され得る。よって、ＳＯＣ１０、画像センサ２６、メモリ１２、及びディスプレイ２０の全ては、（その例が上記された）携帯型電子デバイス又は任意の他のコンピュータシステムなどのシステムの構成要素であり得る。図示された実施形態において、ＣＰＵ複合体１４は、１つ以上のプロセッサ２８及びレベル２（Ｌ２）キャッシュ３０を含む。

ＩＳＰ２４は、画像センサデータを画像センサ２６から受信するように構成され得、例えば、ディスプレイ２０及び／又は他のディスプレイ上の表示に適し得る画像フレームを作り出すためにデータを処理するように構成され得る。画像フレームは、静止画フレーム及び映像フレームを含み得る。ＩＳＰ２４は、画像フレームを（メモリコントローラ２２を通じて）メモリ１２に書き込むように構成され得る。

画像センサ２６は、一般的に、光をサンプリングしてサンプリングした光を表す出力を提供するように構成された任意のデバイスを含み得る。画像センサ２６は、（例えば電荷結合デバイス（ＣＣＤ）、相補形ＭＯＳ（ＣＭＯＳ）センサなど）のカメラを含み得る。画像センサ２６は、一部の実施形態において各種の固定又は可動の光学レンズも含み得る。

特に、ある実施形態において、ＩＳＰ２４は、（各種の実施形態において任意のフレームレートが用いられ得るが、例えば毎秒６０フレーム（ｆｐｓ）などの指定されたフレームレートで）一連のフレームを画像センサ２６から経時的に受信するように構成され得る。所与の画像センサ２６から受信したフレームは、所与の画像センサ２６の最大解像度及び所与の画像センサ２６のアスペクト比に基づく解像度及びアスペクト比を有し得る。例えば、ある実施形態において、フレームは、所与の画像センサ２６の最大解像度及びアスペクト比で受信され得る。別の実施形態において、フレームは、所与の画像センサが有するものとは異なるアスペクト比、及びその異なるアスペクト比でサポートされ得る最大解像度で受信され得る。例えば、ある実施形態において、所与の画像センサ２６は、アスペクト比４×３を有し得るが、ＩＳＰ２４は、アスペクト比１６×９のフレームを受信し得る。受信したフレームの解像度は、４×３（１６×１２）から１６×９へのロスを反映するように最大解像度から低減され得る。あるいは、ＩＳＰ２４は、別の実施形態において、受信したフレームのアスペクト比を低減させるように構成され得る。

ある実施形態において、ＩＳＰ２４は、フレームを１つよりも多い画像センサから同時に受信し得る。例えば、より高い解像度の静止画フレームセンサと共に、より低い解像度の映像キャプチャのために映像画像センサが利用され得る。ＩＳＰ２４は、画像センサからのデータをインターリーブ形式で処理し得る。例えば、ＩＳＰ２４は、映像画像フレームをキャプチャ及び処理し得、次の映像フレームがキャプチャされるまでの残りの時間を用いて、より高い解像度の静止画像フレーム（又はより高い解像度のフレームの一部）を処理し得る。

ＩＳＰ２４は、受信したフレームを処理してキャプチャされた映像シーケンスを作り出すように構成され得る。処理は、ある実施形態においては、フレームの少なくとも一部の解像度を変更することを含み得、並びにアスペクト比を変更することも含み得る。一部の実施形態において、フレームレートも変更され得る。一実施形態において、ＩＳＰ２４は、画像センサ２６により提供された解像度及びアスペクト比のフレームを、より低い解像度及び異なるアスペクト比のフレームとインターリーブし得る。例えば、より低い解像度は、映像シーケンスがキャプチャされるディスプレイ規格の解像度であり得る。ディスプレイ規格は、各種のディスプレイにより実装され得る、解像度及びアスペクト比の任意の規格設定であり得る。解像度及びアスペクト比が規格化されるので、映像シーケンスは、多くの異なるタイプの表示デバイス上の表示に適し得る。例えば、ディスプレイ規格は、７２０ｐ、７２０ｉ、１０８０ｐ、又は１０８０ｉを含み得る。１０８０ｐの規格は、現在特に普及しており、テレビモニタ及びコンピュータモニタなどの多くの映像表示デバイスにより実装される。これらの各種のディスプレイ規格は、高品位テレビ（ＨＤＴＶ）と称されることも多い。１０８０ｐの規格は、ここでは例として用いられており、アスペクト比１６×９及び１９２０×１０８０の解像度若しくは２百万画素を指定する。他方、画像センサ２６の解像度は、８百万画素、１０百万画素、１２．５百万画素、又はそれら以上（ある実施形態においては、解像度１０８０ｐよりも高いが、それら以下）であり得る。画像センサ２６のアスペクト比は４×３であり得る。ディスプレイ規格の解像度及びアスペクト比のフレームは、ディスプレイ規格フレーム、又は、より特有の例に対して、１０８０ｐのフレームと称され得る。画像センサ２６から受信した解像度及びアスペクト比のフレームは、「フル解像度」のフレームと称され得るが、一部の場合には、解像度は、画像センサ２６の最大解像度でなくてもよい。

１０８０ｐのフレームとフル解像度のフレームとを映像シーケンス中にインターリーブすることによって、ＩＳＰ２４は、（例えば、通信ファブリック２７を介してメモリコントローラ２２を通じてメモリ１２に書き込むことによって）映像シーケンスを出力するときの帯域幅及び消費電力の量を低減させ得る。加えて、キャプチャされた映像シーケンスにおけるフル解像度のフレームの存在は、映像がキャプチャされる間の静止画フレームのキャプチャを可能にし得る。静止画フレームは、（静止画がキャプチャされることをユーザが指示するときに、映像シーケンスからフル解像度のフレームのうちの１つを選ぶことによって）フル解像度及び画像センサ２６のアスペクト比を有し得、そのことは、モード変更を要求せずにより望ましい（例えば、静止画モードにおいてキャプチャされたものと同様の）静止画を提供し得る。

高解像度のフレームとより低い解像度のフレームとをインターリーブすることは、画像センサ２６からキャプチャされるフレームレートのそれぞれ半分である、高解像度のフレームとより低い解像度のフレームとの画像ストリームを作り出し得る。しかし、フレームレートが同一である必要はない。例えば、高解像度のフレームレートは、ストリーム中のフレームの１／４、又はフレームの１／８、又は任意の他のインターリービングパターンであり得る。より低い解像度のフレームレートは、所望の合計フレームレートを作り出すように増加され得る（例えば、より低い解像度のフレームは、高解像度のフレームがフレームの１／４である場合にフレームの３／４であり得、高解像度のフレームがフレームの１／８である場合にフレームの７／８であり得る）。

ある実施形態において、ＩＳＰ２４は、ディスプレイパイプ１６によりディスプレイ２０に表示され得る「プレビュー」映像シーケンスも生成し得る。プレビュー映像シーケンスは、より低い解像度のシーケンスであり得る（例えば、解像度は、解像度１０８０ｐと同様であり得る）が、アスペクト比は、画像センサ２６のアスペクト比であり得る。つまり、アスペクト比は、静止画像のアスペクト比であり得る。プレビューシーケンスは、映像をキャプチャしているユーザのために表示され得るので、ユーザは、所望に応じて映像シーケンスをフレーム化した状態に保ち得る。更に、静止画像のアスペクト比を表示することは、静止画像がキャプチャされる場合に静止画像がどのようにフレーム化されるかを視認することをユーザに可能にさせる。ある実施形態において、ディスプレイ規格のアスペクト比もプレビューシーケンスにおいて示されるので、ユーザは、映像フレームと静止画フレームの両方をディスプレイ２０において同時に見ることができる。ある実施形態において、プレビュー映像シーケンスのフレームレートは、キャプチャされた映像シーケンスのフレームレートよりも低くもあり得る（例えば、６０ｆｂｓに比して３０ｆｐｓ）。

他の実施形態は、プレビューを他の形式で表示し得る。例えば、プレビューシーケンスは、映像がキャプチャされる間にディスプレイ規格のアスペクト比（例えば１６×９）で生成され得る。ユーザは、（例えばデバイス上のシャッターボタンを押下することによって）静止画をキャプチャしたい旨を指示し得、プレビューは、静止画のアスペクト比を映像シーケンスの周りに表示し得る（映像シーケンスをディスプレイ２０上の同一の位置に保つが、静止画フレームの残り部分も表示する）。映像キャプチャは、シャッターボタンが押下される間継続し得る。ユーザは、静止画像をキャプチャして映像のみのキャプチャに戻るためにシャッターボタンを解放し得る。シャッターボタンは、システムのハウジング上に含まれた物理的なボタンであり得、又は、（例えば、ディスプレイ２０がタッチスクリーンディスプレイである場合に）ディスプレイスクリーン上の仮想ボタンであり得る。

ディスプレイパイプ１６は、１つ以上の静止フレーム及び／又は１つ以上の映像シーケンスをディスプレイ２０上の表示のために処理するためのハードウェアを含み得る。一般的に、各ソースフレーム又は各映像シーケンスに対して、ディスプレイパイプ１６は、フレーム／映像シーケンスを表すデータをメモリ１２からメモリコントローラ２２を通じて読み出すためのメモリ読出し動作を起こすように構成され得る。特にこの実施形態において、ディスプレイパイプ１６は、プレビューシーケンスをメモリ１２からメモリコントローラ２２を通じて読み出すように構成され得る。よって、ＩＳＰ２６は、プレビューシーケンス並びにキャプチャされたシーケンス及び任意の静止画フレームをメモリ１２に書き込み得る。ディスプレイパイプ１６は、画像データ（静止フレーム、映像シーケンスなど）に関する任意のタイプの処理を実行するように構成され得る。一実施形態において、ディスプレイパイプ１６は、静止フレームをスケール変更し、映像シーケンスのフレームに対するディザー処理、スケール変更、及び／又は色空間変換を実行するように構成され得る。ディスプレイパイプ１６は、表示用の出力フレームを作り出すために静止フレームと映像シーケンスフレームをブレンドするように構成され得る。より一般的に、ディスプレイパイプ１６は、表示コントローラと称され得る。

ディスプレイ２０は、任意の種類の視覚的表示デバイスであり得る。ディスプレイは、例えば、スマートフォン、タブレットなどのモバイルデバイス用のタッチスクリーン型ディスプレイを含み得る。各種のディスプレイ２０は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）、プラズマ、ブラウン管（ＣＲＴ）などを含み得る。ディスプレイは、ＳＯＣ１０を含むシステム（例えばスマートフォン若しくはタブレット）に組み込まれ得、及び／又は、コンピュータモニタ、テレビなどの別途に収容されたデバイス若しくは他のデバイスであり得る。

一般的に、フレームのアスペクト比は、垂直方向の画素に対する水平方向の画素の（ユーザにより視認される）比率を指し得る。フレーム中の画素の実際の数は、フレームの解像度と称され得る。フレーム中の画素が多いほど、画像のきめがより微細になり得、よって画像がより精確になり得る。

ＣＰＵ複合体１４は、ＳＯＣ１０のＣＰＵとして機能する１つ以上のＣＰＵプロセッサ２８を含み得る。システムのＣＰＵは、オペレーティングシステムなどシステムの主制御ソフトウェアを実行するプロセッサ（１つ又は複数）を含む。一般的に、使用中にＣＰＵにより実行されるソフトウェアは、システムの他の構成要素を制御してシステムの所望の機能を実現し得る。ＣＰＵプロセッサ２８は、アプリケーションプログラムなどの他のソフトウェアも実行し得る。アプリケーションプログラムは、ユーザ機能を提供し得、より低レベルのデバイス制御のためにオペレーティングシステムに依存し得る。したがって、ＣＰＵプロセッサ２８は、アプリケーションプロセッサと称され得る。ＣＰＵ複合体１４は、Ｌ２キャッシュ３０、及び／又はシステムの他の構成要素とのインターフェイス（例えば、通信ファブリック２７とのインターフェイス）などの他のハードウェアを更に含み得る。

周辺装置１８Ａ〜１８Ｂは、ＳＯＣ１０に含まれる追加のハードウェア機能の任意のセットであり得る。例えば、周辺装置１８Ａ〜１８Ｂは、映像エンコーダ／デコーダ、スケーラ、ローテータ、ブレンダ、グラフィック処理ユニットなどの映像周辺装置を含み得る。周辺装置は、マイクロホン、スピーカ、マイクロホン及びスピーカとのインターフェイス、オーディオプロセッサ、デジタル信号プロセッサ、ミキサなどのオーディオ周辺装置を含み得る。周辺装置は、ユニバーサルシリアルバス（ＵＳＢ）、ＰＣＩエクスプレス（ＰＣＩｅ）を含むペリフェラルコンポーネントインターコネクト（ＰＣＩ）、シリアルポート及びパラレルポートなどのインターフェイスを含む、ＳＯＣ１０外部との各種のインターフェイス（例えば周辺装置１８Ｂ）用のインターフェイスコントローラを含み得る。周辺装置は、メディアアクセスコントローラ（ＭＡＣ）などのネットワーク用周辺装置を含み得る。ハードウェアの任意のセットが含まれ得る。

メモリコントローラ２２は、ＳＯＣ１０の他の構成要素からメモリリクエストを受信するための回路構成と、メモリ１２にアクセスしてメモリリクエストを完了するための回路構成とを一般的に含み得る。メモリコントローラ２２は、任意のタイプのメモリ１２にアクセスするように構成され得る。例えば、メモリ１２は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、（ＤＤＲ、ＤＤＲ２、ＤＤＲ３などの）ダブルデータレートＤＲＡＭを含むシンクロナスＤＲＡＭ（ＳＤＲＡＭ）などのダイナミックＲＡＭ（ＤＲＡＭ）であり得る。ＤＤＲ ＤＲＡＭの低電力／モバイルバージョン（例えばＬＰＤＤＲ、ｍＤＤＲなど）がサポートされ得る。

通信ファブリック２７は、ＳＯＣ１０の構成要素間で通信するための任意の通信相互接続及びプロトコルであり得る。通信ファブリック２７は、共有バス構成、クロスバー構成、及びブリッジを伴う階層的なバス、を含むバスベースであり得る。通信ファブリック２７は、パケットベースであり得、ブリッジ、クロスバー、ポイントツーポイント又は他の相互接続を伴う階層構成であり得る。

ＳＯＣ１０の構成要素の数（及び、ＣＰＵ複合体１４内などの、図１に示されたもののサブ構成要素の数）は、実施形態ごとに異なり得ることに留意されたい。各構成要素／サブ構成要素は、図１に示された数よりも多くてもよく又は少なくてもよい。

次に図２に移ると、一実施形態による映像シーケンスの連続フレームを図示する図が示される。映像シーケンスは、アスペクト比１６×９及び解像度１０８０ｐのフレーム４２Ａ〜４２Ｄとインターリーブされた、アスペクト比４×３及びフルセンサ解像度のフレーム４０Ａ〜４０Ｄを含む。つまり、アスペクト比４×３及び高解像度と、アスペクト比１６×９及びより低い解像度との交互フレームが提供される。映像シーケンスのフレームレートは、ある実施形態において、画像センサ２６からの入力フレームレート（例えば６０ｆｐｓ）と同一であり得る。したがって、各フレームタイプ（フル解像度と解像度１０８０ｐ）の有効フレームレートは、映像シーケンスのフレームレートの１／２（例えば３０ｆｐｓ）であり得る。

上記されたように、フル解像度のフレームのフレームレートと解像度１０８０ｐのフレームのフレームレートとが同一である必要はない。システム及びＩＳＰ自体の利用可能な帯域幅などの各種の要因に依存して、有効フレームレートが変化し得る。例えば、フル解像度のフレームは、１５ｆｐｓでキャプチャされ得、解像度１０８０ｐのフレームは、４５ｆｐｓでキャプチャされ得、６０ｆｐｓを生じさせる。フレームレートの任意のセットが用いられ得る。

図３は、図２に示された映像シーケンスのキャプチャ中にディスプレイ２０に表示され得るようなプレビューシーケンスのフレーム４４の一実施形態を図示するブロック図である。フレーム４４は、大括弧４８及び５０により示されるように１６×９のフォーマットの映像フレーム４６を含み得る。加えて、映像フレームを越えて広がる４×３（１６×１２）のフレームの部分は、ここでは４×３（１６×１２）のフルフレームが大括弧４８及び５４により図示される、半透明のレターボックスフォーム５２Ａ〜５２Ｂ内に示され得る。

半透明のレターボックス５２Ａ〜５２Ｂは、フレーム４４のどの部分が映像シーケンス（映像フレーム４６）中にキャプチャされ、その部分が静止画像（全体フレーム４４）に利用可能であることの視認可能な目印であり得る。半透明のレターボックス５２Ａ〜５２Ｂは、視覚的効果をもたらすために画像をシェードし得るが、映像がキャプチャされる間にユーザが所望の静止画ショットをフレーム化し得るように、下層の画素が視認されることも可能にし得る。他の実施形態は、他の視覚的目印（例えば、映像フレームの部分と静止画フレームの部分とを分離する線、映像フレーム４６が開始及び終了する箇所でフレーム４４の左右にある目盛など）を用い得る。

レターボックス化効果は、映像シーケンスを処理するときにＩＳＰ２４により追加され得、又は、ディスプレイパイプ１６を通じて追加され、下層の画素の色が部分的に視認可能となることを可能にする非単一的なアルファ値で静止画像としての透明オーバレイを映像シーケンス上にブレンドし得る。

フレーム４４上には、仮想シャッターボタン５６も表示される。図示された実施形態において、ボタン５６は、映像フレーム４４内に表示されるが、レターボックスエリア５２Ａ〜５２Ｂ内にも表示され得る。ボタン５６は、ディスプレイ２０がタッチ可能なディスプレイである実施形態において用いられ得る。ユーザは、静止画フレームをキャプチャするために、ボタンが表示される箇所でスクリーンにタッチ接触することによりボタン５６を押下し得る。ある実施形態において、ボタンの押下は、静止画フレームをキャプチャさせる。別の実施形態において、押下後のボタンの解放は、静止画フレームのキャプチャを生じさせ得る。その間に、映像シーケンスは、キャプチャ及び表示され続け得る。ユーザによるボタン５６の押下（又は解放）に応じて、ＳＯＣ１０は、キャプチャされた映像シーケンスから直近のフル解像度のフレームをキャプチャするように構成され得る。つまり、静止画フレームのキャプチャが起きる時点が映像シーケンスと同期され得、その時点の直近のフル解像度のフレームが選択され得る。

次に図４に移ると、ＩＳＰ２４の一実施形態のブロック図が示される。図示された実施形態において、ＩＳＰ２４は、センサインターフェイス６０、フロントエンドスケーラ６２、バックエンド処理ブロック６４、及びバックエンドスケーラ６６を含む。センサインターフェイス６０は、フレームを画像センサ（１つ又は複数）２６から受信するために接続されるとともに、フロントエンドスケーラ６２に接続される。フロントエンドスケーラ６２は、スケール変更されたフレームをメモリコントローラ２２にメモリ１２への記憶のために提供するために接続される。バックエンド処理ブロック６４は、スケール変更されたフレームをメモリ１２から読み出す（図４中の点線６８で図示される）ように構成される。バックエンド処理ブロック６４は、バックエンドスケーラ６６に接続され、キャプチャされた映像シーケンス及びプレビュー映像シーケンスをメモリコントローラ２２にメモリ１２への記憶のために提供するために接続される。プレビュー映像シーケンスは、メモリ１２からディスプレイパイプ１６により読み出され（点線７０で示される）得る。

画像センサ２６から受信したフレームは、所望のフレームレート（この例では例えば６０ｆｐｓ）のフルセンサ解像度のフレームであり得る。加えて、フレームは、センサアスペクト比（この例では例えば４×３）を有し得る。前述されたように、一部の実施形態において、複数の画像センサが利用され得、各画像センサからのフレームが受信され得る。画像を各センサから受信するためのフレームレートは、各種の実施形態において同一である必要はない。センサインターフェイス６０は、フレームデータを受信してデータをフロントエンドスケーラ６２に供給するように構成され得る。フロントエンドスケーラ６２は、フルセンサ解像度及びアスペクト比のフレーム（すなわち変更されていないフレーム）と、低減された解像度及びアスペクト比１６×９のフレームとの交互フレームを出力し得る。低減された解像度は、ディスプレイ規格の解像度（例えば１０８０ｐ）であり得、又は中間解像度であり得る。例えば、中間解像度は、プレビュー映像シーケンスの解像度に基づき得る。具体的には、中間解像度は、ある実施形態においてプレビュー映像シーケンスの水平解像度に一致し得る。他の実施形態において、高解像度のフレームと低解像度のフレームとが生成される相対レートは、上で議論されたように変化し得る。

フロントエンドスケーラ６２は、生のセンサ画素データに関して動作し得る。センサ画素データは、任意のフォーマット（例えばＢａｙｅｒフォーマット）で提供され得る。生のセンサ画素データは、システムの他の構成要素により用いられるデータ（例えば赤／緑／青（ＲＧＢ）画素又は色度／輝度（ＹＣｒＣｂ）画素）に変換され得る。バックエンド処理ブロック６４は、変換を実行するように構成され得、バックエンドスケーラ６６は、得られたフレームをスケール変更するように構成され得る。バックエンドスケーラ６６は、２つの映像ストリーム、すなわち、解像度１０８０ｐ、１６×９のフレームとインターリーブされた、インターリーブされた４×３、フルセンサ解像度のフレームを含み得るキャプチャされた映像シーケンスと、プレビュー映像シーケンスとをメモリに出力するように構成され得る。

プレビュー映像シーケンスは、キャプチャされた映像シーケンスのフルフレームレートである必要はない。例えば、図示された実施形態において、プレビュー映像シーケンスは、キャプチャされた映像シーケンスが６０ｆｐｓである場合に３０ｆｐｓであり得る。各プレビューフレームは、アスペクト比４×３を有し得、ディスプレイ２０に適した解像度を有し得る。従前のフレームは、ある実施形態において４×３のフレーム中の１６×９のフレームの目印（例えばレターボックス化）を含み得る。

バックエンド処理ブロック６４は、上記されたＢａｙｅｒ画素変換に加えて、任意の他の所望の画像処理又は変換機構を実装するように構成され得る。例えば、バックエンド処理ブロック６４は、ノイズ挿入、色強調などを含み得る。

図５は、ＩＳＰ２４の別の実施形態のブロック図である。図５の実施形態は、フロントエンドスケーラ６２を含まない。したがって、センサインターフェイス６０は、フレームを画像センサ２６から受信し、フレームをメモリに書き込むように構成され得る。受信したフレームは、図示された実施形態においてアスペクト比４×３及びフルセンサ解像度を有し得る。あるいは、受信したフレームは、別の実施形態においてアスペクト比１６×９を有し得る。バックエンド処理ブロック６４は、受信したフレームをメモリから読み出し得（点線７２）、図４の実施形態においてフロントエンドスケーラにより生成された、アスペクト比４×３、フルセンサ解像度のフレームと、アスペクト比１６×９、より低い解像度のフレームとをインターリーブするスケール変更された映像シーケンスを生成し得る。更に、バックエンド処理ブロック６４は、前述されたようなＢａｙｅｒからＲＧＢ／ＹＣｒＣｂへの処理などを実行するように構成され得る。バックエンドスケーラ６６は、図４に関して前に議論されたように、キャプチャされた映像シーケンス及びプレビュー映像シーケンスを生成するように構成され得る。ディスプレイパイプ１６は、プレビュー映像シーケンスをディスプレイ２０上の表示のためにメモリから読み出し（点線７４）得る。

図６は、映像シーケンス及びプレビュー映像シーケンスをキャプチャするためのＳＯＣ１０の構成要素の一実施形態の動作を図示するフローチャートである。理解を容易にするために、ブロックは特定の順序で示されているが、他の順序が用いられ得る。ブロックは、構成要素内の組合せ論理において並行に実行され得る。ブロックは、異なるフレーム、又はフレームの異なる部分に関して、並行にも動作し得る。ブロック、ブロックの組合せ、及び／又はフローチャート全体は、複数のクロックサイクルでパイプライン化され得る。ＳＯＣ１０の構成要素は、図６に示された動作を実施するように構成され得る。

ＩＳＰ２４は、画像センサデータを所望のフレームレートで受信する（ブロック８０）ように構成され得る。ＩＳＰ２４は、インターリーブされたフレーム（フルセンサ解像度、アスペクト比４×３のフレーム、及びより低い解像度、アスペクト比１６×９のフレーム）のシーケンスを生成するように構成され得る。各タイプのフレームのシーケンスは、受信したフレームのフレームレートの半分を有効に有し得、よって、インターリーブされたシーケンスは、受信したフレームと同一のフレームレートを有し得る（ブロック８２）。あるいは、低解像度のフレームと高解像度のフレームに対して、前に議論されたような異なるフレームレートがサポートされ得る。ＩＳＰ２４は、１０８０ｐのフレームとインターリーブされたフルセンサ、アスペクト比４×３のフレームを含むキャプチャされた映像シーケンスを生成する（ブロック８４）ように構成され得る。加えて、ＩＳＰ２４は、プレビュー映像シーケンスのプレビュー解像度、アスペクト比４×３のフレームを生成する（ブロック８６）ように構成され得る。一実施形態において、プレビュー映像シーケンスのフレームレートは、キャプチャされた映像シーケンスのフレームレートよりも低い。例えば、フレームレートは、キャプチャされた映像シーケンスの半分であり得る。プレビュー映像シーケンスのフレームは、例えば、キャプチャされた映像シーケンスから、（解像度１０８０ｐにスケール変更された）４×３のフレームと隣接の１６×９のフレームとをマージすることによって生成され得る。ディスプレイパイプ１６は、フレームの映像（１６×９）部分を示す半透明のレターボックス化を伴ってプレビュー映像シーケンスを表示し得る（ブロック８８）。半透明のレターボックス化効果は、プレビュー映像シーケンスを提供するバックエンドスケーラ６６の部分であり得、又は、プレビュー映像シーケンスと静止レターボックス画像をブレンドすることにより適用され得る。キャプチャされた映像シーケンス及びプレビュー映像シーケンスは、メモリ１２内の別個のメモリ領域に記憶され得る。シーケンスがキャプチャされる間にプレビュー映像シーケンスがユーザの視認のために提供されるので、その領域は、映像シーケンス中の所望の古いフレームが新しいフレームにより上書きされ得る場合に幾分小さくなり得る。反対に、キャプチャされた映像シーケンスは、（例えば、後の処理／視認、おそらくは別のデバイスへのオフロードのためなどの）保持に向けられ得る。したがって、より大きな領域が、キャプチャされた映像シーケンスに割り当てられ得る。一部の実施形態において、キャプチャされた映像シーケンスは、他のストレージ（例えば、システム内の図示されていない不揮発メモリ）に移され得る。

高解像度のフレームと低解像度のフレームに対して異なるフレームレートが用いられる場合、高解像度のフレームの生成は、より低い解像度のフレームの生成の間のスライス中に実行され得る。例えば、低解像度のフレームが３０ｆｐｓでキャプチャされる場合、ＩＳＰ２４は、１／３０秒よりも短い低解像度のフレームをキャプチャし得る。１／３０秒が経過するまでの残りの時間は、高解像度スライスを処理するために用いられ得る。スライスは、例えば、高解像度のフレームのタイル又は複数のタイルであり得る。

図７は、映像キャプチャ中に静止画フレームをキャプチャするためのＳＯＣ１０の構成要素の一実施形態の動作を図示するフローチャートである。理解を容易にするために、ブロックは特定の順序で示されているが、他の順序が用いられ得る。ブロックは、構成要素内の組合せ論理において並行に実行され得る。ブロック、ブロックの組合せ、及び／又はフローチャート全体は、複数のクロックサイクルでパイプライン化され得る。ＳＯＣ１０の構成要素は、図７に示された動作を実施するように構成され得る。

ユーザは、静止画フレームがキャプチャされる予定であることをシステムに指示し得る（判定ブロック９０）。例えば、ユーザは、システム上の物理的なシャッターボタン、又は、（この実施形態においてタッチスクリーンディスプレイであり得る）ディスプレイ２０に表示された仮想シャッターボタンを押圧し得る。ボタンの押圧又は他の指示の検出は、例えば、デバイス（ディスプレイ２０又は物理的なボタン）による割込みに応じてプロセッサ２８の１つにより実行され得る。ユーザが静止画を指示した場合（判定ブロック９０、「はい」の流れ線）、システムは、キャプチャされた映像シーケンスから直近のアスペクト比４×３、フルセンサ解像度のフレームをキャプチャし得る（ブロック９２）。システムは、例えば、ボタン押圧イベント又は他の指示イベントのタイムスタンプとキャプチャされた映像シーケンスフレームのタイムスタンプとを比較することによって、直近のフレームを決定し得る。静止画フレームは、メモリ１２内のキャプチャされた映像中のその位置から静止画として記憶するための別の位置にコピーされ得る。

一部の実施形態において、システムは、直近の高解像度のフレームを厳密にキャプチャするよりもキャプチャすべき静止画像を選択するために画像品質フィルタを利用し得る。例えば、フレームは、シャープネスについて検査され得、ボタンの押圧から時間的により遠くのよりシャープな画像の方が、より近くの画像よりも好適となり得る。写真の被写体が人である場合、被写体の目が開いているフレームの方が、より近くのフレームよりも好適となり得る。各種の実施形態において、任意の種類の画像品質フィルタが含まれ得る。

別の実施形態において、プレビュー映像シーケンスは、映像キャプチャ中に１６×９の解像度で表示され得る。静止画がキャプチャされる予定であることを映像キャプチャ中にユーザが指示する場合、プレビュー映像シーケンスは、アスペクト比４×３に拡張され得るので、ユーザは、静止画のフレーム化を観察し得る。映像キャプチャは、この時間中に継続し、アスペクト比１６×９でキャプチャし得る。静止画がキャプチャされると、プレビュー映像シーケンスは、アスペクト比１６×９に戻り得る。静止画キャプチャが実行されないときに１６×９の映像フレームのみを表示することは、ある実施形態において、静止画のための所望のアスペクト比を提供しながら、映像データのための帯域幅及び電力消費を更に低減させ得る。

図８は、１６×９と４×３との間の遷移を実施するための、システムの一実施形態の動作を図示するフローチャートである。理解を容易にするために、ブロックは特定の順序で示されているが、他の順序が用いられ得る。ブロックは、構成要素内の組合せ論理において並行に実行され得る。ブロック、ブロックの組合せ、及び／又はフローチャート全体は、複数のクロックサイクルでパイプライン化され得る。ＳＯＣ１０の構成要素は、図８に示された動作を実施するように構成され得る。

システムは、映像キャプチャモードにあり、映像フレームをキャプチャして１６×９のプレビューをディスプレイ２０に表示し得る。ユーザは、例えば、物理的な又は仮想のシャッターボタンを押圧することによって、静止画フレームが所望されることを指示し得る（判定ブロック９４）。上で議論されたように、ユーザによるボタンの押下は、例えば、プロセッサ２８による割込みの受信によって、検出され得る。ユーザがシャッターボタンを押下しない場合（判定ブロック９４、「いいえ」の流れ線）、システムは、１６×９のプレビューフレームを表示し続け得る（ブロック９６）。他方、ユーザがシャッターボタンを押下する場合（判定ブロック９４、「はい」の流れ線）、システムは、４×３のプレビューを表示し得（ブロック９８）、ユーザがシャッターボタンを解放するまで、４×３のプレビューを表示し続け得る（判定ブロック１００、「いいえ」の流れ線）。よって、ユーザは、所望の場合には、ボタンが押下される間に静止画をフレーム化し得る。

１６×９から４×３への遷移は、各種の形式で実行され得る。例えば、４×３のフレームは、フェードインし、１６×９のフレームをその同一位置に保持し、４×３のフレーム内でスケール変更し得る。４×３のフレームのうち１６×９のフレームの外側の部分は、映像フレーム化と静止画フレーム化の両方が同時に視認され得るように、半透明にレターボックス化され得る。あるいは、フェードインは、十分な明るさに到達せず、映像フレーム化と静止画フレーム化との間の視覚的な区別をもたらし得る。

ユーザがシャッターボタンを解放すると（判定ブロック１００、「はい」の流れ線）、システムは、メモリ内の映像シーケンスとは別の位置に静止画をキャプチャし得、ディスプレイは、１６×９の映像フレームの表示に戻り得る（ブロック１０２）。例えば、４×３のフレームはフェードアウトし得る。静止画フレームのフレーム化及びキャプチャの最中（例えばシャッターボタンが押圧される間）、映像キャプチャが生じ続け得る。

上の議論が映像アスペクト比として１６×９、静止画アスペクト比として４×３を用いているが、他の実施形態は、映像フレームと静止画フレームの一方又は両方に対して他のアスペクト比を利用し得ることに注意されたい。

図７に関する上の議論と同様に、図８の実施形態においてキャプチャされた静止画フレームは、ボタンの解放に時間的に近いフレームであり得るが、画像品質フィルタを利用し得る。

次に図９に移ると、システム１５０の一実施形態のブロック図が示される。図示された実施形態において、システム１５０は、１つ以上の周辺装置１５４及び外部メモリ１２に接続されたＳＯＣ１０の少なくとも１つの事例を含む。ＳＯＣ１０に供給電圧を供給し、並びにメモリ１２及び／又は周辺装置１５４に１つ以上の供給電圧を供給する電源１５６が設けられる。一部の実施形態において、１つよりも多いＳＯＣ１０の事例が含まれ得る（及び１つよりも多いメモリ１２も含まれ得る）。

周辺装置１５４は、システム１５０のタイプに依存して、任意の所望の回路機構を含み得る。例えば、一実施形態において、システム１５０は、モバイルデバイス（例えば携帯情報端末（ＰＤＡ）、スマートフォンなど）であり得、周辺装置１５４は、ＷｉＦｉ（登録商標）、ブルートゥース（登録商標）、セルラー、全地球測位システムなどの各種タイプの無線通信用のデバイスを含み得る。周辺装置１５４は、ＲＡＭストレージ、ソリッドステートストレージ、又はディスクストレージを含む追加のストレージも含み得る。周辺装置１５４は、タッチディスプレイスクリーン若しくはマルチタッチタッチディスプレイスクリーンなどのディスプレイスクリーン、キーボード又は他の入力デバイス、マイクロホン、スピーカなどのユーザインターフェイスデバイスを含み得る。他の実施形態において、システム１５０は、任意のタイプのコンピューティングシステム（例えばデスクトップパーソナルコンピュータ、ラップトップ、ワークステーション、ネットトップなど）であり得る。具体的には、周辺装置１５４は、図１に示された画像センサ（１つ又は複数）２６及びディスプレイ２０を含み得る。

外部メモリ１２は、任意のタイプのメモリを含み得る。例えば、外部メモリ１２は、ＳＲＡＭ、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、（ＤＤＲ、ＤＤＲ２、ＤＤＲ３などの）ダブルデータレートＳＤＲＡＭ、ＲＡＭＢＵＳ ＤＲＡＭなどのダイナミックＲＡＭ（ＤＲＡＭ）であり得る。外部メモリ１２は、メモリデバイスが装着される、シングルインラインメモリモジュール（ＳＩＭＭ）、デュアルインラインメモリモジュール（ＤＩＭＭ）などの１つ以上のメモリモジュールを含み得る。あるいは、外部メモリ１２は、チップオンチップ実装又はパッケージオンパッケージ実装でＳＯＣ１０に装着される１つ以上のメモリデバイスを含み得る。

上の開示が十分に理解されると、多くの変形や変更が、当業者にとって明らかとなるであろう。以下の特許請求の範囲は、このような変形及び変更の全てを包含するように解釈されることが意図される。

Claims (16)

1. 少なくとも１つの画像センサと、
   表示デバイスと、
   前記画像センサ及び前記表示デバイスに接続された集積回路であって、前記集積回路が映像キャプチャ中に前記画像センサから第１の複数のフレームを受信するように構成され、前記第１の複数のフレームが第１の解像度を有し、前記集積回路が、映像シーケンスを形成する第２の複数のフレームを出力するように構成され、前記第２の複数のフレームの第１の部分集合が、前記第１の解像度、及び静止画フレームと関連付けられた第１のアスペクト比を有し、前記第２の複数のフレームの第２の部分集合が、前記第１の解像度よりも低い第２の解像度、及び映像フレームと関連付けられた第２のアスペクト比を有し、前記集積回路が、静止画フレームに対するリクエストに応じて前記第１の部分集合のうちの１つを送出するように構成される、集積回路と、
   を備えるデバイス。
2. 前記集積回路が、第３の複数のフレームを前記表示デバイス上の表示のために出力するように構成され、前記第３の複数のフレームが、前記第１のアスペクト比、及び前記第１の解像度よりも低い第３の解像度を有する第２の映像シーケンスを形成し、前記第３の複数のフレームが、前記第２のアスペクト比の目印を各フレーム中に更に含む、請求項１に記載のデバイス。
3. 前記目印が、半透明のレターボックス効果である、請求項１又は２に記載のデバイス。
4. 前記集積回路に接続されたメモリを更に備え、前記集積回路が、前記第２の複数のフレームを前記メモリ内に記憶するように構成される、請求項２から３のいずれか一項に記載のデバイス。
5. 前記集積回路が、前記第３の複数のフレームを前記メモリ内に記憶するように更に構成され、前記集積回路が、前記第３の複数のフレームを前記表示デバイス上の表示のために前記メモリから読み出すように構成される、請求項４に記載のデバイス。
6. 前記第２の解像度がディスプレイ規格に依存する、請求項１から５のいずれか一項に記載のデバイス。
7. 前記第１の解像度が、前記画像センサによりサポートされた最大解像度である、請求項１から６のいずれか一項に記載のデバイス。
8. 前記集積回路が、前記静止画フレームに対する前記リクエストに応じて、前記第１の解像度を有する直近のフレームを前記静止画フレームとしてキャプチャするように構成される、請求項１から７のいずれか一項に記載のデバイス。
9. 前記集積回路が、前記静止画フレームに対する前記リクエストに応じて、前記第１の解像度を有するフレームを前記静止画フレームとしてキャプチャするように構成され、前記フレームが、前記ユーザ入力が前記キャプチャを指示する時間に近く、前記フレームが、１つ以上の画像品質要求も満たす、請求項１から７のいずれか一項に記載のデバイス。
10. 静止画フレームをキャプチャするための前記リクエストが、前記ユーザによる前記デバイス上の静止画キャプチャボタンの押下を含み、前記集積回路が、前記ユーザによる前記静止画キャプチャボタンの押下に応じて、前記第１のアスペクト比を前記静止画フレームと関連付けられた前記第２のアスペクト比に変更するように構成され、前記集積回路が、前記ユーザによる前記静止画キャプチャボタンの解放に応じて、前記静止画フレームをキャプチャし、前記第１のアスペクト比に戻るように構成される、請求項１から９のいずれか一項に記載のデバイス。
11. 前記集積回路が、前記静止画フレームを前記第１の解像度よりも高い第２の解像度でキャプチャするように構成される、請求項１０に記載のデバイス。
12. 映像キャプチャ中に、第１の解像度、及び静止画フレームと関連付けられた第１のアスペクト比の第１のフレームと、第２の解像度、及び映像と関連付けられた第２のアスペクト比でキャプチャされた第２のフレームとのインターリーブされたシーケンスを生成することと、
    静止画フレームに対するリクエストを検出することと、
    前記フレームのうちの１つを前記第１の解像度及び前記第１のアスペクト比で前記静止画フレームとして送出することと、
    を含む方法。
13. フレームを表示デバイス上に前記第１のアスペクト比で表示することであって、前記フレームが、前記第２のアスペクト比の目印を前記フレーム中に更に含む、フレームを表示することを更に含む、請求項１２に記載の方法。
14. 前記目印が、前記第１のフレームのうち前記第２のアスペクト比の外側にある部分の上の半透明のシェーディングである、請求項１２又は１３に記載の方法。
15. 前記第１の解像度が、前記画像を生成する画像センサの最大解像度に基づく、請求項１１から１４のいずれか一項に記載の方法。
16. 前記第２の解像度がディスプレイ規格に依存する、請求項１１から１５のいずれか一項に記載の方法。

Images