JP4306251B2 - カメラ付き情報端末装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、カメラ付き情報端末装置に関する。詳しくは、パソコンなどの外部周辺機器からの情報などをダウンロードして表示部に表示したりする情報端末処理系の他に、内蔵された撮像系で撮像した被写体像を同じ表示部に間欠表示するための撮像カメラ処理系を設け、さらに情報端末処理系と撮像カメラ処理系のそれぞれを制御する制御部を設けると共に、情報端末処理系から撮像カメラ処理系を制御するためのインタフェース部と、撮像カメラ処理系で得た画像情報を表示部に表示するためのインタフェース部を設けることで、それぞれの制御部での負荷を軽減しながら被写体像の間欠表示を可能にしたものである。
【０００２】
【従来の技術】
携帯型の端末装置に別の携帯型の端末装置を連結したり、内部に搭載したりすることで、それぞれの端末装置で保有する機能を共有してそれぞれの情報の授受を行うことのできる端末装置が知られている。例えば、携帯電話にデジタルカメラを搭載したり（例えば、特許文献１）、携帯形の情報端末装置（ＰＤＡ（Personal Digital Assistants）にデジタルカメラを連結して、情報端末装置にカメラで撮った画像を表示させるようにしたものが知られている（例えば、特許文献２）。
【０００３】
【特許文献１】
特開２００２−１７６５７２号公報
【特許文献２】
特開２００２−１４１９７７号公報
【０００４】
特許文献２は、外部のデジタルカメラを情報端末装置に連結する例であるが、これを内蔵させるようにするには、図２に示すような構成が考えられる。
図２において、このカメラ内蔵型の情報端末装置（以下カメラ付き情報端末装置と言う）１０は、装置全体の制御を司るＣＰＵ構成の制御部１２を有する。この制御部１２は情報端末としての処理、つまり電子メール処理、アドレス帳、スケジュール管理などの各種情報処理、音楽などのメディアを記録再生する音声処理などを行うと共に、デジタルカメラの処理も行う。デジタルカメラの処理とは撮像処理、撮像された撮像信号の圧縮処理、撮像信号の表示処理などである。
【０００５】
そのため、この制御部１２には、情報処理機能としてペン付きスタイラス（図示はしない）による入力選択が可能な表示部（例えば液晶表示部）１４が接続されると共に、外部の周辺機器例えばパソコンとの間での通信を行って情報の授受を行う送受信処理部１６が設けられている。さらに内部のメモリ手段（ＲＡＭなど）にストアされている各種の情報を処理して表示部１４に表示するための情報処理部１８などが設けられている。
【０００６】
さらに被写体像２０を撮像する撮像系２２が設けられ、ここで得られた撮像信号は撮像信号処理系２４で例えば圧縮処理され、圧縮処理された撮像信号はメモリ手段（ＲＡＭなど）２６に蓄えられると共に、表示部１４に表示される。
表示部１４には撮像系２２で撮像された撮像信号の一部が間欠的にスチル画像として表示される。
【０００７】
【発明が解決しようとする課題】
ところで、図２のように構成する場合には、１つの制御部１２で情報処理の他に、カメラ処理も行わなければならないので、どうしても処理速度が遅くなってしまう。特に、表示部１４に表示される画像として間欠的ではあるが、ある程度の画質を保ちながら毎秒１０フレーム程度の画像情報を表示部１４に送り、あたかも連続した画像表示処理を、装置本来の処理である情報処理と並列して実行しようとすると、制御部１２での負荷が大きくなってしまう。ある程度の画質とは、通常のデジタルカメラで要求される程度の画質であって、圧縮処理後の画素数として（３２０×２４０ピクセル）程度の解像度を持った画質を指す。
【０００８】
このような画質を持つ撮像信号を表示部１４に送ると共に、情報端末処理と、撮像カメラ処理とを非同期で処理することになると、制御部（中央演算処理装置ＣＰＵ）１２単体での負荷が大きくなるため、画像表示処理速度も遅くなってしまう。結果として毎秒数フレーム程度の送信処理および表示処理が限界となってしまう。これでは、表示部１４に表示される画像の動きが不自然になってしまう。また、被写体像を撮像しているときには、表示部１４は電子ビューファインダとして機能した方が好ましいので、連続的な画像表示ができないときには、電子ビューファインダとして十分機能しているとは言い難いからである。
【０００９】
特許文献１の場合でも、表示部に表示される画像の画質は通常のデジタルカメラより劣り、しかも毎秒数フレーム程度のスチル画像のみの表示であるから、動画的表示とはほど遠く図２と同様な問題を惹起する。
【００１０】
そこで、この発明はこのような従来の課題を解決したものであって、特に画質を落とすことなく、動画的な撮像情報を処理して表示できるようにしたカメラ付き情報端末装置を提案するものである。
【００１１】
【課題を解決するための手段】
上述の課題を解決するため、請求項１に記載したこの発明に係るカメラ付き情報端末装置では、表示された内部の情報を選択すると共に、外部端末との間で行った外部の情報を表示部に表示できるようにした情報端末処理系の制御を司る第１の制御部と、被写体像を撮像して得た光学像を撮像信号に変換すると共に、上記表示部にこの被写体像を表示できる撮像カメラ処理系の制御を司る第２の制御部と、これら第１および第２の制御部との間でのデータ授受を行う第１のインタフェース部と、上記撮像カメラ処理系で撮像して得た上記撮像信号に関する被写体像を電子ビューファインダとして上記表示部に表示するための第２のインタフェース部とを有し、上記第１の制御部は、上記第２のインタフェース部を介して供給された上記撮像信号に関する被写体像を電子ビューファインダとして上記表示部上に表示し、上記第２の制御部は、上記情報端末処理系の上記第１の制御部から上記第１のインタフェース部を介して供給された指示に基づいて上記第２のインタフェース部を含む上記撮像カメラ処理系を制御するものである。
【００１２】
この発明では、装置全体の制御を司る制御部（中央演算処理装置）として、主として情報の端末処理を行う制御部（第１の制御部）と、主としてカメラ撮像処理を行う制御部（第２の制御部）とに分けることで非同期で発生する処理負荷の軽減を図る。
【００１３】
第１の制御部では通常の情報端末処理を行うものであり、具体的には表示部による入力選択や画像の表示処理、外部機器からの情報取り込みおよび表示処理などの一般的な情報端末処理を行う。これに対して、カメラ制御特にズーム処理や絞り処理などの光学系の処理や撮像処理、さらにはデジタル・シグナル・プロセッサ（ＤＳＰ）による圧縮処理などのカメラ制御処理は第２の制御部によって行われる。そして、光学系の処理などを含めたカメラ撮像処理が必要な場合には、第１の制御部と第２の制御部とをインタフェースで連結し、光学系に対するズーム処理や撮像処理、さらにはＤＳＰによる圧縮処理などに対する第２の制御部に対する命令（コマンド）を、第１の制御部を介して行えるようにする。こうすることで情報端末処理とカメラ撮像処理を別個独立に、互いの処理速度などに影響を与えることなく処理できる。
【００１４】
そしてこれらとは別に、撮像カメラ処理系で取得した撮像信号は第２のインタフェース部を介して表示部に供給される。第２のインタフェース部は表示部で画像を表示するために必要な信号フォーマットに変換するため、その前置処理としてのエンコード処理などを行うもので、この処理系および第１の制御部をそれぞれ介して表示部に供給される。第１の制御部では表示処理のみを実行すればよいので、処理負荷は余りかからない。
【００１５】
このような表示処理系を新たに設けることで、動画に近い撮像信号を送ってこれを被写体像として表示させることができる。つまり、例えば（３２０×２４０ピクセル）程度の画質（圧縮画像の場合）を保ちながら、毎秒１０フレーム程度の画像を表示させることができる。この画像表示処理は本来の情報端末処理やカメラ撮像処理を妨げるものではないので、間欠的ではあるが、動画的な被写体像を表示部に表示させることが可能になり、被写体撮像時には、表示部を電子ビューファインダとして十分機能させることができる。
【００１６】
【発明の実施の形態】
続いて、この発明に係るカメラ付き情報端末装置の一実施形態を図面を参照して詳細に説明する。
図１はこの発明に係る携帯型のカメラ付き情報端末装置１０の要部の系統図を示すものであり、このカメラ付き情報端末装置１０は情報端末系１０Ａと撮像カメラ処理系１０Ｂとからなる。
【００１７】
情報端末系１０Ａは、いわゆる携帯端末装置（ＰＤＡ）と同じような機能を持つもので、情報端末処理全体の制御を司るＣＰＵからなる制御部（第１の制御部）３０を有する。そして情報端末処理を行うためのオペレーティング・システム（ＯＳ）や、アプリケーション（ドライバアクセサリー）用のプログラムなどは何れもＲＯＭ３１にストアされている。
【００１８】
この第１の制御部３０に関連して液晶表示素子などを使用した表示部３２が設けられる。表示部３２は入力兼用の表示部として構成されたもので、表示部３２上に表示されたメニュー画面から特定のメニューを選択したり、特定の文字、記号などを入力することができる。メニューの選択や文字入力などは何れもペン付きスタイラス３４が使用される。
【００１９】
装置本体に設けられたＵＳＢ構成のインタフェースコネクタ３６にはデータの送受信を行う送受信部３８が接続され、パソコンなどの外部機器から送受信部３８を介してダウンロードしたデータや、記録手段４４から読み取ったデータなどは、第１の制御部３０の制御の下で、内部に設けられたメモリ手段としてのＲＡＭ３９に格納されたり、表示部３２上に画像表示されたり、表示されながら加工処理（追加、削除などの修正処理）される。そのため、必要に応じて加工処理のためのデータ処理部４０が第１の制御部３０に関連して設けられる。加工処理されたデータはＲＡＭ３９に格納されたり、記録手段４４に記録される。記録手段４４は装置本体に対して着脱自在に構成することができ、その場合には記録手段４４としてはメモリカードなどを使用することができる。
【００２０】
このように第１の制御部３０には複数の機能を実現するため、上述したオペレーティング・システムの上で、表示部３２上の制御処理、入力処理などが実行されることになる。
【００２１】
撮像カメラ処理系１０Ｂにも、ＣＰＵで構成された制御部（第２の制御部）５０が設けられる。この第２の制御部５０もメモリ手段であるＲＯＭ５２に格納されたオペレーティング・システムに基づいて画像取り込みを始めとして各種のカメラ制御処理がなされる。例えば被写体の撮像から圧縮などの信号処理、信号処理された画像情報をファイルとして保存したりする他に、デジタルカメラで行われている通常のメカ系の処理が行われる。
【００２２】
まず、被写体像２０は光学撮像系６０に導かれる。光学撮像系６０はいわゆる定焦点式のものではなく、可変焦点式に構成されており、そのための光学レンズ系６２や、絞り装置６４が設けられる。光学レンズ系６２および絞り装置６４などは何れも駆動手段６６によって制御される。駆動手段６６はモータとそのドライバで構成される。
【００２３】
大きさや明るさが調整された被写体像２０は撮像素子であるこの例ではＣＣＤ６８に結像されて撮像信号（画像信号）に変換される。撮像信号を得るためＣＣＤ駆動用の信号発生器（シグナル・ジェネレータ）６９が設けられており、この信号発生器６９に対する制御および駆動手段６６に対する制御は何れも第２の制御部５０から出力されるコマンドによって行われる。
【００２４】
撮像信号は信号処理回路７０に供給される。信号処理回路７０にはアナログ信号のプロセッサ７２が設けられ、ここでノイズ処理を行うため相関二重サンプリング処理がなされたり、感度調整のためのプログラマブル・ゲイン・アンプによるゲイン調整処理、さらには輝度信号Ｙと色信号Ｃからなるアナログ撮像信号への変換処理などが行われる。ノイズ処理およびゲイン調整処理が行われたアナログ撮像信号は、Ａ／Ｄ変換器７４で所定ビット数のデジタル撮像信号に変換される。デジタル変換された撮像信号は後段のデジタル・シグナル・プロセッサ（ＤＳＰ）７６において圧縮処理などがワーキング用のＲＡＭ７８を用いて行われる。高精細画像の圧縮例として、この例ではＪＰＥＧ（Joint Photographic Experts Group)方式が採用され、このＪＰＥＧ方式によって撮像信号が圧縮される。圧縮された撮像信号はファイル形式でメモリ手段としてのＲＡＭ５４に保存される。撮像開始タイミングを始めとして、上述したような各種信号処理は何れも第２の制御部５０からの指令に基づいて行われる。
【００２５】
ＤＳＰ７６に供給された圧縮前のデジタル撮像信号若しくはこのＤＳＰ７６で圧縮処理されたデジタル撮像信号は第２のインタフェース部８０を介して情報端末系１０Ａ側に供給されてその表示部３２に表示される。したがって撮像中は表示部３２は電子ビューファインダ（ＥＶＦ）として機能する。撮像中は表示部３２を電子ビューファインダとして兼用できるため、専用のビューファインダを設ける必要はない。
【００２６】
そのため、この第２のインタフェース部８０はビデオエンコーダ８２を有する。デジタル画像データはビデオエンコーダ８２において、表示部３２で表示できるような信号フォーマット（この例ではＲ、Ｇ、Ｂの原色信号）に変換（エンコード処理）される。その後、このデジタル画像データはバス変換器８４に供給されるが、このバス変換器８４は後段に設けられたバッファ手段この例ではＦＩＦＯ（First In First Out）形式のバッファ手段８６で、デジタル画像データをフレーム単位で受け取ることができるバス形式に変換するためのものである。バッファ手段８６に一時的に蓄積されたデジタル画像データは第１の制御部３０を介して表示部３２にフレーム単位で供給される。ビデオエンコーダ８２に供給される画像データはアナログデータであってもよい。
【００２７】
ここで、第１の制御部３０と第２の制御部５０とは非同期で動作しているので、デジタル画像データを受け取るタイミングは第１の制御部３０側の取り込みタイミングに依存する。上述したようにこの例では毎秒１０フレーム程度の画像データの取り込みが行われるので、表示部３２には毎秒１０フレーム単位で被写体像が表示される。つまり、撮像時には表示部３２は電子ビューファインダとして機能し、表示画像のうち適当なタイミング（シャッタを押したタイミングに相当する）のとき、特定の表示画像データがＲＡＭ５４に取り込まれる。
【００２８】
上述した第１の制御部３０と第２の制御部５０とは第１のインタフェース部９０を介してコマンドなどの授受が行われる。そのため、第１のインタフェース部９０は第１の制御部側インタフェース９２と、第２の制御部側インタフェース９４とで構成され、それぞれが内部接続される。この例ではＵＳＢ（Universal Serial Bus）によって連結され、このＵＳＢを介してコマンドなどの送受信が行われる。そのため、実施の形態では第１の制御部側インタフェース９２はＵＳＢホストドライバとして機能し、第２の制御部側インタフェース９４はＵＳＢデバイスドライバとして機能する。そして、ＵＳＢホストドライバ９２は第１の制御部３０によって制御され、ＵＳＢデバイスドライバ９４は第２の制御部５０によって制御されることになる。
【００２９】
この第１のインタフェース部９０が設けられることによって、第１の制御部３０は撮像カメラ処理系１０Ｂのマスタとなり、撮像カメラ処理系１０Ｂは非同期ではあるが、情報端末系１０Ａからの指令をＵＳＢを介して受信することになる。したがって撮像カメラ処理系１０Ｂに対するカメラ制御（ズームやワイド処理、被写体の取り込みタイミング（シャッター処理））はこの第１のインタフェース部９０を介して第２の制御部５０にその指令（命令）が与えられる。また、被写体に対する取り込みタイミングが指示されると、情報端末系１０Ａの処理とは全く無関係に第２の制御部５０側では撮像信号に対する圧縮処理やファイル格納処理などが実行される。
ファイル格納処理が終了するとそのステータス情報が第１のインタフェース部９０を経由して第１の制御部３０側に伝送される。このステータス情報を確認した上で、第１の制御部３０側からＲＡＭ５４に格納された画像ファイルの読み出し指示が第１のインタフェース部９０を介して行われる。指定された画像ファイルは第１のインタフェース部９０を介して情報端末系１０Ａに取り込まれて、例えばＲＡＭ３９や記録手段４４などに格納されたり、表示部３２に画像表示される。画像データは圧縮されているのでデータ転送速度は速い。格納された画像ファイルは送受信部３８を介してパソコンなどの外部機器に転送することができる。あるいは、インタフェースコネクタ３６に携帯電話やモデム（何れも図示しない）を接続することで、この画像ファイルをメールの添付情報として外部に送信できる。
【００３０】
ここで、上述した光学撮像系６０におけるズームやワイド処理、シャッター処理などは、表示部３２に表示された操作キー群（ソフト表示キー）より該当するキーをペン付きスタイラス３４で指示することで行われる。装置本体にこれら該当するキー入力部（図示はしない）を第１の制御部３０に関連させて設け、このキー入力部を操作することで行ってもよい。
【００３１】
また、上述したビデオエンコーダ８２の出力を始めとしてＵＳＢホストドライバ９２およびＵＳＢデバイスドライバ９４の各出力は図１に示すように直接第１の制御部３０を介して表示部３２に表示することもできれば、第１の制御部３０を介してＲＡＭ３９や記録手段４４に格納することもできる。
【００３２】
以上の処理を整理すると以下のようになる。
まず、被写体の撮像時にはペン付きスタイラス３４を使用して被写体撮像モードが選択される。撮像モードの指示が第１の制御部３０側から第１のインタフェース部９０を経由して第２の制御部５０に送られる。この撮像指示やズーム、ワイドなどの撮像条件の指示が入ると、第２の制御部５０では撮像処理のための全ての処理がこの第２の制御部５０からの指示に基づいて行われる。被写体撮像の過程では、ドライバ６６に対する制御、信号発生器６９による撮像素子６８の制御、アナログおよびデジタル処理などの制御が頻繁に発生する。頻繁に発生するこれらの制御は何れも第２の制御部５０のみで行われ、情報端末処理系１０Ａとはその処理が分離されているから、第２の制御部５０の処理負担が重くなるようなことはない。
【００３３】
さらに、第２のインタフェース部８０における処理も第２の制御部５０からの指示で行われ、画像データはフレーム単位で第２の制御部５０の処理タイミングに則って順次バッファ手段８６に取り込まれる。そして、第１の制御部３０側の処理タイミングに則って、今度はバッファ手段８６の画像データをフレーム単位で読み出し、読み出した画像データが表示部３２に供給されてこれが被写体像として順次表示される。毎秒１０フレーム程度読み出され、そして表示される。
被写体像の表示期間つまり表示部３２を電子ビューファインダとして使用する期間は、後述するように被写体像に対するキャプチャー指示（ＲＡＭ５４への取り込み指示）があるまで実行され、キャプチャーされた被写体像がスチル画像として所定時間連続して表示部３２に表示される。
【００３４】
被写体像をキャプチャー（取り込む）場合には、ユーザは第１の制御部３０を介して第１のインタフェース部９０を経由しながら第２の制御部５０に取り込み指示を送る。取り込み指示があると第２の制御部５０ではＤＳＰ７６に対し画像圧縮処理を指示して画像データを生成する。生成された画像データはファイル化してＲＡＭ５４に格納される。ＲＡＭ５４への格納が終了すると、終了ステータス情報が第１のインタフェース部９０を経由して第１の制御部３０側に転送される。
【００３５】
ＲＡＭ５４に格納された画像ファイルは第１の制御部３０側からの指示に基づいて転送処理が実行される。第１の制御部３０側では上述した終了ステータス情報を確認した上でファイル転送指示が発行される。第１の制御部３０側に転送された画像データに対する記録手段４４などに対する記録処理や、外部への転送処理は表示部３２に表示されたメニュー画面を利用して行われる。
【００３６】
上述した実施の形態では、この発明を主として情報端末処理を行う装置に対してデジタルカメラを内蔵させた構成について説明したが、ズーム処理やワイド処理などを行うことができる通常のデジタルカメラに情報端末処理機能を搭載させた携帯情報端末装置にもこの発明を適用できる。この場合には第２の制御部を介して第１の制御部が制御される構成となる。
【００３７】
【発明の効果】
以上説明したようにこの発明では、情報端末処理を行う第１の制御部と、内蔵撮像系を使用した撮像処理を行う第２の制御部を設け、これらを第１のインタフェース部で結び、第１の制御部を介して撮像処理に関する指示を第２の制御部に与えるようになすと共に、撮像された撮像信号を第２のインタフェース部を介して第１の制御部に関連して設けられた入力選択を兼用した表示部に供給するようにしたものである。
【００３８】
これによれば、撮像処理に関する指示を第１の制御部を介して第２の制御部に与えるものの、第２の制御部では第１の制御部での情報端末処理内容に制限されることなく、撮像処理を実行できると共に、その撮像信号を表示部側に伝送できる。その結果、ズーム操作など、通常のハンデービデオカメラと同じような光学撮像処理をしながら被写体像を撮像でき、その撮像信号を間欠表示ではあるが、動画に近い毎秒フレーム数の画像信号を画質を低下させることなく表示部側に送ることができ、より自然な被写体像を表示部に再現できる特徴を有する。
【００３９】
また、第１のインタフェース部を介して転送される画像データは圧縮された画像データであるためデータ転送時間を短縮できる実益を有する他、第２のインタフェース部を介して表示部に撮像時におけるビューファインダ情報を送ることができるため、特別なビューファインダを付設する必要がなくなるなどの効果が得られる。
【００４０】
したがってこの発明はデジタルカメラを内蔵したＰＤＡなどのカメラ付き情報端末装置などに適用して極めて好適である。
【図面の簡単な説明】
【図１】この発明に係るカメラ付き情報端末装置の実施の形態を示す要部の系統図である。
【図２】カメラ付き情報端末装置の従来例を示す系統図である。
【符号の説明】
１０・・・情報端末装置、１０Ａ・・・情報端末処理系、１０Ｂ・・・撮像カメラ処理系、３０・・・第１の制御部、３２・・・表示部、５０・・・第２の制御部、６０・・・光学系、６８・・・撮像部（ＣＣＤ）、７６・・・ＤＳＰ、８０・・・第２のインタフェース部、８２・・・エンコーダ、９０・・・第１のインタフェース部、９２・・・ＵＳＢホストドライバ、９４・・・ＵＳＢデバイスドライバ

Claims (6)

1. 表示された内部の情報を選択すると共に、外部端末との間で行った外部の情報を表示部に表示できるようにした情報端末処理系の制御を司る第１の制御部と、
   被写体像を撮像して得た光学像を撮像信号に変換すると共に、上記表示部にこの被写体像を表示できる撮像カメラ処理系の制御を司る第２の制御部と、
   これら第１および第２の制御部との間でのデータ授受を行う第１のインタフェース部と、
   上記撮像カメラ処理系で撮像して得た上記撮像信号に関する被写体像を電子ビューファインダとして上記表示部に表示するための第２のインタフェース部とを有し、
   上記第１の制御部は、
   上記第２のインタフェース部を介して供給された上記撮像信号に関する被写体像を電子ビューファインダとして上記表示部上に表示し、
   上記第２の制御部は、
   上記情報端末処理系の上記第１の制御部から上記第１のインタフェース部を介して供給された指示に基づいて上記第２のインタフェース部を含む上記撮像カメラ処理系を制御するカメラ付き情報端末装置。
2. 上記第１および第２の制御部は、ＣＰＵで構成される請求項１記載のカメラ付き情報端末装置。
3. 上記第１のインタフェース部は、ＵＳＢインタフェースで構成される請求項１記載のカメラ付き情報端末装置。
4. 上記第１のインタフェース部は、上記第１の制御部に関連して設けられたＵＳＢドライバと、上記第２の制御部に関連して設けられたＵＳＢドライバとで構成される請求項１記載のカメラ付き情報端末装置。
5. 上記第１の制御部に設けられたＵＳＢドライバはホストドライバであり、
   上記第２の制御部に設けられたＵＳＢドライバはデバイスドライバである請求項４記載のカメラ付き情報端末装置。
6. 上記撮像カメラ処理系には、光学撮像系の他に、上記撮像信号を処理するデジタル・シグナル・プロセッサを具備する請求項１記載のカメラ付き情報端末装置。

Images