JP4946736B2 - 書画カメラ装置、画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、例えばデータプロジェクタ装置を用いたプレゼンテーション等に好適な書画カメラ装置、画像処理装置、画像処理方法及びプログラムに関する。

従来より、各種ドキュメントを載置した書画台の画像を撮影して画像信号化し、データプロジェクタ装置等へ出力することで普通紙にプリントアウトした各種ドキュメントなどをリアルタイムで拡大投影させることが可能な書画カメラ装置が一般に商品化されている。

この種の書画カメラ装置では、書画カメラ装置が設置される照明環境により、必ずしもドキュメントに均一で明るい照明光が照射されるとは限らない。そこで、例えば位置を変えて撮影した複数の画像を用いてドキュメントへのホットスポット（照明装置の映り込み）を消去する技術が考えられている。（例えば、特許文献１）
特開２００６−２７９８２８号公報

しかしながら、上記特許文献１に記載された技術は、ホットスポットを消去するためにドキュメント画像を位置を変えて複数回撮影しなくてはならず、その作業等のために書画台上に載置したドキュメントの画像を即時出力させることができない。

本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、より簡易な処理で照明環境下での悪影響を排除し、書画台上に載置した各種ドキュメントの画像を即時出力することが可能な書画カメラ装置、画像処理装置、画像処理方法及びプログラムを提供することにある。

請求項１記載の発明は、ドキュメントを載置する書画台と、上記書画台を撮影する撮影手段と、上記書画台が所定の輝度分布となる照明状態で撮影した基準画像を予め記憶した記憶手段と、上記撮影手段で撮影して得る書画台の画像と上記記憶手段に記憶されている基準画像とにより輝度の差分画像を取得する差分画像取得手段と、上記差分画像取得手段で得た輝度の差分画像に基づいて上記撮影手段で撮影して得る書画台の画像中の少なくともドキュメント部分の輝度補正を行なう輝度補正手段と、上記輝度補正手段で得た画像を出力する出力手段とを具備したことを特徴とする。

請求項２記載の発明は、差分画像取得手段は、上記撮影手段で撮影して得る書画台の画像と上記記憶手段で記憶した基準画像の双方の画像パターンに基づいて位置調整を行なった後に輝度の差分画像を取得することを特徴とすることを特徴とする。
請求項３記載の発明は、上記書画台が所定の輝度分布となる照明状態を、上記書画台の輝度分布が均一な照明環境下としたことを特徴とする。

請求項４記載の発明は、ドキュメントを載置する書画台、上記書画台を撮影する撮影部を備え、撮影により得た書画台上のドキュメントの画像を取得して出力する書画カメラ装置が外部接続される画像処理装置であって、外部接続された上記書画カメラ装置から送られてくる、上記書画台が所定の輝度分布となる照明状態で撮影した基準画像を記憶する記憶手段と、外部接続された書画カメラ装置からの書画台の画像と上記記憶手段に記憶されている基準画像とにより輝度の差分画像を取得する差分画像取得手段と、上記差分画像取得手段で得た輝度の差分画像に基づいて外部接続された書画カメラ装置からの画像中の少なくともドキュメント部分の輝度補正を行なう輝度補正手段と、上記輝度補正手段で得た画像を出力する出力手段とを具備したことを特徴とする。

請求項５記載の発明は、上記記憶手段は、複数の書画カメラ装置からの基準画像を記憶し、書画カメラ装置の外部接続に際して認証を行なう認証手段と、上記認証手段での認証結果に応じて上記記憶手段から対応する基準画像を読出す画像選択手段とをさらに具備したことを特徴とする。

請求項６記載の発明は、上記認証手段は、外部接続された書画カメラ装置からの画像中に含まれている識別情報を検出し、その検出された情報に基づいて行なうことを特徴とする。

請求項７記載の発明は、ドキュメントを載置する書画台、及び上記書画台を撮影する撮影部を備え、撮影により得た書画台上のドキュメントの画像を取得して出力する書画カメラ装置の画像処理方法であって、上記書画台が所定の輝度分布となる照明状態で撮影した基準画像を予め記憶しておく記憶工程と、上記撮影部で撮影して得る書画台の画像と上記記憶工程に記憶されている基準画像とにより輝度の差分画像を取得する差分画像取得工程と、上記差分画像取得工程で得た輝度の差分画像に基づいて上記撮影部で撮影して得る書画台の画像中の少なくともドキュメント部分の輝度補正を行なう輝度補正工程と、この輝度補正工程で得た画像を出力する出力工程とを有したことを特徴とする。

請求項８記載の発明は、ドキュメントを載置する書画台、及び上記書画台を撮影する撮影部を備え、撮影により得た書画台上のドキュメントの画像を取得して出力する書画カメラ装置が外部接続される画像処理装置での画像処理方法であって、外部接続された上記書画カメラ装置から送られてくる、上記書画台が所定の輝度分布となる照明状態で撮影した基準画像を記憶する記憶工程と、外部接続された書画カメラ装置からの書画台の画像と上記記憶工程に記憶されている基準画像とにより輝度の差分画像を取得する差分画像取得工程と、上記差分画像取得工程で得た輝度の差分画像に基づいて外部接続された書画カメラ装置からの画像中の少なくともドキュメント部分の輝度補正を行なう輝度補正工程と、上記輝度補正工程で得た画像を出力する出力工程とを有したことを特徴とする。

請求項９記載の発明は、ドキュメントを載置する書画台、及び上記書画台を撮影する撮影部を備え、撮影により得た書画台上のドキュメントの画像を取得して出力する書画カメラ装置が内蔵したコンピュータが実行するプログラムであって、上記書画台が所定の輝度分布となる照明状態で撮影した基準画像を予め記憶しておく記憶ステップと、上記撮影部で撮影して得る書画台の画像と上記記憶ステップに記憶されている基準画像とにより輝度の差分画像を取得する差分画像取得ステップと、上記差分画像取得ステップで得た輝度の差分画像に基づいて上記撮影部で撮影して得る書画台の画像中の少なくともドキュメント部分の輝度補正を行なう輝度補正ステップと、上記輝度補正ステップで得た画像を出力する出力ステップとをコンピュータに実行させることを特徴とする。

請求項１０記載の発明は、ドキュメントを載置する書画台、及び上記書画台を撮影する撮影部を備え、撮影により得た書画台上のドキュメントの画像を取得して出力する書画カメラ装置が外部接続される画像処理装置が内蔵したコンピュータが実行するプログラムであって、外部接続された上記書画カメラ装置から送られてくる、上記書画台が所定の輝度分布となる照明状態で撮影した基準画像を記憶する記憶ステップと、外部接続された書画カメラ装置からの書画台の画像と上記記憶ステップに記憶されている基準画像とにより輝度の差分画像を取得する差分画像取得ステップと、上記差分画像取得ステップで得た輝度の差分画像に基づいて外部接続された書画カメラ装置からの画像中の少なくともドキュメント部分の輝度補正を行なう輝度補正ステップと、上記輝度補正ステップで得た画像を出力する出力ステップとをコンピュータに実行させることを特徴とする。

本発明によれば、簡易な処理で照明環境下での悪影響を確実に排除し、書画台上に載置した各種ドキュメントの画像を即時出力することが可能となる。

（第１の実施形態）
以下本発明を書画カメラ装置に適用した場合の第１の実施形態について図面を参照して説明する。
図１は、本実施形態に係る書画カメラ装置１０の外観構成を示すもので、本書画カメラ装置１０は、書画台１１、スタンド部１２、及びカメラ部１３を組み合わせて構成される。

書画台１１は、例えばヒンジを介して接続された３枚の折りたたみ式の薄板状部材（合成樹脂板）からなり、その中央の合成樹脂板の端部からスタンド部１２が直立する。スタンド部１２の上部には回動アーム部１２ａが延在され、この回動アーム部１２ａの先端にカメラ取付け部１２ｂが上記書画台１１と平行となるように回動自在に配置される。

そして、このカメラ取付け部１２ｂに対してカメラ部１３が取付けられ、上記書画台１１上に載置された各種ドキュメントの画像を撮影することとなる。

なお、スタンド部１２の背面側下端には、ＵＳＢケーブル１４を取付けるためのＵＳＢコネクタ（図示せず）が設けられる。書画カメラ装置１０では、ＵＳＢケーブル１４を介して書画台１１に載置して撮影されたドキュメント用紙の画像がカメラ部１３で撮影され、その画像信号が外部接続される機器、例えばパーソナルコンピュータやデータプロジェクタ装置等へ出力される。

次に書画カメラ装置１０の概略機能構成について図２を用いて説明する。
図２は、同実施の形態に係る書画カメラ装置１０全体の電子回路の概念構成を示すものである。
図中、モータ（Ｍ）２１の駆動により、カメラ部１３の下面側に取付けられた撮影レンズ光学系２２中の一部のレンズ、具体的にはズームレンズ及びフォーカスレンズの位置が適宜移動される。この撮影レンズ光学系２２の撮影光軸後方の結像位置に、図示しないメカニカルシャッタを介して、固体撮像素子であるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）２３が配置される。

ＣＣＤ２３は、タイミング発生器（ＴＧ）２４、ＣＣＤドライバ（Ｄｖ．）２５によって走査駆動され、一定周期毎に結像した光像に対応する光電変換出力を１画面分出力する。

この光電変換出力は、サンプルホールド（Ｓ／Ｈ）回路２６において、アナログ値の信号の状態でＲＧＢの各原色成分毎にその時点に設定されているＩＳＯ感度に応じてＡＧＣ（自動ゲイン調整）された後にサンプルホールドされ、Ａ／Ｄ変換器２７に送られる。

Ａ／Ｄ変換器２７では、アナログの画像データをデジタルデータに変換し、カラープロセス回路２８へ出力する。

カラープロセス回路２８は、デジタルの画像データに対して画素補間処理及びγ補正処理を含むカラープロセス処理を行ない、マトリックス変換によりデジタル値の輝度色差系の画像データＹＵＶを生成した後にバッファコントローラ２９に出力する。

バッファコントローラ２９は、カラープロセス回路２８の出力する画像データＹＵＶを、同じくカラープロセス回路２８からの複合同期信号、メモリ書込みイネーブル信号、及びクロック信号を用いて一度バッファコントローラ２９内部に書込んだ後、バッファメモリとして使用されるＤＲＡＭ３０にＤＭＡ転送を行なう。

このＤＲＡＭ３０は、上記撮影により得た画像データを保持する領域を有するものとする。

制御部３１は、ＣＰＵで構成され、ワークメモリとして使用されるメインメモリ３２、動作プログラムやデータ等を固定的に記憶した不揮発性メモリでなるプログラムメモリ３３とシステムバスＳＢ１を介して接続されるもので、プログラムメモリ３３から必要なプログラム等を読出し、該メインメモリ３２に適宜必要なプログラムやデータを一時的に展開して書込みながら、この書画カメラ装置１０全体の制御動作を司る。

しかして制御部３１は、上記画像データのＤＲＡＭ３０へのＤＭＡ転送終了後に、この画像データをバッファコントローラ２９を介してＤＲＡＭ３０より読出し、表示制御部３４を介してＶＲＡＭ３５に書込む。

表示制御部３４は、上記画像データをＶＲＡＭ３５より定期的に読出して表示部３６に出力する。

この表示部３６は、バックライト付きのカラー液晶パネルとその駆動回路とで構成される。この表示部３６は、上記カメラ部１３の上面側に配置され、この書画カメラ装置１０を外部機器に接続していない状態でも撮影内容を視認できるビューファインダとして機能するもので、表示制御部３４からの画像データ等に基づいた表示を行なうことで、その時点で上記ＣＣＤ２３から取込んでいる画像等をリアルタイムにモニタ表示する。

一方で、制御部３１は、ＤＲＡＭ３０に保持される画像データをバッファコントローラ２９により読出させ、ＵＳＢインタフェース（Ｉ／Ｆ）３７へ出力する。ＵＳＢインタフェース３７は、ＵＳＢ２．０規格に則って外部機器の間で画像データを含む各種データの送受を行なうもので、上記ＵＳＢケーブル１４を介して画像データをアイソクロナス転送により外部機器へ出力する。

なお、上記ＵＳＢケーブル１４は電源ケーブルを兼ねており、ＵＳＢ規格で規定されている電力線が電源制御部３８と接続される。電源制御部３８は、ＵＳＢケーブル１４から供給される直流５．０［Ｖ］の電力を元に各種電圧、例えば１．５［Ｖ］、３．３［Ｖ］の電力を生成し、他の各回路に必要な動作電圧を印加する。

また、上記システムバスＳＢ１にはさらに、補助光駆動部３９、画像処理部４０、及びメモリカード４１が接続される。
補助光駆動部３９は、制御部３１の制御の下に、複数の高輝度白色ＬＥＤ４２を同時に発光駆動し、書画台１１上に載置されたドキュメント用紙を照明する。

画像処理部４０は、後述する輝度補正を含む各種画像処理を行なう他、制御部３１の制御に基づいてＤＲＡＭ３０に保持される画像データを所定の規格、例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）に則ってデータ圧縮する。

メモリカード４１は、この書画カメラ装置１０のカメラ部１３に着脱自在に装着されるもので、上記画像処理部４０でデータ圧縮された画像データ等を記録する。

なお、書画カメラ装置１０のカメラ部１３部及びスタンド部１２に設けられる各種キースイッチを含んでキー入力部４３が構成され、このキー入力部４３でのキー操作信号が直接制御部３１へ送出される。制御部３１はこのキー入力部４３からのキー操作信号に応じた制御動作を実行する。

また、上記プログラムメモリ３３には、この書画カメラ装置１０の製造工場出荷前に、輝度ムラ等が一切なく充分に明るい適正な照明環境下で、カメラ部１３により何も載置されていない状態の書画台１１を撮影した画像が基準画像データとして予め記憶されているものとする。

次に上記実施形態の動作について説明する。
なお、以下に示す動作は、いずれも制御部３１がプログラムメモリ３３に記憶された動作プログラムを読出して実行することにより制御される。

図３は、書画カメラ装置１０の電源オン当初からの初期動作を示すものである。書画カメラ装置１０を外部機器、例えばデータプロジェクタ装置と接続し、外部機器からＵＳＢケーブル１４を介して電源供給を受けている状態でキー入力部４３の電源キーをオン操作すると、まずＣＣＤ２３により書画台１１をＣＣＤ２３により撮影する（ステップＳ１０１）。このとき、書画台１１にはドキュメント用紙が一切載置されていない状態での撮影を行なうものとする。

こうして得た現状の書画台１１の撮影画像データをＤＲＡＭ３０に保持した状態で、プログラムメモリ３３に記憶している基準画像データを読出し、輪郭抽出とパターンマッチングの処理により撮影画像データを基準画像データに位置合わせするものとする（ステップＳ１０２）。

図４は、予めプログラムメモリ３３に記憶されていた基準画像データの内容を例示するものである。上述した如く、この基準画像データは、書画カメラ装置１０の製造工場出荷前に、輝度ムラ等が一切なく充分に明るい適正な照明環境下で、カメラ部１３により何も載置されていない状態で書画台１１を撮影したものである。

一方、図５は上記ステップＳ１０１での処理により得た現状での書画台１１の撮影画像データを例示するものである。図示する如く、撮影範囲内に占める書画台１１の位置に多少のズレを生じていると共に、照明環境により全体に画像左上側が明るく、同右下側が暗い輝度分布となっていることがわかる。

しかして、撮影画像データを基準画像データに対して位置合わせすることで、図６に示すように両画像データで一致しない部位が抽出される。
すなわち、図６中の左辺及び上辺にハッチングで示す細い領域が両画像データの一致しない部分であり、以降、この部分については一切考慮しないものとする。

次いで、上記位置合わせを行なった後、基準画像データから撮影画像データを各画素単位で減算することで輝度の差分を表す画像データを取得する（ステップＳ１０３）。

図７は、この輝度の差分を表す画像データを例示するもので、撮影画像に対して基準画像がどの程度明るいものとなっているのかを示す。書画台１１座面上の折り目部分や中央の十字印の部分などに関しては、周辺の輝度情報を用いて補正するものとしている。

こうして取得した輝度の差分を表す画像データは一時的にメインメモリ３２内に保持される。

以上で輝度補正のための準備ができたものとして、書画台１１上に何らかのドキュメント用紙が載置されるのを待機する（ステップＳ１０４）。これは、例えば３０［フレーム／秒］のモニタレートでＣＣＤ２３を駆動し、ＤＲＡＭ３０で保持する画像データを随時監視して、上記図５に示した状態から大幅な変化があったか否かを判断することで実行される。

しかして、書画台１１上にドキュメント用紙が載置され、その撮影画像に大きな変化があると、ステップＳ１０４でこれを判断して、あらためて載置されたドキュメント用紙を含む書画台１１を適正な露光状態で撮影する（ステップＳ１０５）。

そして、得た画像データを上記ステップＳ１０３で取得した輝度の差分を表す画像データを用いて補正、具体的には各画素単位で撮影画像データから輝度差分画像データを減算することで輝度ムラの補正を実行し、補正した画像データを出力してＵＳＢインタフェース３７を介してＵＳＢケーブル１４より出力させる（ステップＳ１０６）。

図８は、上記ステップＳ１０５で撮影したドキュメント用紙を含む書画台１１上の画像データを例示するものである。同図では、上記図５と同様に、照明環境により全体に画像左上側が明るく、同右下側が暗い輝度分布となっている。

これに対し、図９は上記ステップＳ１０６の処理により補正し、出力される画像データの内容を例示するものである。上記照明環境による輝度分布を補正し、画像全体で均一な輝度となり、非常に見易いものとなっていることがわかる。

その後、再度書画台１１上に載置されるドキュメント用紙に変化があるのを待機する（ステップＳ１０７）。これは、例えば３０［フレーム／秒］のモニタレートでＣＣＤ２３を駆動し、ＤＲＡＭ３０で保持する画像データを随時監視することで、例えば上記図８に示した状態から大幅な変化があったか否かを判断することで実行される。

しかして、ドキュメント用紙に変化があったと判断すると、再び上記ステップＳ０５からの処理に戻り、同様の処理を繰返して、輝度を補正した画像データを得た後に出力する。

このように、本実施形態によれば、画像中の輝度に基づく簡易な処理で照明環境下での悪影響を確実に排除し、書画台上に載置した各種ドキュメントの画像を即時出力することが可能となる。

また、特に上記実施形態では、撮影して得た書画台１１の画像と予め記憶していた基準の画像データとで双方の画像パターンの位置調整を行なった後に輝度の差分画像を取得するものとした。

そのため、基準の画像とその時点の撮影画像とでカメラ部１３の設置角度等により発生し得る位置ズレを考慮した上で、双方の画像の輝度の差分を正確に算出することができる。

（第２の実施形態）
以下本発明を書画カメラ装置を接続する外部機器、例えばデータプロジェクタ装置に適用した場合の第２の実施形態について図面を参照して説明する。
図１０は、本実施形態に係るデータプロジェクタ装置５０を複数の書画カメラ装置１０と接続したプレゼンテーションシステムの外観構成を示すものである。同図では、書画カメラ装置１０は１台のみ示すが、実際にはＵＳＢケーブル１４，１４，‥‥によりデータプロジェクタ装置５０に対して複数台の書画カメラ装置１０がデータプロジェクタ装置５０と接続されているものとする。

なお、書画カメラ装置１０の外観構成に関しては上記図１と、書画カメラ装置１０の基本的な回路構成については上記図２とそれぞれほぼ同様であるものとして、同一部分には同一符号を用いてそれらの説明は省略するものとする。

図１１は、データプロジェクタ装置５０の全体の電子回路の概念構成を示すものである。同図で、５１は入出力コネクタ部であり、例えばピンジャック（ＲＣＡ）タイプのビデオ入力端子、ＲＧＢ入力端子、及び上記ＵＳＢケーブル１４が接続されるＵＳＢ端子からなる。

入出力コネクタ部５１より入力される各種規格の画像信号は、入出力インタフェース（Ｉ／Ｆ）５２、システムバスＳＢ２を介して画像変換部５３で投影に適した所定のフォーマットの画像信号に統一された後に、投影駆動部５４へ送られる。

この際、ＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）用の各種キャラクタやポインタ等の記号も必要に応じて画像信号上に重畳加工された状態で投影駆動部５４へ送られる。

投影駆動部５４は、送られてきた画像信号をビデオＲＡＭ５５に展開して記憶させた上で、このビデオＲＡＭ５５の記憶内容からビデオ信号を生成する。投影駆動部５４は、このビデオ信号のフレームレート、例えば６０［フレーム／秒］と色成分の分割数、及び表示階調数を乗算した、より高速な時分割駆動により、空間的光変調素子（ＳＯＭ）であるマイクロミラー素子５６を表示駆動する。

一方、リフレクタ５７内に配置された、例えば超高圧水銀灯を用いた光源ランプ５８が高輝度の白色光を出射する。光源ランプ５８の出射した白色光は、カラーホイール５９を介して時分割で原色に着色され、インテグレータ６０で輝度分布が均一な光束とされた後にミラー６１で全反射して上記マイクロミラー素子５６に照射される。

そして、マイクロミラー素子５６での反射光で光像が形成され、形成された光像が光学レンズユニット６２を介して、投影対象となるここでは図示しないスクリーンに投影表示される。

光学レンズユニット６２は、マイクロミラー素子５６で形成された光像を拡大してスクリーン等の対象に投影するものであり、合焦位置及びズーム位置（投影画角）を任意に可変できるものとする。

すなわち、光学レンズユニット６２中の図示しないフォーカスレンズ及びズームレンズは共に光軸方向に沿って前後に移動することで制御されるもので、それらレンズはステッピングモータ（Ｍ）６３の回動駆動により移動する。

なお、上記カラーホイール５９の終端部に対向するようにマーカセンサ６４が近接配置され、このマーカセンサ６４がカラーホイール５９に設けられた図示しないマーカの通過を検出して検出信号を上記投影駆動部５４へ送出する。

投影駆動部５４は、マーカセンサ６４からの検出信号によりマイクロミラー素子５６での駆動タイミングを調整する。

また、上記光源ランプ５８の点灯駆動、上記カラーホイール５９用のモータ（Ｍ）６５の回転駆動、及び上記ステッピングモータ６３の回動駆動をいずれも投影光処理部６６が実行する。

上記各回路の動作すべてをＣＰＵ６７が統括制御する。このＣＰＵ６７は、動作プログラムや各種定型データ等を記憶した不揮発性メモリでなるプログラムメモリ６８、ＲＡＭでなるメインメモリ６９を用いてこのデータプロジェクタ装置５０内の制御動作を実行する。

上記ＣＰＵ６７にはさらに、キースイッチ部７０から直接キー操作信号が入力される一方で、上記システムバスＳＢ２を介して、画像記憶部７１、及び音声処理部７２が接続される。

キースイッチ部７０は、電源キー、モード切換キー、キャンセルキー、フォーカスキー、ズームキー、カーソル（「↑」「↓」「←」「→」）キー、エンターキー等からなる。

これらキースイッチ部７０の各キーを用いてユーザが任意の操作を行なうと、そのキー操作に応じた操作信号が直接ＣＰＵ６７へ入力され、ＣＰＵ６７はキースイッチ部７０からの入力に応じて制御動作を実行する。

画像記憶部７１は、後述する輝度補正動作等のために各種画像データを保持する。

音声処理部７２は、ＰＣＭ音源等の音源回路を備え、投影動作時に与えられる音声データをアナログ化し、このデータプロジェクタ装置５０の本体ケーシングの例えば背面に設けられるスピーカ７３を駆動して拡声放音させ、あるいは必要によりビープ音等を発生させる。

次に上記実施形態の動作について説明する。
以下に示す動作は、いずれもデータプロジェクタ装置５０側のＣＰＵ６７がプログラムメモリ６８に記憶された動作プログラムを読出してメインメモリ６９上で展開して実行することにより制御される。

図１２は、データプロジェクタ装置５０で新規にＵＳＢケーブル１４を介して接続された書画カメラ装置１０からの画像を投影する場合の制御動作を示すものである。

その当初には、新規の書画カメラ装置１０の接続があるか否かを繰返し判断することで、新規に書画カメラ装置１０が接続されるのを待機する（ステップＳ２０１）。

しかして、新規に書画カメラ装置１０が接続された場合、上記ステップＳ２０１でそれを判断し、ＵＳＢ規格に則って接続された書画カメラ装置１０の相互認証を行なう（ステップＳ２０２）。この認証の結果、基準となる書画台１１の画像データ（以下「基準画像データ」と称する）をすでに画像記憶部７１に登録している書画カメラ装置１０であるか否かを判断する（ステップＳ２０３）。

ここで、画像記憶部７１に対応する基準画像データが登録されていないと判断した場合には、ＵＳＢケーブル１４を介してその書画カメラ装置１０に対し、基準画像データを送信するような要求信号を送信した上で（ステップＳ２０４）、その要求信号に応答して書画カメラ装置１０からのデータが送られてくるのを待機する（ステップＳ２０５）。

しかして、書画カメラ装置１０側からの基準画像データを受信すると、上記ステップＳ２０５でそれを判断して、あらたにその基準画像データを画像記憶部７１に登録設定する（ステップＳ２０６）。

また、上記ステップＳ２０３で、画像記憶部７１にすでに対応する基準画像データが登録されていると判断した場合には、そのまま画像記憶部７１から該当する基準画像データを読出す（ステップＳ２０７）。

しかるに、得た基準画像データと、その後に書画カメラ装置１０から送られてくる、その時点での書画台１１上を撮影した画像データ（以下「撮影画像データ」と称する）とを用い、輪郭抽出とパターンマッチングの処理により撮影画像データを基準画像データに位置合わせするものとする（ステップＳ２０８）。

図４は、予め画像記憶部７１に登録されていた基準画像データの内容、あるいは新規に登録した基準画像データの内容を例示するものである。この基準画像データは、各書画カメラ装置１０毎にその製造工場出荷前に、輝度ムラ等が一切なく充分に明るい適正な照明環境下で、何も載置されていない状態の書画台１１をカメラ部１３で撮影したものである。

一方、図５はその時点に書画カメラ装置１０側から送信されてくる撮影画像データを例示するものである。図示する如く、上記図４の画像と比べて、撮影範囲内に占める書画台１１の位置に多少のズレを生じていると共に、照明環境により全体に画像左上側が明るく、同右下側が暗い輝度分布となっていることがわかる。

しかして、撮影画像データを基準画像データに対して位置合わせすることで、図６に示すように両画像データで一致しない部位が抽出される。
すなわち、図６中の左辺及び上辺にハッチングで示す細い領域が両画像データの一致しない部分であり、以降、この部分については一切考慮しないものとする。

次いで、上記位置合わせを行なった後、基準画像データから撮影画像データを各画素単位で減算することで輝度の差分を表す画像データを取得する（ステップＳ２０９）。

図７は、この輝度の差分を表す画像データを例示するもので、撮影画像に対して基準画像がどの程度明るいものとなっているのかを示す。書画カメラ装置１０の書画台１１座面上の折り目部分や中央の十字印の部分などに関しては、周辺の輝度情報を用いて補正するものとしている。

こうして取得した輝度の差分を表す画像データは一時的にメインメモリ６９内に保持される。

以上で輝度補正のための準備ができたものとして、書画カメラ装置１０の書画台１１上に何らかのドキュメント用紙が載置されるのを待機する（ステップＳ２１０）。これは、書画カメラ装置１０から送られてくる撮影画像データを随時監視して、上記図５に示した状態から大幅な変化があったか否かを判断することで実行される。

しかして、書画カメラ装置１０の書画台１１上にドキュメント用紙が載置され、その撮影画像に大きな変化があると、ステップＳ２１０でこれを判断して、送られてくる撮影画像データを上記ステップＳ２０９で取得した輝度の差分を表す画像データを用いて補正、具体的には各画素単位で撮影画像データから輝度差分画像データを減算することで輝度ムラの補正を実行し、補正した画像データを光学レンズユニット６２より投影させる（ステップＳ２１１）。

図８は、書画カメラ装置１０から送られてくるドキュメント用紙を含む書画台１１上の撮影画像データを例示するものである。同図では、上記図５と同様に、照明環境により全体に画像左上側が明るく、同右下側が暗い輝度分布となっている。

これに対し、図９は上記ステップＳ２１１の処理により補正した上で投影される画像データの内容を例示するものである。上記照明環境による輝度分布を補正し、画像全体で均一な輝度となり、非常に見易いものとなっていることがわかる。

その後、上記投影状態を維持しながら、他の書画カメラ装置１０が新たに接続されてその割込みがあるか否か（ステップＳ２１２）、現在選択している書画カメラ装置１０から送られてくる撮影画像データに変化があるか否か（ステップＳ２１３）を繰返し判断することで、これらの状態となるのを待機する。

しかして、現在選択している書画カメラ装置１０から送られてくる撮影画像データに変化があった場合、上記ステップＳ２１３でそれを判断し、再びその新たな撮影画像データの輝度補正を行なうべく上記ステップＳ２１１からの処理を実行する。

また、上記ステップＳ２１２，Ｓ２１３の処理を繰返す過程で他の書画カメラ装置１０が新たに接続されてその割込みがあった場合、上記ステップＳ２１２でそれを判断し、その新たに接続された書画カメラ装置１０に対処するべく上記ステップＳ２０２からの処理に戻る。

このように本実施形態によれば、外部接続した書画カメラ装置１０から送られてくる撮影画像データを投影するデータプロジェクタ装置５０のような装置において、画像データ中の輝度に基づく簡易な処理で書画カメラ装置１０側での照明環境下での悪影響を確実に排除し、書画カメラ装置１０の書画台１１上に載置された各種ドキュメントの画像を即時処理して出力することが可能となる。

加えて、本実施形態では、複数接続される書画カメラ装置１０の各基準画像データを画像記憶部７１に登録するものとし、認証を行なってその結果に応じて対応する基準画像データを画像記憶部７１から読出すものとしたので、複数の書画カメラ装置１０を接続するような装置でも適切な輝度補正を施した画像データを出力することができる。

なお、上記実施形態では、認証処理を行なうに当たってＵＳＢ規格に則って行なうものとして説明したが、本発明はこれに限るものではなく、書画カメラ装置１０から送られてくる画像中の識別情報、例えば書画台１１上面にプリントされた特定のマークやバーコードを画像データ中から検出することで、書画カメラ装置１０の機種や個体の認証を行なうものとしてもよいし、さらには書画台１１全面の色自体を機種毎に異なるものとし、画像データ中の書画台１１部分の色成分を検出することで対応する機種を特定することができるようにしてもよい。

そのように書画カメラ装置１０から送られてくる画像データに含まれる画像情報を書画カメラ装置１０の認証に用いることで、ＵＳＢ等の規格に制限されることなく、書画カメラ装置１０の登録と認証に要する処理を簡易な画像処理のソフトウェアにより容易に実現できる。

なお、上記第２の実施形態では、複数の書画カメラ装置１０を接続する外部機器として、書画カメラ装置１０の出力した画像を投影するデータプロジェクタ装置５０を用いる場合について説明したが、本発明はこれに限ることなく、パーソナルコンピュータやその他何らかの画像処理を行なうような外部機器であっても同様に適用することが可能である。

その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件により適宜の組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。

本発明の第１の実施形態に係る書画カメラ装置の外観構成を示す斜視図。 同実施形態に係る書画カメラ装置全体の電子回路の概念構成を示すブロック図。 同実施形態に係る電源オン当初の処理内容を示すフローチャート。 同実施形態に係る書画台の基準画像データを例示する図。 同実施形態に係る書画台の撮影画像データを例示する図。 同実施形態に係る位置合わせ後の書画台の基準画像データを例示する図。 同実施形態に係る輝度の差分を表す画像データを例示する図。 同実施形態に係るドキュメント用紙を含む書画台上の画像データを例示する図。 同実施形態に係る輝度補正後のドキュメント用紙を含む書画台上の画像データを例示する図。 本発明の第２の実施形態に係る書画カメラ装置とデータプロジェクタ装置の接続構成を示す斜視図。 同実施形態に係るブロック図。 同実施形態に係るフローチャート。

符号の説明

１０…書画カメラ装置、１１…書画台、１２…スタンド部、１２ａ…回動アーム部、１２ｂ…カメラ取付け部、１３…カメラ部、１４…ＵＳＢケーブル、２１…モータ（Ｍ）、２２…撮影レンズ光学系、２３…ＣＣＤ、２４…タイミング発生器（ＴＧ）、２５…ＣＣＤドライバ、２６…サンプルホールド（Ｓ／Ｈ）回路、２７…Ａ／Ｄ変換器、２８…カラープロセス回路、２９…バッファコントローラ、３０…ＤＲＡＭ、３１…制御部、３２…メインメモリ、３３…プログラムメモリ、３４…表示制御部、３５…ＶＲＡＭ、３６…表示部、３７…ＵＳＢインタフェース（Ｉ／Ｆ）、３８…電源制御部、３９…補助光駆動部、４０…画像処理部、４１…メモリカード、４２…高輝度白色ＬＥＤ、４３…キー入力部、５０…データプロジェクタ装置、５１…入出力コネクタ部、５２…入出力インタフェース（Ｉ／Ｆ）、５３…画像変換部、５４…投影駆動部、５５…ビデオＲＡＭ、５６…マイクロミラー素子（ＳＯＭ）、５７…リフレクタ、５８…光源ランプ、５９…カラーホイール、６０…インテグレータ、６１…ミラー、６２…光学レンズユニット、６３…ステッピングモータ（Ｍ）、６４…マーカセンサ、６５…モータ（Ｍ）、６６…投影光処理部、６７…ＣＰＵ、６８…プログラムメモリ、６９…メインメモリ、７０…キースイッチ部、７１…画像記憶部、７２…音声処理部、７３…スピーカ、ＳＢ１，ＳＢ２…システムバス。

Claims (10)

1. ドキュメントを載置する書画台と、
   上記書画台を撮影する撮影手段と、
   上記書画台が所定の輝度分布となる照明状態で撮影した基準画像を予め記憶した記憶手段と、
   上記撮影手段で撮影して得る書画台の画像と上記記憶手段に記憶されている基準画像とにより輝度の差分画像を取得する差分画像取得手段と、
   上記差分画像取得手段で得た輝度の差分画像に基づいて上記撮影手段で撮影して得る書画台の画像中の少なくともドキュメント部分の輝度補正を行なう輝度補正手段と、
   上記輝度補正手段で得た画像を出力する出力手段と
   を具備したことを特徴とする書画カメラ装置。
2. 差分画像取得手段は、上記撮影手段で撮影して得る書画台の画像と上記記憶手段で記憶した基準画像の双方の画像パターンに基づいて位置調整を行なった後に輝度の差分画像を取得することを特徴とすることを特徴とする請求項１記載の書画カメラ装置。
3. 上記書画台が所定の輝度分布となる照明状態を、上記書画台の輝度分布が均一な照明環境下としたことを特徴とする請求項１または２に記載の書画カメラ装置。
4. ドキュメントを載置する書画台、上記書画台を撮影する撮影部を備え、撮影により得た書画台上のドキュメントの画像を取得して出力する書画カメラ装置が外部接続される画像処理装置であって、
   外部接続された上記書画カメラ装置から送られてくる、上記書画台が所定の輝度分布となる照明状態で撮影した基準画像を記憶する記憶手段と、
   外部接続された書画カメラ装置からの書画台の画像と上記記憶手段に記憶されている基準画像とにより輝度の差分画像を取得する差分画像取得手段と、
   上記差分画像取得手段で得た輝度の差分画像に基づいて外部接続された書画カメラ装置からの画像中の少なくともドキュメント部分の輝度補正を行なう輝度補正手段と、
   上記輝度補正手段で得た画像を出力する出力手段と
   を具備したことを特徴とする画像処理装置。
5. 上記記憶手段は、複数の書画カメラ装置からの基準画像を記憶し、
   書画カメラ装置の外部接続に際して認証を行なう認証手段と、
   上記認証手段での認証結果に応じて上記記憶手段から対応する基準画像を読出す画像選択手段と
   をさらに具備したことを特徴とする請求項４記載の画像処理装置。
6. 上記認証手段は、外部接続された書画カメラ装置からの画像中に含まれている識別情報を検出し、その検出された情報に基づいて行なうことを特徴とする請求項５記載の画像処理装置。
7. ドキュメントを載置する書画台、及び上記書画台を撮影する撮影部を備え、撮影により得た書画台上のドキュメントの画像を取得して出力する書画カメラ装置の画像処理方法であって、
   上記書画台が所定の輝度分布となる照明状態で撮影した基準画像を予め記憶しておく記憶工程と、
   上記撮影部で撮影して得る書画台の画像と上記記憶工程に記憶されている基準画像とにより輝度の差分画像を取得する差分画像取得工程と、
   上記差分画像取得工程で得た輝度の差分画像に基づいて上記撮影部で撮影して得る書画台の画像中の少なくともドキュメント部分の輝度補正を行なう輝度補正工程と、
   この輝度補正工程で得た画像を出力する出力工程と
   を有したことを特徴とする画像処理方法。
8. ドキュメントを載置する書画台、及び上記書画台を撮影する撮影部を備え、撮影により得た書画台上のドキュメントの画像を取得して出力する書画カメラ装置が外部接続される画像処理装置での画像処理方法であって、
   外部接続された上記書画カメラ装置から送られてくる、上記書画台が所定の輝度分布となる照明状態で撮影した基準画像を記憶する記憶工程と、
   外部接続された書画カメラ装置からの書画台の画像と上記記憶工程に記憶されている基準画像とにより輝度の差分画像を取得する差分画像取得工程と、
   上記差分画像取得工程で得た輝度の差分画像に基づいて外部接続された書画カメラ装置からの画像中の少なくともドキュメント部分の輝度補正を行なう輝度補正工程と、
   上記輝度補正工程で得た画像を出力する出力工程と
   を有したことを特徴とする画像処理方法。
9. ドキュメントを載置する書画台、及び上記書画台を撮影する撮影部を備え、撮影により得た書画台上のドキュメントの画像を取得して出力する書画カメラ装置が内蔵したコンピュータが実行するプログラムであって、
   上記書画台が所定の輝度分布となる照明状態で撮影した基準画像を予め記憶しておく記憶ステップと、
   上記撮影部で撮影して得る書画台の画像と上記記憶ステップに記憶されている基準画像とにより輝度の差分画像を取得する差分画像取得ステップと、
   上記差分画像取得ステップで得た輝度の差分画像に基づいて上記撮影部で撮影して得る書画台の画像中の少なくともドキュメント部分の輝度補正を行なう輝度補正ステップと、
   上記輝度補正ステップで得た画像を出力する出力ステップと
   をコンピュータに実行させることを特徴とするプログラム。
10. ドキュメントを載置する書画台、及び上記書画台を撮影する撮影部を備え、撮影により得た書画台上のドキュメントの画像を取得して出力する書画カメラ装置が外部接続される画像処理装置が内蔵したコンピュータが実行するプログラムであって、
    外部接続された上記書画カメラ装置から送られてくる、上記書画台が所定の輝度分布となる照明状態で撮影した基準画像を記憶する記憶ステップと、
    外部接続された書画カメラ装置からの書画台の画像と上記記憶ステップに記憶されている基準画像とにより輝度の差分画像を取得する差分画像取得ステップと、
    上記差分画像取得ステップで得た輝度の差分画像に基づいて外部接続された書画カメラ装置からの画像中の少なくともドキュメント部分の輝度補正を行なう輝度補正ステップと、
    上記輝度補正ステップで得た画像を出力する出力ステップと
    をコンピュータに実行させることを特徴とするプログラム。

Images