Nothing Special   »   [go: up one dir, main page]

JPH10341367A - 静止画像生成方法及び静止画像取り込みシステム - Google Patents

静止画像生成方法及び静止画像取り込みシステム

Info

Publication number
JPH10341367A
JPH10341367A JP9149029A JP14902997A JPH10341367A JP H10341367 A JPH10341367 A JP H10341367A JP 9149029 A JP9149029 A JP 9149029A JP 14902997 A JP14902997 A JP 14902997A JP H10341367 A JPH10341367 A JP H10341367A
Authority
JP
Japan
Prior art keywords
image
frame images
still image
subject
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP9149029A
Other languages
English (en)
Inventor
Atsushi Honjo
庄 敦 本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP9149029A priority Critical patent/JPH10341367A/ja
Priority to US09/092,264 priority patent/US6466253B1/en
Publication of JPH10341367A publication Critical patent/JPH10341367A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

(57)【要約】 【課題】 軽量且つ簡単な機構で、高解像度、高Ｓ／Ｎ
比を有する高品位な静止画像を取り込むことのできる静
止画像生成方法および静止画像取り込みシステムを提供
することを目的とする。 【解決手段】 通常の撮影条件で不可避的に発生する
「ぶれ」を伴う複数フィールドの画像を撮影し、各フィ
ールド画像上で、被写体の輪郭を抽出し、抽出した輪郭
から特徴図形を抽出する。さらに、抽出した特徴図形か
らフィールド画像間の相対的なぶれを算出し、算出した
ぶれを相殺するように各フィールド画像を合成する。そ
して、合成後の画像上の画素の分布を均一にするように
補間を行う。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、静止画像生成方法
および静止画像取り込みシステムに関する。より詳しく
は、本発明は、ＣＣＤなどのセンサを用いて静止画を取
り込むに際して、通常の取り込み条件で発生することが
普通である手ぶれなどの不可避な振動を利用して、わず
かにずれた複数フレームの画像を取り込み、所定の方法
で合成することによって、高解像度で低ノイズの単一フ
レームの静止画像を取り込むことを特徴とする静止画像
生成方法および静止画像取り込みシステムに関する。
【０００２】
【従来の技術】パーソナル・コンピュータやＰＤＡ（携
帯型情報端末）などの情報処理システムやそれらを接続
するデジタル通信ネットワークの急速な発達に伴って、
高品位の画像情報の取り込む技術に対する要求が大きく
なっている。現在、静止画像をデジタルデータとして取
り込むことのできるシステムとして、デジタル・カメラ
が普及しつつある。そこで、以下では静止画像を取り込
む技術として、デジタル・カメラを例に挙げて説明す
る。
【０００３】図６は、従来のデジタル・カメラの構成を
表す概略ブロック図である。取り込む画像は、光学系に
よってイメージ・センサ上に結像される。光学系として
は、通常は、レンズや絞りが使用される。また、イメー
ジ・センサとしては、ＣＣＤやＣＭＯＳが使用される。
イメージ・センサは、入力された光学的情報を電気信号
に変換し、時系列信号として出力する。センサから出力
された電気信号は、サンプリングとゲイン・コントロー
ルが施された後にＡ／Ｄ変換部でデジタル・データに変
換される。そして、信号処理回路において輝度信号とカ
ラー信号とに分離される信号処理等が行われ、その結果
が静止画メモリに格納される。このように格納された静
止画情報は、必要に応じて、出力部を介して外部に出力
される。現在は、デジタル・カメラの殆どは、イメージ
・センサとしてＣＣＤエリア・センサを使用している。
ＣＣＤエリア・センサは、２次元マトリックス状に配列
したフォトダイオードと、ＣＣＤアナログ・シフト・レ
ジスタとから構成されている。フォトダイオードが光を
受けると、その光量に応じた電子を発生し、蓄積する。
アナログ・シフト・レジスタは、この電子を転送し、時
系列信号として外部に出力する。
【０００４】デジタル・カメラは静止画像を取り込むこ
とを目的としており、従来のデジタル・カメラで出力さ
れる静止画像情報は、単一フレーム分の画像情報であっ
た。すなわち、センサの露出時間をＴとすれば、時刻ｔ
＝０からｔ＝Ｔの間にセンサの各フォトダイオードが受
けた光の量に対応した電気信号が時系列に１度だけセン
サから出力され、前述した信号処理を受けて静止画像情
報としてデジタル・カメラから出力されていた。
【０００５】
【発明が解決しようとする課題】しかし、デジタル・カ
メラは、軽量小型化の要請に応ずるために光学系のフォ
ーマットとして小径の１／４インチ系を採用することが
主流となっている。この場合、イメージ・センサ上での
結像の大きさは、対角長で４．５ｍｍ程度に過ぎない。
一方、解像度の要請から、ＣＣＤセンサとしては５００
×８００画素程度のものが採用されている。すなわち、
ＣＣＤセンサ上には縦５００個、横８００個程度の数の
フォト・ダイオードが配列されている。このために、ひ
とつのフォトダイオードの大きさは、４．５μｍ×４．
５μｍ程度と極めて小さい。従って、フォトダイオード
が発生できる電子の数は、通常の明るさである照度１０
ルクスで露光時間を１／６０秒とした場合に、わずか６
０００個程度に過ぎない。電子生成過程は、確率過程で
あるために、ｎ個の電子の生成に伴って、ｎ1/2 のラン
ダム・ノイズが伴うことが知られている。すなわち、電
子生成に伴うＳ／Ｎ比は、ｎ／ｎ1/2 ＝ｎ1/2 であり、
電子数が少ないほど低下する。
【０００６】デジタル・カメラの普及に伴って、その高
解像度化が要求されているが、銀塩写真に匹敵する高解
像度の静止画像を撮影するためには、更に画素数を増や
さなければならない。しかし、画素数を増やすためにフ
ォトダイオードを小さくすると、生成電子数が減少し、
Ｓ／Ｎ比はさらに低下することとなる。一方、フォトダ
イオードを小さくせずに画素数を増やすには、光学系を
拡大する必要があり、軽量化の要請に反することとな
る。
【０００７】このように、従来のデジタル・カメラで
は、軽量化の要請に応えるためには、解像度とランダム
・ノイズによるＳ／Ｎ比とがトレード・オフの関係にあ
り、高解像度且つ低ノイズの高品位な静止画像を取り込
むことができなかった。
【０００８】一方、ＣＣＤの画素数を増加させずに、解
像度を向上させる方法として、いわゆるスイングＣＣＤ
を用いる方法がある。これは、圧電素子などの振動機構
を利用して、ＣＣＤ全体をその画素ピッチより小さい振
幅で振動させて画素を意図的にずらして撮像することに
より、解像度を向上させるものである。
【０００９】しかし、スイングＣＣＤは、ＣＣＤの振動
と、画像の取り込みタイミングを正確に同期させること
が重要である。従って、その機構が複雑で、組立や調整
も容易でなく、さらに、画素ピッチの数分の１という極
めて微小な振動を精度よく再現することが容易でないた
めに、システムの長期的な安定性を確保することも容易
ではなかった。
【００１０】本発明は、かかる点に鑑みてなされたもの
である。すなわち、本発明は、軽量且つ簡単な機構で、
高解像度、高Ｓ／Ｎ比を有する高品位な静止画像を取り
込むことのできる画像処理方法および静止画像取り込み
システムを提供することを目的とするものである。
【００１１】本発明のよる第１の静止画像生成方法は、
画像を複数の画素として取り込む撮像素子によって被写
体の静止画像を生成する方法であって、前記被写体と前
記撮像素子との相対的変位を許容した状態で前記被写体
を撮影して、複数の画素により構成される複数枚のフレ
ーム画像を、これら複数枚のフレーム画像のうちの少な
くとも所定数Ｎ（Ｎは２以上の自然数）枚のもののそれ
ぞれにおける同一の画素に前記被写体のそれぞれ異なる
点が記録されたものとして生成し、前記複数枚のフレー
ム画像における前記被写体間の相対的なずれ量を算出
し、前記相対的なずれ量に基づいて前記各被写体が重な
るように前記複数枚のフレーム画像をずらして重ね合わ
せることにより、前記フレーム画像のＮ倍の情報量を含
む画像として前記被写体が表された一枚の合成静止画像
を生成することを特徴とするものとして構成される。
【００１２】また、本発明のよる第２の静止画像生成方
法は、画像を複数の画素として取り込む撮像素子によっ
て被写体の静止画像を生成する方法であって、前記被写
体と前記撮像素子との相対的変位を許容した状態で前記
被写体を撮影して、複数の画素により構成される複数枚
のフレーム画像を、これら複数枚のフレーム画像のうち
の少なくとも所定数ｍ2 （ｍは２以上の自然数）枚以上
のもののそれぞれにおける同一の画素に前記被写体のそ
れぞれ異なる点が記録されたものとして生成し、前記複
数枚のフレーム画像における前記被写体間の相対的なず
れ量を算出し、前記相対的なずれ量に基づいて前記各被
写体が重なるように前記複数枚のフレーム画像をずらし
て重ね合わせることにより、前記被写体が表された一枚
の合成静止画像を生成することを特徴とするものとして
構成される。
【００１３】また、本発明による第３の静止画像生成方
法は、画像を複数の画素として取り込む撮像素子によっ
て被写体の静止画像を生成する方法であって、前記被写
体と前記撮像素子との相対的変位を許容した状態で前記
被写体を撮影して、複数の画素により構成される複数枚
のフレーム画像を、これら複数枚のフレーム画像のうち
の少なくとも２枚以上のもののそれぞれにおける同一の
画素に前記被写体のそれぞれ異なる点が実質的に同一の
露光時間で記録されたものとして生成し、前記複数枚の
フレーム画像における前記被写体間の相対的なずれ量を
算出し、前記相対的なずれ量に基づいて前記各被写体が
重なるように前記複数枚のフレーム画像をずらして重ね
合わせることにより、前記被写体が表された一枚の合成
静止画像を生成することを特徴とするものとして構成さ
れる。
【００１４】または、本発明による第４の静止画像生成
方法は、画像を複数の画素として取り込む撮像素子によ
って被写体の静止画像生成する方法であって、前記被写
体と前記撮像素子との相対的変位を許容した状態で前記
被写体を撮影して、複数の画素により構成される複数枚
のフレーム画像を、これら複数枚のフレーム画像のうち
の少なくとも２枚以上のもののそれぞれにおける同一の
画素に前記被写体のそれぞれ異なる点が記録されたもの
として生成し、前記複数枚のフレーム画像における前記
被写体間の相対的なずれ量を算出し、前記相対的なずれ
量に基づいて前記各被写体が重なるように前記複数枚の
フレーム画像をずらして重ね合わせることにより、前記
フレーム画像よりも実質的に画素数が多い高解像度を有
する画像として前記被写体が表された一枚の合成静止画
像を生成することを特徴とするものとして構成される。
【００１５】または、本発明による第５の静止画像生成
方法は、画像を複数の画素として取り込む撮像素子によ
って被写体の静止画像を生成する方法であって、前記被
写体と前記撮像素子との相対的変位を許容した状態で前
記被写体を撮像して、複数の画素により構成される複数
枚のフレーム画像を、これら複数枚のフレーム画像のう
ちの少なくとも２枚以上のもののそれぞれにおける同一
の画素に前記被写体のそれぞれ異なる点が記録されたも
のとして生成し、前記被写体と前記撮像素子との相対的
変位に応じて前記複数枚のフレーム画像をずらして重ね
合わせることにより、前記フレーム画像よりも実質的に
画素当りの信号量が多い高Ｓ／Ｎ比を有する画像として
前記被写体が表された一枚の合成静止画像を生成するこ
とを特徴とするものとして構成される。
【００１６】または、本発明による第６の静止画像生成
方法は、画像を複数の画素として取り込む撮像素子によ
って被写体の静止画像を生成する方法であって、前記被
写体を撮影して複数の画素により構成されるフレーム画
像を複数枚生成し、前記撮影のときに生じた「ぶれ」に
よる前記被写体と前記撮像素子との相対的変位に応じて
前記複数枚のフレーム画像をずらして重ね合わせること
により、前記被写体が表された一枚の合成静止画像を生
成することを特徴とするものとして構成される。
【００１７】または、本発明による第７の静止画像生成
方法は、さらに、前記複数枚のフレーム画像における前
記被写体間の相対的なずれ量を算出し、前記相対的なず
れ量に基づいて前記各被写体が重なるように前記複数枚
のフレーム画像をずらして重ね合わせることを特徴とす
るものとして構成される。
【００１８】または、本発明による第８の静止画像生成
方法は、前記複数枚のフレーム画像のそれぞれについて
前記被写体の輪郭を抽出し、前記輪郭のうちでその位置
を前記フレーム画像上で特定可能な特徴図形を前記複数
枚のフレーム画像のそれぞれについて抽出し、前記フレ
ーム画像のそれぞれについて前記特徴図形の位置を求め
ることにより、前記複数枚のフレーム画像における前記
被写体の間の相対的なずれ量を算出することを特徴とす
るものとして構成される。
【００１９】または、本発明による第９の静止画像生成
方法は、前記特徴図形を前記複数枚のフレーム画像のそ
れぞれについて所定数Ｍ（Ｍは２以上の自然数）ずつ抽
出し、前記所定数Ｍの特徴図形ごとに前記複数枚のフレ
ーム画像のそれぞれにおける前記特徴図形の位置を求
め、前記複数枚のフレーム画像における前記被写体の間
の相対的なずれ量を前記所定数Ｍの平均値として算出す
ることを特徴とするものとして構成される。
【００２０】または、本発明による第１０の静止画像生
成方法は、さらに、前記複数枚のフレーム画像のそれぞ
れを分離処理して、輝度信号により構成される複数枚の
輝度信号フレーム画像と色信号により構成される複数枚
の色信号フレーム信号とを生成し、前記複数の輝度信号
フレーム画像及び前記複数の色信号フレーム信号のいず
れか一方における前記被写体の間の相対的なずれ量を算
出することを特徴とするものとして構成される。
【００２１】または、本発明による第１１の静止画像生
成方法は、さらに、前記相対的なずれ量に基づいて前記
各被写体が重なるように前記複数枚の輝度信号フレーム
画像をずらして重ね合わせることにより、一枚の輝度信
号合成静止画像を生成し、前記相対的なずれ量に基づい
て前記各被写体が重なるように前記複数枚の色信号フレ
ーム画像をずらして重ね合わせることにより、一枚の色
信号合成静止画像を生成することを特徴とするものとし
て構成される。
【００２２】または、本発明による第１２の静止画像生
成方法は、さらに、前記合成静止画像上に分布している
画素の間隔が略一定となるように補間処理を施すことを
特徴とするものとして構成される。
【００２３】または、本発明による第１３の静止画像生
成方法は、前記補間処理は、前記合成静止画像上の画素
の分布状態をフーリエ級数展開することにより行うこと
を特徴とするものとして構成される。
【００２４】または、本発明による第１４の静止画像生
成方法は、前記フーリエ級数の項数を前記フレーム画像
の画像数と所定数Ｎ（ただしＮは、複数枚のフレーム画
像のうち、それぞれにおける同一の画素に前記被写体の
それぞれ異なる点が記録されたものの枚数）との積と
し、前記フーリエ級数をｆ（ｘ，ｙ）としたときに、ｆ
（ｘ／Ｎ1/2 、ｙ／Ｎ1/2 ）を前記合成静止画像上の画
素の分布状態とすることにより、前記フレーム画像のＮ
1/2 倍の解像度を得ることを特徴とするものとして構成
される。
【００２５】または、本発明による第１５の静止画像生
成方法は、前記フーリエ級数の項数を前記フレーム画像
の画素数と等しい数とし、前記フーリエ級数をｆ（ｘ，
ｙ）としたとき、ｆ（ｘ，ｙ）を前記合成静止画像上の
画素の分布状態とすることにより、前記フレーム画像の
それぞれよりも高Ｓ／Ｎ比を得ることを特徴とするもの
として構成される。
【００２６】または、本発明による第１の静止画像取り
込みシステムは、被写体を撮影して画像を複数の画素と
して取り込む撮像素子と、前記撮像素子により撮影され
複数の画素により構成されるフレーム画像であって、そ
れぞれにおける同一の画素に前記被写体のそれぞれ異な
る点が記録された所定数Ｎ（Ｎは２以上の自然数）枚の
複数枚のフレーム画像について、前記複数枚のフレーム
画像における前記被写体間の相対的なずれ量を算出し、
前記相対的なずれ量に基づいて前記各被写体が重なるよ
うに前記複数枚のフレーム画像をずらして重ね合わせ、
前記フレーム画像のＮ倍の情報量を含む画像として前記
被写体が表された一枚の合成静止画像を生成する信号処
理系と、を備えたことを特徴とするものとして構成され
る。
【００２７】または、本発明による第２の静止画像取り
込みシステムは、被写体を撮影して画像を複数の画素と
して取り込む撮像素子と、前記撮像素子により撮影され
複数の画素により構成されるフレーム画像であって、そ
れぞれにおける同一の画素に前記被写体のそれぞれ異な
る点が記録された所定数ｍ2 （ｍは２以上の自然数）枚
の複数枚のフレーム画像について、前記複数枚のフレー
ム画像における前記被写体間の相対的なずれ量を算出
し、前記相対的なずれ量に基づいて前記各被写体が重な
るように前記複数枚のフレーム画像をずらして重ね合わ
せ、前記被写体が表された一枚の合成静止画像を生成す
る信号処理系と、を備えたことを特徴とするものとして
構成される。
【００２８】または、本発明による第３の静止画像取り
込みシステムは、被写体を撮影して画像を複数の画素と
して取り込む撮像素子と、前記撮像素子により撮影され
複数の画素により構成されるフレーム画像であって、そ
れぞれにおける同一の画素に前記被写体のそれぞれ異な
る点が実質的に同一の露光時間で記録された複数枚のフ
レーム画像について、前記複数枚のフレーム画像におけ
る前記被写体間の相対的なずれ量を算出し、前記相対的
なずれ量に基づいて前記各被写体が重なるように前記複
数枚のフレーム画像をずらして重ね合わせ、前記被写体
が表された一枚の合成静止画像を生成する信号処理系
と、を備えたことを特徴とするものとして構成される。
【００２９】または、本発明による第４の静止画像取り
込みシステムは、被写体を撮影して画像を複数の画素と
して取り込む撮像素子と、前記撮像素子により撮影され
複数の画素により構成されるフレーム画像であって、そ
れぞれにおける同一の画素に前記被写体のそれぞれ異な
る点が記録された複数枚のフレーム画像について、前記
複数枚のフレーム画像における前記被写体間の相対的な
ずれ量を算出し、前記相対的なずれ量に基づいて前記各
被写体が重なるように前記複数枚のフレーム画像をずら
して重ね合わせ、前記フレーム画像よりも実質的に画素
数が多い高解像度を有する画像として前記被写体が表さ
れた一枚の合成静止画像を生成する信号処理系と、を備
えたことを特徴とするものとして構成される。
【００３０】または、本発明による第５の静止画像取り
込みシステムは、被写体を撮像して画像を複数の画素と
して取り込む撮像素子と、前記撮像素子により撮影され
複数の画素により構成されるフレーム画像であって、そ
れぞれにおける同一の画素に前記被写体のそれぞれ異な
る点が記録された複数枚のフレーム画像を、前記複数枚
のフレーム画像における前記被写体間の相対的なずれ量
に基づいて前記各被写体が重なるようにずらして重ね合
わせ、前記フレーム画像よりも実質的に画素当りの信号
量が多い高Ｓ／Ｎ比を有する画像として前記被写体が表
された一枚の合成静止画像を生成する信号処理系と、を
備えたことを特徴とするものとして構成される。
【００３１】または、本発明による第６の静止画像取り
込みシステムは、被写体を撮影して画像を複数の画素と
して取り込む撮像素子と、前記撮像素子により撮影され
た複数の画素により構成される複数枚のフレーム画像
を、前記撮影のときに生じた「ぶれ」による前記被写体
と前記撮像素子との相対的変位に応じてずらして重ね合
わせ、前記被写体が表された一枚の合成静止画像を生成
する信号処理系と、を備えたことを特徴とするものとし
て構成される。
【００３２】または、本発明による第７の静止画像取り
込みシステムは、前記信号処理系は、さらに前記合成静
止画像上に分布している画素の間隔が略一定になるよう
に補間処理を施すことを特徴とするものとして構成され
る。
【００３３】または、本発明による第８の静止画像取り
込みシステムは、前記撮像素子は、ＣＣＤイメージセン
サまたはＣＭＯＳセンサにより構成されることを特徴と
するものとして構成される。
【００３４】
【発明の実施の形態】本発明によれば、撮影の際の「ぶ
れ」によってわずかずつずれたフレーム画像を合成する
ことにより、分解能が高く、ノイズの少ない高品位な静
止画像を取り込むことができる。このような「ぶれ」
は、従来、画像を劣化させる有害かつ不必要な要素とさ
れ、その除去に注力されていた。しかし、本発明者は、
静止画を撮影する際に不可避的に発生するこのような
「ぶれ」について詳細に解析した結果、従来とは発想を
転換して、本発明をなすに至った。
【００３５】本発明は、従来とは逆に、この「ぶれ」を
積極的に利用して、静止画像の解像度やＳ／Ｎ比を向上
させることをひとつの特徴としている。このような、
「ぶれ」は、画素のピッチに整合している訳ではない。
従って、連続して撮影した各フレーム上のそれぞれの画
素には、被写体の異なる点が記録されている。そして、
被写体が重なるように各フレームを重ね合わせると、そ
れぞれのフレームよりも画素数が増えた静止画像を得る
ことができる。
【００３６】以下に図面を参照しながら本発明の実施の
形態について説明する。図１（ａ）は、本発明による静
止画像取り込みシステムの一例としてのデジタル・カメ
ラの外観を表す概略斜視図である。また、同図（ｂ）
は、その要部構成を例示する概略断面図である。本発明
によるデジタル・カメラ１０は、図１（ａ）に示したよ
うに、本体ボディ１２に、レンズ開口部１４、ファイン
ダ１６、グリップ部１８、シャッタ２０および外部出力
端子２２を有する。レンズ開口部１４には、レンズ２４
が設けられている。ファインダ１６は、単純な光学的な
ものでよい。または、図示しないカメラの背面に液晶デ
ィスプレイなどの表示装置を設けて、ファインダと出力
画像のモニタとを兼用するようにしてもよい。
【００３７】同図（ｂ）に示したように、その内部に
は、レンズ２４の背面に絞り２８が設けられ、光量を調
節する。レンズ２４および絞り２８により収束された被
写体の像は、撮像素子であるイメージ・センサ３０上に
結像する。イメージ・センサ３０としては、ＣＣＤイメ
ージ・センサやＣＭＯＳセンサ等の固体撮像素子が用い
られることが多い。基板３２の上には、イメージ・セン
サ３０を制御する駆動回路や、イメージ・センサ３０か
らの出力信号を処理する信号処理系の回路が形成されて
いる。これらの電子回路部や、絞り２８などの動力部に
は、バッテリー３４から駆動電力が供給される。
【００３８】図２は、本発明によるデジタル・カメラの
構成を表す概略ブロック図である。本発明によるデジタ
ル・カメラも従来のカメラと同様に静止画像を取り込む
ことを目的としている。しかし、本発明によるデジタル
・カメラでは、ひとつの静止画像を取り込むに際してイ
メージ・センサ３０は、あたかも動画カメラのように、
連続した複数フレームの画像を順次取り込み、出力す
る。イメージ・センサ３０から順次出力された各フレー
ムの画像データは、従来のデジタル・カメラの場合と同
様に、サンプリング及びゲイン・コントロール部４０、
Ａ／Ｄ変換部４２、信号処理部４４を経てメモリ４６に
格納される。但し、従来のカメラでは、このメモリ４６
に格納される画像データは、１フレーム分のデータであ
ったのに対して、本発明によるカメラの場合は、複数フ
レーム分のデータが格納される。そこで、従来の場合と
明瞭に区別するために、本明細書においては、この複数
フレームのデータを一括して「連続静止画（動画）情
報」と称し、これらのデータが格納されるメモリ４６を
「連続静止画（動画）メモリ」と称する。
【００３９】一例として、各フレーム毎の露光時間、す
なわち蓄積時間を１／６０秒とし、フレーム数Ｎ＝１０
０として画像の取り込みを実施した場合について説明す
る。この場合には、イメージ・センサ３０は、時刻ｔが
０≦ｔ≦１／６０秒、１／６０秒≦ｔ≦２／６０秒、・
・・、９９／６０秒≦ｔ≦１００／６０秒の間にそれぞ
れ撮影した各フレームの光学的情報を電気信号に変換し
て次々に出力する。この１００フレームの撮影に要する
時間は、１００／６０秒、すなわち約１．７秒である。
各フレームの露光時間、すなわち蓄積時間は、フレーム
毎に異なる時間としても良い。しかし、各フレームの蓄
積時間をほぼ同一にして輝度レベルを同程度に維持した
方が、後に行うフレームの合成に際して便利である。
【００４０】撮影の間は、カメラは手に持たれている
か、または、三脚等の支持体に固定されているが、前述
したように、いずれの場合でも、連続して撮影された連
続静止画情報は若干の「ぶれ」を含んでいる。このよう
な「ぶれ」は、従来、画像を劣化させる有害かつ不必要
な要素とされ、その除去に注力されていた。しかし、本
発明は、従来とは逆に、この「ぶれ」を利用して、静止
画像の解像度やＳ／Ｎ比を向上させることをひとつの特
徴としている。
【００４１】すなわち、図２に示したように、本発明に
よるデジタル・カメラでは、連続静止画メモリ４６に格
納された複数フレームの画像データは、連続静止画合成
静止画変換部４８において合成され、ひとつの静止画像
とされる。このように、連続静止画合成静止画変換部４
８で、「ぶれ」を有する各フレームの画像データを所定
の方法により合成することによって、高品位の静止画像
が得られる。合成された静止画像データは、静止画メモ
リ５０に格納され、必要に応じて、出力部２２を介して
外部に出力される。
【００４２】図３は、本発明による連続静止画合成静止
画変換部４８の処理アルゴリズムの一例を表す概略ブロ
ック図である。連続静止画情報、すなわち、Ｎコマのフ
レームの情報は、それぞれ、輝度情報と色情報とに分離
処理されて連続静止画メモリに格納されている。輝度情
報として格納されているのはＹ信号であり、色情報とし
て格納されているのはＲ信号（赤）、Ｇ信号（緑）及び
Ｂ信号（青）である。ここで、ＣＣＤセンサのフォトダ
イオードの数を横がＮx 個で縦がＮy 個とする。する
と、Ｎフレームからなる連続静止画情報を構成している
Ｙ信号、Ｒ信号、Ｇ信号及びＢ信号は、それぞれ対応す
るフォトダイオードの座標ｎx 、ｎy とフレーム番号ｎ
t との関数として次のように表すことができる。 輝度信号： Ｙ（ｎx 、ｎy 、ｎt ） Ｒ信号 ： Ｒ（ｎx 、ｎy 、ｎt ） Ｇ信号 ： Ｇ（ｎx 、ｎy 、ｎt ） Ｂ信号 ： Ｂ（ｎx 、ｎy 、ｎt ） ここで、１≦ｎx ≦Ｎx 、１≦ｎy ≦Ｎy 、１≦ｎt ≦
Ｎである。
【００４３】本発明においては、図３に例示したよう
に、例えば、Ｙ信号に基づいて各フレーム毎に輪郭抽出
を行う。すなわち、輝度信号をもとにして各フレームに
写されている図形の輪郭を認識する。ここで、Ｙ信号に
基づいて輪郭抽出を行うのは、一般的に輝度信号が画像
の輪郭を最も明瞭に示すことが多いからである。また、
いわゆる単板式ＣＣＤカラー・カメラの場合には、ＣＣ
Ｄの各フォトダイオードがＲ、Ｇ、Ｂに振り分けられて
いるために、色毎の画素数は総画素数の１／３であり、
色毎に輪郭を抽出すると、分解能が低下するという問題
があるからである。しかし、本発明は、Ｙ信号のみによ
り輪郭抽出を行うように限定されるものではない。
【００４４】例えば、被写体が、赤（Ｒ）と緑（Ｇ）の
みからなり、しかも、ＲとＧの輝度が非常に近いような
場合は、Ｙ信号よりもＲ信号とＧ信号とに基づいて輪郭
抽出を行う方が有利である。また、いわゆる３板式のＣ
ＣＤカメラの場合などは、色毎に輪郭を抽出しても分解
能が低下することはない。従って、いずれの信号に基づ
いて輪郭抽出を行うかは、被写体の色彩の分布状態やカ
メラの種類などに応じて適宜選択することができる。こ
のことは、後述する特徴図形抽出ステップとずれ量算出
ステップについても同様である。
【００４５】次に、図３に示したように、抽出された輪
郭から特徴図形を抽出する。特徴図形とは、輪郭がシャ
ープで、その座標を明確に特定することができるような
図形のことであり、例えば、線の交点、線の曲がり角あ
るいは輝点などが挙げられる。
【００４６】特徴図形を抽出したら、フレーム毎にその
相対的なずれ量を求める。すなわち、同一の被写体を連
続して撮影した場合でも、撮影時に「ぶれ」があれば、
フレームの中での被写体の位置は、フレーム毎に異な
る。
【００４７】例えば、フレーム間で共通するＫ個の特徴
図形が抽出された場合を考える。これらの特徴図形の座
標は、次のように表すことができる。
【００４８】（Ｘ（ｋ、ｎt ）、Ｙ（ｋ、ｎt ）） ここで、ｋは、１≦ｋ≦Ｋの範囲の整数であり、特徴図
形の番号を表す。また、ｎt はフレーム番号である。こ
こで、簡単のために、撮影時の「ぶれ」は平行移動のみ
であり、回転や被写体自体の歪みは含まないものと仮定
する。すると、１番目のフレームに対するｎt 番目のフ
レームのずれ量は、平面座標上のＸ成分とＹ成分のみに
より表すことができる。ここで、Ｋ個抽出した特徴図形
のうちのｋ番目の特徴図形から算出されるｎt 番目のフ
レームの相対的ずれ量Δ（ｋ、ｎt）のＸ、Ｙ成分は、
それぞれ次のように表すことができる。
【００４９】Δ（ｋ、ｎt ）のＸ成分：（Ｘ（ｋ、
ｎt ）−Ｘ（ｋ、１）） Δ（ｋ、ｎt ）のＹ成分：（Ｙ（ｋ、ｎt ）−Ｙ（ｋ、
１）） フレームの相対的ずれ量の算出値の信頼性を高めるため
には、フレーム毎に特徴図形のすべてについてずれ量を
算出し、平均化することが望ましい。すなわち、ｎt 番
目のフレームの相対ずれ量Δ（ｎt ）を、Ｋ個すべての
特徴図形から算出されるずれ量の平均値として次式によ
り表すことができる。
【００５０】Δ（ｎt ）＝ΣΔ（ｋ、ｎt ）／Ｋ ここで総和記号Σによる加算は、ｋについて１からＫま
での範囲で行う。このようにして得られたずれ量Δ（ｎ
t ）は、Ｋ個の特徴図形から算出された平均値であるの
で、ＣＣＤの画素ピッチからずれた値となることが多
い。すなわち、個々の特徴図形のずれ量は、ＣＣＤの各
画素により空間的に量子化されて、画素ピッチの整数倍
となることが多い。しかし、上述した式に従って平均化
することにより、画素ピッチの整数倍から外れたより正
確なずれ量を求めることができる。しかも、画素ピッチ
から外れたずれ量を求めることができれば、各フレーム
を画素をずらして合成することが可能となり、解像度を
向上することができる。
【００５１】次に、図３に示したように、算出された相
対的ずれ量に基づいて、Ｎ個のフレームを結合する。す
なわち、各フレームをそれぞれの相対的ずれ量Δ
（ｎt ）ずつ戻して重ねることにより、１枚の静止画像
を合成する。各フレームの結合は、輝度情報と、色情報
についてそれぞれ行う。ここで、それぞれのフレームは
異なる時刻に撮影された被写体情報であるが、本発明は
静止画を取り込むことを目的としているので、時刻の差
は無視する。
【００５２】さらに以下では、説明を簡略化するために
Ｎ個のフレームのずれ量がすべて異なる場合を想定す
る。すなわち、結合した時にＮ個のフレームの輝度信号
Ｙは、いずれも重ならず、多値関数とはならない場合を
想定する。
【００５３】このように結合して得られた合成静止画像
上での輝度信号Ｙ（ｘ、ｙ）の分布は、次式により表さ
れる。 Ｙ（ｘ，ｙ）＝Ｙ（ｎx ，ｎy ，ｎt ） （ｘ＝Ｘp ｎx −Δｘ（ｎt ），ｙ＝Ｙp ｎy −Δｙ
（ｎt ）のとき）ここで、Ｘp およびＹp は、ＣＣＤの
フォトダイオードのピッチに対応する画像上のＸ方向お
よびＹ方向の画素のピッチである。また、ｎx およびｎ
y は、フレーム上での画素のｘ方向、ｙ方向の番号であ
る。また、Δｘ（ｎt ）およびΔｙ（ｎt）は、それぞ
れｎt 番目のフレームの相対的ずれ量Δ（ｎt ）のｘ成
分およびｙ成分である。
【００５４】上式から分かるように、結合後の合成静止
画像上での輝度信号は、１番目のフレームの各画素を基
準とすると、各フレーム毎にｘ方向にΔｘ（ｎt ）、ｙ
方向にΔｙ（ｎt ）ずつずれた位置に輝度情報を有す
る。つまり画素が実質的に増加したことに等しい。この
ような結合は、色情報であるＲ、ＧおよびＢ信号につい
てもそれぞれ行う。
【００５５】図４（ａ）は、結合して得られた画像上の
信号の分布状態を例示する図である。同図（ａ）では、
簡単のためにフレーム数Ｎ＝３の場合について示した。
また、各信号点には便宜的にフレームの番号を付した。
撮影時の「手ぶれ」や物理的な振動などにより生ずる各
フレームのずれ量は、一般的に均一でない。従って、同
図（ａ）に示したように、結合後の信号の分布状態は空
間的に不均一となる場合が多い。このような状態でも、
画素数は増加して静止画像の解像度は向上している。従
って、画素の分布に関する情報とともに輝度信号データ
および色信号データを供給するような場合には、高品位
な静止画像として利用することができる。
【００５６】一方、図４（ｂ）は、デジタル・カメラが
外部に出力する静止画像データとして、一般的に望まし
い信号の分布を例示する図である。同図（ｂ）には、同
図（ａ）を構成する各フレームの解像度が２倍にされた
場合を示した。実用的な静止画像情報としては、同図
（ｂ）に示したように信号が２次元的に均一に分布して
いることが望ましい。そこで、図４（ａ）のように不均
一に分布している信号の間隙を補間して、同図（ｂ）に
示したような均一な信号の分布を合成する。このために
は、合成されるフレーム数としてはｍ2 （ｍは２以上の
自然数）個であればよく、本発明では一般にｍ2 個以上
のフレームを合成後同様の処理を行えば、解像度がｍ倍
の静止画像を得ることが可能である。
【００５７】なお、このような信号分布の合成は、補間
処理と称されることが多く、その方法としては、フーリ
エ級数展開による方法や多項式近似または線形近似によ
る方法などが挙げられる。ここでは、フーリエ級数展開
による補間の方法について説明する。
【００５８】まず、ディラックのδ関数を用いて以下の
ような積分可能な関数Ｙ’（ｘ、ｙ）を定義する。 Ｙ’（ｘ、ｙ）＝Ｙ（ｘ、ｙ）δ（Ｘp ｎx −Δｘ（ｎ
t ）−ｘ）・δ（Ｙp ｎy −Δｙ（ｎt ）−ｙ） ここで、Ｙ’（ｘ、ｙ）はＹ（ｘ、ｙ）が定義されてい
る任意の点の近傍での積分平均がＹ（ｘ、ｙ）と等しい
値を有し、その他の点の近傍では積分値が零となる関数
である。
【００５９】次に、関数Ｙ（ｘ、ｙ）を２次元のフーリ
エ級数（半区間）に展開する。補間後の関数をＹ”
（ｘ、ｙ）とすると、
【００６０】
【数１】 このフーリエ級数には、元の連続静止画の１フレーム分
の情報量のＮ倍の情報量が含まれている。
【００６１】ここで、静止画の解像度を改善する場合に
は、フーリエ級数の項数をＮ＊Ｎx＊Ｎy （ここで、１
≦ｍ≦Ｎx ＊Ｎ1/2 、１≦ｎ≦Ｎy ＊Ｎ1/2 とする。）
とする。そして、静止画の輝度分布Ｙ（ｎx 、ｎy ）
（ここで、１≦ｎx ≦Ｘn ＊Ｎ1/2 、１≦ｎy ≦Ｙn ＊
Ｎ1/2 とする。）を次式により算出すれば、級数の項数
は情報量と同じになり、元のフレーム画像のＮ1/2 倍の
解像度の静止画が得られる。 Ｙ（ｎx 、ｎy ）＝Ｙ”（ｎx ／Ｎ1/2 、ｎy ／
Ｎ1/2 ） 図５は、このような補間処理を模式的に表す概念図であ
る。すなわち、同図（ａ）には、補間処理前の信号分布
が表されている。ここでは、簡単のために２2＝４フレ
ームの画像を結合した画像の信号分布を例示した。この
ような信号分布を有する画像について、上述のような補
間処理を施すと、図５（ｂ）に示したように、信号分布
が均一になり、各フレームの画像と比較して静止画の解
像度は倍増する。
【００６２】一方、静止画のノイズを低減する場合に
は、級数の項数をＸn ＊Ｙn （ここで、１≦ｎx ≦
Ｘn 、１≦ｎy ≦Ｙn とする。）とする。そして、静止
画の輝度分布Ｙ（ｎx 、ｎy ）（ここで、１≦ｎx ≦Ｘ
n 、１≦ｎy ≦Ｙn とする。）を次式により算出すれ
ば、級数の項数は元の連続静止画の１フレーム分の情報
量と同じとなり、解像度は改善されないが、低次のフー
リエ級数が滑らかな関数を与えることによって元の連続
静止画のランダム・ノイズが１／Ｎ1/2 に低減された静
止画を得ることができる。 Ｙ（ｎx 、ｎy ）＝Ｙ”（ｎx 、ｎy ） 図５（ｃ）は、この補間処理により得られる静止画の信
号分布を例示した概念図である。すなわち、同図（ａ）
に示したような信号分布を補間処理して同図（ｃ）に示
したような分布の静止画が得られる。同図に示したよう
に、得られる静止画の解像度は、各フレームの解像度と
変わらないが、各点での信号量が増加してＳ／Ｎ比が改
善される。
【００６３】一方、上述した２つの場合の中間的な処理
を施せば、解像度とランダム・ノイズの両方を、元の連
続静止画の各フレームより改善した静止画が得られる。
すなわち、被写体や撮影条件、あるいはカメラの光学系
やイメージ・センサなどの特性に応じて、適宜解像度と
ノイズとのバランスを調節することも可能である。ま
た、連続静止画メモリにデータを格納している限り、何
回でも補間処理を施すことができる。従って、処理され
た静止画の画質に基づくフィードバックにより、補間処
理条件を修正することも可能である。
【００６４】以上、説明したフーリエ級数展開による補
間は、各フレームのずれ量が均一でない場合に、線形近
似法よりも精度の高い補間ができるという利点を有す
る。
【００６５】このようにして合成された静止画は、その
周辺部では、ぶれのために情報量が少ない。また、フー
リエ級数による補間の場合は、その性質上周辺部は精度
が良くない。そこで、そのような周辺部をカットして、
最終的な静止画を得る。
【００６６】これまでの説明では、カラー・カメラの場
合を例に挙げたが、本発明はこれに限定されるものでは
ない。本発明は、モノクロ・カメラについても同様に実
施することができ、この場合は、Ｙ信号のみが処理の対
象となる。さらに、本発明は、デジタル・カメラに限定
されるものではなく、ＣＣＤやＣＭＯＳなどのイメージ
・センサを用いて被写体の静止画像を電気信号として取
り込むシステムであれば同様に実施することができる。
【００６７】また、カラー信号としては、Ｒ、Ｇ、Ｂ方
式に限定されず、その他にも、例えば、補色系のＹｅ
（イエロー）、Ｃｙ（シアン）、Ｍｇ（マゼンタ）信号
や、それらにＧ（グリーン）信号を付加した信号系など
についても本発明を同様に実施することができる。
【００６８】また、上述したデジタル・カメラは、連続
静止画メモリを備えるが、このメモリを備えず、信号処
理部の出力を連続静止画合成静止画変換部に直接出力し
ても良い。さらに、合成静止画メモリについても、デジ
タル・カメラが備えずに、変換された静止画を直ちに外
部に出力するようにしても良い。
【００６９】一方、信号処理部および連続静止画合成静
止画変換部（信号処理系）は、デジタル・データを処理
する場合を例に説明したが、Ａ／Ｄ変換部を介さずにア
ナログ処理することとしても良い。
【００７０】また、前述した例では、連続静止画を構成
している各フレームから輪郭抽出、特徴図形抽出を行
い、ずれ量を算出しているが、このような各フレームの
ずれ量は、他の方法によって求めることもできる。例え
ば、カメラに角速度・速度センサを設けて撮影時にセン
サからの出力をモニタすることによって、各フレームの
ずれ量を求めることもできる。または、ずれ量を算出す
るための専用のイメージ・センサをカメラに設けても良
い。さらに、静止画を合成するために用いる画像は、時
間的に連続して撮影された複数のフレーム画像でなく、
電子シャッター動作により得られるような、時間的に連
続していない複数のフレーム画像でも良い。
【００７１】
【発明の効果】本発明は、以上説明したような形態で実
施され、以下に説明する効果を奏する。
【００７２】まず、本発明によれば、カメラの光学系を
小型で軽量に維持したまま、解像度とランダム・ノイズ
とを改善した高品位な静止画を取り込むことが可能とな
る。
【００７３】また、本発明によれば、このような高品位
の静止画を得るために、複雑な機構を有するいわゆるス
イングＣＣＤや、画素数が多い高価なＣＣＤを必要とせ
ず、コストが低減するとともに機構も簡素で故障が少な
く、信頼性の点でも優れる。また、本発明によれば、被
写体や撮影条件、あるいはカメラの光学系やイメージ・
センサなどの特性に応じて、適宜解像度とノイズのバラ
ンスを調節することが可能である。さらに、連続静止画
メモリにデータを格納している限り、何回でも補間処理
を施すことができる。従って、処理された静止画の画質
に基づくフィードバックにより、補間処理条件を修正す
ることも可能である。
【００７４】さらに、本発明によれば、従来、静止画の
撮影に際して有害で不必要なものであった「ぶれ」を積
極的に利用することにより、簡素なハードウエアで高品
位の静止画を取り込むことができる。このための「ぶ
れ」は、画素ピッチのオーダーで十分であり、意識して
カメラを動かす必要はない。例えば、デジタル・カメラ
のシャッタを押す動作に伴う振動で十分である。しか
し、本発明は、これよりもはるかに大きい通常の「手ぶ
れ」に対しても同様に対処することができる。従って、
本発明によれば、撮影時の「手ぶれ」を全く気にせずに
高品位の静止画を取り込むことができる。この結果、デ
ジタル・カメラは、従来よりもはるかに使い易くなり、
且つ低コストで高画質化する。
【００７５】このように、本発明によれば、高品位の静
止画を容易に得ることができるようになり、産業上のメ
リットは多大である。
【図面の簡単な説明】
【図１】（ａ）は、本発明によるデジタル・カメラの外
観を例示する概略斜視図である。（ｂ）は、その内部構
造を例示する概略断面図である。
【図２】本発明によるデジタル・カメラの構成を表す概
略ブロック図である。
【図３】本発明による連続静止画合成静止画変換部の処
理アルゴリズムを表す概略ブロック図である。
【図４】（ａ）は、各フレームを結合して得られた画像
上の信号の２次元的な分布状態を例示する図である。
（ｂ）は、デジタル・カメラから外部に出力する際の静
止画像データとして望ましい信号の分布を例示する図で
ある。
【図５】補間処理を模式的に表す概念図である。すなわ
ち、同図（ａ）は、補間処理前の信号分布を表す概念図
である。図５（ｂ）は、補間処理後に信号分布が均一に
なり、各フレームの画像と比較して静止画の解像度が倍
増する様子を表す概念図である。図５（ｃ）は、補間処
理後にＳ／Ｎ比が改善した様子を表す概念図である。
【図６】従来のデジタル・カメラの構成を表す概略ブロ
ック図である。
【符号の説明】
１０ デジタル・カメラ（静止画像取り込みシステム） １２ 本体ボディ １４ レンズ開口部 １６ ファインダ １８ グリップ部 ２０ シャッタ ２２ 外部出力端子 ２４ レンズ ３０ ＣＣＤ ３２ 基板 ３４ バッテリー

Claims (23)

    【特許請求の範囲】
  1. 【請求項１】画像を複数の画素として取り込む撮像素子
    によって被写体の静止画像を生成する方法であって、 前記被写体と前記撮像素子との相対的変位を許容した状
    態で前記被写体を撮影して、複数の画素により構成され
    る複数枚のフレーム画像を、これら複数枚のフレーム画
    像のうちの少なくとも所定数Ｎ（Ｎは２以上の自然数）
    枚のもののそれぞれにおける同一の画素に前記被写体の
    それぞれ異なる点が記録されたものとして生成し、 前記複数枚のフレーム画像における前記被写体間の相対
    的なずれ量を算出し、 前記相対的なずれ量に基づいて前記各被写体が重なるよ
    うに前記複数枚のフレーム画像をずらして重ね合わせる
    ことにより、前記フレーム画像のＮ倍の情報量を含む画
    像として前記被写体が表された一枚の合成静止画像を生
    成することを特徴とする静止画像生成方法。
  2. 【請求項２】画像を複数の画素として取り込む撮像素子
    によって被写体の静止画像を生成する方法であって、 前記被写体と前記撮像素子との相対的変位を許容した状
    態で前記被写体を撮影して、複数の画素により構成され
    る複数枚のフレーム画像を、これら複数枚のフレーム画
    像のうちの少なくとも所定数ｍ2 （ｍは２以上の自然
    数）枚以上のもののそれぞれにおける同一の画素に前記
    被写体のそれぞれ異なる点が記録されたものとして生成
    し、 前記複数枚のフレーム画像における前記被写体間の相対
    的なずれ量を算出し、 前記相対的なずれ量に基づいて前記各被写体が重なるよ
    うに前記複数枚のフレーム画像をずらして重ね合わせる
    ことにより、前記被写体が表された一枚の合成静止画像
    を生成することを特徴とする静止画像生成方法。
  3. 【請求項３】画像を複数の画素として取り込む撮像素子
    によって被写体の静止画像を生成する方法であって、 前記被写体と前記撮像素子との相対的変位を許容した状
    態で前記被写体を撮影して、複数の画素により構成され
    る複数枚のフレーム画像を、これら複数枚のフレーム画
    像のうちの少なくとも２枚以上のもののそれぞれにおけ
    る同一の画素に前記被写体のそれぞれ異なる点が実質的
    に同一の露光時間で記録されたものとして生成し、 前記複数枚のフレーム画像における前記被写体間の相対
    的なずれ量を算出し、 前記相対的なずれ量に基づいて前記各被写体が重なるよ
    うに前記複数枚のフレーム画像をずらして重ね合わせる
    ことにより、前記被写体が表された一枚の合成静止画像
    を生成することを特徴とする静止画像生成方法。
  4. 【請求項４】画像を複数の画素として取り込む撮像素子
    によって被写体の静止画像生成する方法であって、 前記被写体と前記撮像素子との相対的変位を許容した状
    態で前記被写体を撮影して、複数の画素により構成され
    る複数枚のフレーム画像を、これら複数枚のフレーム画
    像のうちの少なくとも２枚以上のもののそれぞれにおけ
    る同一の画素に前記被写体のそれぞれ異なる点が記録さ
    れたものとして生成し、 前記複数枚のフレーム画像における前記被写体間の相対
    的なずれ量を算出し、前記相対的なずれ量に基づいて前
    記各被写体が重なるように前記複数枚のフレーム画像を
    ずらして重ね合わせることにより、前記フレーム画像よ
    りも実質的に画素数が多い高解像度を有する画像として
    前記被写体が表された一枚の合成静止画像を生成するこ
    とを特徴とする静止画像生成方法。
  5. 【請求項５】画像を複数の画素として取り込む撮像素子
    によって被写体の静止画像を生成する方法であって、 前記被写体と前記撮像素子との相対的変位を許容した状
    態で前記被写体を撮像して、複数の画素により構成され
    る複数枚のフレーム画像を、これら複数枚のフレーム画
    像のうちの少なくとも２枚以上のもののそれぞれにおけ
    る同一の画素に前記被写体のそれぞれ異なる点が記録さ
    れたものとして生成し、 前記被写体と前記撮像素子との相対的変位に応じて前記
    複数枚のフレーム画像をずらして重ね合わせることによ
    り、前記フレーム画像よりも実質的に画素当りの信号量
    が多い高Ｓ／Ｎ比を有する画像として前記被写体が表さ
    れた一枚の合成静止画像を生成することを特徴とする静
    止画像生成方法。
  6. 【請求項６】画像を複数の画素として取り込む撮像素子
    によって被写体の静止画像を生成する方法であって、 前記被写体を撮影して複数の画素により構成されるフレ
    ーム画像を複数枚生成し、 前記撮影のときに生じた「ぶれ」による前記被写体と前
    記撮像素子との相対的変位に応じて前記複数枚のフレー
    ム画像をずらして重ね合わせることにより、前記被写体
    が表された一枚の合成静止画像を生成することを特徴と
    する静止画像生成方法。
  7. 【請求項７】前記複数枚のフレーム画像における前記被
    写体間の相対的なずれ量を算出し、 前記相対的なずれ量に基づいて前記各被写体が重なるよ
    うに前記複数枚のフレーム画像をずらして重ね合わせる
    ことを特徴とする請求項５、６のいずれか１つに記載の
    静止画像生成方法。
  8. 【請求項８】前記複数枚のフレーム画像のそれぞれにつ
    いて前記被写体の輪郭を抽出し、 前記輪郭のうちでその位置を前記フレーム画像上で特定
    可能な特徴図形を前記複数枚のフレーム画像のそれぞれ
    について抽出し、 前記フレーム画像のそれぞれについて前記特徴図形の位
    置を求めることにより、前記複数枚のフレーム画像にお
    ける前記被写体の間の相対的なずれ量を算出することを
    特徴とする請求項１，２，３，４，７のいずれか１つに
    記載の静止画像生成方法。
  9. 【請求項９】前記特徴図形を前記複数枚のフレーム画像
    のそれぞれについて所定数Ｍ（Ｍは２以上の自然数）ず
    つ抽出し、 前記所定数Ｍの特徴図形ごとに前記複数枚のフレーム画
    像のそれぞれにおける前記特徴図形の位置を求め、前記
    複数枚のフレーム画像における前記被写体の間の相対的
    なずれ量を前記所定数Ｍの平均値として算出することを
    特徴とする請求項８に記載の静止画像生成方法。
  10. 【請求項１０】前記複数枚のフレーム画像のそれぞれを
    分離処理して、輝度信号により構成される複数枚の輝度
    信号フレーム画像と色信号により構成される複数枚の色
    信号フレーム信号とを生成し、 前記複数の輝度信号フレーム画像及び前記複数の色信号
    フレーム信号のいずれか一方における前記被写体の間の
    相対的なずれ量を算出することを特徴とする請求項８，
    ９のいずれか１つに記載の静止画像生成方法。
  11. 【請求項１１】前記相対的なずれ量に基づいて前記各被
    写体が重なるように前記複数枚の輝度信号フレーム画像
    をずらして重ね合わせることにより、一枚の輝度信号合
    成静止画像を生成し、 前記相対的なずれ量に基づいて前記各被写体が重なるよ
    うに前記複数枚の色信号フレーム画像をずらして重ね合
    わせることにより、一枚の色信号合成静止画像を生成す
    ることを特徴とする請求項１０に記載の静止画像生成方
    法。
  12. 【請求項１２】前記合成静止画像上に分布している画素
    の間隔が略一定となるように補間処理を施すことを特徴
    とする請求項１〜１１のいずれか１つに記載の静止画像
    生成方法。
  13. 【請求項１３】前記補間処理は、前記合成静止画像上の
    画素の分布状態をフーリエ級数展開することにより行う
    ことを特徴とする請求項１２に記載の静止画像生成方
    法。
  14. 【請求項１４】前記フーリエ級数の項数を前記フレーム
    画像の画像数と所定数Ｎ（ただしＮは、複数枚のフレー
    ム画像のうち、それぞれにおける同一の画素に前記被写
    体のそれぞれ異なる点が記録されたものの枚数）との積
    とし、前記フーリエ級数をｆ（ｘ，ｙ）としたときに、
    ｆ（ｘ／Ｎ1/2 、ｙ／Ｎ1/2 ）を前記合成静止画像上の
    画素の分布状態とすることにより、前記フレーム画像の
    Ｎ1/2 倍の解像度を得ることを特徴とする請求項１３に
    記載の静止画像生成方法。
  15. 【請求項１５】前記フーリエ級数の項数を前記フレーム
    画像の画素数と等しい数とし、前記フーリエ級数をｆ
    （ｘ，ｙ）としたとき、ｆ（ｘ，ｙ）を前記合成静止画
    像上の画素の分布状態とすることにより、前記フレーム
    画像のそれぞれよりも高Ｓ／Ｎ比を得ることを特徴とす
    る請求項１３に記載の静止画像生成方法。
  16. 【請求項１６】被写体を撮影して画像を複数の画素とし
    て取り込む撮像素子と、 前記撮像素子により撮影され複数の画素により構成され
    るフレーム画像であって、それぞれにおける同一の画素
    に前記被写体のそれぞれ異なる点が記録された所定数Ｎ
    （Ｎは２以上の自然数）枚の複数枚のフレーム画像につ
    いて、前記複数枚のフレーム画像における前記被写体間
    の相対的なずれ量を算出し、前記相対的なずれ量に基づ
    いて前記各被写体が重なるように前記複数枚のフレーム
    画像をずらして重ね合わせ、前記フレーム画像のＮ倍の
    情報量を含む画像として前記被写体が表された一枚の合
    成静止画像を生成する信号処理系と、 を備えたことを特徴とする静止画像取り込みシステム。
  17. 【請求項１７】被写体を撮影して画像を複数の画素とし
    て取り込む撮像素子と、 前記撮像素子により撮影され複数の画素により構成され
    るフレーム画像であって、それぞれにおける同一の画素
    に前記被写体のそれぞれ異なる点が記録された所定数ｍ
    2 （ｍは２以上の自然数）枚の複数枚のフレーム画像に
    ついて、前記複数枚のフレーム画像における前記被写体
    間の相対的なずれ量を算出し、前記相対的なずれ量に基
    づいて前記各被写体が重なるように前記複数枚のフレー
    ム画像をずらして重ね合わせ、前記被写体が表された一
    枚の合成静止画像を生成する信号処理系と、 を備えたことを特徴とする静止画像取り込みシステム。
  18. 【請求項１８】被写体を撮影して画像を複数の画素とし
    て取り込む撮像素子と、 前記撮像素子により撮影され複数の画素により構成され
    るフレーム画像であって、それぞれにおける同一の画素
    に前記被写体のそれぞれ異なる点が実質的に同一の露光
    時間で記録された複数枚のフレーム画像について、前記
    複数枚のフレーム画像における前記被写体間の相対的な
    ずれ量を算出し、前記相対的なずれ量に基づいて前記各
    被写体が重なるように前記複数枚のフレーム画像をずら
    して重ね合わせ、前記被写体が表された一枚の合成静止
    画像を生成する信号処理系と、 を備えたことを特徴とする静止画像取り込みシステム。
  19. 【請求項１９】被写体を撮影して画像を複数の画素とし
    て取り込む撮像素子と、 前記撮像素子により撮影され複数の画素により構成され
    るフレーム画像であって、それぞれにおける同一の画素
    に前記被写体のそれぞれ異なる点が記録された複数枚の
    フレーム画像について、前記複数枚のフレーム画像にお
    ける前記被写体間の相対的なずれ量を算出し、前記相対
    的なずれ量に基づいて前記各被写体が重なるように前記
    複数枚のフレーム画像をずらして重ね合わせ、前記フレ
    ーム画像よりも実質的に画素数が多い高解像度を有する
    画像として前記被写体が表された一枚の合成静止画像を
    生成する信号処理系と、 を備えたことを特徴とする静止画像取り込みシステム。
  20. 【請求項２０】被写体を撮影して画像を複数の画素とし
    て取り込む撮像素子と、 前記撮像素子により撮影され複数の画素により構成され
    るフレーム画像であって、それぞれにおける同一の画素
    に前記被写体のそれぞれ異なる点が記録された複数枚の
    フレーム画像を、前記複数枚のフレーム画像における前
    記被写体間の相対的なずれ量に基づいて前記各被写体が
    重なるようにずらして重ね合わせ、前記フレーム画像よ
    りも実質的に画素当りの信号量が多い高Ｓ／Ｎ比を有す
    る画像として前記被写体が表された一枚の合成静止画像
    を生成する信号処理系と、 を備えたことを特徴とする静止画像取り込みシステム。
  21. 【請求項２１】被写体を撮影して画像を複数の画素とし
    て取り込む撮像素子と、 前記撮像素子により撮影された複数の画素により構成さ
    れる複数枚のフレーム画像を、前記撮影のときに生じた
    「ぶれ」による前記被写体と前記撮像素子との相対的変
    位に応じてずらして重ね合わせ、前記被写体が表された
    一枚の合成静止画像を生成する信号処理系と、 を備えたことを特徴とする静止画像取り込みシステム。
  22. 【請求項２２】前記信号処理系は、さらに前記合成静止
    画像上に分布している画素の間隔が略一定になるように
    補間処理を施すことを特徴とする請求項１６〜２１のい
    ずれか１つに記載の静止画像取り込みシステム。
  23. 【請求項２３】前記撮像素子は、ＣＣＤイメージセンサ
    またはＣＭＯＳセンサにより構成されることを特徴とす
    る請求項１６〜２２のいずれか１つに記載の静止画像取
    り込みシステム。
JP9149029A 1997-06-06 1997-06-06 静止画像生成方法及び静止画像取り込みシステム Pending JPH10341367A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP9149029A JPH10341367A (ja) 1997-06-06 1997-06-06 静止画像生成方法及び静止画像取り込みシステム
US09/092,264 US6466253B1 (en) 1997-06-06 1998-06-05 Still image producing method and still image capture system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9149029A JPH10341367A (ja) 1997-06-06 1997-06-06 静止画像生成方法及び静止画像取り込みシステム

Publications (1)

Publication Number Publication Date
JPH10341367A true JPH10341367A (ja) 1998-12-22

Family

ID=15466122

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9149029A Pending JPH10341367A (ja) 1997-06-06 1997-06-06 静止画像生成方法及び静止画像取り込みシステム

Country Status (2)

Country Link
US (1) US6466253B1 (ja)
JP (1) JPH10341367A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004114677A1 (ja) * 2003-06-23 2004-12-29 Sony Corporation 画像処理方法および装置、並びにプログラム
JP2006060318A (ja) * 2004-08-17 2006-03-02 Sony Corp 画像処理方法および画像処理装置、並びにプログラムおよび記録媒体
KR100908768B1 (ko) * 2006-05-31 2009-07-22 가부시키가이샤 히타치세이사쿠쇼 화상 신호 처리 장치, 화상 표시 장치, 및 화상 신호의고해상도화 방법
US8169537B2 (en) 2004-11-25 2012-05-01 Sony Corporation Control method, control apparatus and control program for photographing apparatus

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11187303A (ja) * 1997-12-22 1999-07-09 Canon Inc 画像処理装置および方法並びに記憶媒体
US6320680B1 (en) * 1998-06-18 2001-11-20 Digimarc Corporation Stochastic scanning documents to change moire effects
JP2000050151A (ja) * 1998-07-28 2000-02-18 Olympus Optical Co Ltd 撮像装置
US6717608B1 (en) * 1999-12-31 2004-04-06 Stmicroelectronics, Inc. Motion estimation for panoramic digital camera
US7373017B2 (en) * 2005-10-04 2008-05-13 Sony Corporation System and method for capturing adjacent images by utilizing a panorama mode
US7346184B1 (en) 2000-05-02 2008-03-18 Digimarc Corporation Processing methods combining multiple frames of image data
GB2362731B (en) * 2000-05-23 2004-10-06 Advanced Risc Mach Ltd Parallel processing of multiple data values within a data word
US20080036886A1 (en) * 2001-06-29 2008-02-14 Hannigan Brett T Methods For Generating Enhanced Digital Images
US7218751B2 (en) * 2001-06-29 2007-05-15 Digimarc Corporation Generating super resolution digital images
SE520949C2 (sv) * 2002-01-15 2003-09-16 Sven-Aake Afsenius Digitalkamera med sökare avsedd för skärpedjupsförbättrad avbildning
US7295232B2 (en) * 2003-01-15 2007-11-13 Canon Kabushiki Kaisha Camera and program
JP2006086933A (ja) * 2004-09-17 2006-03-30 Canon Inc 撮像装置及び制御方法
JP4699995B2 (ja) * 2004-12-16 2011-06-15 パナソニック株式会社 複眼撮像装置及び撮像方法
US20060174203A1 (en) 2005-01-31 2006-08-03 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Viewfinder for shared image device
US9489717B2 (en) * 2005-01-31 2016-11-08 Invention Science Fund I, Llc Shared image device
US9124729B2 (en) 2005-01-31 2015-09-01 The Invention Science Fund I, Llc Shared image device synchronization or designation
US9910341B2 (en) 2005-01-31 2018-03-06 The Invention Science Fund I, Llc Shared image device designation
US8606383B2 (en) 2005-01-31 2013-12-10 The Invention Science Fund I, Llc Audio sharing
US8902320B2 (en) 2005-01-31 2014-12-02 The Invention Science Fund I, Llc Shared image device synchronization or designation
US9082456B2 (en) 2005-01-31 2015-07-14 The Invention Science Fund I Llc Shared image device designation
US9819490B2 (en) 2005-05-04 2017-11-14 Invention Science Fund I, Llc Regional proximity for shared image device(s)
US9001215B2 (en) 2005-06-02 2015-04-07 The Invention Science Fund I, Llc Estimating shared image device operational capabilities or resources
US10003762B2 (en) 2005-04-26 2018-06-19 Invention Science Fund I, Llc Shared image devices
US8115818B2 (en) * 2005-12-27 2012-02-14 Kyocera Corporation Imaging device and image processing method of same
JP5136664B2 (ja) * 2010-07-09 2013-02-06 カシオ計算機株式会社 画像処理装置、及びプログラム
EP2731334A4 (en) * 2011-07-08 2015-02-25 Olympus Corp PICTURE RECORDING DEVICE AND PICTURE PRODUCTION PROCESS
US20150006361A1 (en) 2013-06-28 2015-01-01 Google Inc. Extracting Card Data Using Three-Dimensional Models
JP6942517B2 (ja) * 2017-04-27 2021-09-29 キヤノン株式会社 撮像装置およびその製造方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3103897B2 (ja) * 1991-03-19 2000-10-30 ソニー株式会社 手振れ補正装置および手振れ補正方法
JP3110797B2 (ja) 1991-06-21 2000-11-20 キヤノン株式会社 撮像方法及び撮像画面合成装置
US5259040A (en) * 1991-10-04 1993-11-02 David Sarnoff Research Center, Inc. Method for determining sensor motion and scene structure and image processing system therefor
US5657402A (en) * 1991-11-01 1997-08-12 Massachusetts Institute Of Technology Method of creating a high resolution still image using a plurality of images and apparatus for practice of the method
JPH05346958A (ja) * 1992-06-15 1993-12-27 Matsushita Electric Ind Co Ltd 移動体追尾装置
EP0672327A4 (en) * 1992-09-08 1997-10-29 Paul Howard Mayeaux VISION CAMERA AND VIDEO PRETREATMENT SYSTEM.
US5889553A (en) * 1993-11-17 1999-03-30 Canon Kabushiki Kaisha Image pickup apparatus capable of high resolution imaging
JP3192875B2 (ja) * 1994-06-30 2001-07-30 キヤノン株式会社 画像合成方法および画像合成装置
KR100235343B1 (ko) * 1994-12-29 1999-12-15 전주범 영역분할 기법을 이용한 동영상신호 부호화기의 움직임 벡터 측정장치
JP3227478B2 (ja) * 1995-05-17 2001-11-12 シャープ株式会社 静止画撮像装置
US5973733A (en) * 1995-05-31 1999-10-26 Texas Instruments Incorporated Video stabilization system and method
US5503153A (en) * 1995-06-30 1996-04-02 Siemens Medical Systems, Inc. Noise suppression method utilizing motion compensation for ultrasound images
WO1997016926A1 (en) * 1995-10-31 1997-05-09 Sarnoff Corporation Method and apparatus for determining ambient conditions from an image sequence
US5764283A (en) * 1995-12-29 1998-06-09 Lucent Technologies Inc. Method and apparatus for tracking moving objects in real time using contours of the objects and feature paths
US5629998A (en) * 1996-01-29 1997-05-13 Corning Incorporated Method and apparatus for writing photosensitive grating using Lloyd's mirror
FR2752619B1 (fr) * 1996-08-23 1998-11-13 Thomson Csf Procede et dispositif de reconnaissance air-sol pour equipement optronique
US6133943A (en) * 1996-09-30 2000-10-17 Intel Corporation Method and apparatus for producing a composite image
KR19990008977A (ko) * 1997-07-05 1999-02-05 배순훈 윤곽선 부호화 방법

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004114677A1 (ja) * 2003-06-23 2004-12-29 Sony Corporation 画像処理方法および装置、並びにプログラム
US7486318B2 (en) 2003-06-23 2009-02-03 Sony Corporation Method, apparatus, and program for processing an image
KR101032233B1 (ko) 2003-06-23 2011-05-02 소니 주식회사 화상 처리 방법 및 장치, 및 프로그램이 기록된 컴퓨터 판독가능한 기록 매체
US8085313B2 (en) 2003-06-23 2011-12-27 Sony Corporation Method, apparatus, and program for processing an image
US8692901B2 (en) 2003-06-23 2014-04-08 Sony Corporation Method, apparatus, and program for processing an image
JP2006060318A (ja) * 2004-08-17 2006-03-02 Sony Corp 画像処理方法および画像処理装置、並びにプログラムおよび記録媒体
JP4496883B2 (ja) * 2004-08-17 2010-07-07 ソニー株式会社 画像処理方法および画像処理装置、並びにプログラムおよび記録媒体
US8169537B2 (en) 2004-11-25 2012-05-01 Sony Corporation Control method, control apparatus and control program for photographing apparatus
KR100908768B1 (ko) * 2006-05-31 2009-07-22 가부시키가이샤 히타치세이사쿠쇼 화상 신호 처리 장치, 화상 표시 장치, 및 화상 신호의고해상도화 방법
US7830369B2 (en) 2006-05-31 2010-11-09 Hitachi, Ltd. Video signal processing apparatus, video displaying apparatus and high resolution method for video signal

Also Published As

Publication number Publication date
US6466253B1 (en) 2002-10-15

Similar Documents

Publication Publication Date Title
JPH10341367A (ja) 静止画像生成方法及び静止画像取り込みシステム
JP5108172B2 (ja) 画像データサイズ変換処理装置、電子スチルカメラ、および画像データサイズ変換処理用記録媒体
KR100886298B1 (ko) 영상 프로세서 및 영상 처리 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
JP3948229B2 (ja) 画像撮像装置及び方法
JP4987355B2 (ja) 撮像装置および撮像方法
JP3382359B2 (ja) 撮像装置
KR101299055B1 (ko) 화상 처리 장치 및 화상 처리 방법, 화상 처리 프로그램
JP2001268582A (ja) 固体撮像装置および信号処理方法
EP0869683B1 (en) Image pickup device
JP4212134B2 (ja) 画像信号処理装置
CN101448169B (zh) 图像处理装置和图像处理方法
JP2007243917A (ja) 撮像装置および画像処理プログラム
JP3967853B2 (ja) 固体撮像装置および信号読出し方法
JP3965555B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
US20070269133A1 (en) Image-data noise reduction apparatus and method of controlling same
JP2003101815A (ja) 信号処理装置及び信号処理方法
JPH10155158A (ja) 撮像装置及びカラー画像信号の処理方法
JP2003333422A (ja) シェーディング補正方法およびディジタルカメラ
JP6886026B2 (ja) 撮像装置
JP4687454B2 (ja) 画像処理装置および撮像装置
JP2006060318A (ja) 画像処理方法および画像処理装置、並びにプログラムおよび記録媒体
JP3733182B2 (ja) 撮像装置および縦縞除去方法
JPH06315154A (ja) カラー撮像装置
JP3540567B2 (ja) 電子的撮像装置
JP3368012B2 (ja) 画像データ処理装置

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040914